💬 NLP

When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors

Questo studio propone due nuove metriche, la Similarità del Pattern di Risposta (RPS) e la Similarità del Grafo delle Azioni (AGS), per quantificare l'omogeneizzazione comportamentale indotta dalla distillazione nei modelli LLM, rivelando come molti agenti condividano schemi di utilizzo degli strumenti derivanti da pochi modelli insegnanti dominanti.

Autori originali: Chenghao Yang, Yuning Zhang, Zhoufutu Wen, Tao Gong, Jiaheng Liu, Qi Chu, Nenghai Yu

Pubblicato 2026-04-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Chenghao Yang, Yuning Zhang, Zhoufutu Wen, Tao Gong, Jiaheng Liu, Qi Chu, Nenghai Yu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina il mondo degli Agenti AI (i robot intelligenti che usano il linguaggio per fare cose come prenotare voli o gestire conti bancari) come una grande scuola di cucina.

Fino a poco tempo fa, pensavamo che ogni chef (ogni modello AI) avesse il suo stile unico, le sue ricette segrete e il modo tutto suo di impastare. Ma gli autori di questo studio hanno scoperto una cosa inquietante: molti di questi chef stanno cucinando esattamente lo stesso piatto, con lo stesso modo di tagliare le verdure e persino con gli stessi errori.

Ecco di cosa parla il paper, spiegato semplice:

1. Il Problema: "L'Eco Distillato"

Molti di questi agenti sono stati creati usando una tecnica chiamata "Distillazione". È come se uno chef maestro (il "Teacher") desse le sue ricette a uno studente (il "Student"). Il problema è che lo studente non impara solo cosa fare, ma copia anche come lo fa: il tono di voce, le pause, e persino i modi sbagliati di fare le cose.

Il risultato? Un'ecosistema dove tutti sembrano uguali. Se uno sbaglia, sbagliano tutti allo stesso modo. È come se in una classe di 20 studenti, 19 avessero copiato lo stesso compito a casa: sembrano diversi, ma in realtà sono solo "eco" di uno stesso maestro.

2. La Soluzione: Due Nuovi "Radar"

Gli autori dicono: "Come facciamo a capire se due chef sono davvero diversi o se uno ha copiato l'altro?". I vecchi metodi guardavano solo il risultato finale (il piatto finito), ma non notavano le differenze nel modo di lavorare.

Hanno creato due nuovi strumenti di misura:

RPS (La "Voce" dell'Agente): Immagina di ascoltare due persone che raccontano una storia. Anche se dicono le stesse cose, usano parole diverse? Hanno lo stesso tono? Usano le stesse frasi fatte?
- L'analogia: È come ascoltare due cantanti che cantano la stessa canzone. Uno potrebbe essere un rockstar, l'altro un operaio. Se entrambi usano lo stesso slang, le stesse pause e lo stesso modo di iniziare la frase, probabilmente hanno ascoltato la stessa radio (sono stati "distillati" dallo stesso modello).
AGS (Le "Mani" dell'Agente): Qui non guardiamo cosa dicono, ma cosa fanno. Quando devono prenotare un volo, quale strumento usano? In quale ordine?
- L'analogia: Immagina due meccanici che riparano una macchina. Entrambi devono svitare un bullone (azione obbligatoria). Ma il primo, per sicurezza, controlla anche l'olio prima di iniziare (azione opzionale). Se il secondo meccanico fa esattamente la stessa cosa opzionale, anche se non era necessario, significa che ha copiato il metodo del primo.

3. Cosa hanno scoperto?

Hanno messo alla prova 18 modelli AI diversi (di aziende come Google, OpenAI, DeepSeek, Moonshot, ecc.) contro un "maestro di riferimento" (Claude Sonnet).

Il caso Kimi-K2: Hanno scoperto che un modello cinese chiamato Kimi-K2 è quasi un "gemello spirituale" di Claude. Non solo parla come lui, ma usa gli strumenti nello stesso ordine, fa le stesse verifiche extra e commette gli stessi errori. È come se Kimi avesse guardato Claude mentre cucinava e avesse copiato ogni singolo movimento, anche quelli inutili.
La differenza tra "Obbligatorio" e "Opzionale": Questo è il punto chiave. Se due modelli usano lo stesso strumento per cancellare un volo, è normale (è obbligatorio). Ma se usano lo stesso strumento opzionale per controllare i dettagli prima di cancellare, allora è una firma di copia.

4. Perché è importante?

Se tutti gli agenti AI pensano e agiscono allo stesso modo, l'intero sistema diventa fragile.

Immagina un'autostrada: Se tutte le auto hanno lo stesso difetto di frenatura, un piccolo incidente ne blocca tutte.
Sicurezza: Se un hacker trova un modo per ingannare un agente, probabilmente ingannerà tutti gli altri, perché sono tutti "eco" dello stesso modello.

In sintesi

Questo studio ci dice che nel mondo dell'IA, l'originalità sta scomparendo. Molti modelli sembrano diversi, ma in realtà sono solo copie carbone di pochi modelli dominanti. Gli autori hanno creato un "rilevatore di plagi" (RPS e AGS) per vedere chi sta davvero pensando da solo e chi sta solo ripetendo a pappagallo ciò che ha imparato da un maestro.

È un invito a guardare più da vicino non solo cosa fanno i nostri assistenti digitali, ma come lo fanno, per assicurarci che non stiano tutti seguendo lo stesso percorso cieco.

Titolo: Quando gli Agenti Sembrano Uguali: Quantificare la Similarità Indotta dalla Distillazione nei Comportamenti di Utilizzo degli Strumenti

1. Il Problema: Omogeneizzazione Comportamentale e "Effetto Eco"

Il rapido progresso degli agenti LLM (Large Language Models) è guidato principalmente dalla distillazione della conoscenza (knowledge distillation), dove modelli più piccoli o specializzati apprendono da modelli "teacher" più grandi. Tuttavia, il paper evidenzia un fenomeno preoccupante: l'omogeneizzazione comportamentale.
Molti agenti emergenti, pur avendo origini diverse, mostrano:

Passaggi di ragionamento quasi identici.
Abitudini ridondanti nell'invocazione degli strumenti (tool-calling).
Gli stessi modi di fallire (failure modes).

Questo suggerisce che molti modelli non sono innovazioni indipendenti, ma "eco distillati" di pochi modelli teacher dominanti. La mancanza di diversità comportamentale riduce la robustezza dell'ecosistema: se un modello fallisce in un certo modo, tutti gli altri falliranno allo stesso modo, eliminando la possibilità di verifica incrociata indipendente.

Limiti delle metriche attuali: Le metriche esistenti si concentrano sulla similarità a livello di risposta (testo statico) o sulla sovrapposizione di n-grammi. Falliscono nel distinguere tra:

Comportamenti obbligatori: Azioni necessarie per il successo del task (es. chiamare un tool specifico per cancellare una prenotazione).
Comportamenti non obbligatori: Preferenze autonome del modello (es. scegliere di verificare i dettagli prima di cancellare, o il tono di voce usato).
Senza isolare queste "libertà comportamentali", è impossibile determinare se due modelli convergono perché esiste un'unica strada corretta o perché uno sta "copiando" l'altro.

2. Metodologia: Un Framework per la Quantificazione

Gli autori propongono un framework sistematico che isola i pattern comportamentali non obbligatori attraverso due metriche complementari: RPS e AGS.

A. Response Pattern Similarity (RPS) - Similarità Verbale
Questa metrica misura la similarità nel modo in cui i modelli formulano le risposte e strutturano il ragionamento.

Approccio: Le traiettorie di interazione vengono segmentate in 5 fasi canoniche (basate su pattern di interazione comuni):
1. Autenticazione: Verifica dell'identità.
2. Elicitazione: Richiesta di parametri mancanti.
3. Esecuzione: Invocazione di strumenti specifici.
4. Verifica: Conferma utente prima di operazioni critiche.
5. Notifica: Report dei risultati.
Valutazione: Un LLM "giudice" confronta le risposte dei modelli solo nelle fasi condivise, valutando tre dimensioni:
- Stile: Abitudini lessicali e tono.
- Struttura: Pattern di frasi e template di risposta.
- Allineamento: Coerenza tra l'intento dichiarato nel ragionamento e l'azione eseguita.
Vantaggio: Evita il confronto diretto di traiettorie di lunghezza diversa, allineandole semanticamente.

B. Action Graph Similarity (AGS) - Similarità delle Azioni
Questa metrica analizza la struttura delle sequenze di chiamate agli strumenti, modellandole come Grafici di Flusso di Azione (Action Flow Graphs).

Costruzione del Grafo: I nodi sono le chiamate agli strumenti; gli archi rappresentano l'ordine temporale o le dipendenze dei dati (output di un tool usato come input per un altro).
Sottometriche Chiave (Isolamento dei comportamenti non obbligatori):
1. $S_{node}$ (Accordo sugli Strumenti Opzionali): Distingue gli strumenti obbligatori (usati da tutti i modelli di successo) da quelli opzionali. Misura quanto due modelli concordano sulla scelta di strumenti opzionali (es. decidere di controllare i dettagli della prenotazione prima di cancellare).
2. $S_{seq}$ (Similarità dei Pattern Sequenziali): Misura abitudini locali come la verifica post-scrittura, la conferma pre-scrittura o i tentativi di riprova in caso di errore.
3. $S_{dep}$ (Similarità dei Pattern di Dipendenza): Misura la struttura delle dipendenze, come il tasso di riutilizzo degli output e la profondità delle catene di pianificazione.

3. Risultati Sperimentali

Lo studio ha valutato 18 modelli provenienti da 8 provider (Anthropic, OpenAI, DeepSeek, Moonshot, ByteDance, Google, Qwen, Zhipu) su benchmark reali ( $\tau$ -Bench e $\tau^2$ -Bench), utilizzando Claude Sonnet 4.5 (thinking) come modello di riferimento ("oracle").

Scoperte Principali:

Coerenza Interna: I modelli dello stesso provider (es. Anthropic) mostrano una forte coerenza interna (AGS > 87%, RPS > 3.8), confermando che le metriche catturano le pipeline di addestramento condivise.
Il Caso Kimi-K2 (Thinking): Tra i modelli non-Anthropic, Kimi-K2 (thinking) mostra una similarità eccezionalmente alta con Claude Sonnet 4.5:
- AGS: 82.7% (il più alto tra i non-Anthropic).
- $S_{node}$ : 82.6% (supera persino Opus 4.1 di Anthropic).
- $S_{dep}$ : 94.7% (supera Opus 4.1).
- RPS: 3.65 (il più alto tra i non-Anthropic).
  Questo suggerisce che Kimi-K2 ha ereditato pattern comportamentali specifici da Claude, andando oltre la semplice convergenza dovuta al benchmark.
Distinzione delle Dimensioni: RPS e AGS catturano dimensioni comportamentali distinte (correlazione di Pearson $r = 0.491$ ). Un modello può avere uno stile verbale diverso ma abitudini di tool-use identiche, e viceversa.
Validazione Controllata: In un esperimento di distillazione controllata (fine-tuning di Qwen2.5 su traiettorie di Claude), AGS è aumentato verso il teacher (+0.13) ma è diminuito verso un controllo non-teacher (-0.05). Al contrario, metriche di base come GED (Graph Edit Distance) sono aumentate in entrambe le direzioni, fallendo nel distinguere la distillazione specifica dal miglioramento generale.

4. Contributi Chiave

Primo Framework di Quantificazione: Introduce il primo metodo sistematico per quantificare la distillazione negli agenti LLM, disaccoppiando i comportamenti obbligatori da quelli non obbligatori.
Nuove Metriche Interpretative: Propone RPS e AGS (con le sue sottocategorie $S_{node}, S_{seq}, S_{dep}$ ) come indicatori diagnostici per la convergenza comportamentale.
Analisi dell'Ecosistema: Fornisce una valutazione empirica su larga scala di 18 modelli, rivelando che alcuni modelli (come Kimi-K2) mostrano una "mimetizzazione" comportamentale con modelli di altri provider, sollevando questioni sulla trasparenza e l'indipendenza dello sviluppo.

5. Significato e Implicazioni

Il paper offre prove empiriche della "déjà vu" percepita nell'ecosistema degli agenti AI.

Sicurezza e Robustezza: L'omogeneizzazione comportamentale rende l'intero ecosistema vulnerabile agli stessi errori sistematici. Se un modello teacher ha un bias o un errore di ragionamento, tutti i modelli distillati lo erediteranno.
Trasparenza: Le metriche proposte permettono di rilevare se un modello è stato "distillato" da un altro, anche senza accesso ai dati di addestramento o al codice sorgente (scatola nera).
Diagnosi: Forniscono segnali diagnostici complementari per gli sviluppatori e i regolatori per monitorare la diversità e la salute dell'ecosistema degli agenti AI.

In sintesi, il lavoro dimostra che molti agenti moderni non stanno innovando indipendentemente, ma stanno riflettendo i "cattivi abitudini" e le preferenze strutturali di pochi modelli dominanti, e offre gli strumenti per misurare e contrastare questo fenomeno.