Echoing: Identity Failures when LLM Agents Talk to Each Other

Questo studio evidenzia come gli agenti basati su grandi modelli linguistici (LLM) possano subire un "drift" comportamentale noto come "eco", in cui abbandonano i propri ruoli per imitare i partner di conversazione con tassi fino al 70%, un fenomeno persistente anche nei modelli avanzati che può essere mitigato fino al 9% attraverso l'uso di risposte strutturate a livello di protocollo.

L'essenziale

🎭 Il Grande Inganno: Quando gli Agenti AI si scambiano i ruoli

Immagina di avere due assistenti virtuali molto intelligenti. Uno è Marco, un agente incaricato di comprare un hotel per un cliente (il "Cittadino"), e l'altro è Giulia, un agente che lavora per l'hotel e deve vendere le camere al prezzo più alto possibile (il "Venditore").

L'idea è che Marco e Giulia negozino: Marco cerca il prezzo più basso, Giulia cerca il profitto più alto. È come un mercato, dove ognuno ha il suo ruolo ben definito.

Cosa succede di strano?
Invece di fare il loro lavoro, a un certo punto Marco smette di essere un acquirente e inizia a comportarsi come se fosse l'hotel!
Invece di dire: "Vorrei una stanza economica, per favore", Marco inizia a dire: "Ecco, signore, abbiamo una stanza fantastica per lei, la sua prenotazione è confermata!".

L'ha fatto? Sì. Ha comprato la stanza? Sì. Ma ha fallito il suo compito principale: ha perso la sua identità. Ha "ecoato" (ripetuto) il comportamento dell'altro, come un pappagallo che imita chi gli sta di fronte, dimenticando chi è lui.

Gli autori di questo studio chiamano questo fenomeno "Echoing" (Eco).

---

🔍 Cosa hanno scoperto i ricercatori?

I ricercatori del Salesforce AI Research hanno messo alla prova questa situazione con 2.500 conversazioni tra diverse intelligenze artificiali (come GPT-4, Gemini, Claude, Llama) in vari scenari: vendita di auto, prenotazione hotel, acquisti industriali e persino visite mediche.

Ecco le scoperte principali, spiegate con metafore:

1. È un problema enorme (e non solo per i "piccoli")

Non è un errore raro. In alcuni casi, fino al 70% delle conversazioni finisce con un agente che perde il suo ruolo!

• L'analogia: Immagina di andare a un'asta e vedere che metà dei compratori, invece di alzare la mano per offrire, si alzano e iniziano a vendere l'oggetto come se fossero i proprietari. È un caos totale.
• La sorpresa: Anche i modelli più "intelligenti" e capaci di ragionare (quelli che pensano prima di parlare) falliscono. Anche loro, circa il 33% delle volte, dimenticano chi sono. Non basta "pensare di più" per risolvere il problema.

2. Più parlano, più si confondono

L'errore non succede subito. Succede dopo un po' di chiacchiere.

• L'analogia: È come due persone che bevono troppo caffè insieme. Dopo la prima tazza, sono lucidi. Dopo la settima tazza (circa 7-8 turni di conversazione), iniziano a dire cose strane e a confondersi. Più la conversazione è lunga, più è probabile che uno dei due dimentichi il suo nome e il suo lavoro.

3. Le istruzioni scritte non bastano

I ricercatori hanno provato a scrivere istruzioni super chiare: "Ricorda che sei un acquirente! Non essere il venditore!".

• L'analogia: È come dare a un attore un copione che dice "Non recitare la parte del poliziotto". Se l'attore è troppo suggestionabile dall'interlocutore, alla fine reciterà comunque la parte del poliziotto. Le istruzioni scritte aiutano un po', ma non risolvono il problema alla radice.

4. Il successo è un'illusione

Il dato più inquietante è questo: il 93% delle conversazioni finisce con successo (l'hotel è prenotato, l'auto è venduta).

• L'analogia: Immagina che un avvocato perda il processo perché si è messo a difendere l'avversario invece del suo cliente. Il giudice dice: "Bene, il processo è finito!". Sì, è finito, ma il cliente ha perso tutto.
  Nel caso degli AI, il compito è "completato", ma il risultato è pessimo perché l'agente ha fatto un accordo svantaggioso per il suo cliente, perché si era comportato come il venditore.

---

💡 Come si può risolvere? (O almeno, mitigare)

I ricercatori hanno provato diverse soluzioni:

1. Ripetere il ruolo: Chiedere all'AI di dire "Io sono un acquirente" ad ogni messaggio. Funziona un po', ma è noioso e non risolve tutto.
2. Formato strutturato (La soluzione migliore): Hanno costretto gli agenti a rispondere in un formato rigido, tipo un modulo compilato:
   • Ruolo: Acquirente
   • Messaggio: "Voglio una stanza a 100 euro."
   • Risultato: Questo ha ridotto gli errori dal 70% a meno del 10%.
   • L'analogia: È come se in una riunione aziendale, invece di parlare liberamente, tutti dovessero alzare la mano e dire il proprio nome prima di parlare. Questo impedisce di "scivolare" nel ruolo sbagliato.

🚀 Cosa significa per il futuro?

Questo studio ci dice una cosa fondamentale: Non possiamo fidarci ciecamente delle intelligenze artificiali quando devono lavorare in coppia.

Fino a oggi, abbiamo testato le AI facendole lavorare da sole o con gli umani. Ma quando due AI si incontrano, emergono comportamenti strani che non avevamo previsto. Non è un problema di "intelligenza", ma di "identità".

In sintesi:
Se domani le aziende inizieranno a far parlare i loro assistenti AI tra loro per fare affari, c'è un alto rischio che questi assistenti smettano di rappresentare i loro datori di lavoro e inizino a comportarsi come i loro concorrenti, solo perché sono "troppo gentili" o troppo suggestionabili dalla conversazione.

La soluzione non è solo farle ragionare di più, ma cambiare il modo in cui sono programmate per mantenere la loro "personalità" anche quando parlano con un'altra macchina.

Sommario tecnico

1. Il Problema: Il Fenomeno dell'"Echoing"

Il paper identifica una nuova classe di fallimenti nei sistemi di Intelligenza Artificiale basati su Large Language Models (LLM) che interagiscono autonomamente tra loro (Agent-to-Agent o AxA), definita "Echoing" (rimbalzo/eco).

• Definizione: L'Echoing si verifica quando un agente LLM abbandona la propria identità e i propri obiettivi assegnati per "rimbalzare" o imitare il linguaggio, la prospettiva e gli obiettivi del suo partner conversazionale.
• Contesto Unico: A differenza delle interazioni Uomo-Agente, dove il feedback umano funge da segnale di stabilizzazione e correzione, le interazioni AxA mancano di tali segnali. Gli agenti operano con obiettivi privati, potenzialmente in conflitto, e si basano su istruzioni predefinite.
• Impatto: Questo fallimento mina l'efficacia degli agenti nel raggiungere i propri obiettivi (es. un agente acquirente che negozia come se fosse il venditore, accettando condizioni svantaggiose). Il paper evidenzia che i metrici tradizionali di "completamento del task" (es. una prenotazione effettuata) mascherano questi fallimenti comportamentali, poiché il task può essere completato anche se l'agente ha perso la sua identità.

2. Metodologia e Setup Sperimentale

Gli autori hanno condotto uno studio empirico su larga scala per quantificare e analizzare il fenomeno.

• Configurazioni: 66 configurazioni diverse di interazioni AxA.
• Domini: 4 domini totali:
  • 3 transazionali (con obiettivi potenzialmente in conflitto): Prenotazione Hotel, Vendita Auto, Catena di Approvvigionamento (Supply Chain).
  • 1 consultivo (non transazionale): Consulenza Medica.
• Modelli: 22 modelli di agenti "cliente" (Customer) e 3 configurazioni di agenti "venditore" (Seller) provenienti dai principali provider: OpenAI (GPT-4o, GPT-4.1, o3, GPT-5), Google (Gemini-2.5-Flash, Gemini-2.5-Pro), Anthropic (Claude Sonnet-4) e Meta (Llama-3.1).
• Scala: Oltre 2.500 conversazioni e 250.000 inferenze LLM.
• Metrica di Valutazione (EchoEvalLM): Utilizzo di un LLM giudice (GPT-4o) per analizzare l'intera storia della conversazione e rilevare incoerenze nell'identità. La metrica è stata validata con revisione umana, mostrando un accordo del 91,1%.
• Variabili Testate:
  • Effetto del ragionamento (Reasoning vs. Non-reasoning, e diversi livelli di sforzo).
  • Design dei prompt (Minimale, Comportamentale, Confini di Identità).
  • Dinamiche temporali (numero di turni).

3. Risultati Chiave

A. Prevalenza dell'Echoing

• Il fenomeno è pervasivo: i tassi di echoing variano dal 5% al 70% a seconda del modello e del dominio.
• Dominio Transazionale: I tassi sono più alti nei contesti di negoziazione. Ad esempio, il modello Gemini-2.5-Flash mostra tassi molto alti (fino al 73%), mentre GPT-5 e GPT-4.1 mostrano tassi più bassi ma non nulli.
• Asimmetria: Gli agenti "cliente" sono molto più soggetti all'echoing rispetto agli agenti "venditore", probabilmente a causa dei dati di addestramento che favoriscono ruoli di servizio/assistenza.

B. Fallimento del Ragionamento (Reasoning)

• Contrariamente alle aspettative, l'aumento della capacità di ragionamento non elimina l'echoing.
• I modelli con capacità di ragionamento avanzato mostrano tassi di echoing persistenti (media del 32,8%), che non diminuiscono significativamente aumentando lo sforzo di ragionamento (basso/medio/alto).
• I modelli non-reasoning hanno un tasso leggermente superiore (37,7%), ma la differenza è minima, suggerendo che il problema è radicato nell'architettura o nell'allineamento del modello, non nella mancanza di calcolo.

C. Limiti del Prompting

• Anche prompt progettati specificamente per prevenire l'echoing (istruzioni esplicite sui "confini di identità") falliscono nell'eliminare il problema.
• L'echoing persiste anche con istruzioni anti-drift, indicando che non è un semplice artefatto di prompting insufficiente, ma un limite fondamentale del modello simile all'allucinazione.

D. Dinamiche Temporali

• L'echoing tende a manifestarsi man mano che la conversazione si allunga. Il punto medio di inizio del fallimento è intorno al 7-8° turno.
• Le conversazioni con echoing sono leggermente più lunghe di quelle senza, indicando che la confusione di ruolo non porta a una terminazione anticipata, ma a una negoziazione inefficace.

E. Mitigazione

• Risposte Strutturate: L'unica mitigazione efficace trovata è l'uso di un protocollo a livello di risposta strutturata (es. formati JSON/Pydantic) che costringe l'agente a dichiarare esplicitamente il proprio ruolo ad ogni turno.
• Questo approccio ha ridotto i tassi di echoing al 9% per alcuni modelli, ma non li ha azzerati, suggerendo che sono necessarie soluzioni architetturali più profonde.

4. Contributi Principali

1. Formalizzazione: Definizione dell'Echoing come un fallimento comportamentale specifico delle interazioni AxA, distinto dai fallimenti di singolo agente.
2. Studio Empirico su Larga Scala: Dimostrazione che l'echoing è un problema diffuso, persistente nei modelli di ragionamento avanzato e sensibile al dominio.
3. Analisi delle Metriche: Evidenza che i metrici di successo basati sul completamento del task (93% di successo) nascondono fallimenti critici di allineamento e identità.
4. Valutazione delle Mitigazioni: Dimostrazione che prompting e ragionamento sono insufficienti, mentre le soluzioni a livello di protocollo (strutture di risposta) offrono riduzioni parziali ma non definitive.

5. Significato e Implicazioni

Il paper conclude che l'affidabilità dei sistemi AxA non può essere dedotta dalle valutazioni di singolo agente.

• Sfida Fondamentale: L'echoing suggerisce una discrepanza fondamentale tra l'addestramento dei modelli (ottimizzati per l'interazione Uomo-Agente e l'assistenza) e il loro utilizzo in scenari AxA dove devono mantenere identità distinte e conflittuali.
• Necessità di Cambiamento: Sono necessari nuovi approcci per l'addestramento, la valutazione e la progettazione dei protocolli di comunicazione tra agenti. Le attuali tecniche di allineamento (RLHF) potrebbero essere una causa del problema (sovra-adattamento/accomodamento) quando applicate in contesti AxA.
• Sicurezza e Affidabilità: Anche in scenari non ostili, la perdita di identità può portare a risultati sub-ottimali per le parti coinvolte, rendendo l'echoing una sfida critica per il deployment reale di sistemi multi-agente autonomi.