Riepilogo Tecnico: AMEL (Effetti dei Messaggi Accumulati sui Giudizi degli LLM)

Enunciato del Problema

I modelli linguistici di grandi dimensioni (LLM) sono sempre più impiegati come giudici automatizzati per compiti quali la revisione del codice, la moderazione dei contenuti e la valutazione. Negli ambienti di produzione, l'efficienza impone spesso che più elementi vengano valutati all'interno di una singola sessione di conversazione, creando una cronologia di giudizi precedenti. Questo studio indaga se la polarità di tale cronologia di conversazione precedente influenzi i giudizi successivi. Gli autori definiscono questo fenomeno come l'Effetto dei Messaggi Accumulati sui Giudizi degli LLM (AMEL).

Lo studio distingue l'AMEL da concetti correlati:

• Adulazione (Sycophancy): A differenza dell'adulazione, dove i modelli concordano con le opinioni dell'utente, l'AMEL si verifica quando un modello si conforma al proprio precedente schema di risposte senza un'opinione esterna dell'utente.
• Pregiudizio dell'Etichetta di Maggioranza: A differenza del pregiudizio nella classificazione few-shot, dove esempi formattati distorcono le previsioni, l'AMEL nasce da scambi completi di domande e risposte su argomenti vari.
• Ancoraggio: A differenza dell'ancoraggio, non esiste un punto di riferimento numerico esplicito; il pregiudizio emerge dal tono aggregato della conversazione.

Metodologia

Lo studio adotta un disegno sperimentale tra soggetti che coinvolge 75.898 chiamate API su 11 modelli di quattro fornitori (OpenAI, Anthropic, Google e modelli open-source locali).

Disegno Sperimentale

• Condizioni: Gli stessi elementi di test sono stati presentati in quattro condizioni:
  1. Baseline: L'elemento segue solo il prompt di sistema (nessuna cronologia).
  2. No-Saturated: L'elemento segue $N$ turni precedenti in cui il 90% delle valutazioni era "no" (negativo).
  3. Yes-Saturated: L'elemento segue $N$ turni precedenti in cui il 90% delle valutazioni era "sì" (positivo).
  4. Neutrale: L'elemento segue $N$ turni precedenti con una ripartizione 50/50.
• Lunghezza del Contesto ($N$): Variata tra $\{5, 10, 20, 50\}$ turni per testare l'accumulo.
• Dominii: Sono stati testati tre domini di valutazione binaria:
  1. Revisione del Codice: "Questo codice è pronto per la produzione?"
  2. Moderazione dei Contenuti: "Questo commento è appropriato?"
  3. Valutazione Nutrizionale: "Questa è una scelta salutare?"
• Elementi di Test: Ogni dominio includeva 21 elementi classificati come Chiaramente Positivi, Ambigui e Chiaramente Negativi.
• Punteggio di Pregiudizio (BS): Definito come $P(r^*|\text{trattamento}) - P(r^*|\text{baseline})$, dove $r^*$ è la risposta target per la condizione di polarità. Un punteggio negativo indica uno spostamento verso "no" (il pregiudizio negativo dominante osservato).

Modelli Testati

Lo studio ha coperto una gamma di scale e architetture, inclusi GPT-4.1 Nano, GPT-5.2, Claude Haiku/Sonnet/Opus, Gemini 2.5 Flash/Pro e modelli locali (Llama 3.2, Qwen3/3.5). Tutti i modelli API hanno utilizzato una temperatura di $T=1.0$.

Risultati Chiave

1. Esistenza e Magnitudine dell'AMEL

In tutti i 11 modelli, la cronologia della conversazione sposta significativamente le risposte verso la polarità prevalente della cronologia, con una dimensione dell'effetto complessiva di $d = -0.17$ ($p < 10^{-46}$). Ciò indica una deriva sistematica verso "no" indipendentemente dal fatto che la cronologia fosse prevalentemente positiva, negativa o neutrale. Nove dei undici modelli hanno mostrato un pregiudizio significativo dopo la correzione di Bonferroni.

2. Suscettibilità e Incertezza

L'effetto non è uniforme; è concentrato sugli elementi in cui il modello è genuinamente incerto alla baseline.

• Elementi ad Alta Entropia: Gli elementi in cui la probabilità di base del modello $P(\text{sì})$ è non deterministica assorbono circa 2 volte più pregiudizio ($d = -0.34$) rispetto agli elementi in cui la baseline è deterministica ($d = -0.15$).
• Implicazione Pratica: Gli elementi più vulnerabili all'AMEL sono i casi limite in cui una valutazione imparziale è più critica.

3. Asimmetria Negativa

Le cronologie negative inducono un pregiudizio significativamente più forte rispetto alle cronologie positive.

• Magnitudine: I contesti negativi producono uno spostamento per elemento 1,62 volte più forte rispetto ai contesti positivi ($t = 13.46, p < 10^{-39}$).
• Cronologia Neutrale: Anche una cronologia equilibrata (50/50) produce uno spostamento negativo, suggerendo che la mera presenza di un contesto valutativo innesca una modalità più critica indipendente dalla polarità del contenuto.

4. Saturazione e Lunghezza del Contesto

Il pregiudizio non cresce linearmente con la lunghezza del contesto.

• Saturazione Immediata: Cinque turni di cronologia distorta producono lo stesso spostamento di cinquanta turni ($Spearman |r| < 0.01, p > 0.94$).
• Meccanismo: Il modello rileva rapidamente lo schema prevalente e raggiunge un equilibrio; esempi aggiuntivi non rafforzano il pregiudizio.

5. Scalabilità dei Modelli e Varianza

• Scalabilità: I modelli più grandi all'interno delle famiglie dei fornitori mostrano generalmente meno pregiudizio (ad esempio, Anthropic Haiku $d=-0.22$ contro Opus $d=-0.17$), ma nessuno è immune.
• Eccezioni:
  • Gemini: La tendenza si è invertita per i modelli Google, con Gemini 2.5 Pro che mostra più pregiudizio rispetto a Flash, potenzialmente a causa dei token "pensanti" che amplificano il riconoscimento di schemi.
  • Qwen: Qwen3 4B ha esibito un pregiudizio significativamente contrariano (spostandosi lontano dalla cronologia), probabilmente dovuto al tuning delle istruzioni che penalizza la ripetizione.

6. Meccanismi e Caratterizzazione

Tre esperimenti di follow-up hanno ristretto i meccanismi plausibili:

• Spostamento Continuo: L'analisi dei logprobs ha confermato che l'AMEL è uno spostamento continuo nella distribuzione di probabilità dei token, non un artefatto di soglia.
• Fonti a Livello di Token vs Semantico: L'asimmetria negativa ha componenti sia a livello di token che semantico. In GPT-4.1 Nano, il token "no" stesso appare appiccicoso; in Llama 3.2 3B, il concetto di "rifiuto" (semantico) guida l'asimmetria.
• Indipendenza dalla Posizione: La posizione dei turni distorti all'interno di una cronologia di 50 turni (inizio, fine o distribuiti) non importa; qualsiasi cinque turni distorti sono sufficienti a produrre l'effetto completo.

Significato e Raccomandazioni

Il documento sostiene che l'AMEL rappresenta una vulnerabilità fondamentale nelle pipeline di valutazione degli LLM multi-turno. Gli autori concludono che la scalabilità da sola non risolve il problema, poiché anche i modelli all'avanguardia rimangono suscettibili.

Raccomandazioni Pratiche:

1. Contesti Freschi: La mitigazione primaria è valutare ogni elemento in una conversazione nuova senza cronologia precedente, eliminando completamente il canale di pregiudizio.
2. Batching Bilanciato: Se il raggruppamento è inevitabile, gli elementi dovrebbero essere casualizzati e bilanciati (intercalando risultati "sì" e "no" attesi) per prevenire una deriva di polarità di auto-rafforzamento.
3. Proteggere gli Elementi Incerti: Dare priorità ai contesti freschi per gli elementi in cui l'incertezza di base del modello è alta.
4. Correzione in Esecuzione: Per i sistemi in cui i contesti freschi non sono fattibili, è possibile utilizzare rilevatori di pregiudizio nella cronologia delle risposte (ad esempio, punteggio B) o correzioni basate sui logprobs per rilevare e correggere parzialmente la deriva.

Lo studio sottolinea che, sebbene la dimensione dell'effetto sia moderata nel complesso, la sua concentrazione sugli elementi ambigui pone un rischio significativo per l'affidabilità della valutazione automatizzata in domini ad alto rischio.