Riepilogo Tecnico: Cosa Sopprime la Giocata all'Equilibrio di Nash nei Modelli Linguistici di Grande Dimensione?

Enunciato del Problema

Gli studi empirici hanno stabilito che gli agenti basati su Modelli Linguistici di Grande Dimensione (LLM) si discostano sistematicamente dagli equilibri di Nash nelle interazioni strategiche, esibendo spesso bias comportamentali simili a quelli umani, come una cooperazione eccessiva negli scenari del Dilemma del Prigioniero. Sebbene il fenomeno comportamentale sia documentato, le ragioni meccaniche di queste deviazioni rimangono sconosciute. Nello specifico, non è chiaro se gli LLM manchino della competenza strategica per calcolare gli equilibri di Nash o se li calcolino ma sopprimano l'output a causa di bias interni. Questo articolo colma il divario investigando le rappresentazioni interne degli LLM durante il processo decisionale strategico e determinando se tali deviazioni siano causalmente reversibili.

Metodologia

Lo studio impiega una combinazione di esperimenti comportamentali e tecniche di interpretabilità meccanica su quattro modelli open-source addestrati con istruzioni (Llama-3-8B, Llama-3-70B, Qwen2.5-32B e Qwen2.5-72B).

Esperimenti Comportamentali:

• Giochi: Sono stati utilizzati quattro giochi canonici a due giocatori: Dilemma del Prigioniero (PD), Battaglia dei Sessi (BoS), Caccia al Cervo (SH) e Testa o Croce (MP).
• Protocolli: Gli esperimenti includevano il gioco contro se stessi (modello contro copia) e il gioco incrociato (accoppiamenti eterogenei di tutte le 12 combinazioni ordinate).
• Modalità di Ragionamento: Sono state testate tre condizioni di prompt: Diretta (azione sola), Catena di Pensiero (CoT, ragionamento visibile) e Scratchpad (ragionamento privato).
• Metrica: La "distanza di Nash" ($d_{Nash}$) è stata calcolata come la distanza euclidea tra la strategia mista empirica e l'equilibrio di Nash più vicino su 50 round.

Analisi Meccanica (Llama-3-8B):

• Sondaggio Lineare: Classificatori logistici sono stati addestrati sugli stati nascosti ($h_l$) di ciascuno dei 32 livelli per decodificare la storia dell'avversario, la tendenza alla cooperazione e l'azione di Nash.
• Lente dei Logit: La matrice di embedding di output è stata applicata agli stati nascosti intermedi per tracciare la previsione del token in evoluzione del modello durante il passaggio in avanti.
• Ablazione delle Teste: Le teste di attenzione con punteggio più alto per il tracciamento dell'avversario sono state azzerate (zero-ablated) per testare circuiti localizzati.
• Sterzo delle Attivazioni: Un vettore "direzione di Nash" è stato estratto dal flusso residuo utilizzando prompt contrastivi (storie cooperative vs. storie di defezione) e iniettato nel modello per osservare cambiamenti causali nel comportamento.
• Blocco del Concetto: La componente cooperativa dello stato nascosto è stata sostituita con uno scalare fisso per verificare la necessità causale della direzione identificata.

Contributi e Risultati Chiave

1. Risultati Meccanici: Codifica e Soppressione

La scoperta meccanica fondamentale è che gli LLM possiedono la competenza per calcolare strategie di Nash ma le sopprimono attivamente negli strati finali.

• Codifica della Storia dell'Avversario: Le informazioni riguardanti l'ultima mossa dell'avversario sono codificate con fedeltà quasi perfetta (96% di accuratezza del sondaggio) nel primo strato (Livello 0) e vengono progressivamente consumate dagli strati successivi.
• Debole Codifica di Nash: Non esiste un "modulo Nash" dedicato. L'accuratezza del sondaggio lineare per l'azione di Nash rimane debole in tutta la rete, non superando mai il 56%.
• Il Circuito di Soppressione: Utilizzando la Lente dei Logit, gli autori hanno osservato che per il primo ~75% della rete (Livelli 0–23), le previsioni interne del modello favoriscono l'azione di Nash (ad esempio, Defezione nel PD). Tuttavia, nell'ultimo quarto (Livelli 24–30), emerge un "override prosociale", spostando la probabilità verso la cooperazione (raggiungendo un picco di probabilità di cooperazione dell'84% al Livello 30). L'ultimo strato (31) corregge parzialmente questo fenomeno ma spesso si impegna nell'azione non-Nash.
• Natura Distribuita: L'ablazione di specifiche teste di attenzione responsabili del tracciamento degli avversari ha avuto zero effetto sulla distribuzione delle azioni ($\Delta P(Nash) = 0.000$). L'override cooperativo è un effetto distribuito all'interno del flusso residuo, non localizzato in teste specifiche.

2. Controllo Causale tramite Sterzo

Lo studio dimostra che il comportamento strategico può essere causalmente controllato manipolando il flusso residuo.

• Estrazione della Direzione di Nash: Una direzione lineare che rappresenta il bias cooperativo è stata estratta dal Livello 2.
• Sterzo Bidirezionale: L'iniezione di questo vettore ha permesso un controllo monotono sul comportamento.
  • Sterzo Negativo: Riducendo la direzione cooperativa ($\alpha = -5$), la probabilità dell'azione di Nash (Defezione) è aumentata al 99,2%.
  • Sterzo Positivo: Aumentando la direzione ($\alpha = +10$), la cooperazione è stata spinta all'88,7%.
• Blocco del Concetto: Sostituendo la componente cooperativa con uno scalare fisso è stata confermata una forte correlazione ($r=0.73$) tra il valore scalare e la probabilità di cooperazione, dimostrando che la direzione è causale e non una caratteristica spuria.

3. Fenomeni Comportamentali e di Gioco Incrociato

• Scala e Ragionamento: Il ragionamento a Catena di Pensiero (CoT) peggiora la giocata di Nash nei modelli piccoli (ad esempio, Llama-8B, Qwen-32B) amplificando il prior cooperativo. Tuttavia, nei modelli grandi (>70B parametri), il CoT consente una giocata di Nash quasi perfetta, suggerendo una capacità dipendente dalla scala di ragionare oltre il bias.
• Blocco Cooperativo Universale: In modalità Diretta, tutti i modelli ricadono al 100% nella cooperazione nel PD, indipendentemente dalla dimensione.
• Dinamiche di Gioco Incrociato:
  • Contagio della Defezione: Un modello piccolo (Llama-8B) può "svelare" la cooperazione di qualsiasi partner grande defezionando precocemente, inducendo il partner a defezionare e raggiungendo l'equilibrio di Nash.
  • Rinforzo Cooperativo: Due modelli grandi accoppiati tra loro rinforzano a vicenda i loro istinti cooperativi indefinitamente, non riuscendo a raggiungere l'equilibrio di Nash (mutua defezione) anche quando individualmente capaci di ragionare verso di esso.
  • Asimmetria dei Ruoli: Nei giochi di coordinamento (BoS), l'agente assegnato come "Agente A" (che muove per primo) determina a quale equilibrio il sistema converge.

Significato e Affermazioni

L'articolo sostiene che il focus del campo sul perché gli LLM falliscono nel giocare a Nash è fuorviante. La scoperta centrale è che gli LLM non mancano di competenza nel giocare a Nash; la calcolano e poi la sopprimono.

• Diagnosi: La deviazione non è una mancanza di capacità di ragionamento strategico, ma il risultato di un "override prosociale" radicato nel pre-addestramento su testi umani e modulato dall'RLHF. Questo override è concentrato negli strati finali della rete.
• Intervento: Poiché la soppressione è un meccanismo causale all'interno del flusso residuo, può essere invertita al momento dell'inferenza senza riaddestramento. Un piccolo intervento (sterzo) negli strati iniziali può spostare il modello da una cooperazione quasi perfetta a una giocata di Nash quasi perfetta.
• Implicazioni per il Deploy: I risultati evidenziano che la composizione della popolazione e l'assegnazione dei ruoli degli agenti sono critici. Un singolo agente piccolo e defezionante può destabilizzare un gruppo cooperativo di modelli grandi, mentre due modelli grandi possono rimanere intrappolati in un blocco cooperativo subottimale per la struttura del gioco.

Gli autori concludono che comprendere il circuito di soppressione e la sua variazione attraverso scala e architettura è più produttivo del semplice osservare le deviazioni comportamentali. Lo studio fornisce una spiegazione causale del fallimento strategico negli LLM e dimostra un metodo per correggerlo.