Payoff scaling shapes cooperation in LLM agents across languages

Sintesi Tecnica: La scala dei payoff modella la cooperazione tra agenti LLM attraverso le lingue

1. Definizione del problema

Man mano che i Large Language Models (LLM) vengono sempre più impiegati come agenti autonomi in compiti di negoziazione e coordinamento, la comprensione del loro comportamento strategico in contesti multi-agente è diventata una questione critica per la governance dell'IA. Sebbene studi empirici abbiano esaminato la cooperazione degli LLM attraverso lenti teoriche dei giochi, la maggior parte delle valutazioni esistenti si concentra su esiti aggregati (ad esempio, tassi di cooperazione) piuttosto che sulle intenzioni comportamentali o sulle strategie sottostanti che guidano tali azioni. Inoltre, manca un confronto sistematico tra il comportamento degli LLM e i benchmark teorici sotto condizioni controllate che varino sia l'entità dell'incentivo (payoff stakes) che la formulazione linguistica.

Questo lavoro affronta tre questioni fondamentali:

1. Gli agenti LLM alterano sistematicamente il loro comportamento cooperativo al variare dei payoff in gioco, e come differisce questo tra i modelli e le lingue?
2. Le intenzioni comportamentali degli LLM possono essere classificate in modo affidabile utilizzando l'apprendimento supervisionato, e quali bias sistematici emergono?
3. Come si confrontano le distribuzioni strategiche derivate dagli LLM con i baseline della Teoria dei Giochi Evolutivi (EGT) sotto condizioni di payoff e rumore corrispondenti, e questi pattern si generalizzano a modelli più piccoli a pesi aperti (open-weight)?

2. Metodologia

Lo studio utilizza FAIRGAME (Framework for AI Agents Bias Recognition using Game Theory) come infrastruttura computazionale per condurre esperimenti controllati.

• Design Sperimentale: Gli autori utilizzano un Dilemma del Prigioniero (PD) ripetuto con un orizzonte finito di $N=10$ round (esteso a $N=30$ per i modelli open-weight). La manipolazione principale è la scala dei payoff (payoff scaling): un parametro scalare $\lambda \in \{0.1, 1.0, 10.0\}$ (e fino a 1000 per i modelli piccoli) moltiplica tutti i valori di penalità preservando la struttura strategica del gioco. Ciò isola l'effetto dell'entità della posta in gioco senza cambiare l'equilibrio di Nash del gioco.
• Variabili: Gli esperimenti coprono cinque lingue (inglese, francese, arabo, cinese mandarino, vietnamita), tre modelli proprietari di frontiera (GPT-4o, Claude 3.5 Haiku, Mistral Large) e tre modelli piccoli a pesi aperti (Qwen3 8B, Gemma-3 12B, Llama-3.1 8B). Le coppie di agenti includono tratti di personalità cooperativi (C) e egoisti (S).
• Pipeline di Riconoscimento delle Intenzioni: Per andare oltre il semplice conteggio delle azioni, gli autori addestrano classificatori supervisionati per inferire strategie canoniche dalle sequenze di azioni.
  • Dati di Addestramento: 10.000 traiettorie sintetiche generate per quattro strategie canoniche: Sempre Cooperare (ALLC), Sempre Tradire (ALLD), Tit-for-Tat (TFT) e Win-Stay–Lose-Shift (WSLS), con rumore di esecuzione iniettato.
  • Selezione del Modello: Un classificatore basato su LSTM è stato selezionato come il migliore (F1 = 0.984) grazie alla sua capacità di catturare le dipendenze sequenziali nella cronologia delle azioni, superando Logistic Regression, Random Forests e Hidden Markov Models.
  • Inferenza: Il classificatore LSTM addestrato classifica le traiettorie generate dagli LLM. Le predizioni ad alta confidenza ($p \geq 0.9$) sono utilizzate per determinare le distribuzioni strategiche.
• Baseline Teorica: Un modello analitico di Teoria dei Giochi Evolutivi (EGT) viene derivato per prevedere la distribuzione stazionaria delle strategie sotto le stesse strutture di payoff e livelli di rumore. Questo funge da benchmark "cieco rispetto alla lingua" per contrastare con il comportamento degli LLM.

3. Risultati Chiave

A. Sensibilità ai Payoff e Spostamenti Strategici
Contrariamente all'intuizione standard della teoria dei giochi, dove posta in gioco più alta potrebbe incoraggiare un tradimento avverso al rischio o, viceversa, dove posta bassa incoraggia l'esplorazione, gli LLM mostrano un distinto pattern di cooperazione all'aumentare della posta (cooperation-as-stakes-rise).

• All'aumentare di $\lambda$ da 0.1 a 10, la prevalenza del tradimento incondizionato (ALLD) diminuisce drasticamente, mentre la cooperazione condizionata (WSLS) e la cooperazione incondizionata (ALLC) aumentano.
• Questa tendenza è specifica per modello: Claude 3.5 Haiku mostra una rapida ascesa verso la cooperazione; GPT-4o passa da un baseline di alto tradimento a un profilo bilanciato; Mistral Large rimane relativamente insensibile ai cambiamenti di posta.
• Nella replica con modelli open-weight, questo effetto direzionale persiste ma è non monotono a poste estreme ($\lambda > 100$), dove alcuni modelli (ad esempio, Qwen3) mostrano una risposta a forma di U, con la cooperazione che cala alle poste più alte.

B. Priming Linguistico
La formulazione linguistica modella significativamente gli archetipi strategici, un effetto che gli autori definiscono priming linguistico-culturale.

• Incondizionato vs. Condizionato: I prompt in arabo e cinese elicitano un forte bias verso strategie incondizionate (ALLC + ALLD $\approx$ 60%). Al contrario, i prompt in inglese, francese e vietnamita producono distribuzioni più bilanciate con quote maggiori di reciprocità adattiva (TFT + WSLS).
• Interazione con la Posta in Gioco: Francese e vietnamita mostrano la maggiore sensibilità all'entità della posta, spostandosi drasticamente verso la cooperazione al crescere della stessa. L'arabo mostra la risposta più attenuata. Ad alte poste, l'inglese e il francese convergono verso profili strategici simili, suggerendo che incentivi forti possono normalizzare la variazione cross-linguistica.

C. Divergenza dalla Teoria dei Giochi Evolutivi (EGT)
Un risultato critico è il disaccordo sistematico tra il comportamento degli LLM e le previsioni EGT.

• Predizione EGT: Sotto posta alta, il baseline EGT prevede un "muro di Sempre Tradire" (ALLD), poiché la tentazione di tradire diventa evolutivamente dominante.
• Osservazione LLM: Gli LLM si muovono nella direzione opposta. Al crescere della posta, gli LLM diventano più cooperativi, con la prevalenza di ALLD che scende da circa il 39% a basse poste a circa il 18% ad alte poste.
• Interpretazione: Gli autori sostengono che questa divergenza sia una firma dell'allineamento (alignment training) (ad esempio, RLHF, Constitutional AI) e dell'assorbimento di pattern comportamentali umani dai dati di addestramento, dove gli esseri umani tendono a intensificare la cooperazione all'aumentare del costo dell'errore. Il baseline EGT, essendo cieco rispetto alla lingua e puramente guidato dal payoff, non riesce a catturare questi pattern di ragionamento "simili agli umani" e i priori culturali.

D. Generalizzazione ai Modelli Piccoli
La replica con modelli piccoli a pesi aperti conferma che questi effetti non sono unici per i modelli di frontiera proprietari. Sebbene le strategie specifiche varino (ad esempio, Gemma-3 agisce come un "generalista strategico", mentre Llama-3.1 diventa un giocatore Tit-for-Tat impegnato a poste moderate), la sensibilità generale alla scala dei payoff e al framing linguistico persiste.

4. Contributi

Il documento presenta quattro contributi primari:

1. Protocollo di Scala dei Payoff: Introduzione di un protocollo di Dilemma del Prigioniero a orizzonte finito e scala dei payoff per isolare sistematicamente la sensibilità degli LLM all'entità dell'incentivo.
2. Riconoscimento delle Intenzioni Supervisionato: Sviluppo e applicazione di una pipeline ibrida (rule-based + LSTM) per inferire strategie canoniche dalle traiettorie degli LLM, andando oltre i tassi di cooperazione aggregati.
3. Benchmarking EGT: Stabilimento di un baseline analitico EGT sotto condizioni corrispondenti, fornendo un riferimento normativo per diagnosticare i bias specifici degli LLM e le deviazioni dall'equilibrio razionale.
4. Replica Open-Weight: Dimostrazione che gli effetti di incentivo e linguaggio si generalizzano attraverso dimensioni e architetture di modelli, inclusi modelli più piccoli e localmente implementabili.

5. Significato e Rivendicazioni

Gli autori posizionano questo lavoro come uno strumento diagnostico per la governance dell'IA. La significatività risiede nell'identificare il design dei payoff e il framing linguistico come leve potenti e poco esplorate per guidare il comportamento degli LLM nei sistemi multi-agente.

Il paper afferma che:

• Gli LLM non sono agenti statici; modulano gli impegni strategici in base alla salienza dell'incentivo.
• Il contesto linguistico introduce bias sistematici che rivaleggiano con l'impatto dell'architettura del modello.
• La divergenza tra il comportamento degli LLM e le predizioni EGT non è un errore ma una caratteristica dell'allineamento, che riflette pattern di ragionamento simili a quelli umani che danno priorità alla cooperazione sotto alte poste.
• Queste scoperte hanno implicazioni dirette per la valutazione e la governance dei sistemi di IA impiegati in ambienti multilingue ad alta posta in gioco, suggerendo che l'"allineamento" può manifestarsi come una deviazione dalla razionalità classica della teoria dei giochi.

Lo studio rimane modesto nelle sue rivendicazioni riguardo l'equivalenza comportamentale con gli umani, notando che, sebbene i pattern riecheggino i risultati sperimentali umani, l'assenza di baseline umane dirette in questo specifico setup preclude affermazioni di equivalenza. Inveve, l'attenzione è rivolta all'uso della classificazione delle intenzioni per rivelare i bias strutturali inerenti l'attuale comportamento strategico degli LLM.