Symbolic Reasoning Frameworks Modulate LLM Risk Aversion in Multi-Agent Strategic Settings

Sintesi Tecnica: I framework di ragionamento simbolico modulano l'avversione al rischio dei LLM in contesti strategici multi-agente

Definizione del Problema
I Large Language Models (LLM) impiegati come agenti strategici esibiscono tendenze comportamentali innate, specificamente un bias di avversione al rischio di tipo "tartaruga" verso un gioco difensivo. Sebbene la letteratura precedente dimostri che il prompting di una persona possa spostare il comportamento di un singolo agente, rimane poco chiaro se la modulazione del framework di ragionamento di un singolo agente in un sistema multi-agente produca cambiamenti consequenziali a livello di sistema degli esiti dell'ecosistema. Nello specifico, la scelta di un framework di ragionamento simbolico per un singolo agente altera le distribuzioni di vittoria degli altri agenti, e tale modulazione è guidata dal contenuto semantico del framework o dal processo interpretativo che esso necessita?

Metodologia
Lo studio utilizza una variante a 7 giocatori del gioco Diplomacy ambientata nel periodo dei Regni Combattenti della Cina (475–221 a.C.) su una mappa di 46 territori.

• Agenti: Sette agenti indipendenti (uno per ogni stato) sono alimentati da Claude Opus 4.6, ciascuno radicato in una specifica persona storica/filosofica (ad esempio, il Legismo per Qin, il Confucianesimo per Yan).
• Intervento: Un agente, che rappresenta lo stato di Han (il più piccolo e debole), è sottoposto a quattro condizioni distinte attraverso 41 partite (accumulo di memoria della singola campagna):
  1. Controllo: Un prompt di riflessione generico di lunghezza equivalente.
  2. Yarrow (I-Ching): Prompt per round contenenti numeri di esagrammi e commenti astratti, che richiedono all'agente di interpretare l'oracolo in un contesto strategico.
  3. Tarot (Tarocchi): Prompt per round contenenti stese di tre carte con interpretazioni situazionali.
  4. Scrambled (Rimescolato): Una condizione di ablazione in cui il testo dell'I-Ching viene rimescolato per distruggere la coerenza semantica pur preservando la struttura del prompt e l'ordine di interpretazione.
• Misurazione: Lo studio traccia i profili comportamentali (tassi di difesa, supporto cooperativo, lunghezza del ragionamento) e le distribuzioni di vittoria dell'ecosistema. La significatività statistica è valutata tramite test esatti di Fisher per le distribuzioni dei vincitori e test di Kruskal-Wallis/Mann-Whitney U per i tassi comportamentali.

Contributi Chiave e Risultati

1. Firme dell'Ecosistema Specifiche per il Framework: La scelta del framework di ragionamento per un singolo agente (Han) produce distribuzioni di vincitori statisticamente significative per l'intero ecosistema, nonostante Han non vinca mai una partita di per sé.
   • Controllo: Yan domina (7/11 vittorie, 64%).
   • Yarrow: Yan e Chu co-dominano; Qin (il più forte espansionista) è completamente soppresso (0/10 vittorie).
   • Tarot: Qin domina (5/10 vittorie; Fisher $p=0.006$ rispetto al pool).
   • Scrambled: Qi domina (5/10 vittorie; Fisher $p=0.006$ rispetto al pool).
2. Modulazione Guidata dal Processo, non dal Contenuto: La modulazione comportamentale non è il risultato del seguire il contenuto semantico dell'oracolo.
   • I temi degli esagrammi e le posture delle carte dei Tarocchi non mostrano alcuna associazione statistica con le scelte di azione successive dell'agente ($\chi^2$ $p=0.95$ e $p=0.69$, rispettivamente).
   • Tuttavia, l'agente fa riferimento al testo dell'oracolo nell'83% dei suoi ragionamenti.
   • L'ablazione Scrambled è critica: distruggere la coerenza semantica pur preservando la struttura produce una firma dell'ecosistema unica (dominanza di Qi) distinta sia dal controllo che dalle condizioni coerenti di Yarrow. Ciò esclude sia il semplice seguire il contenuto che gli effetti della struttura del prompt come spiegazioni sufficienti.
3. Meccanismi di Propagazione: Il paper identifica che il framework altera il processo interpretativo, che a sua volta modula l'avversione al rischio e la cooperazione, propagandosi attraverso il sistema:
   • Yarrow: Induce una "disruzione interpretativa", portando a un aumento della cooperazione nel late-game (tasso di supporto del 17,1%), creando attrito che sopprime stati espansionisti come Qin.
   • Tarot: Induce un'"amplificazione tonale cumulativa" delle posture difensive, risultando in un'estrema avversione al rischio (tasso di difesa del 78,3%) e zero cooperazione, creando un vuoto sfruttato da Qin.
   • Scrambled: Causa un "fallimento del parsing", portando a un ragionamento autoreferenziale e a un supporto reattivo di sé, creando un attrito localizzato che avvantaggia lo stato distante di Qi.
4. Lunghezza del Ragionamento vs. Qualità Strategica: Esiste un gradiente chiaro nella lunghezza del ragionamento (Controllo < Yarrow $\approx$ Tarot < Scrambled), ma l'aumento della deliberazione non correla con migliori esiti strategici per Han. Infatti, l'espansione indotta dai Tarocchi (maggiore territorio di picco) porta all'eliminazione coalizionale senza migliorare i tassi di sopravvivenza.

Significatività e Rivendicazioni
Il paper presenta questi risultati come un'osservazione che stabilisce che la scelta del framework di allineamento a livello di agente produce conseguenze distintive a livello di sistema.

• Impatto a Livello di Sistema: Il più debole agente in un sistema può rimodellare l'intera distribuzione degli esiti dell'ecosistema attraverso la scelta del proprio scaffold di ragionamento, anche se tale agente non raggiunge mai la vittoria in sé.
• Limiti della Valutazione Centrata sull'Agente: Valutare le interazioni di allineamento esclusivamente in base agli esiti dell'agente allineato è insufficiente; gli "effetti sull'ecosistema" dell'intervento devono essere misurati.
• Processo sopra il Contenuto: Il contenuto specifico di un framework di ragionamento conta meno del processo cognitivo che esso necessita (ad esempio, l'atto di interpretare metafore astratte). Diversi framework agiscono come perturbatori affidabili che spostano le modalità comportamentali senza necessariamente migliorare la qualità del processo decisionale.

Gli autori concludono che, sebbene lo stato più piccolo non possa vincere consultando l'oracolo, l'oracolo cambia il mondo in modi specifici per ogni framework, suggerendo che la selezione degli scaffold di ragionamento è una decisione di design a livello di sistema piuttosto che una configurazione locale dell'agente.