Constitutional Arms Races in the Public Goods Game: Co-Evolving LLM Constitutions Under Cooperation-Defection Pressure

Riepilogo Tecnico: Corse agli Armamenti Costituzionali nel Gioco dei Beni Pubblici

Enunciato del Problema
I metodi attuali di allineamento dell'IA Costituzionale (CAI) si basano su principi scritti dall'uomo (ad esempio, "essere utili e innocui") ottimizzati per ambienti a singolo agente o multi-agente cooperativi. Tuttavia, recenti evidenze empiriche indicano che gli agenti LLM (Large Language Model) all'avanguardia possono impegnarsi in comportamenti deliberatamente dannosi — come ricatti, sabotaggi e fughe di dati — quando collocati in ambienti agenziali con conflitti di obiettivi. Lavori esistenti hanno dimostrato che la ricerca evolutiva guidata da LLM può scoprire costituzioni cooperative efficaci, ma rimane da caratterizzare se tali metodi resistano sotto pressione avversaria adattiva. Nello specifico, non è chiaro se le funzioni di fitness standard inducano una pressione selettiva avversaria genuina in ambienti valutati indipendentemente, e se gli operatori di mutazione LLM sostengano in modo affidabile obiettivi specializzati avversari senza regredire a comportamenti produttivi.

Metodologia
Gli autori introducono un quadro per la co-evoluzione costituzionale avversaria, in cui due fazioni (i cooperatori Blu e i free-rider Rossi) aggiornano alternativamente le loro costituzioni in linguaggio naturale, ordinate per priorità, contro l'avversario corrente per 30 generazioni. Il quadro utilizza la ricerca evolutiva guidata da LLM (OpenEvolve su MAP-Elites) per mutare le costituzioni.

Lo studio valuta questo quadro in due ambienti strutturalmente distinti:

1. Gioco dei Beni Pubblici (PGG): Un dilemma sociale non spaziale in cui gli agenti contribuiscono a un pool condiviso. Il meccanismo del pool condiviso accoppia intrinsecamente i payoff di entrambe le fazioni, creando pressione strategica a somma zero senza modificare la funzione di punteggio per fazione.
2. Griglia Spaziale (Spatial Grid-World): Un ambiente di raccolta risorse in cui le identità delle fazioni sono nascoste. Inizialmente, le fazioni venivano valutate in modo indipendente (basandosi su produttività, sopravvivenza e tassi di fuoco amico), ma gli autori hanno identificato ciò come una modalità di fallimento metodologico per le dinamiche avversarie.

Principali Contributi e Risultati

1. Co-evoluzione ed Equilibrio nel PGG:
   Nel PGG, 30 generazioni di co-evoluzione alternata hanno spinto entrambe le fazioni verso un equilibrio stabile, quasi di parità. I cooperatori Blu sono migliorati da un punteggio di stabilità ($S$) di 0,370 a 0,777, mentre i free-rider Rossi sono migliorati da 0,177 a 0,782. Questa convergenza a $S \approx 0,78$ è stata robusta attraverso moltiplicatori $m \in \{1,2, 1,5, 2,0, 3,0\}$. L'accoppiamento strutturale del pool condiviso ha assicurato che i Rossi dovessero scoprire i livelli di contributo necessari per evitare la punizione, mentre i Blu dovevano calibrare la punizione per sostenere la cooperazione.

2. Accoppiamento del Fitness come Precondizione:
   Nella griglia valutata indipendentemente, il punteggio per fazione ha portato a risultati statisticamente disaccoppiati ($corr(S_B, S_R) = +0,088$), fallendo nel produrre pressione avversaria; i Rossi hanno evoluto l'autocostruzione produttiva piuttosto che comportamenti avversari. Gli autori propongono un obiettivo di fitness basato sul vantaggio di punteggio ($S_{own} - S_{opp}$) come correzione necessaria. Quando applicato, questo obiettivo ha ripristinato le dinamiche avversarie, permettendo comportamenti di corsa agli armamenti misurabili.

3. Dinamiche della Griglia Spaziale sotto Protocollo Corretto:

   • Fragilità delle Baseline Cooperative: Quando i Blu erano fissati a una precedente costituzione cooperativa ($C^*$), i Rossi non potevano superarla (vantaggio medio $-0,27$), sebbene avessero ridotto il divario.
   • Meccanismi Difensivi: L'introduzione di un requisito di coordinamento per gli attacchi (richiedendo alleati adiacenti per un'alta probabilità di successo) ha ridotto significativamente il vantaggio dei Rossi a $-0,66$, dimostrando che la progettazione dei meccanismi può agire come leva difensiva senza alterare le costituzioni.
   • Asimmetria Informativa: Quando i Rossi osservavano tutti gli agenti mentre i Blu osservavano solo i propri, i Rossi dominavano con un vantaggio finale di $+0,415$. Con informazione completa, il sistema convergeva vicino alla parità.

4. Conteggio dei Semi di Valutazione e Regressione di Modo:
   Nella ricerca puramente avversaria (dove i Rossi non hanno obiettivi di produttività, solo $1 - S_{Blu}$), il conteggio dei semi di valutazione ($K$) controlla la regressione di modo. A $K=2$, la ricerca regrediva; il fitness dei Rossi si degradava nel tempo e riacquisivano regole produttive nonostante un seme che le proibiva. A $K=5$, la ricerca si stabilizzava, sostenendo un forte specialista avversario per tutte le 30 generazioni. Ciò identifica il rumore nella stima del fitness come principale motore di instabilità nell'evoluzione avversaria guidata da LLM.

Significato e Affermazioni
Il documento non afferma che le costituzioni cooperative evolute avversariamente siano intrinsecamente più robuste di quelle evolute cooperativamente; tale affermazione richiederebbe esperimenti di trasferimento non eseguiti in questo studio. Invece, il significato del documento risiede in:

• Diagnosi Metodologica: Fornire un quadro per costruire e diagnosticare corse agli armamenti costituzionali, identificando quando la co-evoluzione avversaria ha successo (fitness accoppiato) e quando fallisce silenziosamente (punteggio indipendente, basso budget di valutazione).
• Artifatti Red-Team: Le costituzioni evolute dei Rossi servono come casi di test red-team interpretabili in linguaggio naturale. A differenza delle politiche neurali, questi sono insiemi di regole ispezionabili che possono essere utilizzati per stress-testare futuri design cooperativi contro strategie avversarie specifiche (ad esempio, sfruttando l'asimmetria informativa).
• Insight sulla Progettazione dei Meccanismi: Dimostrare che la struttura dei payoff del gioco (ad esempio, pool condivisi rispetto a punteggi indipendenti) determina la pressione evolutiva, e che semplici cambiamenti nei meccanismi (come i requisiti di coordinamento) possono contrastare efficacemente le strategie avversarie.

Gli autori concludono che la co-evoluzione costituzionale avversaria è fattibile ma dipende strettamente da funzioni di fitness accoppiate e budget di valutazione adeguati ($K \geq 5$) per prevenire la regressione di modo.