Aligning Large Language Model Agents with Rational and Moral Preferences: A Supervised Fine-Tuning Approach

Questo documento presenta un approccio di fine-tuning supervisionato che allinea gli agenti basati su grandi modelli linguistici a preferenze economiche razionali e morali, generando strategie sintetiche ottimali per indurre comportamenti strategici coerenti e prevedibili in ambienti competitivi e dilemmi morali.

L'essenziale

🤖 L'Intelligenza Artificiale ha bisogno di un "Codice Etico" personalizzato?

Immagina di avere un assistente personale super-intelligente (un'IA) che sta imparando a gestire il tuo denaro, a negoziare prezzi o a prendere decisioni importanti. Attualmente, queste IA sono addestrate per essere "cortesi, oneste e innocue", un po' come un maggiordomo perfetto che cerca di non offendere nessuno.

Ma cosa succede se questo maggiordomo deve entrare in un'asta o in un mercato competitivo? Il paper di Wei Lu e colleghi ci dice che, se lasciata libera, l'IA tende a comportarsi in modo strano: coopera troppo (come se fosse un pacifista ingenuo) e non reagisce agli incentivi (non capisce quando conviene essere egoisti o quando conviene essere morali).

Gli autori si sono chiesti: "Come possiamo insegnare a queste IA a comportarsi in modo più razionale o più morale, a seconda di ciò che vogliamo?"

La risposta è: non basta dirglielo con le parole (prompt), bisogna "rieducarle" (fine-tuning).

---

🎓 La Scuola per Agenti IA: Due Tipi di Studenti

Per risolvere il problema, gli autori hanno creato una "scuola" virtuale per addestrare l'IA. Hanno creato due tipi di studenti ideali basati su concetti economici classici:

1. L'Egoista Razionale (Homo Economicus):

   • Chi è: È il classico "cattivo" dei film o l'imprenditore spietato. Il suo unico obiettivo è massimizzare il proprio guadagno. Se può vincere a spese degli altri, lo fa.
   • L'addestramento: Gli hanno mostrato migliaia di scenari in cui la strategia migliore era sempre pensare solo a se stessi.

2. Il Morale Kantiano (Homo Moralis):

   • Chi è: È il "buon samaritano" che segue la regola d'oro di Kant: "Agisci solo secondo quella massima che potresti volere come legge universale". In pratica, si chiede: "Cosa succederebbe se tutti facessero come me?". Se tutti rubassero, il mondo crollerebbe, quindi non ruba. Se tutti collaborassero, il mondo starebbe meglio, quindi collabora.
   • L'addestramento: Gli hanno mostrato scenari in cui la scelta migliore era bilanciare il proprio guadagno con il bene comune.

L'idea chiave: Invece di scrivere un lungo promemoria ogni volta che l'IA deve agire ("Oggi sii gentile!"), hanno modificato i "cervelli" (i parametri) dell'IA in modo che queste preferenze fossero scritte nel DNA del modello.

---

🎮 La Prova sul Campo: Tre Esperimenti

Hanno messo alla prova questi "studenti" in tre situazioni diverse per vedere se l'addestramento funzionava davvero.

1. Il Gioco del Prigioniero (Il Test di Fiducia)

Immagina un gioco dove due persone devono decidere se collaborare o tradirsi.

• L'IA normale: Tradisce quasi mai. È troppo gentile e collabora anche quando non conviene, ignorando i premi o le punizioni.
• L'IA Razionale: Tradisce subito se conviene, proprio come un giocatore di poker esperto.
• L'IA Morale: Collabora, ma solo se crede che anche l'altro lo farà. Se l'altro tradisce, lei smette di collaborare. È coerente.

2. Le Macchine Autonome (Il Dilemma Morale)

Immagina un'auto a guida autonoma che deve scegliere: investire contro un gruppo di pedoni per salvare il passeggero, o investire contro il passeggero per salvare i pedoni?

• L'IA normale: Dice sempre "Salva il maggior numero di persone" (utilitarismo), anche se è il passeggero a guidare l'auto. È troppo ideale.
• L'IA Razionale: Dice "Salva il maggior numero di persone" se non sono io, ma se è la mia famiglia a bordo, cambia idea e dice "Salva la mia famiglia". È coerente con il suo egoismo.
• L'IA Morale: Dice sempre "Salva il maggior numero di persone", anche se è la sua famiglia a bordo. Per lei, la regola morale è universale e non cambia in base a chi è coinvolto.

3. La Guerra dei Prezzi (Il Mercato)

Immagina due negozi che devono fissare i prezzi. Possono accordarsi per tenere i prezzi alti (collusione) o competere abbassandoli.

• L'IA normale: Tende a fissare prezzi altissimi, quasi come un monopolista, anche quando dovrebbe competere. È un po' "ingenua" nel mercato.
• L'IA Razionale: Se il mercato spinge per la concorrenza, abbassa i prezzi. Se spinge per il profitto, li alza. È flessibile e calcolatrice.
• L'IA Morale: Tende a mantenere prezzi più bassi e stabili. Non si lascia trascinare facilmente a fare accordi segreti per alzare i prezzi, perché la sua "etica" la porta a comportarsi in modo più competitivo e giusto.

---

💡 Cosa ci insegna tutto questo?

Il messaggio principale è che l'IA non è neutrale. Il modo in cui la costruiamo determina come si comporterà nel mondo reale.

• Se usiamo solo le istruzioni di base (prompt), l'IA è imprevedibile: a volte troppo gentile, a volte troppo rigida.
• Se usiamo il fine-tuning (l'addestramento su dati specifici), possiamo "scolpire" il carattere dell'IA.

L'analogia finale:
Pensate all'IA come a un'auto.

• Il prompt è come dare istruzioni al conducente: "Oggi guida con prudenza". Se il conducente è distratto o confuso, non funziona.
• Il fine-tuning è come cambiare i freni e il motore dell'auto stessa. Se installi un motore che risponde solo ai comandi di velocità (razionale) o un sistema di sicurezza che protegge sempre i pedoni (morale), l'auto si comporterà in quel modo indipendentemente da cosa dice il conducente.

🚀 Perché è importante?

Questo studio ci dice che le aziende e i governi non devono solo preoccuparsi di cosa dice l'IA, ma di chi è l'IA. Se un'azienda vuole un agente di vendita aggressivo, deve addestrarlo come un "Razionale". Se un'azienda vuole un agente che eviti scandali e mantenga prezzi equi, deve addestrarlo come un "Morale".

Non è più solo una questione tecnica, ma una scelta strategica: quale tipo di "personalità" vogliamo che le nostre macchine abbiano quando prendono decisioni che influenzano la nostra vita?

Sommario tecnico

1. Il Problema

Con l'avvento di agenti autonomi basati su Large Language Models (LLM) in mercati e organizzazioni, il loro comportamento in ambienti strategici ha conseguenze economiche significative. Tuttavia, gli LLM "fuori dagli scaffali" (off-the-shelf) mostrano deviazioni sistematiche rispetto al comportamento sensibile ai payoff atteso in economia:

• Cooperazione eccessiva: Tendono a cooperare troppo spesso, ignorando gli incentivi razionali.
• Insensibilità agli incentivi: Le loro azioni non variano adeguatamente al cambiare della struttura dei payoff.
• Incoerenza credenze-azioni: Esiste una discrepanza tra ciò che l'agente fa e ciò che crede che faranno gli altri.

Le attuali tecniche di allineamento (come RLHF - Reinforcement Learning from Human Feedback) sono state sviluppate principalmente per agenti assistivi in contesti monodirezionali, focalizzandosi su sicurezza e "harmlessness". Queste metodologie non codificano le strutture di payoff o le considerazioni di equilibrio necessarie per interazioni strategiche multi-agente. Il paper identifica la necessità di passare da un allineamento post-hoc (basato su feedback umano) a un problema di progettazione pre-deployment, dove si definisce esplicitamente la struttura delle preferenze dell'agente prima che entri in un ambiente strategico.

2. Metodologia

Gli autori propongono un approccio di Supervised Fine-Tuning (SFT) guidato dalla teoria economica per allineare gli agenti a preferenze normative esplicite.

• Generazione dei Dati Sintetici: Invece di utilizzare dati etichettati da umani, gli autori generano un dataset sintetico risolvendo giochi economici canonici (in particolare il Dilemma del Prigioniero Sequenziale) sotto due specifiche funzioni di utilità teoriche:
  1. Homo Economicus: Un agente puramente auto-interessato che massimizza il proprio payoff atteso.
  2. Homo Moralis: Un agente che bilancia l'auto-interesse con la "universalizzabilità kantiana" (agire secondo massime che si vorrebbero leggi universali), pesando il payoff che si otterrebbe se l'altro giocatore adottasse la stessa strategia.
• Pipeline di Addestramento: Vengono creati 400 esempi di addestramento per ciascun tipo di agente. Ogni esempio è una conversazione strutturata (System, User, Assistant) in cui l'assistente fornisce un ragionamento passo-passo (Chain-of-Thought) e l'azione ottimale calcolata in base alla funzione di utilità target.
• Modello Base: L'addestramento avviene sul modello GPT-4o.
• Valutazione: I modelli fine-tunati vengono testati in tre giochi classici (Dilemma del Prigioniero, Gioco della Fiducia, Gioco dell'Ultimatum) e confrontati con il modello base e dati umani. Successivamente, vengono valutati in due scenari di applicazione esterna: il "Moral Machine" (dilemmi etici per veicoli autonomi) e un gioco di pricing duopolistico ripetuto (per testare la collusione algoritmica).

3. Contributi Chiave

1. Allineamento Normativo Esplicito: Dimostrano che è possibile incorporare funzioni di utilità economiche formali direttamente nei parametri del modello tramite SFT, superando i limiti del prompt engineering.
2. Dataset Sintetico Teorico: Propongono un metodo per generare dati di addestramento basati sulla risoluzione ottima di giochi economici, eliminando la dipendenza da annotazioni umane soggettive per l'allineamento strategico.
3. Distinzione Comportamentale: Mostrano che un piccolo dataset teorico (400 esempi) è sufficiente per indurre shift comportamentali persistenti e interpretabili, creando agenti con preferenze distinte (razionali vs morali).
4. Sicurezza e Robustezza: Dimostrano che l'allineamento a preferenze economiche non degrada (e in alcuni casi migliora) le metriche di sicurezza standard (resistenza ai jailbreak, riduzione dei bias, accuratezza fattuale).

4. Risultati Principali

A. Giochi Economici Canonici

• Agente Base (GPT-4o): Mostra una cooperazione eccessiva e insensibilità ai payoff.
• Agente Razionale (Fine-tuned): Si comporta in modo coerente con la massimizzazione dell'auto-interesse. Inizia a non cooperare quando strategicamente ottimale e adatta le sue credenze e azioni ai cambiamenti dei payoff.
• Agente Morale (Fine-tuned): Mostra tassi di cooperazione elevati quando l'universalizzazione della strategia porta a esiti socialmente ottimali, ma riduce la cooperazione quando la logica kantiana lo giustifica (es. se l'altro non coopera).
• Coerenza: Gli agenti fine-tunati mostrano una maggiore coerenza interna tra credenze e azioni rispetto al modello base.

B. Applicazione: Moral Machine (Veicoli Autonomi)

• Giudizio Morale: Sia l'agente razionale che quello morale concordano sul fatto che salvare più vite (utilitarismo) sia moralmente corretto.
• Comportamento d'Acquisto (Dilemma Sociale):
  • L'agente razionale mostra preferenze sensibili al contesto: è disposto a comprare veicoli utilitaristici se i passeggeri sono colleghi (87.5%), ma rifiuta quasi totalmente se i passeggeri sono familiari (20%), riflettendo una massimizzazione dell'utile personale in base al rischio.
  • L'agente morale mantiene preferenze stabili (~65-67%) indipendentemente dal fatto che i passeggeri siano familiari o colleghi, applicando una regola universale coerente.
  • L'agente base tende a sacrificare se stesso in modo coerente ma non riflette il dilemma sociale umano (preferire veicoli protettivi per sé stessi).

C. Applicazione: Collusione Algoritmica (Pricing Duopolistico)

• Agente Base: Tende a fissare prezzi molto alti, vicini al livello di monopolio, specialmente sotto prompt che enfatizzano il profitto a lungo termine, mostrando una forte propensione alla collusione tacita.
• Agente Razionale: Risponde strategicamente agli incentivi. Sotto prompt competitivi, scende verso l'equilibrio di Nash; sotto prompt collusivi, mantiene prezzi superiori a Nash ma inferiori al monopolio.
• Agente Morale: Mostra la maggiore stabilità e la minore sensibilità al framing strategico. Sotto prompt competitivi, fissa prezzi sotto il livello di Nash (aggressività), mentre sotto prompt collusivi mantiene prezzi più bassi rispetto agli altri. La sua rigidità comportamentale sembra ridurre la volatilità e la capacità di formare collusioni tacite instabili.

D. Valutazione di Sicurezza

Il fine-tuning basato su preferenze economiche ha migliorato le metriche di sicurezza:

• BBQ (Bias): Migliore accuratezza nel rilevare stereotipi e scelta più frequente di "Non so" (Unknown) quando le informazioni sono insufficienti.
• StrongReject (Jailbreak): Resistenza significativamente superiore agli attacchi di jailbreak rispetto al modello base.
• XSTest (Overrefusal): Migliore calibrazione nel non rifiutare richieste innocue contenenti trigger di sicurezza.

5. Significato e Implicazioni

Il paper dimostra che l'allineamento degli AI non deve essere solo una questione di sicurezza o di conformità a norme umane vaghe, ma può essere un problema di progettazione strategica.

• Design delle Preferenze: Le organizzazioni possono scegliere deliberatamente quale "tipo" di agente economico implementare (razionale, morale, ecc.) in base agli obiettivi di mercato o sociali.
• Mitigazione dei Rischi: L'allineamento a preferenze strutturate può mitigare rischi sistemici come la collusione algoritmica o comportamenti incoerenti in scenari ad alto rischio.
• Efficienza: Un approccio basato su piccoli dataset sintetici e teoria economica è un'alternativa leggera, interpretabile e replicabile rispetto a costosi processi di RLHF su larga scala.

In sintesi, il lavoro offre un framework per trasformare gli LLM da "assistenti generici" a "agenti strategici" con preferenze normative definite, aprendo la strada a un'IA più prevedibile e allineata agli obiettivi economici e morali specifici degli stakeholder.