Riassunto Tecnico: ToMAP – Addestramento di Persuasori LLM Consapevoli dell'Avversario tramite la Teoria della Mente

1. Definizione del Problema

Sebbene i Large Language Models (LLM) abbiano dimostrato un potenziale nei compiti di persuasione, gli attuali persuasori basati su LLM affrontano limitazioni significative nel modellare la natura interattiva e dinamica del dibattito umano. I persuasori umani costruiscono naturalmente un "grafo cognitivo" di proposizioni correlate, anticipando proattivamente le obiezioni di un avversario e adattando gli argomenti allo stato mentale dell'avversario — una capacità nota come Teoria della Mente (ToM).

Al contrario, gli attuali persuasori LLM spesso:

• Mancano di Consapevolezza dell'Avversario: Si concentrano in modo ristretto sulla tesi centrale, ignorando la struttura interconnessa di affermazioni correlate e la prospettiva dell'avversario.
• Soffrono di Ripetitività: Tendono a ripetere gli stessi argomenti in turni consecutivi invece di generare intuizioni diverse da un grafo cognitivo più ampio.
• Mostrano Rigidità: Sono spesso autocentrati, fallendo nel dinamizzare le strategie in base all'evoluzione delle convinzioni del persuaso.

Il paper postula che la carenza nel ragionamento ToM sia il principale collo di bottiglia che impedisce agli LLM di raggiungere la flessibilità e la diversità persuasiva di livello umano.

2. Metodologia: Framework ToMAP

Gli autori propongono ToMAP (Theory of Mind Augmented Persuader), un framework di addestramento che integra due moduli dedicati alla ToM con il Reinforcement Learning (RL) per migliorare la capacità di un persuasore di modellare e rispondere allo stato mentale di un avversario.

2.1 Componenti Core

Il framework consiste in tre fasi principali:

1. Predittore di Controargomentazioni (Counterclaim Predictor):

   • Funzione: Questo modulo spinge il persuasore a generare proattivamente potenziali controargomentazioni ($\neg q_{1...k}$) contro la tesi target ($Q$) che l'avversario potrebbe sostenere.
   • Meccanismo: Costringe il modello a concettualizzare esplicitamente le affermazioni associate al tema del dibattito, anticipando così le obiezioni prima che vengano sollevate.

2. Predittore dell'Atteggiamento dell'Avversario (Opponent Attitude Predictor):

   • Funzione: Questo modulo stima il livello attuale di accordo ($s'$) del persuaso rispetto alle controargomentazioni generate.
   • Meccanismo: A differenza del prompting zero-shot, che produce risultati insoddisfacenti, ToMAP utilizza un classificatore esterno composto da un encoder di testo pre-addestrato (BGE-M3) e un Multi-Layer Perceptron (MLP). Esso codifica la cronologia della conversazione e le affermazioni separatamente, le concatena e predice un punteggio di accordo su una scala di 5 punti. Ciò fornisce una valutazione dinamica e quantitativa dello stato mentale dell'avversario.

3. Integrazione del Reinforcement Learning (RL):

   • Obiettivo di Addestramento: Il persuasore viene addestrato utilizzando il Proximal Policy Optimization (PPO). La funzione di ricompensa è progettata per massimizzare lo spostamento dell'atteggiamento (attitude shift) del persuaso.
   • Calcolo della Ricompensa: La ricompensa deriva dalla differenza tra il punteggio di accordo del persuaso prima e dopo il turno del persuasore, normalizzata per tenere conto della difficoltà di spostare accordi già elevati.
   • Augmentation: Durante l'addestramento e l'inferenza, le informazioni ToM (controargomentazioni predette e i relativi punteggi di atteggiamento previsti) vengono preposte al prompt del persuasore come un'integrazione del contesto di input. Ciò consente all'agente RL di apprendere come sfruttare queste intuizioni per formulare strategie.

2.2 Setup di Addestramento

• Modelli Base: Qwen2.5-3B-Instruct e LLaMa3.2-3B-Instruct.
• Modello Persuaso (Persuadee): Qwen2.5-7B-Instruct (utilizzato durante l'addestramento).
• Dataset: Cornell CMV (Change My View), Anthropic Persuasion Dataset e il corpus args.me.
• Metrica di Valutazione: Spostamento dell'accordo (variazione percentuale della posizione del persuaso dall'inizio alla fine della conversazione).

3. Contributi Chiave

• Framework Innovativo: Introduzione di ToMAP, il primo framework che combina esplicitamente moduli ToM (predizione di controargomentazioni e dell'atteggiamento) con l'RL per l'addestramento di persuasori LLM.
• Efficienza: Dimostra che un piccolo modello da 3 miliardi di parametri, quando addestrato con ToMAP, può superare modelli state-of-the-art significativamente più grandi (es. GPT-4o, LLaMa3.1-70B, Deepseek-R1) nei compiti di persuasione.
• Insight dall'Ablazione: Dimostra che i moduli ToM da soli non migliorano le prestazioni zero-shot; la combinazione di informazioni ToM e addestramento RL è necessaria affinché il persuasore utilizzi efficacemente la modellazione dell'avversario.
• Analisi Comportamentale: Mostra che ToMAP riduce la ripetizione degli argomenti e aumenta la complessità del ragionamento (catene di pensiero più lunghe) rispetto ai baseline.

4. Risultati Sperimentali

• Guadagni di Performance: ToMAP (3 miliardi di parametri) ha ottenuto un guadagno relativo del 39,4% rispetto alle configurazioni baseline attraverso molteplici modelli di persuaso e corpora diversificati.
• Confronto con SOTA: ToMAP ha superato baseline molto più grandi, inclusi GPT-4o e Deepseek-R1 (671B parametri), in termini di spostamento dell'accordo.
• Generalizzazione: Il modello ha dimostrato una performance stabile su persuasi out-of-domain (es. LLaMa3.1, Phi-4), suggerendo che le strategie apprese sono robuste.
• Conversazioni a Lungo Termine: In conversazioni estese (fino a 10 turni), ToMAP ha mantenuto guadagni di persuasione costanti, mentre i modelli RL baseline hanno raggiunto un plateau o sono declinati a causa della ripetitività e della mancanza di adattamento.
• Analisi delle Strategie: ToMAP ha adottato strategie più consapevoli dell'avversario, come "Terreno Comune" (Common Ground), "Confutazione Preventiva" (Preemptive Rebuttal) e "Concessione" (Concession), facendo meno affidamento su appelli retorici o emotivi rispetto ai modelli base.

5. Significato e Rivendicazioni

Il paper sostiene che ToMAP rappresenti un passo significativo verso lo sviluppo di persuasori IA più efficaci integrando la Teoria della Mente e la modellazione dell'avversario.

• Scalabilità: I risultati suggeriscono che i piccoli modelli possono essere altamente persuasivi se dotati del giusto framework di addestramento (ToM + RL), sfidando la nozione che solo i modelli massicci possano gestire complessi ragionamenti sociali.
• Meccanismo di Miglioramento: Gli autori sostengono che il successo di ToMAP derivi dalla sua capacità di generare catene di ragionamento complesse e ridurre la ripetitività, portando ad argomentazioni più diverse e logicamente solide.
• Sicurezza ed Etica: Gli autori sottolineano i potenziali rischi della persuasione IA nella manipolazione delle opinioni. Raccomandano la trasparenza, la consapevolezza esplicita dell'utente dell'interazione con l'IA e un rilascio controllato con linee guida d'uso per prevenire l'abuso.

Il lavoro conclude che l'integrazione delle capacità ToM è una direzione promettente per costruire agenti linguistici capaci di impegnarsi in interazioni sociali dinamiche, adattive ed efficaci.