SAVOIR: Learning Social Savoir-Faire via Shapley-based Reward Attribution

1. Il Problema: Intelligenza Sociale e Assegnazione del Credito

L'intelligenza sociale, ovvero la capacità di navigare interazioni interpersonali complesse per raggiungere obiettivi sociali, rappresenta una sfida fondamentale per gli agenti linguistici. Sebbene l'apprendimento per rinforzo (RL) sia stato utilizzato per addestrare tali agenti, esiste un problema critico noto come problema dell'assegnazione del credito (credit assignment): determinare come singole affermazioni (utterances) contribuiscono agli esiti di un dialogo multi-turno.

Le approcci esistenti (come Sotopia-RL) presentano due limitazioni fondamentali:

1. Mancanza di fondamento teorico: Distribuiscono i reward a livello di episodio utilizzando modelli linguistici in modo euristico, senza garanzie di equità o accuratezza.
2. Attribuzione retrospettiva: Assegnano il credito basandosi su ciò che un'affermazione ha contribuito all'esito osservato, ignorando il suo valore strategico prospettico. Un'affermazione potrebbe sembrare inutile nel breve termine ma essere cruciale per sbloccare successi futuri; i metodi attuali falliscono nel catturare questa potenziale.

2. Metodologia: Il Framework SAVOIR

Gli autori propongono SAVOIR (ShApley Value fOr SocIal RL), un framework basato sulla teoria dei giochi cooperativi che risolve il problema dell'assegnazione del credito attraverso due principi complementari:

A. Utilità Attesa (Expected Utility) per la Valutazione Prospettica

Invece di valutare l'affermazione in base all'esito finale, SAVOIR valuta il suo valore strategico futuro.

• Concetto: Si chiede "qual è il valore atteso delle interazioni future data questa affermazione?" piuttosto che "cosa ha contribuito all'esito finale?".
• Implementazione: Viene definita una funzione di valore $v(S)$ per ogni sottoinsieme (coalizione) di affermazioni. Per calcolare ciò, si eseguono simulazioni (rollout) Monte Carlo partendo dalla storia ricostruita con le affermazioni della coalizione, utilizzando le policy dell'agente e del partner.
• Obiettivo: Catturare il potenziale strategico di un'affermazione nel creare condizioni favorevoli per il successo futuro.

B. Valori di Shapley per l'Assegnazione Equa del Credito

Una volta calcolato il valore strategico, è necessario distribuirlo equamente tra le singole affermazioni.

• Concetto: I valori di Shapley, provenienti dalla teoria dei giochi cooperativi, forniscono un metodo di attribuzione unico che soddisfa assiomi di efficienza, simmetria e marginalità.
• Implementazione: Il valore di Shapley $\phi_i$ per un'affermazione $a_i$ è la media pesata del suo contributo marginale su tutte le possibili permutazioni di coalizioni. Questo assicura che le affermazioni ricevano credito proporzionale al loro vero contributo marginale, tenendo conto degli effetti sinergici con altre affermazioni.
• Efficienza Computazionale: Poiché calcolare i valori di Shapley esatti è proibitivo ($2^n$ sottoinsiemi), il framework utilizza l'algoritmo KernelSHAP. Questo riformula il problema come una regressione lineare pesata, campionando strategicamente coalizioni di dimensioni estreme (molto piccole o molto grandi) per stimare accuratamente i valori con un budget computazionale limitato.

Pipeline di Addestramento

Il processo di addestramento dell'agente sociale segue tre fasi:

1. Raccolta Dati: Gli agenti LLM interagiscono tramite "self-play" per generare episodi di interazione sociale.
2. Modellazione del Reward: Gli episodi vengono elaborati da SAVOIR per generare reward a livello di singola affermazione (da 0 a 10), aggregando dimensioni multiple (obiettivo, relazione, conoscenza, ecc.).
3. Addestramento della Policy: Un modello di reward viene addestrato per prevedere questi score. Successivamente, la policy dell'agente viene ottimizzata tramite Supervised Fine-Tuning (SFT) e Reinforcement Learning online (GRPO) utilizzando il modello di reward appreso.

3. Contributi Chiave

1. Framework Teorico: Introduzione di SAVOIR, che combina l'utilità attesa per la valutazione prospettica e i valori di Shapley per un'assegnazione del credito equa e assiomatica.
2. Prestazioni SOTA: Dimostrazione di prestazioni allo stato dell'arte su tutti i set di test del benchmark SOTOPIA.
3. Analisi dei Modelli di Ragionamento: Scoperta che i grandi modelli di ragionamento (Large Reasoning Models) sottoperformano sistematicamente rispetto a modelli più piccoli ma ottimizzati socialmente, suggerendo che l'intelligenza sociale richiede capacità qualitativamente diverse dal ragionamento analitico.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark SOTOPIA (sia nella versione "Hard" che "All"), confrontando SAVOIR con LLM proprietari, grandi modelli di ragionamento e altri metodi di intelligenza sociale.

• Prestazioni Superiori: Il modello SAVOIR (basato su Qwen2.5-7B) ha raggiunto un punteggio GOAL di 7.18 su SOTOPIA-Hard con GPT-4o come partner, superando il miglior baseline (Sotopia-RL) del 7,5%.
• Parità con Modelli Proprietari: Nonostante le dimensioni ridotte (7B parametri), SAVOIR eguaglia o supera modelli proprietari come GPT-4o e Claude-3.5-Sonnet.
• Fallimento dei Modelli di Ragionamento: Modelli avanzati come OpenAI-o1, o3-mini, Gemini-2.5-Pro e DeepSeek-R1 hanno ottenuto punteggi inferiori. Questo indica che il ragionamento analitico esteso non si traduce automaticamente in intelligenza sociale, che richiede risposte intuitive e strategiche piuttosto che catene di pensiero deliberative.
• Valutazione Umana: Gli annotatori umani hanno preferito significativamente le risposte di SAVOIR per la loro strategicità (4.06 vs 3.41) e la correttezza nell'assegnazione del credito (67.1% di preferenze contro il 15.7% del baseline).
• Ablation Study: L'analisi ha dimostrato che sia il componente "Utilità Attesa" che quello "Shapley" contribuiscono indipendentemente al miglioramento, e la loro combinazione produce un effetto sinergico.

5. Significato e Implicazioni

Il lavoro di SAVOIR è significativo per diversi motivi:

• Cambiamento di Paradigma: Sposta l'attenzione dalla valutazione retrospettiva (cosa è successo) a quella prospettica (cosa potrebbe succedere), allineandosi meglio alla natura strategica delle interazioni umane.
• Rigorosità Matematica: Sostituisce l'euristica con una fondazione assiomatica (teoria dei giochi), garantendo che il credito sia distribuito in modo equo e matematicamente giustificato.
• Nuova Direzione per l'IA Sociale: Evidenzia che per l'intelligenza sociale non servono necessariamente modelli più grandi o con capacità di ragionamento più profonde, ma architetture e metodi di addestramento specifici per catturare le dinamiche sociali e strategiche.
• Applicabilità: Il framework offre un metodo robusto per addestrare agenti in scenari complessi come negoziazioni, persuasione e collaborazione, superando i limiti dei metodi attuali basati su reward a livello di episodio.

In sintesi, SAVOIR dimostra che l'integrazione di principi di teoria dei giochi nell'apprendimento per rinforzo sociale permette di creare agenti artificiali con una "savoir-faire" sociale superiore, capace di competere con i migliori modelli proprietari e di comprendere le sfumature strategiche delle interazioni umane.