Sintesi Tecnica: OSCTOM – Generazione Avversaria Guidata da RL per la Teoria della Mente di Ordine Superiore

1. Enunciato del Problema

I Large Language Models (LLM) dimostrano competenza nei compiti linguistici standard, ma mostrano prestazioni inconsistenti nel ragionamento sulla Teoria della Mente (ToM), in particolare in contesti sociali complessi che coinvolgono credenze ricorsive e asimmetria informativa. I benchmark esistenti, come ExploreToM, spesso non riescono a testare adeguatamente il Conflitto Osservatore-Sé—uno stato cognitivo specifico in cui un osservatore attribuisce una credenza a un altro agente che contraddice la propria conoscenza fattuale interna.

Le limitazioni attuali includono:

• Benchmark Statici: I primi dataset (es. ToMi) si basano su vignette scritte a mano che i modelli possono risolvere tramite corrispondenza di pattern superficiali piuttosto che tramite un reale tracciamento delle credenze.
• Limiti della Generazione Basata sulla Ricerca: Framework come ExploreToM utilizzano la ricerca euristica A* con Linguaggi Specifici di Dominio (DSL). Sebbene efficaci nella generazione di storie avversarie, questi metodi sono vincolati da spazi di ricerca rigidi, mancano di adattamento delle policy basato sull'esperienza e spesso danno priorità al volume informativo rispetto alla complessità strutturale specifica dei conflitti di credenze annidate.
• Lacune nel Ragionamento: I modelli falliscono spesso quando le strutture del compito cambiano leggermente, indicando una mancanza di modelli interni stabili per gli stati di credenza causali, specialmente in scenari multi-livello e ricorsivi (es. l'agente A che ragiona sulla credenza dell'agente B riguardo all'intenzione dell'agente C).

2. Metodologia

Il framework OSCToM colma queste lacune attraverso una pipeline a quattro componenti progettata per generare e addestrare su scenari avversari ToM di ordine superiore.

2.1 Linguaggio Specifico di Dominio Esteso (OSCT-DSL)

Gli autori introducono OSCT-DSL, un'estensione dei DSL esistenti capace di formalizzare il Conflitto Osservatore-Sé.

• Formalismo: Definisce stati del mondo ($W$) e stati di credenza ($B$) per gli agenti, supportando credenze ricorsive fino al 4° ordine: $B^{(k)}_{i,j,...,n}(p) = B^{(1)}_i(B^{(k-1)}_{j,...,n}(p))$.
• Primitive Avversarie: Il linguaggio include operatori specifici per rompere la simmetria informativa:
  • Localizzazione Ingannevole: Un agente mente sulla propria posizione, creando una falsa credenza in un altro mantenendo al contempo una conoscenza interna vera.
  • Osservazione Asimmetrica: Un agente assiste a un'azione senza che la parte osservata acquisisca una conoscenza reciproca.
  • Inganno Ricorsivo (Doppia Finta): Un agente manipola un altro per mentire a un terzo, sovrappone credenze di 3° ordine a falsità di 1° ordine.

2.2 Pipeline di Valutazione Surrogata Composita

Per superare il costo computazionale dell'uso di grandi LLM per il calcolo della ricompensa durante l'Apprendimento per Rinforzo (RL), gli autori impiegano una Pipeline Surrogata Composita.

• Distillazione: La conoscenza da Llama-3.3-70B è distillata in sei moduli leggeri DistilBERT addestrati su 10.000 storie annotate.
• Sei Dimensioni Cognitive: La ricompensa è scomposta in punteggi specifici anziché in un singolo scalare:
  1. Rilevatore di Falsa Credenza: Controllo di validità binario (deve esistere per la ToM).
  2. Classificatore della Profondità ToM: Stima dell'ordine ricorsivo (1°–4°).
  3. Punteggio di Inganno: Densità degli operatori manipolativi.
  4. Punteggio di Complessità Sociale: Frequenza della comunicazione inter-agente.
  5. Punteggio di Complessità Temporale: Numero di transizioni distinte dello stato del mondo.
  6. Rilevatore OSCT: Identifica specificamente gli stati di Conflitto Osservatore-Sé (peso di ricompensa più alto).
• Efficienza: Questo riduce il tempo di valutazione per storia da ~14 secondi (query LLM) a <50 millisecondi, consentendo la sintesi di un corpus di 15.000 campioni.

2.3 Generazione Avversaria Guidata da RL

Il processo di generazione delle storie è modellato come un Processo Decisionale di Markov (MDP).

• Selezione dell'Algoritmo: Gli autori hanno confrontato A2C, PPO e Deep Q-Networks (DQN). Il DQN è stato selezionato per la sua superiore stabilità nell'apprendere transizioni simboliche discrete nello spazio degli stati DSL e per la sua capacità di trovare casi di fallimento ToM che la ricerca euristica potrebbe perdere.
• Addestramento: L'agente DQN ottimizza una funzione di ricompensa composita ($R$) pesata fortemente verso il rilevamento OSCT (40%) e la profondità ToM (30%).
• Miglioramento Narrativo: Le tracce simboliche DSL generate dall'agente RL sono convertite in prosa naturale utilizzando Llama-3.3-70B tramite l'API OpenRouter, preservando marcatori cognitivi come catene di inganno e ordinamento temporale non lineare.

2.4 Affinamento del Curriculum in Due Fasi

Il dataset generato viene utilizzato per l'affinamento (fine-tuning) di Llama-3.1-8B-Instruct utilizzando un curriculum a fasi per garantire un apprendimento stabile del ragionamento di ordine superiore:

• Fase 1 (Fondamenta): Addestramento su scenari ToM di 1° e 2° ordine per radicare il modello nel prendere prospettiva di base.
• Fase 2 (Padronanza): Addestramento sull'intero corpus, inclusi conflitti ricorsivi di 3° e 4° ordine, inizializzato dal checkpoint della Fase 1.
• Tecnica: Affinamento Efficiente dei Parametri (PEFT) tramite LoRA (rank 16, fattore di scaling 32) su tutti i livelli di proiezione, consentendo l'addestramento su una singola GPU.

3. Risultati Chiave

Il modello risultante, OSCToM-8B, è stato valutato contro sette sistemi di base (inclusi Llama-3.1-8B, Mistral-NeMo-12B, Phi-3-Medium-14B e varianti Qwen2.5) su quattro benchmark.

• Benchmark FANToM (Asimmetria Informativa): OSCToM-8B ha raggiunto una precisione del 76,0%. Ciò rappresenta un miglioramento massiccio rispetto alla baseline ExploreToM, che ha riportato una precisione del 0,2% sullo stesso benchmark.
• Benchmark ToMi: OSCToM-8B ha raggiunto una precisione del 79,5%, superando il Llama-3.1-8B base (64,3%) e modelli più grandi come Qwen2.5-32B (74,7%).
• Benchmark BigToM: Il modello ha raggiunto una precisione del 89,8%, avvicinandosi a Mistral-NeMo-12B (90,5%) nonostante abbia 4 miliardi di parametri in meno.
• Benchmark Hi-ToM: OSCToM-8B ha ottenuto 65,3%, pareggiando Phi-3-Medium-14B e superando significativamente Gemma-2-27B (20,6%).

Efficienza di Inferenza:

• A differenza di ExploreToM, che si basa su una ricerca iterativa A* con complessità $O(N)$ e una latenza di ~15,0 secondi per query, OSCToM-8B utilizza un'inferenza neurale diretta (complessità $O(1)$).
• La latenza misurata è di 2,62 secondi, una riduzione di 5,7 volte nel tempo di risposta mantenendo una precisione superiore.

4. Significato e Affermazioni

Il documento afferma che OSCToM dimostra che la sintesi di dati avversari mirata combinata con l'apprendimento curricolare può consentire a modelli più piccoli (8 miliardi di parametri) di superare modelli significativamente più grandi in compiti complessi di ragionamento sociale.

• Conflitto Osservatore-Sé: Il lavoro identifica e affronta una specifica modalità di fallimento nella valutazione ToM attuale: l'incapacità di distinguere tra la conoscenza interna di un osservatore e la sua attribuzione di credenze ad altri.
• Efficienza vs. Scala: Il framework dimostra che le capacità di ragionamento di ordine superiore non richiedono strettamente enormi conteggi di parametri se i dati di addestramento sono strutturati per colpire esplicitamente i conflitti di credenze ricorsive.
• Praticità: Sostituendo la ricerca euristica con la generazione guidata da RL e la valutazione surrogata, il sistema ottiene un guadagno di efficienza di 6 volte nella sintesi dei dati e un miglioramento di 5,7 volte nella velocità di inferenza, rendendo il ragionamento ToM di ordine superiore praticamente deployabile.

Gli autori concludono che, sebbene l'attuale DSL si concentri su conflitti locativi e ingannevoli, il framework fornisce una strada principiale verso un'intelligenza sociale più generalizzabile negli LLM, suggerendo che il "divario di ragionamento" può essere colmato attraverso un addestramento avversario strutturato piuttosto che semplicemente scalando le dimensioni del modello.