Technische Samenvatting: OSCTOM – RL-geleide Adversariale Generatie voor Hogere-Orde Theorie van de Geest

1. Probleemstelling

Grote Taalmodellen (LLM's) tonen bekwaamheid in standaard taakopgaven, maar vertonen inconsistente prestaties in Theorie van de Geest (ToM)-redenering, met name binnen complexe sociale situaties die recursieve overtuigingen en informatieve asymmetrie omvatten. Bestaande benchmarks, zoals ExploreToM, testen vaak onvoldoende Observer-Zelf Conflict—een specifieke cognitieve staat waarbij een waarnemer een overtuiging toekent aan een ander agent die in strijd is met de eigen interne feitelijke kennis van de waarnemer.

Huidige beperkingen omvatten:

• Statische Benchmarks: Vroege datasets (bijv. ToMi) vertrouwen op handgeschreven verhaaltjes die modellen kunnen oplossen via oppervlakkige patroonherkenning in plaats van echte overtuigingsvolging.
• Beperkingen van Zoekgebaseerde Generatie: Frameworks zoals ExploreToM gebruiken heuristische A*-zoekalgoritmen met Domein-specifieke Talen (DSL's). Hoewel deze effectief zijn voor het genereren van adversariale verhalen, worden deze methoden beperkt door rigide zoekruimtes, missen ze beleidsaanpassing op basis van ervaring, en prioriteren ze vaak informatieve omvang boven de specifieke structurele complexiteit van geneste overtuigingsconflicten.
• Redeneringsgaten: Modellen falen vaak wanneer taakstructuren licht veranderen, wat wijst op een gebrek aan stabiele interne modellen voor causale overtuigingsstaten, vooral in meerlagige, recursieve scenario's (bijv. Agent A die redeneert over Agent B's overtuiging betreffende Agent C's intentie).

2. Methodologie

Het OSCToM-framework adresseert deze gaten via een viercomponentenpijplijn die is ontworpen om hogere-orde adversariale ToM-scenario's te genereren en daarop te trainen.

2.1 Uitgebreide Domein-specifieke Taal (OSCT-DSL)

De auteurs introduceren OSCT-DSL, een uitbreiding van bestaande DSL's die in staat is Observer-Zelf Conflict te formaliseren.

• Formalisme: Het definieert wereldstaten ($W$) en overtuigingsstaten ($B$) voor agenten, met ondersteuning voor recursieve overtuigingen tot de 4e orde: $B^{(k)}_{i,j,...,n}(p) = B^{(1)}_i(B^{(k-1)}_{j,...,n}(p))$.
• Adversariale Primitieven: De taal bevat specifieke operatoren om informatieve symmetrie te doorbreken:
  • Bedrieglijke Lokalisatie: Een agent liegt over de locatie, waardoor een valse overtuiging bij een ander wordt gecreëerd terwijl de ware interne kennis behouden blijft.
  • Asymmetrische Observatie: Een agent getuigt van een actie zonder dat de geobserveerde partij wederkerige kennis opdoet.
  • Recursieve Bedrog (Dubbele Bluf): Een agent manipuleert een ander om tegen een derde partij te liegen, waarbij 3e-orde overtuigingen worden gelegd boven 1e-orde leugens.

2.2 Compositional Surrogate Evaluation Pipeline

Om de rekenkosten van het gebruik van grote LLM's voor beloningsberekening tijdens Reinforcement Learning (RL) te overwinnen, maken de auteurs gebruik van een Compositional Surrogate Pipeline.

• Distillatie: Kennis van Llama-3.3-70B wordt gedistilleerd in zes lichtgewicht DistilBERT-modules die zijn getraind op 10.000 geannoteerde verhalen.
• Zes Cognitieve Dimensies: De beloning wordt ontleed in specifieke scores in plaats van één scalair getal:
  1. Valse Overtuiging Detector: Binaire validiteitscontrole (moet bestaan voor ToM).
  2. ToM Diepte Classificatie: Schatting van de recursieve orde (1e–4e).
  3. Bedrog Score: Dichtheid van manipulatieve operatoren.
  4. Sociale Complexiteit Score: Frequentie van inter-agent communicatie.
  5. Temporele Complexiteit Score: Aantal distincte wereld-staat overgangen.
  6. OSCT Detector: Identificeert specifiek Observer-Zelf Conflict staten (hoogste beloningsgewicht).
• Efficiëntie: Dit reduceert de evaluatietijd per verhaal van ~14 seconden (LLM-query) naar <50 milliseconden, waardoor de synthese van een corpus van 15.000 monsters mogelijk wordt.

2.3 RL-geleide Adversariale Generatie

Het verhaalgeneratieproces wordt gemodelleerd als een Markov Decision Process (MDP).

• Algoritme Selectie: De auteurs vergeleken A2C, PPO en Deep Q-Networks (DQN). DQN werd geselecteerd vanwege zijn superieure stabiliteit bij het leren van discrete symbolische transities binnen de DSL-ruimte en zijn vermogen om ToM-falgevallen te vinden die heuristische zoekopdrachten zouden kunnen missen.
• Training: De DQN-agent optimaliseert een samengestelde beloningsfunctie ($R$) die zwaar weegt op OSCT-detectie (40%) en ToM-diepte (30%).
• Narratieve Verbetering: Symbolische DSL-sporen gegenereerd door de RL-agent worden omgezet in natuurlijke proza met behulp van Llama-3.3-70B via de OpenRouter API, waarbij cognitieve markers zoals bedrogsketens en niet-lineaire temporele ordening behouden blijven.

2.4 Twee-fase Curriculum Fine-tuning

De gegenereerde dataset wordt gebruikt om Llama-3.1-8B-Instruct te fine-tunen met een gefaseerd curriculum om stabiele leerprocessen voor hogere-orde redenering te waarborgen:

• Fase 1 (Fundament): Training op 1e en 2e-orde ToM-scenario's om het model te gronden in basis perspectiefwisseling.
• Fase 2 (Meesterschap): Training op het volledige corpus, inclusief 3e en 4e-orde recursieve conflicten, geïnitieerd vanuit het checkpoint van Fase 1.
• Techniek: Parameter-efficiënte Fine-tuning (PEFT) via LoRA (rang 16, schalingsfactor 32) op alle projectielagen, waardoor training mogelijk is op één GPU.

3. Belangrijkste Resultaten

Het resulterende model, OSCToM-8B, werd geëvalueerd tegen zeven basissystemen (waaronder Llama-3.1-8B, Mistral-NeMo-12B, Phi-3-Medium-14B en Qwen2.5-varianten) over vier benchmarks.

• FANToM Benchmark (Informatieve Asymmetrie): OSCToM-8B behaalde 76,0% nauwkeurigheid. Dit vertegenwoordigt een enorme verbetering ten opzichte van de ExploreToM-baseline, die 0,2% nauwkeurigheid rapporteerde op dezelfde benchmark.
• ToMi Benchmark: OSCToM-8B behaalde 79,5% nauwkeurigheid, presterend beter dan de basis Llama-3.1-8B (64,3%) en grotere modellen zoals Qwen2.5-32B (74,7%).
• BigToM Benchmark: Het model bereikte 89,8% nauwkeurigheid, wat dicht in de buurt komt van Mistral-NeMo-12B (90,5%) ondanks 4 miljard parameters minder.
• Hi-ToM Benchmark: OSCToM-8B scoorde 65,3%, wat overeenkomt met Phi-3-Medium-14B en significant beter presteert dan Gemma-2-27B (20,6%).

Inferentie-efficiëntie:

• In tegenstelling tot ExploreToM, dat vertrouwen op iteratieve A*-zoekopdrachten met $O(N)$ complexiteit en ~15,0s latentie per query, gebruikt OSCToM-8B directe neurale inferentie ($O(1)$ complexiteit).
• De gemeten latentie is 2,62 seconden, een 5,7x reductie in responstijd terwijl superieure nauwkeurigheid wordt behouden.

4. Betekenis en Claims

Het paper claimt dat OSCToM aantoont dat gerichte adversariale datasynthese gecombineerd met curriculum learning kleinere modellen (8B parameters) in staat stelt om significant grotere modellen te overtreffen in complexe sociale redeneertaken.

• Observer-Zelf Conflict: Het werk identificeert en adresseert een specifieke faalmodus in huidige ToM-evaluatie: het onvermogen om te onderscheiden tussen de interne kennis van een waarnemer en hun toekenning van overtuigingen aan anderen.
• Efficiëntie versus Schaal: Het framework bewijst dat hogere-orde redeneercapaciteiten niet strikt enorme parameteraantallen vereisen als de trainingsdata expliciet is gestructureerd om recursieve overtuigingsconflicten te targeten.
• Praktijktoepasbaarheid: Door heuristische zoekopdrachten te vervangen door RL-geleide generatie en surrogate-evaluatie, bereikt het systeem een 6x efficiëntiewinst in datasynthese en een 5,7x verbetering in inferentiesnelheid, waardoor hogere-orde ToM-redenering praktisch inzetbaar wordt.

De auteurs concluderen dat hoewel de huidige DSL zich richt op locatieve en bedrieglijke conflicten, het framework een principiële weg biedt naar meer generaliseerbare sociale intelligentie in LLM's, wat suggereert dat de "redeneringskloof" kan worden overbrugd door gestructureerde adversariale training in plaats van simpelweg het schalen van het modelformaat.