Technische Samenvatting: Cognitieve Wereldmodellen voor Evaluatie van Sociale Invloed op Procesniveau

1. Probleemdefinitie

Social Influence Dialogue (SID) systemen streven ernaar om de interne cognitieve toestanden van een gebruiker te veranderen—specifiek overtuigingen, verlangens, intenties en emoties—in plaats van enkel externe taken te voltooien. Terwijl Taakgeoriënteerde Dialogen zich richten op doelvoltooiing en Niet-Coöperatieve Dialogen op conflictresolutie, vereist SID het meten van het proces van cognitieve verandering.

Huidige evaluatiemethoden falen in het vastleggen van dit proces-georiënteerde criterium:

• Oppervlakkige Tekstmetrieken (BLEU/ROUGE): Negeren het doel van sociale invloed volledig.
• LLM-as-Judge: Leveren terminale, black-box scores die niets onthullen over het traject van de evolutie van de cognitieve staat.
• Menselijke Evaluatie: Duur, niet schaalbaar en niet in staat om granulaire, turn-level cognitieve verschuivingen te volgen.
• Bestaande Gebruikerssimulatoren: Voorspellen gebruikersuitspraken maar falen in het modelleren van het onderliggende "waarom" (interne BDI/E staten), waardoor overtuigingen, verlangens, intenties en emoties ongeobserveerd blijven.

De centrale uitdaging is het ontwikkelen van een evaluatiekader dat beweegt van terminale beoordeling naar proces-tracking, waarbij gekwantificeerd wordt hoe een agent de interne cognitieve staat van een gebruiker meetbaar verandert gedurende een gesprek.

2. Methodologie: Het Cognitieve Wereldmodel (CogWM)

De auteurs stellen CogWM voor, een LLM-gebaseerd gebruikersmodel dat de evaluatie van dialoog herkadert van "wat zei de gebruiker" naar "hoe evolueerde de interne cognitieve staat van de gebruiker?".

2.1 Kernkader

CogWM fungeert als een gezamenlijke voorspeller van Gebruikersuitspraken ($U_t$) en BDI/E Cognitieve Staten ($S_t$).

• BDI/E Dimensies:
  • Belief (Overtuiging): Wat de gebruiker gelooft, weet of beoordeelt.
  • Desire (Verlangen): Wat de gebruiker wil, nodig heeft of verkiest.
  • Intention (Intentie): Wat de gebruiker plant, besluit of zich verbindt te doen.
  • Emotion (Emotie): De huidige affectieve staat en intensiteit van de gebruiker.
• Input/Output: Gegeven een gebruikersprofiel ($P$), taakcontext ($C$) en dialooggeschiedenis ($H_{<t}$), voorspelt CogWM de volgende staat $S_t$ en uitspraak $U_t$.
• Dubbelrol: Het fungeert zowel als een Gebruikerssimulator (het genereren van realistische reacties en staten) als een Evaluatieplatform (het kwantificeren van de invloed van een agent op de gesimuleerde gebruiker).

2.2 Dataconstructie: Summarize-and-Allocate (SaA)

Om CogWM te trainen, hebben de auteurs een dataset geconstrueerd van 150.454 gebruikers-turn samples verspreid over vier scenario's: Emotionele Ondersteuning (ESConv), Overreding voor Donaties (P4G), Conversationele Aanbeveling (DuRecDial) en Open Domein (DailyDialog).

• Annotatie-pipeline: Een tweestapsmethode is ontwikkeld:
  1. Globale Samenvatting: Extraheert globale BDI-items en scores uit de volledige dialoog.
  2. Temporele Allocatie: Wint per-turn BDI/E staten toe met bewijsvoering en koppelt deze aan de globale samenvatting.
• Kwaliteit: Menselijke validatie toonde een globale BDI-recall van 0,79 en een emotie Cohen's $\kappa$ van 0,69.

2.3 Evaluatiekader: Drie-lagen Systeem

De evaluatie is gestructureerd in drie hiërarchische lagen:

1. Turn-Level Fidelity: Beoordeelt de kwaliteit van een enkele reactie met behulp van 8 automatische metrieken (bijv. semantische gelijkenis, MAE) en 5 LLM-as-Judge semantische metrieken.
2. Trajectory-Level State Dynamics: Modelleert de multi-turn evolutie met behulp van vier indicatoren aangepast uit financiële tijdreeksanalyse:
   • AUC: Cumulatieve prestatie (Area Under Curve).
   • $\Delta$: Netto verandering tussen de initiële en finale staat.
   • PSR: Verbeteringsfrequentie (Positive Step Ratio).
   • Mono: Richtingsconsistentie.
3. Task-Level Composite Scoring: Aggregeert traject-metrieken in twee scores:
   • CTS (Composite Trajectory Score): Een gewogen som ($0,40 \cdot AUC + 0,30 \cdot PSR + 0,30 \cdot \Delta$) die de globale cognitieve invloed meet.
   • GO (GoodOutcome): Een binaire indicator van of de dialoog een specifieke gedragsuitkomst heeft bereikt (bijv. donatie, acceptatie).

3. Belangrijkste Bijdragen

1. Drie-lagen BDI/E Evaluatiekader: Past het klassieke BDI-model aan voor het LLM-tijdperk, wat een decomponeerbare evaluatie mogelijk maakt van turn-level fidelity tot globale traject-impact.
2. SaA Annotatie-pipeline: Een schaalbare methode voor het genereren van meer dan 150K+ geannoteerde samples met expliciete, interpreteerbare BDI/E staten over vier verschillende sociale invloenscenario's.
3. CogWM Model: Een gezamenlijk getraind model (gebaseerd op Qwen3-14B) dat zowel cognitieve staten als tekst voorspelt. Het bereikt een emotie-accuratesse van 77,6%, een 2,1$\times$ verbetering ten opzichte van GPT-5.5, en presteert significant beter dan baselines in het tracken van overtuigingen, verlangens en intenties.
4. Empirische Validatie van Proces versus Uitkomst: Door middel van 3.600 multi-agent discriminatietests toont de studie aan dat cognitieve trajectverbetering (CTS) en gedragsuitkomsten (GO) niet equivalent zijn. Een agent kan een positieve gedragsuitkomst bereiken (GO=true) terwijl hij faalt om betekenisvolle cognitieve verandering te produceren (vlak traject), en vice versa.

4. Experimentele Resultaten

4.1 Simulatiegetrouwheid (Fidelity)

• State Prediction: CogWM-14B bereikte 77,6% emotie-accuratesse, waarmee het GPT-5.5 (36,4%) en DeepSeek-V4-Pro (31,0%) overtrof. Het leidde ook in BDI semantische gelijkenis en kwantitatieve score-accuratesse (MAE).
• Utterance Generation: CogWM bereikte een Length Ratio (LenR) van 1,01 (bijna een perfecte match met de grondwaarheid), terwijl API-baselines de neiging hadden om overmatig lange reacties te genereren (LenR > 1,8).
• Noodzaak van Joint Training: Ablatie-studies bevestigden dat cognitieve staat-tracking niet enkel verkregen kan worden via een gedeelde inputdistributie; expliciete gezamenlijke optimalisatie van staat-voorspelling en tekstgeneratie is vereist.

4.2 Agent Discriminatie

In tests waarbij zes commerciële agents werden vergeleken (GPT-5.5, Llama-4-Scout, DeepSeek-V4-Pro, etc.):

• Rangschikking: Llama-4-Scout rangschikte als eerste met een CTS van +0,233, wat een superieur vermogen demonstreert om positieve cognitieve trajecten aan te sturen.
• Typologie: Agents werden gecategoriseerd als "All-round" (Llama), "Sprint" (Qwen: hoge netto verandering maar lagere cumulatieve winst), "Steady" (Claude) en "Hollow" (Gemini: lage prestatie over alle metrieken).
• CoT Impact: Chain-of-Thought prompting beïnvloedde agents asymmetrisch; het verbeterde de emotionele trajecten van GPT-5.5 aanzienlijk, maar bood slechts marginale winst voor reeds sterke agents.
• CTS versus GO Divergentie: De studie benadrukte dat hoge GO-scores (taaksucces) geen garantie bieden voor hoge CTS-scores (cognitieve verbetering). Zo bereikten sommige agents in emotionele ondersteuning bijvoorbeeld een GO=true via beleefde afsluiting zonder werkelijke cognitieve verschuivingen te veroorzaken, een nuance die alleen door CTS werd gevangen.

5. Betekenis en Claims

Het artikel claimt het paradigma van de evaluatie van Social Influence Dialogue te verschuiven van terminale beoordeling naar proces-tracking. Door de interne cognitieve staat van de gebruiker expliciet en controleerbaar te maken, biedt CogWM:

• Interpreteerbaarheid: Evaluatieconclusies kunnen worden teruggevoerd naar specifieke turns en BDI/E dimensies.
• Granulariteit: Het legt subtiele cognitieve verschuivingen vast die oppervlakkige metrieken missen.
• Schaalbaarheid: Het maakt goedkope, geautomatiseerde evaluatie van complexe sociale invloenscenario's mogelijk.

De auteurs positioneren CogWM niet slechts als een metriek, maar als een sociale AI-infrastructuur (vergelijkbaar met windtunnels voor vliegtuigen) die ontwikkelaars in staat stelt de cognitieve impact van agents te observeren vóór implementatie, en daarmee een concreet instrument biedt om manipulatieve AI te voorkomen en verantwoorde sociale invloed te waarborgen. Het werk benadrukt dat echte sociale invloed een meetbare verandering in de interne staat van de gebruiker vereist, en niet enkel de voltooiing van een transactie.