Strategic Dialogue Assessment: The Crooked Path to Innocence

Technische Samenvatting: Strategic Dialogue Assessment (SDA)

Probleemstelling
Huidig onderzoek naar pragmatiek en de evaluatie van Large Language Models (LLM's) gaat overwegend uit van coöperatieve discours, geworteld in de Griceaanse principes waarbij gesprekspartners gemeenschappelijke doelen delen. Deze aanname schiet echter tekort in hoogwaardige, adversariële (tegenstrijdige) settings (bijv. kruisverhoren in rechtszalen) waar gesprekspartners tegengestelde doelen hebben. In dergelijke niet-coöperatieve contexten manipuleren sprekers taal strategisch—vaak terwijl ze coöperatief lijken te zijn om persoonlijke belangen na te streven—om verbintenissen te beheren, geloofwaardigheid te behouden en discoursoberjectieven te bevorderen. Bestaande kaders, zoals Signaling Games en de Rational Speech Act (RSA) theorie, vertrouwen vaak op coöperatieve nutfuncties of abstracte constructen (bijv. geloofwaardigheidsverdelingen) die moeilijk empirisch te schatten zijn. Boverevens vertonen huidige LLM's een beperkt vermogen om de strategische waarde van taal in adversariële settings te herkennen; ze interpreteren ontwijking of het afzwakken van uitspraken (hedging) vaak onterecht als nadelig in plaats van strategisch voordelig, of falen in het onderscheid tussen oppervlakkige schadebeperking en werkelijke strategische winst.

Methodologie
Om deze hiaten aan te pakken, introduceren de auteurs Strategic Dialogue Assessment (SDA), een kader dat de "juryfunctie" uit Message Exchange (ME) Games operationaliseert om strategisch taalgebruik in real-world data te beoordelen. De methodologie bestaat uit drie kerncomponenten:

1. De Crooked Path Dataset (CPD): Een nieuwe geannoteerde dataset bestaande uit 4.452 beurten uit kruisverhoren in drie prominente Amerikaanse rechtszaken (West Memphis Three, O.J. Simpson en Enron). De dataset richt zich op adversariële interacties waarbij de doelen strikt tegenovergesteld zijn.
2. Theoretische Adaptatie: De auteurs passen de ME Game juryfunctie aan door twee belangrijke modificaties te integreren om het empirisch schatbaar te maken:
   • Commitment-gebaseerde Taxonomie: In plaats van uitsluitend te vertrouwen op abstracte coherentierelaties, classificeert het kader discoursmoves op basis van de inhoud van de verbintenissen (commitments) ten opzichte van de huidige Question Under Discussion (QUD). Verbintenissen worden gecategoriseerd als Beneficial (voordelig), Detrimental (nadelig), Neutral (neutraal) of None (geen betekenisvolle verbintenis).
   • Griceaanse Proxies voor Geloofwaardigheid: Om de abstracte geloofwaardigheidsterm $P_k(Good_i)$ te operationaliseren, gebruikt het kader observeerbare schendingen van Griceaanse maximes (Relevantie, Wijze en Kwaliteit) als proxies. Schendingen moduleren de strategische waarde van een verbintenis; bijvoorbeeld wordt een voordelige verbintenis die via een irrelevante of onduidelijke uitspraak wordt overgebracht, afgestraft, terwijl een nadelige verbintenis die indirect wordt overgebracht (bijv. via hedging) minder schadelijk kan zijn.
3. Definitie van Metrieken: SDA definieert drie interpreteerbare metrieken om strategische effecten te kwantificeren:
   • Benefit at Turn ($BAT_i$): Kwantificeert directe winsten uit voordelige of neutrale verbintenissen, aangepast voor maxime-schendingen.
   • Penalty at Turn ($PAT_i$): Kwantificeert directe verliezen door nadelige of niet-committerende reacties, aangepast voor consistentie en maxime-schendingen.
   • Normalized Relative Benefit at Turn ($NRBAT_i$): Een cumulatieve, z-gescoreerde maatstaf voor het netto strategische voordeel ($\sum BAT - \sum PAT$) gedurende het gehele gesprek.

Het kader werd gevalideerd via menselijke annotatie van een subset van de CPD (ca. 800 beurten) door drie taalkundig getrainde annotatoren, gevolgd door een evaluatie van diverse state-of-the-art LLM's (variërend van 7B tot 70B parameters, inclusocief reasoning-enhanced varianten) met behulp van zero-shot prompting.

Belangrijkste Resultaten

• Validiteit van Menselijke Annotatie: De SDA-metrieken vertoonden een hoge inter-annotator overeenstemming (Spearman's $\rho$ van 0,65–0,83 voor $BAT$, $PAT$ en $NRBAT$), wat significant beter presteert dan de overeenstemming op ruwe uitkomstoordelen (Fleiss' $\kappa$ van 0,29). Dit suggereert dat de metrieken objectieve, discours-interne eigenschappen beter vatten dan subjectieve uitkomstvoorspellingen.
• Voorspellende Kracht: Logistische regressiemodellen die $BAT$ en $PAT$ als voorspellers gebruikten, bereikten een nauwkeurigheid van 74,6% en een AUC van 0,80 bij het voorspellen van menselijke annotatoren-uitkomstoordelen. De metrieken waren bijzonder effectief wanneer de redenering van annotatoren gebaseerd was op logische argumenten in plaats van persoonlijke emoties.
• LLM Prestaties:
  • Modelgrootte: Grotere modellen stemden over het algemeen meer overeen met menselijke oordelen op strategische metrieken dan kleinere modellen, met name bij het identificeren van strategische winsten.
  • Beperkingen in Redenering: Tegen intuïtie in presteerden modellen uitgerust met expliciete redeneringsmechanismen (Chain-of-Thought) vaak slechter dan hun niet-redenerende tegenhangers, vooral bij het identificeren van strategische verliezen ($PAT$). De analyse van de redeneersporen toonde aan dat deze modellen de neiging hebben de taak te compliceren, waarbij ze oppervlakkige strategieën voor schadebeperking (zoals hedging) interpreteren als neutraal of voordelig, en er niet in slagen bredere adversariële doelen te integreren.
  • Griceaanse vs. Strategische Aspecten: Hoewel LLM's goed presteerden in het identificeren van schendingen van Griceaanse maximes (hoge overeenstemming op Relevantie, Wijze en Kwaliteit), hadden ze aanzienlijk moeite met het identificeren van het strategische type verbintenissen ($\mu \approx 0,14$) en het berekenen van de resulterende strategische metrieken.

Betekenis en Claims
Het artikel beweert dat SDA een theoretisch gefundeerd maar empirisch operationaliseerbaar kader biedt voor het evalueren van strategische communicatie in niet-coöperatieve settings. De primaire betekenis ligt in:

1. Overbruggen van Theorie en Data: Het slaagt erin de abstracte ME Game juryfunctie succesvol aan te passen aan real-world, hoogwaardige discours door onwaarneembare constructen te vervangen door schatbare proxies (Griceaanse schendingen) en een commitment-gebaseerde taxonomie.
2. Onthullen van LLM-beperkingen: De studie toont aan dat huidige LLM's, zelfs grote en reasoning-enhanced modellen, een robuust begrip missen van strategische taal in adversariële contexten. Ze falen vaak in het onderscheiden tussen coöperatieve flouting en strategische ontwijking, en hun redeneercapaciteiten kunnen verwarring veroorzaken in plaats van helderheid in deze settings.
3. Asymmetrie van Discours: Het kader benadlicht dat coöperatieve en niet-coöperatieve discoursen asymmetrisch zijn; niet-coöperatief discours kent een hogere frequentie van nadelige verbintenissen en maxime-schendingen, maar deze zijn vaak strategische instrumenten voor verliesminimalisatie in plaats van loutere communicatiefouten.

De auteurs hanteren een bescheiden standpunt en merken op dat het kader de conversatie-uitkomsten niet perfect voorspelt (die afhangen van factoren buiten het discours, zoals bias) en dat de huidige annotatie zich richt op lokale, turn-level effecten in plaats van langetermijn strategische planning. Zij positioneren SDA als een noodzakelijke stap richting betere alignment en veiligheidsmonitoring voor AI-agenten die opereren in adversariële omgevingen.