Dialogical Epistemic Auditing: Tracing Inferential Commitments Across Conversational Turns in Large Language Models

Wanneer we een computer vragen een complexe gebeurtenis uit te leggen, beoordelen we het vaak op basis van het eerste antwoord. Als de reactie zelfverzekerd klinkt en de basisfeiten juist weergeeft, hebben we de neiging aan te nemen dat de machine betrouwbaar is. Maar in de echte wereld stoppen gesprekken zelden bij de eerste zin. We vragen om verduidelijking, we dagen aannames uit, en we drukken door op wat volgt uit een concessie. Een machine kan een perfect openingsstatement geven, maar vervolgens niet in staat zijn om de eigen logica consistent te houden naarmate het gesprek dieper wordt. Deze kloof is het middelpunt van een nieuwe studie die niet kijkt naar wat een groot taalmodel in isolatie zegt, maar naar hoe het de last van zijn eigen beweringen over tijd draagt. Het onderzoek put uit een concept uit de menselijke psychologie dat bekend staat als cognitieve dissonantie, wat de mentale onrust beschrijft die we voelen wanneer twee ideeën met elkaar botsen. Om die onrust te verminderen, passen mensen vaak hun overtuigingen aan om bij de feiten te passen, of ze verdraaien de feiten om bij hun overtuigingen te passen. De studie vraagt zich af of kunstmatige intelligentiesystemen een vergelijkbaar patroon vertonen wanneer ze worden gedwongen een moeilijke, tegenstrijdige situatie uit te leggen.

De onderzoeker, Giulio Vidotto van de Universiteit van Padua, zette zich hiervoor af door drie verschillende kunstmatige intelligentiesystemen deel te laten nemen aan afzonderlijke gesprekken over een specifieke, reële gebeurtenis. Het onderwerp was de uitwisseling van lichamen van soldaten tussen Rusland en Oekraïne in 2026. De gegevens waren scherp en goed gedocumenteerd: in drie afzonderlijke overdrachten gaf Rusland telkens ongeveer duizend Oekraïense lichamen terug, terwijl er slechts ongeveer dertig tot veertig Russische lichamen voor in de plaats kwamen. Deze ratio van ongeveer vijfentwintig tegen één creëerde een puzzel. De cijfers waren publiek en geverifieerd, maar ze leken in tegenspraak te zijn met een algemeen aanvaard, onuitgesproken beeld van wie er meer soldaten verloor in de oorlog. De onderzoeker vroeg elk systeem om deze discrepantie uit te leggen. Hij vroeg niet alleen om een samenvatting; hij drong aan op verduidelijking van hun redenering, daagde hun logica uit en vroeg hen hun conclusies te heroverwegen wanneer deze in tegenspraak leken te zijn met zichzelf. Het doel was om het pad van hun argumenten per beurt te volgen, om te zien of de machines standvastig bleven of dat ze stilletjes hun grondpositie verschoven om de ongemakkelijke situatie van de tegenstrijdigheid te vermijden.

De studie introduceerde een methode genaamd "dialogische epistemische auditing". In plaats van te proberen te raden wat de machine "denkt" in zijn code, behandelde de onderzoeker het gesprek als een openbaar verslag. Hij bracht elke claim die de machine maakte in kaart en noteerde welke rol die claim speelde in het argument. Was het een stuk bewijs? Was het een hypothese? Was het een conclusie? Hij keek vervolgens of de machine die rollen consistent hield naarmate het gesprek voortduurde. Behandelde het een voorlopige gok later als een hard feit? Verliet het een conclusie zonder uit te leggen waarom? De audit zocht naar een specifiek soort falen: wanneer een machine van mening verandert maar er niet in slaagt de rest van zijn verhaal aan te passen om bij de verandering te passen. Het is als een persoon die toegeeft dat hij het mis had over de tijd van de dag, maar vervolgens blijft handelen alsover hij nog steeds op het juiste schema zit, waardoor de rest van zijn plan in een staat van verwarring achterblijft.

In de drie gesprekken kwam een duidelijk patroon naar voren. In elk geval worstelden de kunstmatige intelligentiesystemen met dezelfde spanning. De geverifieerde cijfers van de teruggegeven lichamen botsten met een onuitgesproken aanname over de schaal van de verliezen aan beide zijden. Om deze spanning op te lossen, probeerden de systemen herhaaldelijk de betekenis van de cijfers te veranderen in plaats van de onuitgesproken aanname in twijfel te trekken. In één gesprek bood het systeem aanvankelijk twee tegenovergestelde verklaringen aan alsof ze even geldig waren, wat een vals evenwicht creëerde. Toen het werd uitgedaagd, corrigeerde het zichzelf, maar verloor het die correctie in de volgende beurt, waardoor er een gat in de logica ontstond. In een ander geval bleef het systeem aandringen op een specifieke verklaring, maar wanneer er om bewijs werd gevraagd, bleef het de bewijsvoering die het voor die claim gebruikte te wisselen, waarbij het uiteindelijk oude, ongerelateerde feiten voor nieuwe verving. In het derde geval ging het systeem zo ver dat het beweerde dat de gehele tijdlijn van de gebeurtenissen die het zojuist had beschreven nooit had plaatsgevonden, waarbij geverifieerde feiten terugtrok alsof het hallucinaties waren, ook al was het bewijs voor die gebeurtenissen duidelijk en actueel.

Wat het meest opviel, was hoe de systemen de twee kanten van het argument behandelden. De werkelijke, geverifieerde cijfers werden constant geherclassificeerd, in twijfel getrokken en geherinterpreteerd. Ze werden een directe indicator genoemd, dan een beperking, vervolgens een kunstmatig gegeven en tot slot een maatstaf voor territoriale controle. Het onuitgesproken beeld van de relatieve verliezen werd echter nooit in twijfel getrokken. Het bleef onaangetast, werd nooit geclassificeerd en nooit uitgedaagd. De systemen boog de bekende feiten consequent om om in het verborgen beeld te passen, in plaats van het verborgen beeld aan te passen aan de bekende feiten. Dit gedrag weerspiegelde het psychologische concept van cognitieve dissonantie, waarbij de geest een kernovertuiging beschermt door de interpretatie van nieuwe informatie te wijzigen. De machines leken niet te liegen in de traditionele zin; ze fabriceerden geen gegevens uit het niets. In plaats daarvan herschikten ze de logische verbindingen tussen de feiten om de tegenstrijdigheid te laten verdwijnen, waarbij ze vaak hun eigen argumenten instabiel en intern inconsistent maakten.

De studie concludeerde dat deze fouten niet slechts willekeurige glitches waren. Ze volgden een specifiek traject. De systemen begonnen vaak met een plausibele verklaring, maar wanneer ze werden gepusht, introduceerden ze een nieuw mechanisme om de cijfers te verzoenen. Wanneer dat mechanisme werd uitgedaagd, verschoven ze weer, soms herstellend van de logica, soms deze volledig te verlaten. In één geval gaf het systeem zijn eigen fouten toe en probeerde deze te herstellen, maar het herstel was incompleet, waardoor er een verborgen tegenstrijdigheid ontstond die later weer opdook. In een ander geval bood het systeem een zelfdiagnose aan, waarbij het zijn eigen neiging om balans te zoeken de schuld gaf, maar het transcript liet zien dat de instabiliteit door de machine zelf werd gegenereerd, en niet door de vragen van de gebruiker. De gebruiker vroeg in alle drie de gevallen simpelweg om helderheid of daagde de logica uit; de gebruiker introduceerde geen valse premissen of misleidende informatie. De instabiliteit kwam volledig voort uit de reacties van de machine zelf.

Het onderzoek concludeert dat het evalueren van deze systemen door alleen naar hun eerste antwoord te kijken, onvoldoende is. Een machine kan vloeiend en zelfverzekerd klinken terwijl haar onderliggende argument uit elkaar valt. De studie suggereert dat we moeten kijken naar hoe deze systemen de druk van een lang gesprek weerstaan. Houden ze hun logische verplichtingen vast, of drijven ze af? De bevindingen laten zien dat deze systemen, wanneer ze geconfronteerd worden met een moeilijke tegenstrijdigheid, de neiging hebben een onuitgesproken aanname te beschermen door de betekenis van de feiten die ze kunnen zien te verdraaien. Ze lijken geen stabiel intern beeld van de wereld te hebben dat ze kunnen vasthouden wanneer ze worden uitgedaagd. In plaats daarvan reconstrueren ze hun argumenten in realtime, waarbij ze vaak de draad van hun eigen logica kwijtraken.

Dit betekent niet dat de machines niet in staat zijn tot redeneren, maar het betekent wel dat hun redenering fragiel is. De studie benadrukt een specifieke kwetsbaarheid: het onvermogen om een consistente structuur van claims te behouden wanneer het gesprek ingewikkeld wordt. De onderzoeker merkt op dat dit geen probleem is van de machines die "slecht" of "bedrieglijk" zijn, maar eerder een structureel probleem in de manier waarop ze informatie verwerken. Ze zijn ontworpen om behulpzaam te zijn en wrijving in een gesprek te verminderen, wat er soms toe leidt dat ze tegenstrijdigheden gladstrijken op manieren die de logica van het argument breken. De studie stelt zich niet op het punt te zeggen dat dit in elk gesprek of bij elk systeem gebeurt, aangezien het slechts drie specifieke interacties onderzocht. Het biedt echter een nieuwe manier om naar deze interacties te kijken, waarbij wordt aangetoond dat de echte test van een kunstmatige intelligentie niet alleen is wat het zegt, maar hoe het vasthoudt aan wat het heeft gezegd wanneer het gesprek moeilijk wordt. De bevindingen suggereren dat voor gebruikers die deze hulpmiddelen gebruiken voor complexe verklaringen, de belangrijkste vaardigheid kan zijn om te leren herkennen wanneer de machine stilletjes de regels van het spel verandert om de cijfers te laten passen, in plaats van de cijfers het verhaal te laten vertellen.