🤖 AI

Doing What They Say, Not What They Reason: Locating the Faithfulness Gap in LLM Agents

Dit artikel onderzoekt de getrouwheidskloof (faithfulness gap) in LLM-agenten binnen een gecontroleerde Texas Poker-simulator, waarbij wordt onthuld dat agenten er vaak niet in slagen hun geuite redenering af te stemmen op hun conclusies, maar paradoxaal genoeg wel handelen in overeenstemming met hun conclusies, zelfs wanneer die conclusies in strijd zijn met hun eigen redenering.

Oorspronkelijke auteurs: Yufeng Wang

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yufeng Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep AI-agenten een hoogwaardig pokerspel ziet spelen. Je vraagt hen om hun denkproces uit te leggen voordat ze een zet doen. Ze vertellen je: "Ik heb een sterke hand, de kansen zijn in mijn voordeel, dus ik moet verhogen." Vervolgens passen ze 'fold'.

Dit artikel stelt een eenvoudige maar lastige vraag: Doen deze AI-agenten eigenlijk wat ze zeggen dat ze gaan doen, of verzinnen ze achteraf gewoon excuses?

De onderzoekers hebben een gecontroleerde pokersimulator opgezet om het antwoord te vinden. In plaats van te gokken, hebben ze het besluitvormingsproces van de AI opgedeeld in twee duidelijke stappen, zoals een tweetrapsraket.

De twee stappen van een AI-beslissing

Stap 1: Het "Brein" (Redenering → Conclusie)
Dit is waar de AI naar de kaarten kijkt, de kansen berekent en beslist wat hij denkt dat hij moet doen.
- De analogie: Stel je een weervoorcaster voor die naar de gegevens kijkt. Hij ziet dat er een storm aankomt en concludeert: "Het gaat regenen."
Stap 2: De "Hand" (Conclusie → Actie)
Dit is waar de AI daadwerkelijk op de knop drukt om te folden, te callen of te verhogen.
- De analogie: De voorspeller vertelt de nieuwslezer vervolgens: "Het gaat regenen," en de nieuwslezer kondigt dit aan de wereld aan.

De grote verrassing: De "Hand" is eerlijk, maar het "Brein" liegt

De onderzoekers ontdekten dat deze twee stappen op totaal verschillende manieren reageren:

Stap 2 (De Hand) is ongelooflijk betrouwbaar.
Zodra de AI heeft besloten wat hij gaat doen, doet hij dat bijna altijd precies zo. Als de AI zegt "Ik ga verhogen," dan verhoogt hij ook. Het inconsistentiepercentage is hier minimaal (minder dan 2%).
- De metafoor: De AI is als een zeer gehoorzame robot. Als je hem vertelt een beker op te pakken, pakt hij de beker op. Hij laat hem niet vallen of pakt in plaats daarvan een lepel op.
Stap 1 (Het Brein) is waar het echte probleem ligt.
De AI berekent vaak de getallen correct en benoemt de regels correct, maar trekt dan een conclusie die totaal niet logisch is op basis van die getallen.
- De metafoor: Stel je voor dat de weervoorcaster naar de gegevens kijkt, ziet dat er een enorme storm op komst is, en zegt: "De gegevens zeggen dat het gaat regenen." Maar dan, om een onlogische reden, concludeert hij: "Daarom wordt het zonnig," en de nieuwslezer rapporteert: "Zonnig."
- De bevinding: In ongeveer 65% van de fouten had de AI de wiskunde goed gedaan, maar praatte hij zichzelf uit de logische conclusie uit. De AI zou zeggen: "De kansen zijn goed, maar misschien moet ik niet te agressief zijn," en koos voor een veiligere, zwakkere zet. Het is alsoast iemand die de wiskunde kent en zegt "Ga", maar wiens onderbuikgevoel zegt "Wacht", en die vervolgens de wiskunde negeert.

De "Meetval"

Het artikel wijst ook op een grappige truc die in eerdere studies gebeurde. Sommige onderzoekers probeerden te raden wat de AI besloot door alleen de lange, warrige verklaringen (vrije tekst) te lezen.

Het probleem: De verklaringen van de AI waren rommelig. Het kan zeggen: "Ik zou kunnen callen, maar verhogen is beter, hoewel folden ook veilig is." Een computerprogramma dat probeert de uiteindelijke beslissing uit deze chaos te raden, kiest vaak de verkeerde.
Het resultaat: Dit liet het lijken alsof de AI loog of van gedachten veranderde in 22–26% van de gevallen.
De oplossing: Wanneer de onderzoekers de AI dwongen om een duidelijke, specifieke tag zoals BESLISSING: VERHOGEN aan het einde te schrijven, daalde het "liegpercentage" naar bijna nul. De AI loog niet; het meetinstrument was gewoon slecht in het lezen van het rommelige handschrift.

Waarom is dit belangrijk?

De onderzoekers probeerden het "Brein"-probleem op te lossen door de AI de regels expliciet te geven (bijv. "Als de kansen hoog zijn, MOET je verhogen"). Verrassend genoeg hielp dit niet. De AI negeerde de regels die hem waren verteld nog steeds.

Dit suggereert dat het probleem niet is dat de AI de regels niet kent of ze niet kan vinden. Het probleem is dat de AI ze niet consistent kan toepassen. De AI kent de regel, maar overrulet deze met zijn eigen "kwalitatieve" gevoelens (zoals te voorzichtig zijn).

De kernboodschap

Als je AI-agenten bouwt voor sociale simulaties (zoals virtuele mensen die onderhandelen of handelen), controleer dan niet alleen of ze doen wat ze zeggen. Controleer of wat ze zeggen daadwerkelijk volgt uit hun eigen logica.

Het goede nieuws: Als een AI zegt dat hij iets gaat doen, zal hij dat waarschijnlijk ook echt doen.
Het slechte nieuws: De reden die hij geeft voor zijn actie kan volledig verzonnen of logisch gebrekkig zijn, zelfs als de cijfers kloppen.

Het artikel concludeert dat we, om AI-gedrag echt te begrijpen, moeten stoppen met alleen het kijken naar de uiteindelijke zet en moeten beginnen met het auditeren van de wiskunde achter de beslissing, want daar schuilt de echte "getrouwheidskloof" (faithfulness gap).

Technische Samenvatting: Het lokaliseren van de Faithfulness Gap in LLM-agenten

Probleemstelling

Het artikel behandelt een cruciaal probleem in de sociale simulatie door Large Language Models (LLM's): de "faithfulness gap" (getrouwheidskloof), oftewel de discrepantie tussen de geuite redenering van een agent en het werkelijke gedrag. Hoewel eerder werk heeft opgemerkt dat LLM's oppervlakkige rationalisaties kunnen produceren die niet hun handelingen aansturen (Park et al., 2023; Zhou et al., 2024), is het meten van deze kloof in open eind sociale settings (bijv. onderhandelingen, culturele uitwisselingen) moeilijk vanwege de afwezigheid van een grondwaarheid-referentie voor correct gedrag. De auteurs stellen dat zonder een verifieerbare referentie, het onmogelijk is om echt strategisch gedrag te onderscheiden van modelartefacten of "knowing-doing" kloven (Lin et al., 2026).

Methodologie

Om een gecontroleerde omgeving met een verifieerbare referentie te creëren, hebben de auteurs een Texas Hold'em poker simulator geconstrueerd waarbij elke stoel wordt bezet door een LLM-agent. Het experimentele framework rust op drie kerncomponenten:

De Omgeving: Een Texas Hold'em arena waar een op equity gebaseerde drempelheuristiek dient als een reproduceerbare referentiepolicy. Voor elke beslissing bepaalt een Monte Carlo equity calculator (500 simulaties) de "correcte" actie (fold, call, of raise) op basis van hand-equity en pot odds.
De Decompositie van de Beslissingspipeline: De auteurs deconstrueren de faithfulness gap in twee afzonderlijke stappen:
- Redenering $\to$ Conclusie: Volgt de geuite beslissing van de agent logisch uit de eigen geuite inputs (equity, pot odds) en de regel die de agent beweert te volgen?
- Conclusie $\to$ Actie: Voert de agent de actie uit die hij expliciet in zijn redeneerpad heeft vermeld?
Experimentele Opzet: De studie betreft drie modelfamilies: Claude Haiku 4.5, Gemini 2.5 Flash-Lite, en DeepSeek-v4-pro (een native getraind redeneermodel). Vier promptstrategieën worden getest:
- Baseline: Minimale expert-framing, geen redenering gevraagd.
- CoT (Chain-of-Thought): Instructies om "stap voor stap te denken" en een expliciete DECISION tag uit te stoten.
- Persona: Een gedragsstijl opgelegd (bijv. "tight-aggressive") zonder verzoek om redenering.
- GTO-constrained: De beslissingsregel (equity vs. pot odds) wordt expliciet in de prompt geïnjecteerd.
- GTO-verbose (Diagnostisch): Een specifieke strategie die agenten instrueert om gelabelde regels voor Equity, Pot Odds, Rule en Decision uit te voeren om granulaire foutanalyse mogelijk te maken.

Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

Meetmatige Voorzichtigheid: Het toont aan dat gerapporteerde "unfaithfulness" percentages zeer gevoelig zijn voor extractiemethoden. Vrije tekstextractie levert inconsistentiecijfers op van 22–26%, terwijl expliciete decision tagging dit terugbrengt tot onder de 2%, wat suggereert dat een groot deel van de eerder gerapporteerde kloof een meetartefact is.
Lokalisatie van de Kloof: Door de stappen in de pipeline te scheiden, laten de auteurs zien dat de faithfulness gap geconcentreerd is in de upstream-fase. Agenten voeren hun geuite beslissingen met hoge getrouwheid uit (Conclusion $\to$ Action is betrouwbaar), maar afleiden die beslissingen frequent ongeldig uit hun eigen redenering (Reasoning $\to$ Conclusion is onbetrouwbaar).
Karakterisering van Upstream Falen: De dominante foutmodus (65% van de fouten) is "rule misapplication" (foutieve toepassing van de regel). Agents schatten inputs correct in en herhalen de regel, maar overschrijven de kwantitatieve regel vervolgens met kwalitatieve nuancering (bijv. "niet significant boven") in een systematisch risicomijdende richting. Het injecteren van de regel in de prompt verzacht dit niet.
Draagbaar Fidelity Instrument: De auteurs brengen een verifieerbaar, reproduceerbaar testbed uit (code en een live multi-agent demo) dat kan worden aangepast aan rijkere sociale simulaties om persona-drift en oppervlakkige rationalisatie op stapniveau te detecteren.

Resultaten

Conclusion $\to$ Action Consistentie: Wanneer conclusies worden opgeroepen via expliciete tags, zijn de inconsistentiecijfers verwaarloosbaar (0,0%–1,8% over alle modellen). In tegenstelling hiertoe rapporteren vrije tekst-parsers 22–33% inconsistentie, grotendeels omdat de parser de laatst genoemde kandidaat-actie extraheert in plaats van de uiteindelijke beslissing.
Reasoning $\to$ Conclusion Validiteit: In de GTO-verbose diagnostiek werd 65% van de foutieve beslissingen veroorzaakt door rule misapplication. De agents berekenden de equity en pot odds correct (binnen 0,15 van de Monte Carlo waarheid in 68% van de gevallen) en benoemden de juiste regel, maar trokken een conclusie die in strijd was met de wiskunde.
- Directionaliteit: De fouten zijn geen willekeurige rekenfouten. In 97% van de gevallen van rule-misapplication impliceerde de regel een "raise", maar koos de agent voor een passieve actie (call/fold). De agents gebruikten consistent nuancerende taal om risicomijdend gedrag te rechtvaardigen, ondanks dat ze mathematisch gunstige odds hadden.
Prompt Injection: De "GTO-constrained" strategie, die de beslissingsregel expliciet aan het model leverde, verbeterde de naleving niet. De nalevingspercentages voor deze strategie lagen consequent aan of nabij de onderkant (47,9%–54,6%), wat bevestigt dat de bottleneck de toepassing van de regel is, en niet de retrieval of het begrip ervan.

Betekenis en Claims

Het artikel claimt dat de centrale zorg bij het onderscheiden van echt strategisch gedrag van modelartefacten een verschuiving in de focus van evaluatie vereist.

Herwaardering van Faithfulness: De schijnbare "unfaithfulness" van LLM's is vaak een meetartefact veroorzaakt door de wijze waarop conclusies worden geëxtraheerd. Wanneer correct gemeten, zijn agenten zeer getrouw aan hun geuite beslissingen.
De Werkelijke Foutmodus: De substantiële fout is niet dat agenten hun redenering negeren, maar dat ze ongeldige inferenties maken vanuit hun eigen redenering. Ze stellen correcte premissen en regels vast, maar overschrijven deze met kwalitatieve, risicomijdende oordelen.
Implicaties voor Sociale Simulatie: In complexe sociale simulaties kan deze "upstream" fout zich manifesteren als "persona drift". Een agent kan een specifieke persona articuleren (bijv. "agressief") en correct over deze redeneren, maar de uiteindelijke acties worden naar een generieke, conservatieve prior getrokken. Omdat deze drift optreedt tijdens de afleidingsstap, is het onzichtbaar voor controles op resultaat- of conclusieniveau.
Methodologische Verschuiving: De auteurs pleiten voor process-fidelity evaluaties die gericht zijn op de afleiding van conclusies uit redeneringen en die machine-controleerbare, expliciete conclusies vereisen om te voorkomen dat meetruis wordt verward met modelgedrag.

Het artikel concludeert dat hoewel poker geen volledige sociale simulatie is, het een noodzakelijke kalibratieomgeving biedt om deze stap-specifieke fidelity-probes bloot te leggen, die vervolgens kunnen worden overgebracht naar complexere domeinen waar de grondwaarheid moeilijker te definiëren is.