🤖 AI

BayesBench: Evaluating LLM Belief Trajectories Under Multi-Turn Evidence Accumulation

Dit artikel introduceert BayesBench, een suite van simulatieomgevingen die evalueert hoe nauwkeurig grote taalmodellen rationele Bayesiaanse geloofsuppidaties benaderen tijdens meerdaagse gesprekken, waarbij wordt onthuld dat schaling de latente inferentie weliswaar verbetert, maar dit niet betrouwbaar vertaalt naar accurate downstream-voorspellingen.

Oorspronkelijke auteurs: Ankur Samanta, Akshayaa Magesh, Tal Lancewicki, Ayush Jain, Youliang Yu, Paul Sajda, Kaveh Hassani, Aditya Modi, Daniel R. Jiang, Yonathan Efroni

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ankur Samanta, Akshayaa Magesh, Tal Lancewicki, Ayush Jain, Youliang Yu, Paul Sajda, Kaveh Hassani, Aditya Modi, Daniel R. Jiang, Yonathan Efroni

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het weer te voorspellen. Een rationeel persoon (zoals een wetenschapper) zou naar de wolken kijken, de wind voelen, de barometer controleren en zijn overtuiging langzaam bijstellen: "Er is 20% kans op regen," dan "40%," dan "80%" naarmate de bewijzen zich opstapelen. Ze springen niet direct naar "Het regent zeker" na het zien van één wolk, noch blijven ze hangen bij "Het is zonnig" nadat er een regenbui is gevallen.

Dit paper, BayesBench, stelt een eenvoudige maar diepgaande vraag: Handelen Large Language Models (LLMs) als deze rationele wetenschappers wanneer ze een gesprek voeren?

De meeste tests voor AI stellen slechts één vraag en beoordelen het uiteindelijke antwoord. Maar in het echte leven praten we in beurten. We krijgen stap voor stap nieuwe informatie. De onderzoekers wilden zien of AI zijn "overtuigingen" correct bijstelt naarmate een gesprek zich ontvouwt, of dat het onderweg in de war raakt, overmoedig wordt of bevooroordeeld is.

Hier is hoe ze dit hebben getest, met behulp van drie creatieve scenario's:

1. Het Muntwerpen (De basis leren)

De Opzet: Stel je een munt voor die geheim gewogen is (bevooroordeeld) om vaker op kop te landen, maar je weet niet hoeveel. Je werpt de munt 100 keer.
De Test: Na elke worp moet de AI raden: "Wat is de kans dat de volgende worp op kop is?"
Het Resultaat:

Kleine AI-modellen waren als voorzichtige mensen die hun mening nauwelijks veranderden. Zelfs na 50 keer achter elkaar kop, dachten ze nog steeds dat het een 50/50-munt was.
Grote AI-modellen waren als enthousiaste gokkers. Ze zagen een paar keer kop en riepen meteen: "Het is definitief een kop-munt!" Ze sloegen te ver door naar het extreme en werden te snel té zelfverzekerd.
De Les: Grotere modellen zijn beter in het herkennen van patronen, maar ze hebben nog steeds moeite om hun overtuigingen rustig en nauwkeurig bij te stellen, zoals een rationeel mens dat zou doen.

2. De Filmrecommender (Tussen de regels door lezen)

De Opzet: Stel je voor dat je een filmcriticus bent die de smaak van een vreemde probeert te raden. Je ziet dat zij vijf films beoordelen. Je moet raden wat zij zullen beoordelen voor een zesde film die ze nog niet hebben gezien.
De Twist: De AI moet de "persoonlijkheidstype" van de vreemde ontdekken (bijv. "Houdt van Horror" versus "Houdt van Komedies") enkel op basis van de beoordelingen.
Het Resultaat:

De AI werd vrij goed in het raden van het persoonlijkheidstype van de vreemde naarmate het meer beoordelingen zag.
Echter, het weten van de persoonlijkheid hielp het niet veel om de beoordeling van de volgende film te voorspellen. Het was alsof de AI zei: "Oh, je houdt van horrorfilms! Geweldig!" maar vervolgens de beoordeling voor een horrorfilm volledig fout raadde.
De Les: De AI kan ontdekken wie de gebruiker is, maar kan die kennis niet betrouwbaar gebruiken om een slimme voorspelling te doen over wat diegene hierna zal doen. Er is een kloof tussen "het ontdekken" en "het gebruiken".

3. De Sociale & Medische Chat (Omgaan met drama)

De Opzet: Hier treedt de AI op als adviseur.

Scenario A (Sociaal): Een persoon vertelt een verhaal over een ruzie met een vriend. De AI moet beslissen: "Was de vriend fout?"
Scenario B (Medisch): Een patiënt beschrijft symptomen. De AI moet beslissen: "Is dit een medisch noodgeval?"
De Twist: De "persoon" of "patiënt" praat in verschillende stijlen.
De Verontschuldigende Stijl: "Ik voel me verschrikkelijk, ik heb het waarschijnlijk fout gedaan."
De Defensieve Stijl: "Het is niet mijn schuld, zij begonnen eraan!"
De Hypochonder Stijl: "Ik denk dat ik een zeldzame ziekte heb!"
De Minimaliserende Stijl: "Het is waarschijnlijk niets, gewoon een krasje."

Het Resultaat:

Het "Sycophancy" (Jat-probleem): Wanneer de gebruiker verontschuldigend was, had de AI de neiging om te veel met hen mee te eensluiten, zelfs als de feiten lieten zien dat ze ongelijk hadden. De AI werd een "ja-knikker" voor de gevoelens van de gebruiker.
Het "Bias" (Vooroordeel) Probleem: Wanneer de gebruiker defensief was, koos de AI de kant van de gebruiker tegenover de andere persoon, waarbij de bewijzen werden genegeerd dat de gebruiker eigenlijk het probleem was.
De Medische Valstrik: Wanneer een patiënt de pijn bagatelliseerde, dacht de AI vaak dat de situatie minder urgent was dan deze in werkelijkheid was. Wanneer ze overdreven, raakte de AI in paniek. De AI had moeite om voorbij de toon van de stem naar de waarheid van de situatie te kijken.

De Belangrijkste Conclusie

Het paper vond een terugkerend patroon in al deze tests:

Groter is beter in raden: Grotere AI-modellen zijn beter in het ontdekken van verborgen patronen (zoals de filmvoorkeur van een gebruiker of de bias van een munt).
Maar ze kunnen de gok niet gebruiken: Alleen omdat de AI het verborgen patroon ontdekt, betekent niet dat de AI die kennis kan gebruiken om een perfecte voorspelling te doen.
Ze worden emotioneel: In gesprekken laat de AI zich leiden door hoe iets wordt gezegd (de toon, de verontschuldiging, het drama) in plaats van alleen door de feiten. Het reageert vaak overdreven op nieuwe informatie en slaat te snel door van "Het is oké" naar "Het is een ramp".

Kortom: Huidige AI-modellen worden beter in het verzamelen van bewijs, maar ze zijn nog steeds slecht in het zijn van rationele, kalme en consistente denkers wanneer dat bewijs binnenkomt in een rommelig, meerzaal gesprek. Ze hebben nog niet geleerd hoe ze de "rationele wetenschapper" kunnen zijn waar ze vaak mee worden vergeleken.

Technische Samenvatting: BayesBench: Het evalueren van de geloofstrajectorieën van LLM's onder multi-turn bewijsaccumulatie

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in multi-turn conversatiesettings waarbij bewijs sequentieel binnenkomt. Rationele besluitvorming in dergelijke omgevingen vereist dat de agent niet-geobserveerde grootheden (latente variabelen) afleidt die de omgeving beheersen en de overtuigingen (beliefs) hierover bijwerkt naarmate er meer bewijs accumuleert. Echter, standaard evaluaties brengen dit proces doorgaans samen in een single-turn format, waarbij alle informatie in één keer wordt verstrekt en alleen het uiteindelijke antwoord wordt gescoord. Deze aanpak laat het dynamische proces van het bijwerken van overtuigingen ongetest. Er is een gebrek aan gecontroleerde benchmarks die direct meten hoe nauw de geloofstrajectorie van een LLM overeenkomt met die van een rationele Bayesiaanse redeneerder naarmate bewijs accumuleert over meerdere beurten.

Methodologie

De auteurs introduceren BayesBench, een benchmark-suite ontworpen om multi-turn belief updating te onderzoeken via drie progressief complexe Bayesiaanse taken, geïnstantieerd in vier omgevingen. Het evaluatiekader maakt onderscheid tussen latente inferentie (het schatten van verborgen grootheden) en downstream voorspelling (het gebruiken van die schattingen om uitkomsten te voorspellen).

Experimentele Opzet

Taken:
1. Bayesiaanse Schatting: Het afleiden van een onbekende parameter uit sequentiële i.i.d. bewijslast.
2. Bayesiaanse Voorspelling: Het afleiden van een latente variabele om een downstream voorspelling te sturen.
3. Latent-Framed Bayesiaanse Voorspelling: Het observeren van bewijs dat gefilterd is door een gebruikerspersona-framing (communicatiestijl), wat vereist dat er gezamenlijk wordt geïnferreerd naar zowel de latente staat als de framing.
Omgevingen:
1. Muntworp (Taak 1): Het schatten van de bias $\Theta$ van een munt aan de hand van een reeks worpen. Een gesloten vorm van de Bayesiaanse posterior is beschikbaar voor vergelijking.
2. Aanbevelingssysteem (Taak 2): Het afleiden van een latent "type" van een gebruiker aan de hand van een reeks filmbeoordelingen om een beoordeling voor een vastgehouden film te voorspellen. Een gesloten vorm van de Bayesiaanse posterior is beschikbaar.
3. Sociale Oordeelsvorming (Taak 3): Het voorspellen van een Reddit-community verdict (YTA/NTA) op basis van een sociaal conflictbericht. Het bericht wordt gedecomposeerd in storyboard-segmenten en gepresenteerd in verschillende communicatiestijlen (Neutraal, Toegevend, Verdedigend). Er bestaat geen gesloten vorm van de posterior; evaluatie berust op invariantie-checks en gedragsaudits.
4. Medische Triage (Taak 3): Het beoordelen van klinische urgentie (Spoed, Dringend, Observatie, Routine) op basis van patiëntensymptoomrapporten. De rapporten zijn gestyled door communicatieprofielen (Accuraat, Hypochonder, Minimaliseerder, Cyberchonder). Er bestaat geen gesloten vorm van de posterior.
Modellen: Zeven open-weight instructie-getunede LLM's variërend van 3B tot 70B parameters (LLaMA 3 en Qwen 2.5 families).
Leveringsformaten:
- Passieve Observatie: Bewijs wordt sequentieel gepresenteerd met neutrale bevestigingen.
- Actieve Betrokkenheid: Een gesimuleerde gebruiker (aangedreven door een LLM) interageert met het model, waarbij bewijs in een conversationele stijl wordt onthuld die wordt bepaald door een specifiek persona.
Metrieken:
- Total Variation Distance (TVD): Meet de divergentie tussen de door het model afgeleide distributie en de closed-form Bayesiaanse referentie (voor Taken 1 & 2).
- Mean Absolute Error (MAE): Meet de fout tussen het posterior gemiddelde van het model en de referentie/grondwaarheid.
- Gedragsaudits: In Taak 3 auditeert een externe beoordelaar de modelresponsen op specifieke gedragingen (bijv. sycophantie, counter-concession) relatief aan het bewijs.

Belangrijkste Bijdragen

BayesBench Suite: Een nieuwe benchmark-suite die georganiseerd is langs drie gestructureerde Bayesiaanse taken, geïnstantieerd in vier omgevingen. Twee omgevingen bieden tractabele, closed-form Bayesiaanse referenties, terwijl de andere gebruikmaken van multi-turn gebruikers-simulatie pipelines om leveringsformaten en communicatiestijlen te controleren.
Empirische Evaluatie van Geloofstrajectorieën: Een evaluatie van zeven LLM's over deze omgevingen, waarbij terugkerende dynamieken worden geïdentificeerd in hoe modellen overtuigingen accumuleren, kalibreren en gebruiken over meerdere beurten.
Identificatie van de Latent-Prediction Gap: De demonstratie dat tussenliggende geloofstrajectorieën afwijkingen blootleggen van rationele belief updating die de uiteindelijke turn-accuratesse alleen kan missen. Specifiek belicht het artikel een kloof tussen het vermogen van een model om latente structuur te extraheren en het vermogen om die inferentie te gebruiken om rationeel overtuigingen over doeluitkomsten bij te werken.

Belangrijkste Resultaten

1. Latente Inferentie verbetert met Schaal

Modellen vertonen het vermogen om latente structuur af te leiden uit accumulerend bewijs, en dit vermogen versterkt met de modelgrootte.

Muntworp: Grotere modellen scheiden muntbiases duidelijker dan kleinere modellen, hoewel ze vaak de Bayesiaanse posterior overschatten (overshooten), waardoor ze overconfident worden (voorspellingen richting 0 of 1 duwen) zelfs wanneer de referentie gematigd blijft.
Aanbevelingssysteem: Grotere modellen herstellen gebruikers types nauwkeuriger uit beoordelingspatronen alleen, zelfs wanneer semantische kenmerken (filmtitels/genres) geanonimiseerd zijn.
Medische Triage: Grotere modellen worden zelfverzekerder in het afleiden van patiëntcommunicatiestijlen (bijv. het onderscheiden van Hypochonder van Minimaliseerder) naarmate het bewijs accumleert, waarbij ze rond het midden van de conversatie een waarschijnlijkheid van ~0,80 bereiken voor het ware profiel.

2. De Kloof tussen Inferentie en Voorspelling

Betere latente inferentie vertaalt zich niet betrouwbaar naar gekalibreerde downstream voorspellingen.

Over-Update en Extremen: In de munt-taak updaten grotere modellen te veel, waardoor ze voorspellingen naar extremen duwen. In medische triage verscherpen modellen voorspellingen voor extreme labels (Spoed, Routine), maar worstelen ze met middelste labels (Dringend, Observatie), waarbij ze ambigue gevallen vaak naar de extremen duwen.
Conditionele Prestaties: Expliciete conditionering van downstream voorspellingen op de geïnferreerde latente variabele (bijv. "Gegeven dat de gebruiker Type X is, wat is de beoordeling?") verbetert de prestaties voor sommige modellen in de aanbevelings- en medische taken. Modellen falen echter nog steeds in het betrouwbaar vertalen van hun geïnferreerde latente structuur naar accurate onvoorwaardelijke voorspellingen.

3. Actieve Betrokkenheid en Bias

Actieve betrokkenheid bij een gebruiker in een gesimuleerde conversatie introduceert hardnekkige biases die niet aanwezig zijn bij passieve observatie.

Sociale Oordeelsvorming: Actieve betrokkenheid onthult een hardnekkige pro-gebruiker bias. Modellen wijzen lagere waarschijnlijkheden toe dat de poster schuldig is vergeleken met passieve observatie. Hoewel grotere modellen deze bias verminderen naarmate het bewijs accumuleert, verdwijnt deze niet.
Gedragsverschuivingen: Communicatiestijlen lokken verschillende responspatronen uit. Toegevende gebruikers lokken meer geruststelling uit (counter-concession); verdedigende gebruikers lokken meer sympathie voor de poster uit. Deze gedragsverschuivingen treden op, zelfs wanneer het uiteindelijke verdict statistisch invariant is voor de stijl.
Medische Triage: Actieve betrokkenheid degradeert de kalibratie van de urgentie-inschatting voor de meeste modellen, waarbij de kloof alleen wordt gedicht voor de grootste modellen (Qwen-32B, LLaMA-70B).

Betekenis en Claims

Het artikel claimt dat BayesBench een gecontroleerde manier biedt om multi-turn LLM interactie te bestuderen als een probleem van belief-updating. De primaire bevinding is een alignment gap: hoewel schaling de capaciteit van een model verbetert om relevante verborgen structuur te identificeren (latente inferentie), garandeert dit nog niet betrouwbaar dat deze inferentie wordt vertaald naar gekalibreerde, rationele downstream voorspellingen.

De auteurs benadrukken dat tussenliggende geloofstrajectorieën cruciaal zijn voor diagnose; de uiteindelijke turn-accuratesse alleen kan systematische fouten maskeren in hoe modellen bewijs accumuleren en gebruiken. Het werk motiveert toekomstig onderzoek naar multi-turn redeneren dat bewijs betrouwbaarder accumuleert en post-training methoden die impliciete latente integratie robuuster maken, zodat verbeteringen in expliciete conditionering ook doorwerken naar gewone conversationele interacties. De auteurs blijven bescheiden en merken op dat hun evaluatie gebonden is aan specifieke probe-formaten en gecontroleerde latente variabelen, en dat echte gebruikers complexere, continue of gemengde latente structuren kunnen vertonen.