From Drift to Coherence: Stabilizing Beliefs in LLMs

Technische Samenvatting: Van Drift naar Coherentie: Het Stabiliseren van Overtuigingen in LLM's

Probleemformulering
Er wordt vaak verondersteld dat Large Language Models (LLM's) impliciete Bayesiaanse inferentie uitvoeren, met name in de context van in-context leren (ICL). Een cruciale voorwaarde voor een dergelijke Bayesiaanse coherentie is de martingaal-eigenschap van voorspellende overtuigingen: de verwachting van toekomstige overtuigingen, geconditioneerd op de huidige historie, moet gelijk zijn aan de huidige overtuiging. Vorig werk door Falck et al. (2024) toonde aan dat LLM's deze eigenschap schenden in gecontroleerde synthetische omgevingen (bijv. willekeurige getallengeneratie), wat suggereert dat ze niet algemeen Bayesiaans zijn. Deze synthetische taken verhullen echter de werkelijke voorspellende distributie van het model en weerspiegelen mogelijk niet de typische gebruikssituaties.

Dit artikel onderzoekt of LLM's martingaal-schendingen vertonen in een praktischere setting: generieke meerkeuzevraagbeantwoording (MCQA). De auteurs definiëren het voorspellende proces als een sequentie van antwoorden die autoregressief worden gegenereerd voor een vaste query. Zij observeren dat hoewel LLM's uiteindelijk stabiliseren, ze een significante initiële belief drift vertonen, waarbij de voorspellende distributie systematisch verschuift tijdens de vroege sampling-stappen, wat de martingaal-eigenschap schendt. Deze drift impliceert dat de interne overtuigingsstaat van het model niet onmiddellijk coherent is, wat een "burn-in"-periode vereist om een stabiele limiterende distributie te bereiken.

Methodologie
De auteurs stellen een raamwerk voor om deze drift te analyseren en te corrigeren met behulp van de discrete aard van MCQA-antwoordruimtes, wat de exacte berekening van voorspellende distributies mogelijk maakt zonder sampling-approximaties.

1. Prompted Predictive Resampling (PPR): Het kernexperimentele protocol houdt in dat een LLM wordt geïnstrueerd om herhaaldelijk een sequentie van antwoorden op dezelfde vraag te genereren. Dit creëert een historie-afhankelijke voorspellende proces $\theta_n(x_Q)$, waarbij het model conditioneert op zijn eigen eerdere outputs.
2. Answer Seeding: Om drift in de vroege stadia te mitigeren, introduceren de auteurs een prompting-strategie waarbij het model eerst wordt voorzien van een korte sequentie van "seed"-antwoorden, gesampled i.i.d. uit de standaard modeldistributie (zonder resampling-instructies). Deze seeds fungeren als een "mean-field" samenvatting van de onzekerheid van het model, waardoor het generatieve proces sneller naar een stabiel regime wordt gestuurd.
3. Martingale Amortization (Self-Consistency Loss): Om de computationele kosten van lange resampling-sequenties of externe seeding tijdens de inferentie te elimineren, stellen de auteurs een fine-tuning doelstelling voor genaamd Self-Consistency (SC) loss. Deze loss minimaliseert de divergentie tussen de kortetermijnvoorspellingen van het model en zijn langetermijnvoorspellingen (benaderd via Monte Carlo rollouts). Door het model te trainen om overeen te komen met zijn eigen toekomstige marginale statistieken, "amortiseert" de SC loss het stabilisatieproces, waardoor het model onmiddellijk (zero-shot) een coherente overtuigingsdistributie kan produceren zonder een burn-in fase.

Belangrijkste Bijdragen

• Empirische Karakterisering van Drift: Het artikel levert empirisch bewijs dat, hoewel LLM's de martingaal-eigenschap schenden in de initiële stappen van voorspellende resampling, ze spontaan stabiliseren na een voldoende aantal stappen en convergeren naar een coherente voorspellende distributie (een martingaal-posterior).
• Stabilisatiemechanismen: De auteurs introduceren twee methoden om coherentie te bereiken:
  • Tijdens de inferentie: Answer seeding, wat de burn-in periode verkort door een stochastische context te bieden.
  • Tijdens de training: De SC loss, die het model leert om stabiliteit te internaliseren, waardoor de convergentiehorizon effectief wordt samengevallen.
• Theoretische Rechtvaardiging: Het artikel stelt vast dat het minimaliseren van de SC loss ervoor zorgt dat het voorspellende proces nadert tot een benaderde martingaal, mits de modelklasse voldoende expressief is. Theoretische grenzen tonen aan dat de resterende martingaal-schending proportioneel is aan de waarde van de SC loss.

Resultaten
Experimenten werden uitgevoerd op standaard MCQA-benchmarks (CSQA, AI2-ARC, TinyMMLU) met instructie-getunede modellen (LLAMA-3.1-8B en OLMO-3-7B).

• Reductie van Drift: Zowel answer seeding als SC loss-training verminderden de Expected Martingale Drift (EMD) aanzienlijk. De SC loss (AM-PPR) presteerde consequent beter dan de standaard PPR en behaalde lagere driftwaarden over alle datasets en modellen.
• Kalibratie en Accuraatheid: De gestabiliseerde voorspellende distributies vertoonden verbeterde onzekerheidskalibratie (lagere Expected Calibration Error en Brier Score) vergeleken met standaard directe-query baselines en niet-gestabiliseerde PPR. Cruciaal is dat deze verbeteringen in coherentie en kalibratie werden bereikt zonder op te offeren van de voorspellende accuraatheid.
• Efficiëntie: De AM-PPR-methode stelde het model in staat om direct toegang te krijgen tot zijn stabiele overtuigingsstaat (gebruikmakend van de eerste token-distributie), wat de noodzaak voor computationeel dure lange rollouts of hulp-seed generatie tijdens de inferentie elimineerde.

Betekenis en Claims
Het artikel claimt dat praktische LLM's een transiënte belief drift vertonen die aanzienlijk kan worden verminderd door specifieke prompting en trainingsstrategieën. Door martingaal-achtige coherentie te operationaliseren, demonstreren de auteurs dat het mogelijk is om de betrouwbaarheid en de onzekerheidskalibratie van LLM's in scenario's met hoge inzet te verbeteren zonder de accuraatheid in gevaar te brengen.

De auteurs merken bescheiden op dat het verminderen van martingaal-schendingen een noodzakelijke maar niet voldoende voorwaarde is voor volledig Bayesiaanse, goed gekalibreerde inferentie; de gestabiliseerde overtuigingen blijven intern consistent maar garanderenen geen feitelijke juistheid of afstemming op de grondwaarheid. Bovendien vertrouwt de methode momenteel op prompt engineering om sequentieel resampling-gedrag op te roepen. Het artikel concludeert dat hoewel het raamwerk is gevalideerd op discrete MCQA, het inherent uitbreidbaar is naar rijkere redeneertrajecten (bijv. Chain-of-Thought), wat wijst op een veelbelovende weg voor toekomstig onderzoek naar het stabiliseren van stochastische denkpaden in complexe redeneerscenario's.