The {\alpha}-Law of Observable Belief Revision in Large Language Model Inference

Titel: De α-wet van waarneembare geloofsrevisionie in Large Language Model-inferentie

Auteurs: Mike Farmer, Abhinav Kochar, Yugyung Lee (Universiteit van Missouri–Kansas City)

---

1. Het Probleem

Grote Taalmodellen (LLM's) gebruiken steeds vaker iteratieve methoden om hun output te verfijnen, zoals Chain-of-Thought (CoT), zelfreflectie en multi-agent debatten. Hoewel deze technieken empirisch de prestaties verbeteren, ontbreekt er een fundamenteel wiskundig inzicht in de stabiliteit van de kansverdelingsupdates die hierbij plaatsvinden.

De centrale vraag is: Is de geometrie van deze iteratieve updates stabiel?

• Als de updates expansief zijn (fouten versterken), zullen fouten zich ophopen in plaats van gecorrigeerd worden.
• Als de updates contractief zijn (fouten verminderen), convergeert het systeem naar een stabiele oplossing.
  Huidige methoden behandelen geloofsrevisionie vaak als een "black box" zonder theoretische garanties voor convergentie.

2. Methodologie

De auteurs benaderen het probleem vanuit de regelingstechniek (control theory) en analyseren de wiskundige structuur van de updates in plaats van de interne werking van het model.

• Experimenteel Opzet:

  • Datasets: 4,975 problemen uit vier graduate-niveau benchmarks: GPQA Diamond (wetenschap), TheoremQA (wiskunde), MMLU-Pro (multi-onderwerp) en ARC-Challenge (commonsense).
  • Modellen: Voornamelijk GPT-5.2 en Claude Sonnet 4. Ook GPT-4 (voor multi-stap tests) en Llama-3.3-70B (voor token-level validatie) werden gebruikt.
  • Protocol: Voor elk probleem genereert het model kandidaat-oplossingen, geeft een voorafgaande kansverdeling ($q_0$), ontvangt verificatiebewijs ($b$), en geeft een aangepaste kansverdeling ($q_1$).

• De α-wet (Theoretisch Kader):
  De auteurs stellen voor dat LLM's een multiplicatieve schaalwet volgen voor geloofsrevisionie:
  $$\log q_1(i) = \alpha [\log q_0(i) + \log b(i)] + c$$
  Waarbij:

  • $q_0$: De initiële overtuiging (prior).
  • $b$: Het bewijs van verificatie.
  • $\alpha$: De geloofsrevisionie-exponent.
  • $c$: Een normalisatieconstante.

  Stabiliteitstheorema (Stelling 1):

  • Als $\alpha < 1$: Het systeem is asymptotisch stabiel (contractief); fouten nemen geometrisch af.
  • Als $\alpha = 1$: Bayesiaanse update (marginaal stabiel).
  • Als $\alpha > 1$: Het systeem is instabiel (expansief); fouten versterken exponentieel.

3. Belangrijkste Bijdragen

1. Identificatie van de α-wet: De auteurs bewijzen dat $\alpha < 1$ een noodzakelijke en voldoende voorwaarde is voor stabiliteit onder iteratie. Ze vinden empirisch dat instructie-geoptimaliseerde LLM's een consistente multiplicatieve schaalwet volgen.
2. Uitgebreide Validatie: De wet is getest op bijna 5.000 problemen over vier benchmarks en twee model-families. Daarnaast zijn er validaties uitgevoerd voor multi-stap revisie, token-level log-probabiliteiten, en robustheid tegen ruis.
3. Vertrouwensratio-vingerafdrukken: Door de update te ontleden in prior- en bewijscomponenten, kunnen ze specifieke gedragspatronen van verschillende model-families kwantificeren (bijv. GPT vs. Claude).

4. Resultaten

A. De Waarde van $\alpha$ (Single-Step)

• Op schone data (zonder fallback-mechanismen) is de gemiddelde $\alpha = 1.163 \pm 0.084$.
• Dit betekent dat LLM's nabij-Bayesiaans gedrag vertonen, maar met een lichte oververtrouwing ($\alpha > 1$). Ze reageren iets agressiever op nieuw bewijs dan een ideale Bayesiaanse agent zou doen.
• De $R^2$ van de regressie is gemiddeld 0.76, wat aangeeft dat de multiplicatieve structuur zeer consistent is.

B. Multi-Step Convergentie (Stabiliteit)

Hoewel de single-step $\alpha$ iets boven 1 ligt (expansief), is het systeem op lange termijn stabiel:

• Bij iteratieve revisie (7 stappen op 198 GPQA-problemen) daalt $\alpha$ systematisch van 0.84 naar 0.54.
• De geometrische gemiddelde $\bar{\alpha}_{geo} = 0.75$, wat duidelijk onder de stabiliteitsdrempel van 1 ligt.
• Conclusie: Hoewel individuele stappen licht expansief kunnen zijn, zorgt de systematische afname van $\alpha$ bij herhaling voor een contractieve dynamiek op de lange termijn, wat convergentie garandeert.

C. Model-afhankelijke "Vingerafdrukken" (Trust Ratios)

Door de exponent te ontleden in een prior-gewicht ($\alpha_q$) en een bewijs-gewicht ($\alpha_b$), wordt de vertrouwensratio $\tau = \alpha_b / \alpha_q$ bepaald:

• GPT-5.2: $\tau \approx 1.0$ (Gebalanceerd: prior en bewijs worden gelijk gewogen).
• Claude Sonnet 4: $\tau \approx 1.1$ (Licht bewijs-bevoordelend: reageert iets sterker op nieuw bewijs).
• Gemini 2.5: Preliminair $\tau \approx 2.3$ (Sterk bewijs-versterkend), maar deze data was vervuild door fallback-mechanismen en werd uitgesloten van de hoofdanalyse.

D. Robuustheid en Validatie

• Token-level vs. Zelfrapportage: Validatie met Llama-3.3-70B toonde aan dat zelfgerapporteerde kansen en token-level log-probabiliteiten dezelfde mediane $\alpha \approx 1.0$ opleveren.
• Ruisgevoeligheid: Bij het injecteren van ruis in het bewijs (verkeerde verificatie) daalt de gemeten $\alpha$ en verslechtert de $R^2$. Dit suggereert dat de $\alpha$-fit kwaliteit een diagnose kan zijn voor de betrouwbaarheid van het bewijs.
• Onafhankelijkheid van K: De waarde van $\alpha$ is niet significant afhankelijk van het aantal kandidaat-antwoorden ($K$).

5. Betekenis en Implicaties

• Diagnostisch Instrument: De $\alpha$-wet biedt een principieel diagnostisch middel om de kwaliteit van updates in LLM-systemen te monitoren zonder ground-truth nodig te hebben. Een lage $R^2$ of een $\alpha$ die niet daalt bij iteratie kan wijzen op instabiel gedrag of onbetrouwbaar bewijs.
• Runtime Controle: De auteurs stellen een "Belief Geometry Controller" (BGC) voor die $\alpha$ in real-time meet en adaptieve demping toepast als updates expansief worden, zonder het model opnieuw te hoeven trainen.
• Interpretatie van RLHF: De lichte oververtrouwing ($\alpha > 1$) wordt toegeschreven aan Reinforcement Learning from Human Feedback (RLHF), waarbij modellen worden beloond voor beslissende en zelfverzekerde antwoorden.
• Risico's in Deployments: In academische benchmarks werken modellen vaak correct (>99%), maar in de echte wereld (met ruis en complexe iteraties) kan een kleine afwijking van $\alpha=1$ leiden tot exponentiële foutversterking. De $\alpha$-wet maakt deze risico's kwantificeerbaar.

Conclusie:
Het artikel onthult dat de waarneembare update-gedrag van instructie-geoptimaliseerde LLM's een meetbare, geometrische structuur volgt. Hoewel ze in één stap licht oververtrouwd zijn, stabiliseren ze zichzelf bij herhaalde revisie. De $\alpha$-wet fungeert als een fundamentele wet voor het begrijpen en controleren van de stabiliteit van AI-systemen die iteratief redeneren.