Technisch Overzicht: Voorspelbare Compressiefouten

1. Probleemstelling

Het artikel behandelt een kritiek betrouwbaarheidsprobleem in bewijs-gebaseerde binaire adjudicatie met behulp van Transformer-modellen. Bij taken zoals ondersteuning/weerlegging classificatie, ja/nee-beslissingen, of verifieerder-ondersteunde pass/fail-oordelen, is de output van het model vaak gevoelig voor de volgorde waarin uitwisselbare bewijsstukken worden gepresenteerd.

Hoewel de bewijsmengeling theoretisch uitwisselbaar is (het herordenen zou de waarheidswaarde niet mogen veranderen), produceren Transformers met positionele coderingen variërende waarschijnlijkheden ($q_\pi$) voor verschillende permutaties ($\pi$) van hetzelfde bewijs. Deze "volgordgevoeligheid" creëert een spreiding in voorspellingen, wat leidt tot onbetrouwbare antwoorden of inconsistente abstentie-percentages. De auteurs stellen dat training op de volgende-token minimaliseert van de verwachte voorwaardelijke beschrijvingslengte over ordeningen, waardoor een model gemiddeld Bayes-optimaal kan zijn terwijl het bij een specifieke vaste ordening significant afwijkt van een permutatie-invariante voorspeller. Deze kloof tussen verwachting (gemiddelde over ordeningen) en realisatie (vaste ordening) vormt een "voorspelbare compressiefout."

2. Methodologie en Theoretisch Kader

Het artikel formaliseert dit fenomeen via twee primaire theoretische lenzen: Gekwantificeerde Martingaal Schendingen (QMV) en de Verwachtingsniveau Decompressiewet (EDFL).

2.1 Gekwantificeerde Martingaal Schendingen (QMV)

De auteurs behandelen de bewijsvolgorde als een storende variabele (nuisance variable) en modelleren de spreiding die wordt veroorzaakt door positionele gevoeligheid.

• Aanname: De logit van de Bernoulli-voorspelling vertoont lokale naburige-ranggevoeligheid met een specifiek vervalprofiel (bijv. harmonisch verval waarbij gevoeligheid $\propto t^{-\alpha}$).
• Stelling 1 & 2: Onder deze aannames wordt de verwachte absolute spreiding ($E_\pi |R_\pi|$) begrensd door de cumulatieve gevoeligheid van de logit voor rangveranderingen.
  • Als het verval harmonisch is ($\alpha=1$), groeit de spreiding als $O(\log n)$.
  • Als het verval langzamer is ($\alpha < 1$), groeit het polynomiaal ($O(n^{1-\alpha})$).
  • Als het verval sneller is ($\alpha > 1$), is de spreiding begrensd ($O(1)$).
• Propositie 2: Biedt een aanname-vrije certificering met behulp van de Jensen-Shannon Divergentie (JSD) om spreiding te begrenzen via de Pinsker-ongelijkheid.

2.2 Verwachtingsniveau Decompressiewet (EDFL)

EDDF vertaalt de theoretische grenzen naar bruikbare implementatiemetrieken voor binaire adjudicatie. Het specialiseert een KL-convexiteit en data-verwerkingsgrens voor Bernoulli-predicaten.

• Kernconcept: Het stelt het minimale informatiebudget ($\bar{\Delta}$) vast dat vereist is om een waarschijnlijkheid van een prior massa ($\bar{q}$) naar een doel-posterior massa ($p$) te verschuiven.
• Zeldzame Gebeurtenissen Schaling: Voor zeldzame gebeurtenissen schaalt het vereiste budget als $\log(1/\bar{q})$.
• Operationele Planners: EDFL levert gesloten-vorm metrieken:
  • Bits-to-Trust (B2T): Het minimale informatiebudget dat nodig is om een antwoord te vertrouwen bij een doelbetrouwbaarheid $p^\star = 1 - h^\star$. Berekend als $KL(Ber(p^\star) \| Ber(q_{lo}))$, waarbij $q_{lo}$ de conservatieve ondergrens is van de permutatie-mengeling.
  • Risk-of-Hallucination (RoH): Het resterende risico geïmpliceerd door het gemeten budget.
  • Information Sufficiency Ratio (ISR): De ratio van het beschikbare budget tot het vereiste budget ($\bar{\Delta} / B2T$).

2.3 Implementatiemechanisme

De auteurs stellen een vaste ISR-poortregel voor (Algoritme 1):

• Beslisregel: Antwoord als $ISR \ge 1$; anders, absteneer of verzamel meer bewijs.
• Implementatie: Dit houdt in dat er $m$ permutaties van het bewijs worden gesampled, de waarschijnlijkheid van het model voor elk wordt berekend, het gemiddelde budget $\bar{\Delta}$ (via KL-divergentie) wordt berekend, en dit wordt vergeleken met de B2T-drempel.
• Referentieverdeling: De methode vereist een referentieverdeling $P_{ref}$ voor het predicaat $g$. Dit kan worden geïnstantieerd via deterministische orakels (bijv. database-lookups, unit tests), gouden labels in evaluatie, of gekalibreerde verifieerders.

3. Belangrijkste Bijdragen

1. Gekwantificeerde Volgordgevoeligheid: Het artikel bewijst een QMV-grens die aantoont dat permutatie-geïnduceerde spreiding een $O(\log n)$ schalingswet volgt onder harmonische positionele gevoeligheid, waarbij expliciete constanten voor deze groei worden gegeven.
2. EDFL als een Actiegerichte Specialisatie: Het leidt de Verwachtingsniveau Decompressiewet af, waarbij abstracte convexiteitsgrenzen worden omgezet in gesloten-vorm planners (B2T, RoH, ISR) en een vaste, controleerbare $ISR=1$ beslissingsgrens.
3. Implementeerbare Answer/Abstain Interface: De auteurs definiëren een praktische procedure (Algoritme 1) die permutatie-mengelingen gebruikt om informatie-toereikendheid te schatten, waardoor modellen kunnen weigeren antwoorden te geven wanneer het informatiebudget onvoldoende is om een doelbetrouwbaarheid te garanderen.

4. Empirische Validatie

De theorie werd gevalideerd over 3.059 gegronde items uit FEVER, HotpotQA, NQ-Open, PopQA en een aangepaste Controls benchmark, met behulp van Qwen2-7B en Llama3.1-8B.

• Spreidingsschaling (Experiment 1):

  • Waargenomen dat de gemiddelde absolute residuen de voorspelde $a + b \log n$ schalingswet volgen.
  • Qwen2-7B vertoonde een spreidingshelling ($b \approx 0.377$) die aanzienlijk hoger lag dan die van Llama3.1-8B ($b \approx 0.147$), wat duidt op sterkere positionele gevoeligheid.
  • Uniforme permutatie-mengelingen leverden positieve Jensen-gaps (verbeteringen in cross-entropie) op, wat bevestigt dat het middelen over ordeningen de loss vermindert. De uniforme mengeling werd gevonden te nabij de MDL-optimaal te zijn, met optimaliteitsgaten $< 10^{-4}$ nats/token.

• Causale Dose-Response (Experiment 2):

  • Een gerandomiseerde studie waarbij de "support dose" (aantal ondersteunende bewijsstukken) werd gevarieerd terwijl de promptlengte constant werd gehouden.
  • Resultaten toonden een causaal verband: het verhogen van de support dose verlaagde de geschatte informatiebudget ($\bar{\Delta}$) en verminderde de hallucinatie-percentages. De passende helling gaf aan dat er ongeveer 12,7 minder hallucinaties zijn per extra nat aan informatiebudget.

• Held-Out Audit (Experiment 3):

  • Een vooraf gespecificeerde audit op 528 held-out items met behulp van een Gemma-2-9B gefinetuned model.
  • Door de analytisch vaste $ISR=1$ poort te gebruiken (zonder post-hoc tuning), bereikte het systeem een hallucinatiepercentage van 0,0–0,7% met een abstentiepercentage van 20,6–27,9% (95% CI's).
  • Dit demonstreert het vermogen van het werkpunt om dekking te ruilen voor hoge betrouwbaarheid zonder universele kalibratieclaims te maken.

5. Betekenis en Claims

Het artikel beweert een falsifieerbaar, out-of-sample werkpunt te bieden voor bewijs-gegronde AI. De betekenis ligt in:

• Verzoening van Training en Implementatie: Het verklaart waarom modellen getraind om cross-entropie te minimaliseren (verwachting) nog steeds kunnen falen op specifieke ordeningen (realisatie) en biedt een methode om deze kloof te overbruggen.
• Verder gaan dan Kalibratie: In plaats van te vertrouwen op geleerde vertrouwensdrempels die mogelijk niet generaliseren, is de ISR-poort analytisch afgeleid van informatie-theoretische principes (KL-divergentie).
• Verifieerbare Betrouwbaarheid: Het kader is beperkt tot verifieerder-relatieve predicaten. De auteurs stellen expliciet dat hun garanties relatief zijn aan een referentieverdeling geïnduceerd door een specificatie, deterministisch instrument of gekalibreerde verifieerder. Ze claimen geen universele kalibratie voor onbeperkte generatie of modellen zonder dergelijke verificatie-primitieven.

Dit werk positioneert zich als een "implementatie-gerichte" oplossing, die een concrete regel biedt (Antwoord als $ISR \ge 1$) waarmee systemen kunnen absteneren wanneer het informatiebudget onvoldoende is om een doelbetrouwbaarheid te ondersteunen, waardoor het risico op hallucinatie in gegronde taken wordt beheerst.