🤖 machine learning

Predictable Compression Failures: Order Sensitivity and Information Budgeting for Evidence-Grounded Binary Adjudication

Dieses Paper führt einen theoretischen Rahmen ein, der quantifizierte Martingal-Verletzungsschranken und ein Erwartungswert-basiertes Dekompressionsgesetz nutzt, um ordnungsinduzierte Kompressionsfehler in evidenzbasierten binären Adjudikationen zu quantifizieren und zu mildern, wodurch ein fester Informationsausreichtums-Verhältnis-Gate ermöglicht wird, das über verschiedene QA-Benchmarks hinweg Halluzinationsraten nahe Null bei kontrollierter Enthaltung erreicht.

Ursprüngliche Autoren: Leon Chlon, Ahmed Karim, Maggie Chlon, MarcAntonio Awada

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Leon Chlon, Ahmed Karim, Maggie Chlon, MarcAntonio Awada

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Sitzordnung“-Problem

Stellen Sie sich vor, Sie sind ein Richter, der entscheiden muss, ob ein Angeklagter schuldig ist. Sie haben einen Stapel Beweisdokumente vor sich liegen. In einer perfekten Welt sollte es keine Rolle spielen, ob Sie die Dokumente von oben nach unten, von unten nach oben oder in einer zufälligen Reihenfolge lesen; das Urteil sollte dasselbe sein.

Die Arbeit stellt jedoch fest, dass moderne KI-Modelle (genannt Transformer) wie sehr sensible Richter sind, die durch die Sitzordnung verwirrt werden. Wenn man die Reihenfolge der Beweise vertauscht, kann die KI ihre Meinung ändern. Manchmal sagt sie „Schuldig“, und wenn man zwei Dokumente vertauscht, sagt sie plötzlich „Nicht schuldig“. Dies macht die KI unzuverlässig, da ihre Antwort davon abhängt, wie man ihr die Fakten überreicht hat, und nicht nur davon, was die Fakten sind.

Der Kern der Idee: „Erwartung vs. Realität“

Die Autoren erklären, dass KI-Modelle darauf trainiert werden, im Durchschnitt gut zu sein. Wenn man die Beweise eine Million Mal durchgemischt und die Ergebnisse gemittelt hätte, wäre die KI sehr intelligent. Aber in der realen Welt erhalten wir nur eine spezifische Reihenfolge der Beweise.

Die Erwartung: Die KI kennt die „durchschnittliche Wahrheit“ über alle möglichen Durchmischungen hinweg.
Die Realität: Die KI muss eine Antwort basierend auf einer spezifischen Durchmischung geben, die eine „schlechte“ Durchmischung sein kann, bei der die KI verwirrt wird.

Diese Lücke zwischen dem, was die KI wissen sollte (im Durchschnitt) und dem, was sie tatsächlich sagt (in einer spezifischen Reihenfolge), ist die „Erwartungs-Realitäts-Lücke“ (Expectation–Realization Gap).

Die Lösung: Drei neue Werkzeuge

Um dies zu beheben, haben die Autoren ein „Sicherheitskit“ mit drei spezifischen Werkzeugen erstellt, um zu entscheiden, wann eine KI vertrauenswürdig ist und wann sie schweigen sollte.

1. Der „Shuffle-Test“ (Quantifizierte Martingal-Verletzung)

Zuerst haben die Autoren mathematisch bewiesen, dass die Verwirrung langsam wächst, wenn man mehr Beweise hinzufügt.

Die Analogie: Stellen Sie sich eine lange Schlange von Menschen vor, die eine Nachricht weitergeben. Wenn die Schlange kurz ist, spielt ein kleines Durcheinander keine Rolle. Wenn die Schlange riesig ist, wird die Nachricht verzerrt. Die Arbeit zeigt, dass dieses Verzerren für die KI wie der Logarithmus der Anzahl der Beweisstücke wächst. Es ist vorhersehbar. Wenn man weiß, wie viele Beweisstücke man hat, kann man vorhersagen, wie sehr die KI schwanken könnte, wenn man sie durchmischt.

2. Das „Vertrauens-Budget“ (Bits-to-Trust & Information Sufficiency)

Die Autoren erkannten, dass eine KI, um zu 100 % sicher einer Antwort zu sein, eine gewisse Menge an „Informationsenergie“ (oder Budget) benötigt.

Die Analogie: Denken Sie an den Vertrauensgrad der KI wie an eine Batterie.
- B2T (Bits-to-Trust): Dies ist die „minimale Batterieladung“, die erforderlich ist, um sicher „Ja“ oder „Nein“ zu sagen. Wenn die Antwort selten oder knifflig ist, braucht man eine größere Batterie.
- ISR (Information Sufficiency Ratio): Dies ist ein einfacher mathematischer Check: Haben wir genug Batterie?
  - Wenn Aktuelle Batterie / Erforderliche Batterie größer als 1 ist, ist die KI sicher zu antworten.
  - Wenn sie kleiner als 1 ist, ist die Batterie zu schwach. Die KI sollte sich enthalten (sagen: „Ich weiß es nicht“), anstatt zu raten und potenziell zu lügen (halluzinieren).

3. Der „Halluzinationsrisiko“-Meter

Sie haben auch einen Weg entwickelt, um das Risiko zu messen, dass die KI Dinge erfindet.

Die Analogie: Wenn die KI versucht, eine Antwort mit einer schwachen Batterie zu erzwingen, ist das wie ein müder Autofahrer, der in einer nebligen Nacht fährt. Das Risiko, zu verunglücken (halluzinieren), steigt. Die Mathematik der Arbeit zeigt, dass man, wenn man der „ISR > 1“-Regel folgt, das Risiko einer Halluzination unglaublich niedrig halten kann (zwischen 0 % und 0,7 % in ihren Tests).

Wie sie es getestet haben

Die Forscher haben nicht nur Mathematik betrieben; sie haben dies an realen Fragen getestet (wie „Wer hat den Super Bowl gewonnen?“ oder „Ist diese medizinische Tatsache wahr?“).

Das Durchmischen (Shuffle): Sie nahmen tausende Fragen und mischten die Beweise für jede Frage 16 verschiedene Male durch.
Das Ergebnis: Sie fanden heraus, dass die Antworten der KI tatsächlich schwankten (Dispersion), aber die Schwankung dem berechneten, vorhersehbaren Muster folgte.
Der Gatekeeper: Sie nutzten ihre „ISR“-Regel als Gatekeeper (Torwächter).
- Wenn die Regel „Gehe“ sagte, war die KI fast immer richtig.
- Wenn die Regel „Stopp“ sagte, blieb die KI stumm.
- Entscheidend: In einem strengen Test, bei dem sie die Regeln nicht an die Daten angepasst hatten, hielt das System die Halluzinationen nahe Null, was beweist, dass die Mathematik in der realen Welt funktioniert.

Das Fazament

Diese Arbeit gibt uns einen Weg, die KI daran zu hindern, selbstbewusst zu raten, wenn sie verwirrt ist. Anstatt darauf zu hoffen, dass die KI es richtig macht, können wir einen einfachen mathematischen Check (den ISR Gate) verwenden, um zu sehen, ob die KI über genügend „Informationskraft“ verfügt, um zu antworten. Wenn sie diese nicht hat, sagen wir ihr, sie soll aufhören und nach mehr Beweisen zu fragen, um das Erfinden von Fakten zu verhindern.

Kurz gesagt: Vertrauen Sie der KI nicht einfach nur deshalb, weil sie selbstbewusst spricht. Prüfen Sie zuerst ihren „Batteriestand“. Wenn die Batterie niedrig ist, lassen Sie sie still sein.

Technisches Resümee: Vorhersehbare Kompressionsfehler

1. Problemstellung

Die Arbeit befasst sich mit einem kritischen Zuverlässigkeitsproblem bei der evidenzbasierten binären Adjudikation unter Verwendung von Transformer-Modellen. Bei Aufgaben wie der Klassifizierung von Support/Refute (Unterstützung/Widerlegung), Ja/Nein-Entscheidungen oder Verifizierer-gestützten Pass/Fail-Urteilen ist der Output des Modells oft sensitiv gegenüber der Reihenfolge, in der austauschbare Evidenz-Chunks präsentiert werden.

Obwohl die Evidenzmenge theoretisch austauschbar ist (eine Umordnung sollte den Wahrheitswert nicht ändern), erzeugen Transformer mit Positionskodierungen (Positional Encodings) unterschiedliche Wahrscheinlichkeiten ( $q_\pi$ ) für verschiedene Permutationen ( $\pi$ ) derselben Evidenz. Diese „Reihenfolgesensitivität“ führt zu einer Dispersion in den Vorhersagen, was unzuverlässige Antworten oder inkonsistente Enthaltungsraten zur Folge hat. Die Autoren argumentieren, dass das Next-Token-Training die erwartete bedingte Beschreibungslänge über alle Ordnungungen hinweg minimiert, was es einem Modell ermöglicht, im Durchschnitt Bayes-optimal zu sein, während es bei einer festen Ordnung signifikant von einem permutationsinvarianten Prädiktor abweichen kann. Diese Lücke zwischen Erwartungswert (Durchschnitt über Ordnungungen) und Realisierung (feste Ordnung) stellt einen „vorhersehbaren Kompressionsfehler“ dar.

2. Methodik und theoretischer Rahmen

Das Paper formalisiert dieses Phänomen durch zwei primäre theoretische Linsen: Quantified Martingale Violations (QMV) und das Expectation-level Decompression Law (EDFL).

2.1 Quantified Martingale Violations (QMV)

Die Autoren behandeln die Evidenzreihenfolge als Störvariable (Nuisance Variable) und modellieren die durch die Positionssensitivität induzierte Dispersion.

Annahme: Der Logit der Bernoulli-Vorhersage weist eine lokale benachbarte Rangsensitivität mit einem spezifischen Zerfallsprofil auf (z. B. harmonischer Zerfall, bei dem die Sensitivität $\propto t^{-\alpha}$ ist).
Theorem 1 & 2: Unter diesen Annahmen ist die erwartete absolute Dispersion ( $E_\pi |R_\pi|$ $E_{π} ∣ R_{π} ∣$ ) durch die kumulative Sensitivität des Logits gegenüber Rangänderungen begrenzt.
- Wenn der Zerfall harmonisch ist ( $\alpha=1$ ), wächst die Dispersion als $O(\log n)$ .
- Wenn der Zerfall langsamer ist ( $\alpha < 1$ ), wächst sie polynomiell ( $O(n^{1-\alpha})$ ).
- Wenn der Zerfall schneller ist ( $\alpha > 1$ ), ist die Dispersion beschränkt ( $O(1)$ ).
Proposition 2: Liefert ein annahmenfreies Zertifikat mittels der Jensen-Shannon-Divergenz (JSD), um die Dispersion über die Pinsker-Ungleichung zu begrenzen.

2.2 Expectation-level Decompression Law (EDFL)

Das EDFL überträgt die theoretischen Schranken in anwendbare Metriken für die Bereitstellung (Deployment) der binären Adjudikation. Es spezialisiert eine KL-Konvexität und eine Datenverarbeitungs-Schranke auf Bernoulli-Prädikate.

Kernkonzept: Es etabliert das minimale Informationsbudget ( $\bar{\Delta}$ ), das erforderlich ist, um eine Wahrscheinlichkeit von einer Prior-Masse ( $\bar{q}$ ) zu einer Ziel-Posterior-Masse ( $p$ ) zu verschieben.
Seltene Ereignisse (Rare Event Scaling): Bei seltenen Ereignissen skaliert das erforderliche Budget als $\log(1/\bar{q})$ .
Operative Planer: Das EDFL liefert geschlossene Metriken:
- Bits-to-Trust (B2T): Das minimale Informationsbudget, das benötigt wird, um eine Antwort bei einer Zielzuverlässigkeit $p^\star = 1 - h^\star$ zu vertrauen. Berechnet als $KL(Ber(p^\star) \| Ber(q_{lo}))$ , wobei $q_{lo}$ die konservative untere Schranke der Permutations-Mischung ist.
- Risk-of-Hallucination (RoH): Das verbleibende Risiko, das durch das gemessene Budget impliziert wird.
- Information Sufficiency Ratio (ISR): Das Verhältnis des verfügbaren Budgets zum erforderlichen Budget ( $\bar{\Delta} / B2T$ ).

2.3 Deployment-Mechanismus

Die Autoren schlagen eine feste ISR-Gating-Regel vor (Algorithmus 1):

Entscheidungsregel: Antworten, wenn $ISR \ge 1$ ; andernfalls enthalten (Abstention) oder weitere Evidenz einholen.
Implementierung: Dies beinhaltet das Sampling von $m$ Permutationen der Evidenz, die Berechnung der Modellwahrscheinlichkeit für jede Permutation, die Berechnung des durchschnittlichen Budgets $\bar{\Delta}$ (via KL-Divergenz) und den Vergleich mit dem B2T-Schwellenwert.
Referenzverteilung: Die Methode erfordert eine Referenzverteilung $P_{ref}$ für das Prädikat $g$ . Dies kann über deterministische Orakel (z. B. Datenbankabfragen, Unit-Tests), Gold-Labels in der Evaluierung oder kalibrierte Verifizierer realisiert werden.

3. Kernbeiträge

Quantifizierte Ordnungssensitivität: Das Paper beweist eine QMV-Schranke, die zeigt, dass die durch Permutation induzierte Dispersion unter harmonischer Positionssensitivität einer $O(\log n)$ -Skalierung folgt, und liefert explizite Konstanten für dieses Wachstum.
EDFL als anwendbare Spezialisierung: Es leitet das Expectation-level Decompression Law ab, welches abstrakte Konvexitätsschranken in geschlossene Planer (B2T, RoH, ISR) und eine feste, prüfbare $ISR=1$ Entscheidungsgrenze umwandelt.
Deploybarer Antwort-/Enthaltungs-Interface: Die Autoren definen ein praktisches Verfahren (Algorithmus 1), das Permutations-Mischungen nutzt, um die Informationsausreichendkeit zu schätzen, wodurch Modelle in der Lage sind, Antworten abzulehnen, wenn das Informationsbudget nicht ausrereicht, um eine Zielzuverlässigkeit zu garantieren.

4. Empirische Validierung

Die Theorie wurde über 3.059 fundierte Items aus FEVER, HotpotQA, NQ-Open, PopQA und einem benutzerdefinierten Kontroll-Benchmark validiert, unter Verwendung von Qwen2-7B und Llama3.1-8B.

Dispersionsskalierung (Experiment 1):
- Es wurde beobachtet, dass die mittleren absoluten Residuen dem vorhergesagten $a + b \log n$ Skalierungsgesetz folgen.
- Qwen2-7B zeigte eine Dispersionssteigung ( $b \approx 0,377$ ), die signifikant höher war als die von Llama3.1-8B ( $b \approx 0,147$ ), was auf eine stärkere Positionssensitivität hindeutet.
- Uniforme Permutations-Mischungen lieferten positive Jensen-Gaps (Verbesserungen in der Kreuzentropie), was bestätigt, dass das Mitteln über Ordnungungen den Verlust reduziert. Die uniforme Mischung wurde als nahezu MDL-optimal befunden, mit Optimierungslücken von $< 10^{-4}$ Nats/Token.
Kausale Dosis-Wirkungs-Beziehung (Experiment 2):
- Eine randomisierte Studie, welche die „Support-Dosis“ (Anzahl der unterstützenden Evidenz-Chunks) variierte, während die Prompt-Länge konstant gehalten wurde.
- Die Ergebnisse zeigten einen kausalen Zusammenhang: Eine Erhöhung der Support-Dosis verringerte das geschätzte Informationsbudget ( $\bar{\Delta}$ ) und reduzierte die Halluzinationsrate. Die gefittete Steigung deutete auf etwa 12,7 weniger Halluzinationen pro zusätzlichem Nat an Informationsbudget hin.
Held-out Audit (Experiment 3):
- Ein präspezifiziertes Audit an 528 Held-out-Items unter Verwendung eines auf Gemma-2-9B feinabgestimmten Modells.
- Durch die Verwendung des analytisch fixierten $ISR=1$ Gates (ohne Post-hoc-Tuning) erreichte das System eine Halluzinationsrate von 0,0–0,7 % bei einer Enthaltungsrate von 20,6–27,9 % (95 % KI).
- Dies demonstriert die Fähigkeit des Betriebspunkts, Coverage gegen hohe Zuverlässigkeit abzuwägen, ohne universelle Kalibrierungsansprüche zu erheben.

5. Bedeutung und Ansprüche

Das Paper beansprucht, einen falsifizierbaren Out-of-Sample-Betriebspunkt für evidenzbasierte KI bereitzustellen. Seine Bedeutung liegt in:

Versöhnung von Training und Deployment: Es erklärt, warum Modelle, die darauf trainiert sind, die Kreuzentropie (Erwartungswert) zu minimieren, dennoch bei spezifischen Ordnungungen versagen können, und bietet eine Methode, diese Lücke zu schließen.
Über Kalibrierung hinausgehen: Anstatt sich auf gelernte Konfidenzschwellen zu verlassen, die möglicherweise nicht generalisieren, wird das ISR-Gate analytisch aus informationstheoretischen Prinzipien (KL-Divergenz) abgeleitet.
Verifizierbare Zuverlässigkeit: Der Rahmen ist auf verifizierer-relative Prädikate beschränkt. Die Autoren stellen explizit klar, dass ihre Garantien relativ zu einer Referenzverteilung sind, die durch eine Spezifikation, ein deterministisches Tool oder einen kalibrierten Verifizierer induziert wird. Sie behaupten keine universelle Kalibrierung für unbeschränkte Generierung oder Modelle ohne solche Verifizierungs-Primitiven.

Die Arbeit positioniert sich als eine „deployment-orientierte“ Lösung, die eine konkrete Regel ( $ISR \ge 1$ ) bietet, die es Systemen erlaubt, sich zu enthalten, wenn das Informationsbudget unzureichend ist, um eine Zielzuverlässigkeit zu unterstützen, und somit das Risiko von Halluzinationen in fundierten Aufgaben zu kontrollieren.