🤖 machine learning

From Drift to Coherence: Stabilizing Beliefs in LLMs

Diese Arbeit zeigt auf, dass große Sprachmodelle während der autoregressiven Antwort-Resampling-Verfahren zwar anfänglich eine Glaubensdrift (Belief Drift) aufweisen, welche die Martingal-Eigenschaft verletzt, sie sich jedoch schließlich zu kohärenten prädiktiven Verteilungen stabilisieren, ein Phänomen, das genutzt wird, um Prompting- und Fine-Tuning-Strategien vorzuschlagen, die die Drift reduzieren und die Kohärenz verbessern, ohne die Genauigkeit zu opfern.

Ursprüngliche Autoren: SongEun Kim, Seungyoo Lee, Edwin Fong, Hyungi Lee, Juho Lee

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: SongEun Kim, Seungyoo Lee, Edwin Fong, Hyungi Lee, Juho Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, belesenen Roboter (ein Large Language Model oder LLM), dem Sie eine Frage stellen. Normalerweise erwarten Sie von ihm, dass er eine Antwort gibt und bei seiner Argumentation bleibt. Aber diese Arbeit entdeckt etwas Seltsames: Wenn man den Roboter bittet, dieselbe Frage immer wieder hintereinander zu beantworten, gerät sein Vertrauen ins Wanken.

Hier ist die Geschichte, wie die Autoren dieses Wackeln behoben haben, einfach erklärt.

Das Problem: Das „wackelige Gehirn“ des Roboters

Stellen Sie sich das Gehirn des Roboters wie einen Menschen vor, der versucht, das Wetter vorherzusagen.

Das Ideal: Wenn der Roboter ein perfekter Bayesianischer Denker wäre (ein schicker Begriff für einen perfekten probabilistischen Ratenden), sollte sein Vertrauen stabil sein. Wenn er glaubt, dass die Wahrscheinlichkeit für Regen bei 70 % liegt, sollte diese 70 % nicht sich ändern, nur weil er kurz darauf noch einmal darüber nachgedacht hat.
Die Realität: Die Autoren fanden heraus, dass sich das interne Vertrauen des Roboters driftete, wenn sie ihn baten, eine Sequenz von Antworten auf dieselbe Frage zu generieren.
- Analogie: Stellen Sie sich vor, Sie fragen einen Freund: „Wird es regnen?“ Er sagt: „Ich bin mir zu 70 % sicher.“ Dann fragen Sie ihn sofort wieder, ohne erneut nach draußen zu schauen. Er sagt plötzlich: „Eigentlich bin ich mir nur noch zu 50 % sicher.“ Dann fragen Sie ihn erneut, und er sagt: „Warte mal, vielleicht doch zu 80 %!“
- Dieses „Wackeln“ bedeutet, dass die Überzeugungen des Roboters kurzfristig instabil sind. Es ist wie ein Kompass, der wild herumwirbelt, bevor er schließlich nach Norden zeigt.

Die Entdeckung: Es beruhigt sich schließlich

Die Forscher bemerkten etwas Interessantes: Wenn man den Roboter viele Male hintereinander dieselbe Frage beantworten ließe (wie etwa 20 oder 30 Mal hintereinander), hörte das Wackeln schließlich auf. Das Vertrauen des Roboters stabilisierte sich und pendelte sich auf einer konsistenten Zahl ein.

Die Metapher: Es ist wie das Schütteln eines Glases mit gemischten Murmeln. Zuerst wirbeln die Farben chaotisch durcheinander. Aber wenn man das Glas ruhen lässt, setzen sich die Murmeln, und man kann das wahre Verhältnis der Farben endlich sehen. Der Roboter benötigt eine „Beruhigungsphase“ (genannt Burn-in-Phase), um seine wahre Überzeugung zu finden.

Die Lösung: Zwei Tricks, um das Wackeln zu stoppen

Das Problem ist, dass das Warten, bis der Roboter sich beruhigt, lange dauert und viel Rechenleistung verbraucht. Die Autoren entwickelten zwei Wege, um den Roboter sofort stabil zu machen.

1. Der „Aufwärm“-Trick (Answer Seeding)

Anstatt den Roboter „kalt“ starten zu lassen, geben die Autoren ihm zuerst eine „Aufwärm“-Liste von Antworten.

Wie es funktioniert: Sie lassen den Roboter einmalig einige zufällige Antworten auf die Frage generieren und speisen diese Antworten dann als Teil des Prompts zurück in den Roboter, bevor sie ihn bitten, die eigentliche Sequenz zu starten.
Die Analogie: Es ist wie ein Musiker, der sein Instrument vor einem Konzert stimmt. Anstatt das Lied mit einem krächzenden, verstimmten Ton zu beginnen, spielt er ein paar schnelle Töne, um die Tonhöhe richtig einzustellen. Der Roboter nutzt diese „Seed“-Antworten, um direkt in die stabile Zone zu springen und die chaotische Phase zu Beginn zu überspringen.

2. Der „Training“-Trick (Self-Consistency Loss)

Die Autoren brachten dem Roboter auch bei, stabil zu sein, indem sie änderten, wie er lernt.

Wie es funktioniert: Sie erstellten eine spezielle mathematische Lektion (eine „Loss Function“), bei der sie dem Roboter seine eigenen zukünftigen Antworten zeigten. Sie sagten dem Roboter: „Deine Antwort jetzt sollte mit dem übereinstimmen, was du in 5 Schritten sagen wirst.“
Die Analogie: Stellen Sie sich einen Schüler vor, der normalerweise nervös wird und während einer Prüfung seine Meinung ändert. Der Lehrer gibt ihm die Regel: „Was auch immer du bei Frage Nr. 1 aufschreibst, musst du auch bei Frage Nr. 10 noch vertreten können.“ Durch das Üben dieser Regel lernt der Schüler, von der ersten Sekunde an konsistent zu sein, sodass er nicht erst „wackeln“ muss, um sein Vertrauen später zu finden.

Die Ergebnisse

Als sie diese Tricks bei Standard-Multiple-Choice-Fragen testeten (wie zum Beispiel Allgemeinwissen oder Wissenschaftsquiz):

Weniger Wackeln: Das Vertrauen des Roboters hörte auf zu driften und blieb konsistent.
Besseres Raten: Der Roboter wurde besser darin, zu wissen, wie sicher er sich bei seinen Antworten war (Kalibrierung).
Gleiche Genauigkeit: Entscheidend ist, dass das stabiler Machen des Roboters ihn nicht dümmer machte. Er lieferte immer noch genauso oft die richtigen Antworten wie zuvor, aber er war nun zuverlässiger darin, zu wissen, wann er recht hatte.

Das Fazit

Die Arbeit zeigt, dass KI-Modelle zwar oft mit einem „wackeligen“ Glaubenssystem starten, wenn sie Sequenzen generieren, sie aber von Natur aus nach Konsistenz streben. Indem wir ein wenig „Aufwärm“-Daten verwenden oder sie darauf trainieren, ihrem zukünftigen Selbst zu entsprechen, können wir sie sofort stabil und zuverlässig machen, ohne warten zu müssen, bis sie sich von selbst beruhigen.

Technisches Resümee: Von der Drift zur Kohärenz: Stabilisierung von Überzeugungen in LLMs

Problemformulierung
Es wird häufig hypothetisiert, dass Large Language Models (LLMs) eine implizite Bayessche Inferenz durchführen, insbesondere im Kontext des In-Context Learning (ICL). Eine kritische Bedingung für eine solche Bayessche Kohärenz ist die Martingal-Eigenschaft der prädiktiven Überzeugungen: Der Erwartungswert zukünftiger Überzeugungen, bedingt auf der aktuellen Historie, sollte der aktuellen Überzeugung entsprechen. Vorherige Arbeiten von Falck et al. (2024) zeigten, dass LLMs diese Eigenschaft in kontrollierten synthetischen Settings (z. B. Zufallszahlengenerierung) verletzen, was darauf hindeutet, dass sie nicht generell Bayessch sind. Diese synthetischen Aufgaben verschleiern jedoch die tatsächliche prädiktive Verteilung des Modells und spiegeln möglicherweise nicht typische Nutzungsregime wider.

Diese Arbeit untersucht, ob LLMs Martingal-Verletzungen in einem praktischeren Setting aufweisen: der generischen Multiple-Choice-Fragebeantwortung (MCQA). Die Autoren definieren den prädiktiven Prozess als eine Sequenz von Antworten, die autoregressiv für eine feste Abfrage generiert werden. Sie beobachten, dass LLMs schließlich stabilisieren, aber eine signifikante anfängliche Belief-Drift aufweisen, bei der sich die prädiktive Verteilung während der frühen Sampling-Schritte systematisch verschiebt, was die Martingal-Eigenschaft verletzt. Diese Drift impliziert, dass der interne Überzeugungszustand des Modells nicht sofort kohärent ist und eine „Burn-in“-Phase benötigt, um eine stabile Grenzverteilung zu erreichen.

Methodik
Die Autoren schlagen ein Framework vor, um diese Drift unter Ausnutzung der diskreten Natur von MCQA-Antworträumen zu analysen und zu korrigieren, was die exakte Berechnung prädiktiver Verteilungen ohne Sampling-Approximationen ermöglicht.

Prompted Predictive Resampling (PPR): Das zentrale experimentelle Protokoll besteht darin, ein LLM anzuweisen, wiederholt eine Sequenz von Antworten auf dieselbe Frage zu generieren. Dies erzeugt einen historienabhängigen prädiktiven Prozess $\theta_n(x_Q)$ , bei dem das Modell auf seine eigenen vorherigen Ausgaben konditioniert.
Answer Seeding: Um die Drift in der Frühphase zu mildern, führen die Autoren eine Prompting-Strategie ein, bei der dem Modell zunächst eine kurze Sequenz von „Seed“-Antworten bereitgestellt wird, die i.i.d. aus der Standard-Modellverteilung (ohne Resampling-Instruktionen) gezogen wurden. Diese Seeds fungieren als „Mean-Field“-Zusammenfassung der Unsicherheit des Modells und steuern den generativen Prozess schneller in ein stabiles Regime.
Martingale Amortization (Self-Consistency Loss): Um die Rechenkosten langer Resampling-Sequenzen oder externer Seed-Generierung zur Laufzeit zu eliminieren, schlagen die Autoren ein Fine-Tuning-Ziel vor, das als Self-Consistency (SC) Loss bezeichnet wird. Dieser Loss minimiert die Divergenz zwischen den kurzfristigen Vorhersagen des Modells und seinen langfristigen Vorhersagen (approximiert via Monte-Carlo-Rollouts). Indem das Modell darauf trainiert wird, seine eigenen zukünftigen marginalen Statistiken zu entsprechen, „amortisiert“ der SC-Loss den Stabilisierungsprozess und ermöglicht es dem Modell, unmittelbar (Zero-Shot) eine kohärente Überzeugungsverteilung auszugeben, ohne eine Burn-in-Phase zu benötigen.

Wesentliche Beiträge

Empirische Charakterisierung der Drift: Die Arbeit liefert empirische Belege dafür, dass LLMs in den ersten Schritten des prädiktiven Resamplings die Martingal-Eigenschaft verletzen, sich aber nach einer ausreichenden Anzahl von Schritten spontan stabilisieren und zu einer kohärenten prädiktiven Verteilung (einer Martingal-Posterior) konvergieren.
Stabilisierungsmechanismen: Die Autoren führen zwei Methoden zur Erzielung von Kohärenz ein:
- Inferenzzeit: Answer Seeding, welches die Burn-in-Phase reduziert, indem es einen stochastischen Kontext bereitstellt.
- Trainingszeit: Der SC-Loss, der das Modell lehrt, Stabilität zu internalisieren, wodurch der Konvergenzhorizont effektiv kollabiert wird.
Theoretische Rechtfertigung: Die Arbeit stellt fest, dass die Minimierung des SC-Loss sicherstellt, dass der prädiktive Prozess sich einem approximativen Martingal annähert, vorausgesetzt, die Modellklasse ist hinreichend expressiv. Theoretische Schranken zeigen, dass die verbleibende Martingal-Verletzung proportional zum Wert des SC-Loss ist.

Ergebnisse
Experimente wurden auf Standard-MCQA-Benchmarks (CSQA, AI2-ARC, TinyMMLU) unter Verwendung von instruktionsgesteuerten Modellen (LLAMA-3.1-8B und OLMO-3-7B) durchgeführt.

Drift-Reduktion: Sowohl Answer Seeding als auch das Training mittels SC-Loss reduzierten die erwartete Martingal-Drift (Expected Martingale Drift, EMD) signifikant. Der SC-Loss (AM-PPR) übertraf das Standard-PPR konsistent und erzielte niedrigere Drift-Werte über alle Datensätze und Modelle hinweg.
Kalibrierung und Genauigkeit: Die stabilisierten prädiktiven Verteilungen zeigten eine verbesserte Unsicherheit-Kalibrierung (niedrigerer Expected Calibration Error und Brier Score) im Vergleich zu Standard-Direct-Query-Baselines und unstabilisiertem PPR. Entscheidend ist, dass diese Verbesserungen in Kohärenz und Kalibrierung ohne Einbußen bei der Vorhersagegenauigkeit erreicht wurden.
Effizienz: Die AM-PPR-Methode ermöglichte es dem Modell, sofort auf seinen stabilen Überzeugungszustand zuzugreifen (unter Verwendung der Verteilung des ersten Tokens), wodurch die Notwendigkeit für rechenintensive lange Rollouts oder die Generierung zusätzlicher Seeds während der Inferenz entfiel.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass praktische LLMs eine transiente Belief-Drift aufweisen, die durch spezifische Prompting- und Trainingsstrategien erheblich reduziert werden kann. Durch die Operationalisierung von Martingal-artiger Kohärenz demonstrieren die Autoren, dass es möglich ist, die Zuverlässigkeit und die Unsicherheit-Kalibrierung von LLMs in hochsensiblen Reasoning-Aufgaben zu verbessern, ohne die Genauigkeit zu beeinträchtigen.

Die Autoren merken bescheiden an, dass die Reduzierung von Martingal-Verletzungen eine notwendige, aber nicht hinreichende Bedingung für eine vollständig Bayessche, gut kalibrierte Inferenz ist; die stabilisierten Überzeugungen bleiben intern konsistent, garantieren jedoch keine faktische Korrektheit oder Übereinstimmung mit der Grundwahrheit. Des Weiteren beruht die Methode derzeit auf Prompt Engineering, um sequenzielles Resampling zu evozieren. Die Arbeit schließt damit, dass das Framework zwar auf diskretem MCQA validiert wurde, es aber inhärent auf reichere Reasoning-Trajektorien (z. B. Chain-of-Thought) erweiterbar ist, was einen vielversprechenden Weg für die zukünftige Forschung zur Stabilisierung stochastischer Denkpfade in komplexen Szenarien darstellt.