🤖 machine learning

Embedding Perturbation may Better Reflect Intermediate-Step Uncertainty in LLM Reasoning

Dieser Artikel schlägt eine auf Störungen basierende Metrik zur Unsicherheitsquantifizierung vor, die unzuverlässige Zwischenschritte des logischen Schließens in Large Language Models durch Messung der Token-Sensitivität gegenüber Einbettungsstörungen identifiziert und dabei eine überlegene Leistung und Effizienz im Vergleich zu bestehenden Wahrscheinlichkeits-, Stichproben- und Bayes-Methoden demonstriert.

Ursprüngliche Autoren: Qihao Wen, Jiahao Wang, Yang Nan, Pengfei He, Ravi Tandon, Han Xu

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qihao Wen, Jiahao Wang, Yang Nan, Pengfei He, Ravi Tandon, Han Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als einen sehr klugen, aber manchmal übermütigen Schüler vor, der einen Mathematik- oder Logiktest schreibt. Dieser Schüler gibt Ihnen nicht nur die Endergebnisse; er zeigt seine Arbeit schrittweise. Das Problem ist, dass er manchmal mitten in seiner Arbeit einen Fehler macht, aber trotzdem selbstbewusst weitermacht, bis er das falsche Endergebnis erhält.

Die Arbeit, nach der Sie fragen, ist wie ein neues „Stichproben"-Werkzeug, das entwickelt wurde, um genau diese Momente zu erkennen, in denen der Schüler zu straucheln beginnt, anstatt nur am Ende abzuwarten, ob die Antwort falsch ist.

Hier ist die Aufschlüsselung der Ideen der Arbeit mit einfachen Analogien:

1. Das Problem: Der „selbstbewusst falsche" Schüler

Die aktuellen Methoden, um zu prüfen, ob eine KI unsicher ist, betrachten normalerweise die endgültige Antwort oder versuchen, der KI 100 Mal dieselbe Frage zu stellen, um zu sehen, ob sie jedes Mal dieselbe Antwort gibt.

Der Fehler: Dies ist wie die Benotung eines Tests nur anhand der Endpunktzahl. Wenn der Schüler in Schritt 3 einen Fehler machte, ihn aber bis Schritt 10 korrigierte (oder Glück hatte), könnten Sie denken, er sei die ganze Zeit in Ordnung gewesen. Oder wenn er zufällig die richtige Antwort erhielt, könnten Sie denken, er habe den Stoff verstanden.
Das Ziel: Die Autoren wollten eine Möglichkeit finden, dem „inneren Monolog" des Schülers während er das Problem löst zuzuhören, um genau zu sehen, wo er zu zögern beginnt oder verwirrt wird.

2. Die Lösung: Der „Stoß und Schubs"-Test (Embedding Perturbation)

Die Autoren schlagen einen cleveren Trick vor. Anstatt nur die Antwort des Schülers zu lesen, „pieksen" sie sanft das Gehirn des Schülers, kurz bevor er das nächste Wort schreibt.

Die Analogie: Stellen Sie sich vor, der Schüler läuft auf einem Seil.
- Normale Methoden: Man betrachtet nur, wie schnell er läuft (Wahrscheinlichkeit). Wenn er schnell läuft, scheint er selbstbewusst zu sein.
- Die neue Methode: Die Forscher geben dem Schüler einen winzigen, fast unsichtbaren Stoß (eine „Störung") in sein Gleichgewicht, kurz bevor er den nächsten Schritt macht.
- Die Reaktion:
  - Wenn der Schüler auf festem Boden steht (ein korrekter, einfacher Schritt), wird ihn ein winziger Stoß nicht stören. Er geht geradeaus weiter.
  - Wenn der Schüler bereits wackelt (ein unsicherer oder falscher Schritt), lässt ihn dieser winzige Stoß straucheln oder wild schwanken. Er könnte sogar seine Meinung ändern, welchen Fuß er als Nächstes setzen soll.

Die Arbeit nennt dies „Embedding Perturbation". Sie messen mathematisch, wie stark sich die „Gedanken" des Schülers (die Wahrscheinlichkeit des nächsten Wortes) ändern, wenn er diesen winzigen Stoß erhält. Wenn sich die Gedanken stark ändern, bedeutet dies, dass der Schüler tatsächlich sehr unsicher war, auch wenn er selbstbewusst klang.

3. Warum es besser ist als alte Methoden

Die Arbeit vergleicht ihre „Stoß"-Methode mit anderen Möglichkeiten, Unsicherheit zu prüfen:

Wahrscheinlichkeitswerte: Dies ist wie zu prüfen, wie laut der Schüler spricht. Manchmal spricht er laut über das Falsche, weil er daran gewöhnt ist, diese Wörter zu sagen (wie häufige Wörter in einem Satz), nicht weil er der Logik vertraut.
Mehrfaches Sampling: Dies ist wie den Schüler zu bitten, den Test 50 Mal zu schreiben. Es ist genau, dauert aber ewig und ist teuer.
Die „Stoß"-Methode: Die Arbeit fand heraus, dass ihre Methode schneller ist (sie benötigt keine 50 Versuche) und besser darin ist, den genauen Moment zu finden, in dem die Logik zusammenbricht. Sie erfasste Fehler in Mathematik- und Logikrätseln, die die anderen Methoden übersehen hatten.

4. Was es fand (Die Ergebnisse)

Erfolg: Wenn die KI bei einer Matheaufgabe einen Fehler machte (wie bei der Berechnung von $216.000$), markierte die „Stoß"-Methode die spezifische Zahl, bei der der Fehler auftrat. Es war wie eine rote Flagge, die genau in dem Moment aufging, in dem der Schüler die falsche Ziffer schrieb.
Einschränkungen: Die Methode ist kein Zauberstab.
- Sie funktioniert hervorragend für Schlussfolgerungen (Mathematik, Logik).
- Sie funktioniert nicht so gut für Halluzinationen (das Erfinden von Fakten). Die Arbeit erklärt, dass das Erfinden einer Tatsache so ist, als würde der Schüler selbstbewusst eine Geschichte vortragen, die er erfunden hat. Ein winziger Stoß lässt ihn nicht wackeln, weil seine „Geschichte" intern konsistent ist, auch wenn sie falsch ist.
- Manchmal ist die KI einfach natürlich „gesprächig" oder hat viele Möglichkeiten, dasselbe zu sagen. Der Stoß könnte sie zum Zögern bringen, aber das bedeutet nicht, dass sie falsch liegt – nur, dass sie Optionen hat.

5. Das Fazit

Die Arbeit stellt eine Möglichkeit vor, den Schlussfolgerungsprozess einer KI in Echtzeit zu „stressen". Indem man sieht, wie stark das Gehirn der KI wackelt, wenn man es sanft anstößt, kann man genau die Stelle finden, an der ihre Logik zu bröckeln beginnt.

Effizienz: Es ist schnell und erfordert keine massive Rechenleistung.
Präzision: Es findet den ersten Fehler, nicht nur die endgültige falsche Antwort.
Einschränkung: Es ist ein Werkzeug zum Überprüfen von Schlussfolgerungsschritten, nicht zum Aufspüren erfundener Fakten (Halluzinationen).

Kurz gesagt: Wenn Sie wissen wollen, ob eine KI über ihre Mathematik lügt, warten Sie nicht nur auf die endgültige Antwort. Geben Sie ihrem Denkprozess einen sanften Taps und schauen Sie, ob er strauchelt. Wenn er es tut, ist das der Ort, an dem die Probleme begannen.

Technische Zusammenfassung: Einbettungsstörung für Unsicherheit in Zwischenschritten beim LLM-Reasoning

Problemstellung

Large Language Models (LLMs) haben bedeutende Durchbrüche bei Reasoning-Aufgaben erzielt, bleiben jedoch anfällig für die Erzeugung unzuverlässiger oder irreführender Ausgaben. Obwohl Unsicherheitsquantifizierung (UQ)-Techniken existieren, um das Vertrauen eines Modells in seine endgültigen Antworten zu schätzen, sind sie oft unzureichend für die Unsicherheit in Zwischenschritten innerhalb von Reasoning-Ketten. Bestehende Methoden stoßen auf mehrere Einschränkungen:

Stichprobenbasierte Ansätze (z. B. Self-Consistency) erfordern die Generierung mehrerer Antworten, um eine Übereinstimmung zu prüfen. Obwohl sie für endgültige Antworten effektiv sind, sind sie rechenintensiv und haben Schwierigkeiten, den spezifischen Zwischenschritt zu identifizieren, an dem ein Fehler entsteht.
Wahrscheinlichkeitsbasierte Metriken (z. B. Token-Wahrscheinlichkeit, Entropie, Margin) scheitern häufig daran, zwischen Tokens mit niedriger Wahrscheinlichkeit zu unterscheiden, die sprachlich selten, aber korrekt sind, und solchen, die echte Reasoning-Fehler darstellen. Sie haben zudem Schwierigkeiten, die für die Prüfung von Reasoning-Fehlern notwendigen langfristigen kontextuellen Abhängigkeiten zu erfassen.
Bayessche Methoden (z. B. Gewichtsstörung) können rechenintensiv sein, insbesondere bei großen Modellen.

Das behandelte Kernproblem ist das Fehlen effizienter, feinmaschiger Metriken, die in der Lage sind, die spezifischen Tokens oder Schritte innerhalb einer Reasoning-Kette zu identifizieren, in denen die Unsicherheit des Modells am höchsten ist und die somit einen potenziellen Fehler anzeigen.

Methodik

Die Autoren schlagen Einbettungsstörung (Embedding Perturbation) als einen neuen Ansatz zur Quantifizierung der Unsicherheit in Zwischenschritten vor. Die Kernhypothese lautet, dass fehlerhafte Reasoning-Schritte Tokens enthalten, die gegenüber kleinen Störungen in den Einbettungen vorhergehender Tokens hochsensitiv sind. Diese Sensitivität spiegelt die interne Zögerlichkeit des Modells zwischen mehreren konkurrierenden Fortsetzungen wider (d. h. das Modell ist sich „unsicher", ob es mit dem aktuellen Token oder einem rivalisierenden Token fortfahren soll).

Die Methode basiert auf der Prämisse, dass LLMs autoregressiv sind; die Generierung eines Tokens $x_t$ hängt ausschließlich von den vorhergehenden Tokens $x_{1:t-1}$ ab. Die Autoren definieren die Token-Generierungswahrscheinlichkeit als Funktion der vorhergehenden Token-Einbettungen $H_{1:t-1}$ . Sie messen die Sensitivität des Modells gegenüber Störungen dieser Einbettungen mit zwei spezifischen Metriken:

Zufällige Störung (Rand. Pert.):
- Zufälliges Gaußsches Rauschen $\Delta \sim \mathcal{N}(0, \sigma^2 I)$ wird zu den Einbettungen aller Tokens in der Eingabe und Antwort hinzugefügt.
- Die Metrik ist als die Varianz der Log-Wahrscheinlichkeit des Ziel-Tokens $x_t$ über mehrere Rauschproben definiert:
  $\text{Pert.}(x_t) = \text{Var}_{\Delta} [\log \text{Pr}(x_t | \tilde{H}_{1:t-1})]$
- Dies erfasst die Instabilität der Token-Auswahl unter leichten Kontextvariationen.
Adversarielle Störung (Adv. Pert.):
- Anstatt zufälliger Stichproben werden Einbettungen in die Richtung modifiziert, die die gesamte Log-Wahrscheinlichkeit der generierten Antwort maximal verringert (unter Verwendung eines vorzeichenbehafteten Gradienten).
- Die Metrik ist die Differenz der Log-Wahrscheinlichkeit vor und nach der Störung:
  $\text{Pert.}(x_t) = \log \text{Pr}(x_t | H_{1:t-1}) - \log \text{Pr}(x_t | \hat{H}_{1:t-1})$
- Dies identifiziert Tokens, die durch eine adversarielle Verschiebung am stärksten gestört werden, was eine Nähe zur Entscheidungsgrenze zwischen dem ausgewählten Token und einem „rivalisierenden Token" anzeigt.

Theoretische Einsicht:
Die Arbeit liefert eine theoretische Analyse, die zeigt, dass diese Störungssensitivitäten die geometrische Distanz von der aktuellen Einbettung zur Entscheidungsgrenze zwischen dem ausgewählten Token und einem rivalisierenden Token invers approximieren. Ein hoher Sensitivitätswert impliziert, dass die Einbettung nahe an einer Grenze liegt, an der ein anderer Token (der potenziell zu einem anderen Reasoning-Pfad führt) ausgewählt würde, was eine hohe Unsicherheit signalisiert. Entscheidend ist, dass die Autoren argumentieren, diese Metrik sei im Vergleich zu rohen wahrscheinlichkeitsbasierten Metriken weniger durch natürliche Sprach-Token-Häufigkeiten verzerrt.

Hauptbeiträge

Neue UQ-Metriken: Einführung störungsbasierter Metriken (Zufällig und Adversariell), die speziell darauf ausgelegt sind, Unsicherheit in Zwischenschritten beim LLM-Reasoning zu erfassen, und sich von der Sicherheit der Endantwort unterscheiden.
Theoretische Begründung: Eine formale Demonstration, dass Störungssensitivität die Gradientennorm approximiert, was wiederum die Distanz zur Entscheidungsgrenze zwischen konkurrierenden Reasoning-Pfaden invers approximiert.
Effizienz: Die vorgeschlagenen Methoden erweisen sich als rechnerisch effizient. Adversarielle Störung erfordert nur einen einzigen Vorwärts- und Rückwärtsdurchlauf, während zufällige Störung einen einzigen Satz von Störungen für die gesamte Sequenz wiederverwenden kann und so den massiven Overhead mehrerer Stichprobentests vermeidet.
Empirische Validierung: Umfassende Experimente zeigen, dass diese Metriken bestehende Baselines bei der Identifizierung des ersten fehlerhaften Schritts in Reasoning-Ketten übertreffen.

Experimentelle Ergebnisse

Die Autoren bewerteten ihre Methode bei Mathematischem Reasoning (MATH-Datensatz) und Logischem Reasoning (BIG-Bench Hard) über vier Modelle hinweg (Llama-3.1, OpenMath, Qwen, Mistral).

Leistung: Sowohl zufällige als auch adversarielle Störungsmetriken schnitten konsistent besser ab als Baselines, darunter:
- Token-Ebene: Negative Log-Likelihood (NLL), Entropie, Wahrscheinlichkeitsmargin und die bayessche TokUR.
- Satz-Ebene: CCP, TokenSAR und Graph Uncertainty (mehrere Stichproben).
- Im MATH-Datensatz erreichte die adversarielle Störung bei Llama eine Top-3-Erkennungsrate von 0,65 (vs. 0,55 für TokUR) und bei Qwen 0,61 (vs. 0,56 für TokUR).
Effizienz: Auf einer einzelnen NVIDIA GH200 GPU fügte die adversarielle Störung nur 0,28 Sekunden pro Generierung hinzu, und die zufällige Störung (mit 20 Iterationen) fügte 0,90 Sekunden hinzu. Dies ist deutlich schneller als Ansätze mit mehreren Stichproben.
Halluzinationserkennung: Bei Tests auf dem FactScore-Datensatz zur Erkennung faktischer Halluzinationen schnitten störungsbasierte Methoden im Vergleich zu Methoden mit mehreren Stichproben schlechter ab. Die Autoren führen dies auf den fundamentalen Unterschied in Fehlermustern zurück: Halluzinationen entstehen oft aus zufälligen Korrelationen oder schwacher Verankerung, die unter Störung stabil bleiben, während Reasoning-Fehler echte Instabilität bei der Pfadwahl beinhalten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Einbettungsstörung eine effektivere und effizientere Methode zur Prüfung des Reasoning-Prozesses von LLMs im Vergleich zu bestehenden Methoden bietet. Durch die Identifizierung von Tokens mit hoher Sensitivität gegenüber Einbettungsstörungen können Praktiker:

Den genauen Ort pinpointen, an dem ein Modell beginnt, von einem korrekten Reasoning-Pfad abzuweichen.
Feinmaschige Interventionen ermöglichen, wie z. B. reflexionsbasierte Mechanismen oder Selbstkorrektur, die spezifisch bei unsicheren Schritten ausgelöst werden.
Die Entwicklung von Verifikationsmodellen erleichtern, indem interpretierbare Unsicherheitssignale bereitgestellt werden, die aus dem Generierungsprozess selbst abgeleitet sind.

Die Autoren räumen bescheiden Einschränkungen ein: Die Methode erkennt möglicherweise keine Halluzinationen, die durch zufällige Korrelationen getrieben werden, und sie trennt Unsicherheit bezüglich der Richtigkeit nicht immer perfekt von Unsicherheit, die aus der Auswahl zwischen mehreren gültigen Reasoning-Pfaden resultiert. Dennoch stellt die Studie fest, dass störungsbasierte Metriken ein überlegenes Werkzeug zur Erkennung von prozeduralen Reasoning-Fehlern im Vergleich zu wahrscheinlichkeitsbasierten oder stichprobenbasierten Baselines darstellen.