💬 NLP

SAGE: Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment

Das Papier schlägt SAGE vor, ein semantisch-antwortgesteuertes Entropieziel kombiniert mit Group-Uncertainty Preference Optimization (GUPO), um die verbalen Unsicherheitsausdrücke großer Sprachmodelle mit ihrem tatsächlichen Sampling-Verhalten in Einklang zu bringen und dadurch die Kalibrierung zu verbessern sowie Überkonfidenz über verschiedene Denkaufgaben hinweg zu reduzieren.

Ursprüngliche Autoren: Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

Veröffentlicht 2026-06-11

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der selbstbewusste Lügner

Stellen Sie sich vor, Sie stellen einem sehr intelligenten, aber etwas nervösen Roboter eine Frage. Manchmal kennt der Roboter die Antwort perfekt. Manchmal rät er jedoch, merkt aber nicht, dass er gerade rät.

Das Problem ist nicht nur, dass der Robot oft falsch liegt; das Problem ist, dass der Roboter oft genauso selbstbewusst klingt, wenn er falsch liegt, wie wenn er richtig liegt. Er könnte sagen: „Ich bin mir zu 100 % sicher, dass die Hauptstadt von Frankreich London ist“, und dabei denselben glatten Tonfall verwenden, den er nutzt, wenn er tatsächlich korrekt liegt. Das ist gefährlich, weil Nutzer dem Roboter vertrauen, was zu Fehlentscheidungen führt.

Forscher wollen dem Roboter beibringen, „Ich bin mir nicht sicher“ zu sagen, wenn er sich tatsächlich unsicher ist. Aber wie bringt man einem Roboter bei, ehrlich über seine eigene Verwirrung zu sein?

Der alte Weg: Den Roboter raten lassen

Früher versuchten Forscher, Roboter zu trainieren, indem sie ihnen Beispiele für „ehrliche“ Antworten zeigten. Sie sagten: „Wenn du dir unsicher bist, sag ‚Ich bin mir nicht sicher‘.“

Der Fehler: Dies ist so, als würde man einen Schüler lehren, nur deshalb „Ich weiß es nicht“ zu sagen, weil man ihm eine ganz bestimmte Testfrage zeigt. Wenn der Schüler eine Frage sieht, von der er glaubt, sie zu kennen, könnte er trotzdem selbstbewusst raten. Die alten Methoden betrachteten nicht das Gesamtbild des Verhaltens des Roboters. Sie betrachteten eine einzelne Antwort und versuchten, sie zu korrigieren, wobei sie übersahen, dass der Roboter intern vielleicht eine Münze werfen könnte.

Die neue Idee: Der „Group Rollout“

Die Autoren erkannten, dass man, um zu wissen, ob ein Roboter wirklich unsicher ist, dieselbe Frage 20 Mal stellen muss, um zu sehen, was passiert.

Stabile Gruppe: Wenn Sie den Roboter 20 Mal fragen und er 20 Mal dieselbe Antwort gibt, ist er selbstbewusst. Er sollte sagen: „Ich bin mir sicher.“
Zerstreute Gruppe: Wenn Sie 20 Mal fragen und er 20 verschiedene Antworten (oder 10 verschiedene) liefert, ist er verwirrt. Er sollte sagen: „Ich bin mir nicht sicher.“

Dies wird als Group Rollout bezeichnet. Es ist wie das Befragen eines Komitees aus 20 Personen zur selben Frage. Wenn alle einer Meinung sind, ist das Komitee selbstbewusst. Wenn sie streiten, ist das Komitee unsicher.

Die Falle: Das „schlechte Notenblatt“

Hier wird das Paper geschickt. Nur eine Gruppe von 20 Antworten zu haben, reicht nicht aus. Man braucht eine Möglichkeit, diese Gruppe zu bewerten, um dem Roboter zu sagen, wie unsicher er sein sollte. Die Autoren fanden heraus, dass bestehende Bewertungsmethoden fehlerhaft waren:

Die „Exakte Übereinstimmungs“-Bewertung (MAF): Diese Methode zählt nur, wie oft exakt das gleiche Wort vorkam.
- Analogie: Stellen Sie sich vor, ein Komitee stimmt über eine Farbe ab. Wenn 10 Leute „Rot“ und 10 Leute „Karmesinrot“ sagen, hält dieses Notenblatt sie für völlig gespalten (50/50), weil die Wörter unterschiedlich sind. Aber sie sind sich eigentlich einig über die Farbe! Dieses Notenblatt ist zu streng und übersieht die Nuancen.
Die „Semantische Cluster“-Bewertung (SE): Diese gruppiert Bedeutungen zusammen.
- Analogie: Das ist besser, aber es ist wie ein Türsteher im Club mit einer starren Liste. Wenn man nur leicht von der Liste abweicht, wird man sofort aus der „Ja“-Gruppe geworfen und in die „Nein“-Gruppe befördert. Der Wert springt hoch und runter wie ein kaputter Aufzug, was es dem Roboter schwer macht, reibungslos zu lernen.
Die „Generische Ähnlichkeits“-Bewertung (KLE): Diese schaut darauf, wie ähnlich sich die Sätze anhören.
- Analogie: Dies ist die gefährlichste Methode. Stellen Sie sich vor, ein Komitee stimmt über ein mathematisches Problem ab. Eine Person sagt „52“, eine andere sagt „53“. Einem allgemeinen Gehör klingen diese Zahlen sehr ähnlich. Dieses Notenblatt denkt: „Oh, sie sind sich fast gleich, also ist die Gruppe selbstbewusst!“ Aber in der Mathematik sind 52 und 53 völlig unterschiedliche Antworten. Dieses Notenblatt täuscht den Roboter, indem es ihm vorgaukelt, er sei selbstbewusst, obwohl er eigentlich falsch liegt.

Die Lösung: SAGE (Das smarte Notenblatt)

Die Autoren entwickelten ein neues Bewertungssystem namens SAGE (Semantic-Answer Guided Entropy).

Betrachten Sie SAGE als ein smartes Notenblatt, das zwei Dinge gleichzeitig versteht:

Den Vibe: Es schaut darauf, wie die Sätze klingen (linguistische Ähnlichkeit).
Die Wahrheit: Es prüft, ob die eigentlichen Antworten kompatibel sind (Antwort-Äquivalenz).

So funktioniert es:

Wenn das Komitee „Rot“ und „Karmesinrot“ sagt, erkennt SAGE, dass sie dasselbe bedeuten, und vergibt einen niedrigen Unsicherheitwert (Gut!).
Wenn das Komitee „52“ und „53“ sagt, erkennt SAGE, dass sie zwar ähnlich klingen, aber mathematisch unterschiedlich sind. Es vergibt einen hohen Unsicherheitwert (Gut!).
Es tut dies reibungslos, sodass der Roboter ein klares, stetiges Signal erhält, wie er seine Zuversicht anpassen soll, anstatt ein ruckartiges, verwirrendes Signal zu erhalten.

Die Trainingsmethode: GUPO

Sobald sie dieses perfekte Notenblatt (SAGE) haben, nutzen sie eine neue Trainingsmethode namens GUPO.

Anstatt zu versuchen, die gesamte Antwort des Roboters zu korrigieren (die Geschichte, die Argumentation und die endgültige Tatsache), konzentriert sich GUPO nur auf den Teil der Zuversicht.

Analogie: Stellen Sie sich einen Lehrer vor, der den Aufsatz eines Schülers korrigiert. Anstatt die ganze Geschichte umzuschreiben, kreist der Lehrer nur den Satz ein, in dem der Schüler sagt: „Ich bin mir zu 100 % sicher“, und sagt: „Schau dir eigentlich deine anderen Entwürfe an. Du hast geraten. Ändere das in ‚Ich bin mir nicht sicher‘.“
GUPO macht genau das. Es lässt die Argumentation und die Fakten des Roboters unberührt und trainiert den Roboter statendess, seine „Unsicherheitserklärung“ an die Realität der Gruppe anzupassen.

Die Ergebnisse

Die Autoren testeten dies bei drei Arten von Aufgaben:

Fakten: (z. B. „Wer hat dieses Buch geschrieben?“)
Mathematik: (z. B. „Was ist 52 + 3?“)
Multiple Choice: (z. B. „Ist die Antwort A, B, C oder D?“)

In allen Fällen wurden die Roboter, die mit SAGE und GUPO trainiert wurden, viel besser darin, zu wissen, wann sie sich unsicher waren. Sie hörten auf, selbstbewusste Lügner zu sein. Sie lernten, „Ich weiß es nicht“ zu sagen, wenn die Gruppe der Antworten chaotisch war, und „Ich weiß es“ zu sagen, wenn die Gruppe sich einig war.

Zusammenfassung

Das Paper argumentiert, dass man, um einem Roboter beizubringen, ehrlich über seine Unsicherheit zu sein, nicht nur auf eine einzelne Antwort schauen kann. Man muss auf eine Gruppe von Antworten schauen. Aber man braucht auch ein spezielles „Notenblatt“ (SAGE), das versteht, dass „Rot“ und „Karmesinrot“ dasselbe sind, aber „52“ und „53“ nicht. Mit diesem smarten Notenblatt lernt der Roboter, seine Zuversicht an seine tatsächliche Fähigkeit anzupassen, was ihn zu einem zuverlässigeren Partner macht.

Technisches Resümee: SAGE – Answer-Conditioned Uncertainty Targets für die verbale Unsicherheits-Ausrichtung

Problemstellung

Große Sprachmodelle (LLMs) generieren häufig flüssigen, plausiblen Text, selbst wenn die zugrunde liegende Antwort unsicher oder nicht durch Fakten gestützt ist, was zu Halluzinationen mit potenziell schwerwiegenden realen Konsequenzen führen kann. Während Forscher interne Signale (z. B. Token-Wahrscheinlichkeiten) und samplingbasierte Signale zur Schätzung der Unsicherheit untersucht haben, bietet die verbale Unsicherheit – bei der das Modell sein Vertrauen explizit äußert (z. B. „Ich bin zu 80 % sicher“) – ein direktes, interpretierbares Signal für Nutzer.

Es besteht jedoch eine kritische Lücke in der verbalen Unsicherheits-Ausrichtung (Verbal Uncertainty Alignment): Die geäußerte Unsicherheit spiegelt oft nicht die tatsächliche behaviorale Zuverlässigkeit des Modells wider. Bestehende Ansätze behandeln die Kalibrierung der Unsicherheit als ein Problem auf Antwortebene (z. B. Supervised Fine-Tuning auf einer einzelnen Ausgabe oder paarweise Präferenzoptimierung). Die Autoren argumentieren, dass dies grundlegend unzureichend ist, da eine einzelne Antwort nicht offenlegen kann, ob die Wahrscheinlichkeitsmasse des Modells auf dieser einen Antwort konzentriert oder über plausible Alternativen verteilt ist. Dies führt zu einer „distributionellen Blindheit“, bei der das Modell lernt, Unsicherheitsausdrücke zu imitieren, ohne zu lernen, diese mit der Stabilität der eigenen Antwortverteilung abzugleichen.

Darüber hinaus sind Gruppen-Level-Targets (die Repeated Rollouts nutzen, um Unsicherheit zu schätzen) zwar theoretisch fundiert, doch leiden bestehende Methoden unter einem „Reward-Signal-Engpass“:

Maximum Answer Frequency (MAF): Treu gegenüber der Antwortstabilität, aber grob; es ignoriert semantische Distanz und Argumentationsvariationen, wodurch unterschiedliche Gruppen bei identischen Mehrheiten dieselben Scores erhalten.
Semantic Entropy (SE): Handhabt Paraphrasen über hartes semantisches Clustering, erzeugt jedoch diskontinuierliche, grobe Belohnungen. Kleine Änderungen innerhalb eines Clusters liefern kein Signal, während das Überschreiten von Grenzen zu diskreten Sprüngen führt.
Kernel Language Entropy (KLE): Bietet glatte Signale über kontinuierliche Embedding-Ähnlichkeit, versagt jedoch dabei, aufgabenkritische Antwortunterschiede zu bewahren. Es kann sich gegenseitig ausschließende Optionen (z. B. „A“ vs. „B“) oder unterschiedliche numerische Werte aufgrund der generischen Embedding-Geometrie als hochgradig ähnlich behandeln, was zu einer Unterschätzung der Unsicherheit führt.

Methodik

Das Paper schlägt ein zweiteiliges Framework vor, um diese Einschränkungen zu adressieren: SAGE (Semantic-Answer Guided Entropy) für die Konstruktion der Targets und GUPO (Group-Uncertainty Preference Optimization) für das Training.

1. SAGE: Semantic-Answer Guided Entropy

SAGE ist ein Group-Level Self-Uncertainty Target, das darauf ausgelegt ist, eine antwort-konditionierte Unsicherheitsgeometrie zu konstruieren. Es zielt darauf ab, gleichzeitig antwortentreu, belohnungssmooth und skalenerhaltend zu sein.

Linguistischer Kernel: Es beginnt mit einem kontinuierlichen semantischen Ähnlichkeitskernel, $K_{ling}$ , basierend auf dem antwortentragenden Inhalt $z_i$ der Antworten, der eine glatte semantische Ähnlichkeit misst.
Antwort-Äquivalenz-Kernel: Um zu verhindern, dass generische Embeddings aufgabenkritische Unterscheidungen verwischen, führt SAGE einen aufgabenspezifischen binären Antwort-Äquivalenz-Kernel $K_{ans}^{bin}$ ein. Dieser weist einen Wert von 1 für äquivalente Antworten zu (z. B. gleiches Multiple-Choice-Label, normalisierter numerischer Wert oder verifizierter symbolischer Ausdruck) und 0 ansonsten.
Soft Floor: Um die Diskontinuität von hartem Clustering zu vermeiden, nutzt SAGE einen „Soft Floor“-Mechanismus:
$K_{ans}^{soft}(a_i, a_j) = c + (1-c)K_{ans}^{bin}(a_i, a_j)$
wobei $c \in [0, 1]$ den Grad der Antwortseparation steuert. $c=0$ erzwingt harte Separation, während $c=1$ die reine linguistische Ähnlichkeit wiederherstellt.
Kombinierter Kernel: Der finale Kernel kombiniert linguistische und antwortenbewusste Ähnlichkeiten:
$K_A(y_i, y_j) = (K_{ling}(y_i, y_j))^\alpha \cdot (K_{ans}^{soft}(a_i, a_j))^\beta$
Entropie-Berechnung: Die Kernel-Matrix wird in eine Dichtematrix $P_A$ normalisiert, und SAGE ist definiert als die normalisierte von-Neumann-Entropie von $P_A$ . Eine niedrigere Entropie deutet auf konzentrierte Antworten hin (geringe Unsicherheit), während eine höhere Entropie auf eine Streuung über Bedeutungen, Argumentationspfade oder finale Antworten hindeutet.

2. GUPO: Group-Uncertainty Preference Optimization

GUPO ist ein Trainingsframework, das SAGE als Supervision-Signal nutzt. Im Gegensatz zu Standardmethoden, die die gesamte Antwort optimieren, optimiert GUPO nur den Unsicherheitskanal ( $v_i$ ) der Antwort $y_i = (z_i, v_i)$ .

Präferenz-Konstruktion: Für eine Gruppe von $K$ gesampelten Antworten wird der Reward $r_i$ basierend auf der Distanz zwischen der geäußerten Unsicherheit $\hat{u}(v_i)$ und dem SAGE-Target $t(G_x)$ berechnet.
Optimierung: GUPO wendet eine Präferenzverteilung über die Unsicherheitsausdrücke innerhalb der Gruppe an und optimiert die Policy, um die Log-Likelihood von Unsicherheitsausdrücken zu maximieren, die dem Gruppen-Level-Target besser entsprechen. Dies wird wie folgt formuliert:
$L_{GUPO} = -\mathbb{E}_{x, G_x} \left[ \sum_{i=1}^K \text{stopgrad}(p_i^{cal}) \cdot \log \pi_\theta(v_i | x, z_i) \right]$
wobei $p_i^{cal}$ die Präferenzwahrscheinlichkeit ist, die aus den Reward-Scores abgeleitet wird.

Zentrale Beiträge

Problemformulierung: Die Autoren identifizieren die verbale Unsicherheits-Ausrichtung als ein distributionelles Kalibrierungsproblem und benennen den „Reward-Signal-Engpass“ in bestehenden Group-Level-Targets (MAF, SE, KLE), der deren Effektivität einschränkt.
SAGE-Target: Sie führen SAGE ein, ein neuartiges Entropie-Target, das eine antwortenbewusste Struktur in die Antwortgeometrie injiziert. Es bewahrt die Glattheit und korrigiert gleichzeitig das Versagen generischer Metriken, inkompatible Antworten (z. B. unterschiedliche Options-Labels oder verschiedene Zahlenwerte) zu unterscheiden.
GUPO-Framework: Sie schlagen GUPO vor, ein Framework zur Optimierung der Präferenz im Unsicherheitskanal, das die Kalibrierung der verbalen Unsicherheit von der Optimierung des vollständigen Antwortinhalts entkoppelt.
Empirische Validierung: Der Ansatz wird über drei verschiedene Antwortformate validiert: faktische Beantwortung (TriviaQA), mathematische Argumentation (MATH-500) und Multiple-Choice-Argumentation (MMLU-Pro).

Ergebnisse

Experimente zeigen, dass GUPO + SAGE konsistent bestehende Baselines (einschließlich Direct Verbalized, CoT, CSFT und LoVeC-DPO) sowie alternative Group-Targets (MAF, SE, KLE) übertrifft.

Kalibrierung: Die Methode erreicht die niedrigsten Brier-Scores und den geringsten Expected Calibration Error (ECE) über alle Benchmarks hinweg. Beispielsweise reduzierte GUPO+SAGE den ECE auf MMLU-Pro auf 0,113 im Vergleich zu 0,179 für die nächstbeste Baseline.
Unsicherheits-Ranking: Es verbessert die Spearman-Korrelation signifikant, was zeigt, dass die geäußerte Unsicherheit des Modells Beispiele besser nach ihrer tatsächlichen Zuverlässigkeit rankt.
Selektive Genauigkeit: Das Framework liefert erhebliche Gewinne bei der Genauigkeit der High-Confidence-Subsets (z. B. +22,4 bis +33,0 Prozentpunkte auf MMLU-Pro bei verschiedenen Konfidenzschwellen), was beweist, dass Vorhersagen, denen eine geringere Unsicherheit zugewiesen wurde, mit höherer Wahrscheinlichkeit korrekt sind.
Transferierbarkeit: Die Verbesserungen halten über verschiedene Modellskalen hinweg (Qwen2.5-1.5B, 3B und 7B) stand, was darauf hindeutet, dass die Methode nicht von einer spezifischen Backbone-Kapazität abhängig ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass behaviorale Unsicherheit auf Gruppenebene in einzelne Antwort-Unsicherheitsausdrücke destilliert werden kann, wenn sowohl das Target-Design als auch der Optimierungskanal korrekt konzipiert sind.

Adressierung der Target-Lücke: Die Autoren argumentieren, dass ohne ein zuverlässiges, antwortenbewusstes Target wie SAGE die Reward-Signale in Rauschen oder Heuristiken (Shortcuts) kollabieren, was den Optimierer daran hindert, kalibrierte Unsicherheit von oberflächlichen Mustern zu unterscheiden.
Behaviorale Ausrichtung: Die Arbeit verschiebt das Paradigma vom Lernen, Unsicherheit zu „sagen“, hin zum Lernen, die Stabilität des eigenen Sampling-Verhaltens zu „reflektieren“.
Praktischer Nutzen: Durch die Verbesserung der Ordnung und Skalierung der verbalen Unsicherheit ermöglicht das Framework effektivere nachgelagerte Entscheidungsfindungen, wie etwa das Vertrauen, Verifizieren oder Absehen von Modell-Outputs.

Limitierungen: Die Autoren merken bescheiden an, dass ihre Methode die verbale Unsicherheit mit der behavioralen Selbst-Unsicherheit (Stabilität des Samplings) abgleicht, nicht notwendigerweise mit der externen Korrektheit (Wahrhaftigkeit). Ein Modell kann stabil, aber falsch sein. Daher wird SAGE als komplementär zur korrektheitsbasierten Kalibrierung und externen Validierung präsentiert und nicht als Ersatz, insbesondere in Hochrisikodomänen wie Medizin oder Recht, in denen domänenspezifische Evidenz erforderlich ist. Zudem hängt die Qualität des Targets von der Zuverlässigkeit der Antwortextraktion und der Äquivalenzmodule ab.