💬 NLP

Aligning Language Models with Selective Prediction

Dieses Paper schlägt Reinforcement Learning for Selection Reward (RLSR) vor, ein neuartiges Post-Training-Alignment-Framework, das große Sprachmodelle für die selektive Vorhersage optimiert, indem es direkt auf die Fläche unter der Risiko-Abdeckungs-Kurve (Area Under the Risk-Coverage Curve, AURC) abzielt, wodurch der Risiko-Abdeckungs-Trade-off signifikant verbessert und die Zuverlässigkeit in Szenarien mit hohem Einsatzniveau gesteigert wird.

Ursprüngliche Autoren: Gaoxiang Luo, Yifan Wu, Sinian Zhang, Aryan Deshwal, Ju Sun

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gaoxiang Luo, Yifan Wu, Sinian Zhang, Aryan Deshwal, Ju Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der überhebliche KI-Assistent

Stellen Sie sich vor, Sie stellen einen sehr klugen, aber überheblichen Assistenten ein, der Ihnen bei wichtigen Entscheidungen helfen soll, etwa bei der Diagnose eines Patienten oder der Analyse einer Aktie. Dieser Assistent (die KI) ist großartig darin, Fragen zu beantworten, hat aber eine schlechte Angewohnheit: Er gibt niemals zu, wenn er etwas nicht weiß. Selbst wenn er nur rät, spricht er mit 100 % Sicherheit.

In Situationen mit hohem Risiko (wie im Rechtswesen oder in der Medizin) ist eine selbstbewusste Fehlentscheidung gefährlich. Sie würden lieber einen Assistenten haben, der sagt: „Ich bin mir nicht sicher, lassen Sie das bitte einen Menschen prüfen“, als dass er Ihnen voller Überzeugung eine falsche Antwort gibt. Dies ist der Kern des Problems, das diese Arbeit adresst: Wie bringen wir einer KI bei, zu wissen, wann sie schweigen sollte?

Die Lösung: „Selektive Vorhersage“ (Selective Prediction)

Die Arbeit schlägt eine Strategie namens Selektive Vorhersage vor. Betrachten Sie dies als das Training der KI zu einem „selektiven Filter“.

Anstatt jede einzelne Frage zu beantworten, wird die KI darauf trainiert:

Antworten, wenn sie sich bei den Fragen sehr sicher ist.
Sich enthalten (zu sagen: „Ich weiß es nicht“), wenn sie sich bei den Fragen unsicher ist.

Durch das Herausfiltern riskanter Vermutungen steigt die Gesamtgenauigkeit der KI bei den Fragen, die sie tatsächlich beantwortet, signifikant an.

Warum frühere Methoden nicht funktionierten

Die Autoren erklären, dass frühere Versuche, dieses Problem zu lösen, auf Kalibrierung basierten.

Die Kalibrierungs-Analogie: Stellen Sie sich einen Wettervorhersager vor, der sagt: „Es besteht eine 70-prozentige Regenwahrscheinlichkeit.“ Wenn es in 7 von 10 Fällen regnet, in denen er das vorhergesagt hat, ist er „kalibriert“.
Der Fehler: Die Arbeit argumentiert, dass „kalibriert“ zu sein nicht ausreicht. Man kann einen Vorhersager haben, der perfekt kalibriert ist, aber dennoch eine „Vielleicht“-Antwort höher einstuft als eine „Definitiv“-Antwort.
Die Erkenntnis der Arbeit: Was Sie wirklich brauchen, ist nicht nur ein Vorhersager, der ehrlich über seine Chancen ist; Sie brauchen einen Richter, der Antworten perfekt sortieren kann – von „am wahrscheinlichsten richtig“ bis „am wahrscheinlichsten falsch“. Die Arbeit nennt dies Selektive Vorhersage, und es ist ein anderes Ziel als nur „kalibriert“ zu sein.

Die neue Methode: RLSR (Reinforcement Learning for Selection Reward)

Die Autoren entwickelten eine neue Trainingsmethode namens RLSR. So funktioniert sie, unter Verwendung einer einfachen Metapher:

Die „Sprechenden Hut“-Analogie:
Stellen Sie sich vor, die KI ist ein Schüler, der eine Prüfung schreibt.

Alte Methode (RLVR): Der Lehrer gibt nur Punkte dafür, wenn die Antwort richtig ist. Wenn der Schüler richtig rät, bekommt er einen Punkt. Wenn er falsch rät, bekommt er nichts. Der Schüler lernt dadurch, alles zu beantworten, selbst wenn er nur rät.
Die neue Methode (RLSR): Der Lehrer ändert die Regeln. Dem Lehrer geht es nicht nur darum, ob die Antwort richtig oder falsch ist; ihm geht es um das Ranking.
- Der Lehrer betrachtet alle Antworten des Schülers und sagt: „Ich möchte, dass die Antworten, bei denen du dir am sichersten bist, die richtigen sind, und die Antworten, bei denen du dir am unsichersten bist, die falschen sind.“
- Wenn der Schüler eine schwere Frage richtig beantwortet, aber sagt, er sei sich nur zu „50 % sicher“, bekommt er eine kleine Belohnung.
- Wenn der Schüler eine leichte Frage falsch beantwortet, aber zu „99 % sicher“ war, bekommt er eine riesige Strafe.
- Wenn der Schüler eine schwere Frage richtig beantwortet und sagt „99 % sicher“, bekommt er eine massive Belohnung.

Diese Methode, genannt RLSR, nutzt ein spezielles Bewertungssystem (basierend auf einer Metrik namens AURC), das die KI dafür belohnt, eine klare Lücke zwischen ihren „sicheren“ Antworten und ihren „unsicheren“ Antworten zu schaffen.

Das Ergebnis: Ein besserer Filter

Die Autoren testeten diese neue Methode bei verschiedenen schwierigen Aufgaben (wie mathematischen Problemen und komplexem Trivia) und verglichen sie mit den alten Methoden.

Das Ergebnis: Die mit RLSR trainierte KI wurde viel besser darin, zu wissen, wann sie sprechen und wann sie schweigen sollte.
Der Beweis: Als die Forscher eine Regel festlegten wie „Antworte nur, wenn du dir zu 90 % sicher bist“, war die durch RLSR trainierte KI signifikant genauer als die anderen Modelle. Sie filterte erfolgreich die „selbstbewussten Fehler“ heraus, die die anderen Modelle weiterhin machten.
Realwelt-Test: Sie testeten es sogar an einem medizinischen Datensatz (MedQA). Als sie die KI zwangen, nur Fragen zu beantworten, bei denen sie eine hohe Genauigkeit garantieren konnte, war das RLSR-Modell das einzige, das diesen hohen Sicherheitsstandard konsistent erfüllen konnte.

Zusammenfassung

Kurz gesagt lehrt diese Arbeit KI-Modelle, nicht länger „selbstbewusste Ratgeber“ zu sein. Anstatt zu versuchen, über alles recht zu haben, lernt die KI, ein kluger Torwächter zu sein. Sie lernt zu sagen: „Diese eine weiß ich“, und „Diese andere weiß ich nicht“, um sicherzustellen, dass sie, wenn sie spricht, mit hoher Wahrscheinlichkeit korrekt ist. Dies macht KI für kritische Aufgaben in der realen Welt viel sicherer und zuverlässiger.

Technisches Resümee: Ausrichtung von Sprachmodellen auf selektive Prädiktion

Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend in hochsensiblen Bereichen wie Finanzen, Gesundheitswesen und Recht eingesetzt. In diesen Kontexten überwiegen die Kosten einer Fehlentscheidung oft signifikant die Kosten der Rückverweisung an einen Menschen. Standardmäßige Trainingsparadigmen für LLMs erfordern, dass Modelle zu jeder Anfrage eine Antwort geben, unabhängig von ihrer internen Gewissheit, was zu „selbstbewussten Irrtümern“ und Halluzinationen führt.

Während Konfidenzkalibrierung (Confidence Calibration, CC) oft als Voraussetzung für selektive Prädiktion (Selective Prediction, SP) angesehen wird, argumentieren die Autoren, dass CC weder hinreichend noch notwendig für eine effektive SP ist.

CC stellt sicher, dass die zugewiesenen Konfidenzwerte mit der wahren Wahrscheinlichkeit der Korrektheit übereinstimmen (z. B. bedeutet eine 80 %ige Konfidenz eine 80-prozentige Chance, richtig zu liegen).
SP erfordert, dass korrekte Vorhersagen basierend auf der Konfidenz höher eingestuft werden als inkorrekte, was es dem Modell ermöglicht, sich bei Anfragen mit geringer Konfidenz zu enthalten, um die Fehlerrate bei der ausgewählten Teilmenge zu senken.

Das Paper zeigt, dass perfekte Kalibrierung keine perfekte selektive Prädiktion garantiert (wie in Abb. 1 dargestellt), und umgekehrt perfekte SP mit einer schlecht kalibrierten Konfidenz existieren kann, wenn das Ranking korrekt ist. Bestehende Ausrichtungsmethoden, wie Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) und Reinforcement Learning mit Kalibrierungsbelohnungen (RLCR), konzentrieren sich auf Genauigkeits- bzw. Kalibrierungsmetriken, versäumen es jedoch, das für SP erforderliche Risiko-Abdeckungs-Verhältnis (Risk-Coverage Trade-off) direkt zu optimieren.

Methodik: Reinforcement Learning für Selektionsbelohnung (RLSR)

Die Autoren schlagen RLSR vor, ein neuartiges Alignment-Framework, das LLMs unter Verwendung des Group Relative Policy Optimization (GRPO) Algorithmus direkt auf die Leistung der selektiven Prädiktion optimiert. Das Kernziel besteht darin, die Area Under the Risk-Coverage Curve (AURC) zu minimieren, eine Standardmetrik, die den Kompromiss zwischen der Fehlerrate (Risiko) und dem Anteil der beantworteten Eingaben (Abdeckung/Coverage) zusammenfasst.

Zentrale technische Herausforderungen und Lösungen

Die Integration der AURC in ein Reinforcement-Learning-Framework stellt zwei primäre Herausforderungen dar, die RLSR durch spezifische Innovationen adressiert:

Spärliche und einseitige Belohnungen:
- Herausforderung: Die kanonische AURC-Formulierung bestraft nur Fehler (inkorrekte Vorhersagen) und liefert kein Belohnungssignal für korrekte Vorhersagen. Dies führt zu spärlichen Lernsignalen und verhindert die Durchsetzung einer Marge zwischen der Konfidenz korrekter und inkorrekter Antworten.
- Lösung: Die Autoren führen ein Lifted AURC-Ziel ein. Sie reformulieren den binären Fehlerindikator $I\{f(x) \neq y\}$ in eine Vorzeichenvariable $(2I\{f(x) \neq y\} - 1) \in \{-1, +1\}$ . Dies erzeugt eine „Push-Pull“-Dynamik, bei der korrekte Vorhersagen positive Belohnungen und inkorrekte Vorhersagen negative Belohnungen erhalten, was das Modell aktiv dazu ermutigt, die Konfidenzverteilungen korrekter und inkorrekter Antworten voneinander zu trennen.
Globale Ranking-Abhängigkeit:
- Herausforderung: AURC ist eine Metrik auf Populationsebene, die von der globalen Rangfolge aller Stichproben-Konfidenzwerte abhängt. Standardmäßiges Mini-Batch Stochastic Gradient Descent (SGD) kann keine globalen Rankings berechnen, ohne über den gesamten Datensatz zu iterieren, was den Zweck eines effizienten Batch-Trainings zunichtemacht.
- Lösung: RLSR verwendet eine Batch-Trainingsstrategie. Für jeden Trainingsschritt generiert das Modell $G$ Rollouts für jeweils $B$ Prompts. Diese $B \times G$ Stichproben werden zu einem „effektiven Batch“ zusammengeführt. Ränge und Gewichte werden innerhalb dieses zusammengeführten Batches berechnet, um die globale AURC zu approximieren. Dies ermöglicht es dem Algorithmus, mit dem Standard-GRPO kompatibel zu bleiben und dennoch die Metrik auf Populationsebene zu approximieren.

Algorithmen-Übersicht

Die Belohnungsfunktion $R_{RLSR}$ für eine Stichprobe $i$ ist definiert als:
$R_{RLSR}(y_i, \hat{y}_i, s_i) = \begin{cases} +\hat{\alpha}_i & \text{wenn } \hat{y}_i = y_i \\ -\hat{\alpha}_i & \text{wenn } \hat{y}_i \neq y_i \end{cases}$
wobei $\hat{\alpha}_i$ ein Gewicht ist, das aus dem Rang der Stichprobe innerhalb des effektiven Batches abgeleitet wird (basierend auf der harmonischen Zahlenformulierung der AURC). Das Modell wird dann unter Verwendung der GRPO-Advantage-Funktion aktualisiert, welche die Belohnungen innerhalb von Gruppen von Rollouts für denselben Prompt normalisiert.

Zentrale Beiträge

Direkte SP-Ausrichtung: Dies ist die erste Arbeit, die vorschlägt, vortrainierte LLMs direkt auf Metriken der selektiven Prädiktion auszurichten, anstatt sich auf Zwischenziele wie die Kalibrierung zu verlassen.
RLSR-Framework: Die Einführung eines neuen Alignment-Frameworks, das ein Lifted-AURC-Ziel und eine Batch-basierte Trainingsstrategie nutzt, um die technischen Hürden der AURC-Optimierung via RL zu überwinden.
Empirische Überlegenheit: Umfassende Experimente, die zeigen, dass RLSR RLVR (RLVR) und RLCR in sowohl In-Domain- als auch Out-of-Domain-Settings übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten RLSR auf den Modellen Qwen2.5-7B und Llama-3.1-8B über mehrere Datensätze hinweg (HotPotQA, BigMath und verschiedene OOD-Benchmarks wie GSM8K, GPQA und MedQA).

Risiko-Abdeckungs-Verhältnis: RLSR erreichte konsistent niedrigere AURC-Werte (was auf eine bessere Leistung hindeutet) im Vergleich zu RLVR und RLCR. Beispielsweise erreichte RLSR auf HotPotQA (In-Domain) eine AURC von 0,44, was RLVR (0,56) und RLCR (0,51) deutlich übertrifft.
Genauigkeit bei geringer Abdeckung: In Hochrisikoszenarien, in denen eine geringe Abdeckung akzeptabel ist, um eine hohe Genauigkeit zu erreichen, zeigte RLSR eine überlegene Leistung. Bei einer Abdeckung von 10 % auf HotPotQA erreichte RLSR eine Genauigkeit von 66,0 %, verglichen mit 45,5 % für RLVR und 53,5 % für RLCR.
Out-of-Domain (OOD) Generalisierung: RLSR behielt eine starke Leistung bei OOD-Aufgaben bei, während RLVR und RLCR oft degradierten oder inkonsistente Verbesserungen zeigten. Dies deutet darauf hin, dass RLSR ein robusteres Ranking der Konfidenz lernt, anstatt auf spezifische Verteilungseigenschaften zu überoptimieren.
Risikokontrollierte Bereitstellung: In einem simulierten medizinischen Einsatz (MedQA) mit einer Zielgenauigkeit von 75 % war RLSR die einzige Methode, die in der Lage war, die Zielgenauigkeit zu erreichen und gleichzeitig eine angemessene Abdeckungsrate beizubehalten. RLVR konnte die Zielgenauigkeit unabhängig vom Schwellenwert nicht erreichen, und die Leistung von RLCR sank im Vergleich zum Validierungsset auf dem Testset signifikant.
Konfidenztrennung: Die Analyse der Konfidenzverteilungen (Abb. 3) bestätigte, dass die Lifted-AURC-Belohnung erfolgreich eine größere Marge (Gap) zwischen den Konfidenzwerten korrekter und inkorrekter Vorhersagen geschaffen hat als die Standard-AURC oder kalibrierungsbasierte Belohnungen.

Bedeutung und Ansprüche

Das Paper behauptet, dass RLSR einen fundierten Ansatz zur Verbesserung der Zuverlässigkeit von LLMs für den realen Einsatz bietet. Durch die direkte Optimierung des Risiko-Abdeckungs-Verhältnisses ermöglicht RLSR es LLMs, sich effektiv der Antwort zu entziehen, wenn sie unsicher sind, wodurch die Fehlerraten in kritischen Anwendungen reduziert werden, ohne dass für jede Anfrage ein menschliches Eingreifen erforderlich ist.

Die Autoren betonen, dass die Kalibrierung (ECE) zwar eine nützliche Metrik ist, aber kein Stellvertreter für die Leistung der selektiven Prädiktion. Die Optimierung der Kalibrierung verbessert nicht zwangsläufig das Ranking korrekter gegenüber inkorrekten Antworten, was jedoch die grundlegende Voraussetzung für SP ist. Folglich stellt RLSR einen direkteren und effektiveren Weg zur Bereitstellung von LLMs in Hochrisikoumgebungen dar, in denen die Fehlerkontrolle von entscheidender Bedeutung ist.

Einschränkungen: Die Autoren merken an, dass sich ihr aktuelles Alignment auf die ganzheitliche AURC-Metrik konzentriert. Sie räumen ein, dass in praktischen Hochrisikoszenarien oft vorab ein spezifisches Zielrisikoniveau bekannt ist, was darauf hindeutet, dass zukünftige Arbeiten risikobeschränkte Maximierungsziele für die Abdeckung formulieren könnten.