🤖 AI

Bridging the Detection-to-Abstention Gap in Reasoning Models under Insufficient Information

Dieser Beitrag stellt Judge-Then-Solve (JTS) vor, ein Rahmenwerk zur Steuerung des Denkens, das Modelle darauf trainiert, sich vor der Generierung von Lösungen explizit auf die Beantwortbarkeit festzulegen, wodurch die „Lücke zwischen Erkennung und Zurückhaltung" wirksam geschlossen wird, in der Modelle unzureichende Informationen zwar erkennen, aber dennoch nicht zurückhalten, was letztendlich die Sicherheit und Effizienz in Hochrisikobereichen verbessert.

Ursprüngliche Autoren: Renjie Gu, Jiaxu Li, Yihao Wang, Yun Yue, Hansong Xiao, Yefei Chen, Yuan Wang, Chunxiao Guo, Pei Wei, Jinjie Gu, Yixin Cao

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Renjie Gu, Jiaxu Li, Yihao Wang, Yun Yue, Hansong Xiao, Yefei Chen, Yuan Wang, Chunxiao Guo, Pei Wei, Jinjie Gu, Yixin Cao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die Falle des „selbstbewussten Ratschlags"

Stellen Sie sich vor, Sie sind ein brillanter Detektiv (das KI-Modell), der beauftragt wurde, ein Rätsel zu lösen. Ihnen wird ein Hinweis gegeben: „Der Verdächtige hat einen schlammigen Fußabdruck und einen halben Apfel hinterlassen."

Ein normaler Detektiv könnte denken: „Hmm, schlammige Fußabdrücke deuten auf Regen hin. Vielleicht war der Verdächtige draußen. Ich vermute, er ist Gärtner." Er könnte sogar einen ganzen Bericht verfassen, der erklärt, warum es ein Gärtner ist, obwohl die Hinweise zu vage sind, um sicher zu sein.

Genau das tun aktuelle „Schlussfolgerungsmodelle" (fortgeschrittene KIs), wenn sie Fragen mit fehlenden Informationen stellen.

Der Fehler: Die KI weiß oft, dass etwas fehlt. In ihrem „Denkprozess" könnte sie sagen: „Warte, ich weiß nicht, wie viele Pizzascheiben es insgesamt gab."
Das Versagen: Selbst nachdem sie zugibt, dass Informationen fehlen, hört sie nicht auf. Sie denkt weiter: „Aber lassen Sie uns einfach raten, es waren 12 Scheiben," und gibt dann selbstbewusst eine falsche Antwort.

Die Autoren nennen dies die „Lücke zwischen Erkennung und Enthaltung" (Detection-to-Abstention Gap).

Erkennung (Detection): Die KI sieht das Loch im Puzzle.
Enthaltung (Abstention): Die KI sagt: „Ich kann das nicht lösen."
Die Lücke: Die KI sieht das Loch, versucht aber trotzdem, es mit Vermutungen zu füllen.

In hochriskanten Bereichen wie der medizinischen KI ist dies gefährlich. Wenn ein Patient fragt: „Ich habe Kopfschmerzen und Fieber, was soll ich einnehmen?" und die KI nicht über seine anderen Symptome oder Allergien Bescheid weiß, sollte sie kein Medikament raten. Sie sollte sagen: „Ich brauche mehr Informationen."

Die Lösung: „Richter zuerst, dann Lösen" (Judge-Then-Solve, JTS)

Die Forscher schlagen eine neue Methode vor, um diese KIs zu trainieren, die Judge-Then-Solve (JTS) (Richter zuerst, dann Lösen) genannt wird.

Stellen Sie sich das wie einen Türsteher in einem Club oder einen Qualitätskontrollinspektor am Fließband vor.

Der alte Weg: Die KI versucht, das Problem sofort zu lösen. Wenn sie auf halbem Weg merkt, dass Informationen fehlen, ist sie bereits zu tief im „Denken" verstrickt, um aufzuhören. Es ist wie ein Fahrer, der merkt, dass er auf der falschen Straße ist, aber weiterfährt, weil er das Lenkrad bereits gedreht hat.
Der JTS-Weg: Bevor die KI überhaupt etwas lösen darf, muss sie zuerst als Richter agieren.
- Schritt 1 (Die Prüfung): Die KI muss innehalten und explizit fragen: „Habe ich alle Zutaten, um diesen Kuchen zu backen?"
- Schritt 2 (Das Urteil):
  - Wenn die Antwort „Nein" ist (fehlende Infos): Die KI muss sofort die Bremsen betätigen, das Buch schließen und sagen: „Ich kann das nicht beantworten." Kein Raten erlaubt.
  - Wenn die Antwort „Ja" ist: Erst dann fährt sie fort, das Problem zu lösen.

Wie sie die KI dazu gebracht haben, dies zu tun

Man kann einer KI nicht einfach sagen „hör auf zu raten" und erwarten, dass es funktioniert. Die Forscher verwendeten eine zweistufige Trainingsmethode:

Überwachtes Aufwärmen (Die Stützräder): Sie zeigten der KI Beispiele dafür, wie sie sich wie ein strenger Richter verhalten soll. Sie lehrten sie das spezifische Format: „Prüfe zuerst die Informationen. Wenn sie fehlen, stoppe sofort."
Bestärkendes Lernen (Das Belohnungssystem): Sie spielten ein Spiel mit der KI.
- Belohnung: Wenn die KI fehlende Informationen korrekt identifizierte und stoppte, erhielt sie einen Punkt.
- Strafe: Wenn die KI fehlende Informationen identifizierte, aber weiterredete und riet, verlor sie Punkte.
- Der „Längen"-Trick: Sie fügten auch eine Regel hinzu, die die KI für „Überdenken" bestrafte. Wenn die KI merkte, dass sie ein Problem nicht lösen konnte, aber trotzdem einen langen Absatz darüber schrieb, wurde sie bestraft. Dies lehrte die KI, prägnant zu sein und sofort zu stoppen, wenn sie auf eine Sackgasse stieß.

Die Ergebnisse: Vom „Überdenker" zum „ehrlichen Experten"

Die Forscher testeten dies an zwei Arten von KI-Modellen (ein großes und komplexes, ein kleineres und dichteres) mit Matheaufgaben und medizinischen Fragen, bei denen Informationen absichtlich weggelassen wurden.

Vor dem Training: Die KI erkannte fehlende Informationen etwa 50 % der Zeit, hörte aber nur etwa 20 % der Zeit tatsächlich auf und verweigerte die Antwort. Sie war ein „Detektiv, der weiß, dass der Fall unlösbar ist, aber trotzdem einen Bericht schreibt."
Nach dem JTS-Training:
- Die KI erkannte fehlende Informationen weiterhin (Erkennung).
- Entscheidend: Wenn sie fehlende Informationen erkannte, hörte sie fast immer (99 %+) auf und verweigerte die Antwort.
- Bonus: Die KI wurde auch schneller. Da sie bei unmöglichen Fragen aufhörte zu raten, sparte sie viel „Denkzeit" (Tokens).

Eine Nebenwirkung: Weniger „Selbstzweifel" bei schwierigen Problemen

Interessanterweise stellten die Forscher fest, dass das Trainieren der KI, bei einfachen Fragen mit fehlenden Informationen „Ich weiß es nicht" zu sagen, sie auch besser darin machte, schwierige Fragen zu lösen, die tatsächlich Antworten hatten.

Vorher: Die KI geriet in eine Schleife von „Vielleicht liege ich falsch... warte, vielleicht liege ich richtig... nein, vielleicht liege ich falsch" (unproduktive Selbstreflexion).
Nachher: Die KI wurde entscheidungsfreudiger. Sie hörte auf, Zeit damit zu verschwenden, sich bei Problemen, die sie tatsächlich lösen konnte, selbst zu bezweifeln, was zu saubereren und direkteren Antworten führte.

Zusammenfassung

Das Papier zeigt, dass fortgeschrittene KIs oft in der Gewohnheit stecken bleiben, „zu raten, wenn sie es nicht sollten". Indem sie gezwungen werden, zuerst die Frage zu beurteilen und sofort aufzuhören, wenn Informationen fehlen, schlossen die Forscher die Lücke zwischen „wissen, dass etwas fehlt" und „zugeben, dass sie nicht antworten können". Dies macht die KI sicherer und zuverlässiger, insbesondere in Situationen, in denen ein falscher Ratschlag schädlich sein könnte.

Technischer Überblick: Überbrückung der Lücke zwischen Erkennung und Enthaltung bei Reasoning-Modellen unter unzureichenden Informationen

1. Problemstellung

Large Reasoning Models (LRMs) werden zunehmend in hochriskanten Bereichen wie der medizinischen KI eingesetzt, wo Benutzeranfragen oft kritische Informationen vermissen lassen (z. B. fehlende Symptome, Laborergebnisse oder Kontext). Ein kritischer Fehlermodus, der in dieser Arbeit identifiziert wurde, besteht darin, dass Modelle zwar während des intermediären Reasonings erkennen können, dass ein Problem unzureichend spezifiziert ist, diese Erkenntnis jedoch häufig nicht in eine endgültige Verweigerung der Antwort umsetzen. Stattdessen setzen sie das Reasoning fort, erfinden fehlende Prämissen und produzieren nicht untermauerte definitive Antworten.

Die Autoren formalisieren dieses Phänomen als Lücke zwischen Erkennung und Enthaltung (detection-to-abstention gap): die Diskrepanz zwischen der Fähigkeit eines Modells, unzureichende Informationen zu erkennen (Erkennungsrate, DR), und seiner Fähigkeit, auf diese Erkennung durch Enthaltung zu reagieren (Gesamt-Enthaltungsrate, OAR). Bestehende Methoden, einschließlich standardmäßigen Reinforcement Learning (RL) und Prompting, verbessern oft die Erkennung, schließen die Lücke jedoch nicht, sodass Modelle verbleiben, die „erkennen, aber nicht enthalten". Dies ist in sicherheitskritischen Umgebungen besonders gefährlich, wo eine nicht untermauerte Antwort schädlicher ist als eine Verweigerung.

2. Methodik: Judge-Then-Solve (JTS)

Um diese Lücke zu schließen, schlägt die Arbeit Judge-Then-Solve (JTS) vor, ein Rahmenwerk zur Steuerung des Reasonings auf Trajektorien-Ebene. Im Gegensatz dazu, Enthaltung lediglich als Stil der finalen Antwort zu behandeln, fasst JTS sie als explizite Steuerungsentscheidung um, die vor der Generierung der Lösung getroffen wird.

Kernmechanismus

JTS zerlegt den Inferenzprozess in zwei distincte Stufen:

Beurteilung der Beantwortbarkeit: Das Modell muss zunächst einen strukturierten <answerability_judge>-Block generieren, der Folgendes enthält:
- Kontext-Audit: Eine Analyse, ob der bereitgestellte Kontext eine eindeutige, gültige Antwort unterstützt.
- Integritätsprüfung: Eine Verifikation fehlender Prämissen oder Mehrdeutigkeiten.
- Fazit: Eine binäre Entscheidung von ANSWERABLE (beantwortbar) oder UNANSWERABLE (nicht beantwortbar).
Bedingte Ausführung:
- Wenn UNANSWERABLE: Das Modell muss das Reasoning sofort beenden und eine Enthaltungsantwort ausgeben.
- Wenn ANSWERABLE: Das Modell fährt fort, die Lösung innerhalb desselben Reasoning-Blocks zu generieren.

Trainingsstrategie

JTS wird durch einen zweistufigen Trainingsprozess instanziiert:

Überwachtes Warm-up: Das Modell wird auf einem Datensatz von 1.091 Trajektorien feinabgestimmt, die im JTS-Format strukturiert sind. Diese Stufe lehrt die strukturelle Priorität des Rahmenwerks (den <answerability_judge>-Block und die Regel der sofortigen Beendigung), anstatt die Enthaltung direkt zu optimieren.
Reinforcement Learning (RL) mit strukturierten Belohnungen: Das Modell wird mittels Group Relative Policy Optimization (GRPO) mit einer zusammengesetzten Belohnungsfunktion $R(y)$ $R (y)$ optimiert:
- Format-Belohnung ( $R_{format}$ ): Erzwingt die strikte JTS-Struktur (gültige Tags, Platzierung des Fazits).
- Konsistenz-Belohnung ( $R_{consistency}$ ): Bestraft Widersprüche zwischen der Beurteilung (z. B. UNANSWERABLE) und der finalen Ausgabe (z. B. das Liefern einer Antwort).
- Aufgaben-Belohnung ( $R_{task}$ ): Belohnt korrekte Enthaltung bei unzureichend spezifizierten Fragen und korrekte Antworten bei klar definierten Fragen; bestraft falsche Enthaltung bei lösbaren Fragen.
- Längen-Formungs-Belohnung ( $R_{length}$ ): Ein bedingtes Signal, das entwickelt wurde, um „Überdenken" zu unterdrücken.
  - Bei unzureichend spezifizierten Fragen, bei denen das Modell nicht enthält, werden kürzere Trajektorien belohnt, um eine sofortige Beendigung nach der Erkennung zu fördern.
  - Bei klar definierten Fragen, bei denen das Modell nicht korrekt antwortet, werden längere Trajektorien leicht bevorzugt, um ein vollständiges Reasoning zu fördern.

3. Hauptbeiträge

Formalisierung der Lücke zwischen Erkennung und Enthaltung: Die Arbeit identifiziert und definiert einen spezifischen Fehlermodus, bei dem Modelle fehlende Informationen erkennen, aber nicht enthalten, und unterscheidet dies von einfachen Erkennungsfehlern.
Judge-Then-Solve-Rahmenwerk: Ein neues Reasoning-Steuerungsparadigma, das eine explizite Verpflichtung zur Beantwortbarkeit vor der Lösungsgenerierung erzwingt und effektiv die Reasoning-Trajektorie steuert.
Bedingte Längenformung: Ein Belohnungsmechanismus, der spezifisch den Fehler der „Nach-Erkennungs-Überlegung" adressiert, indem er Modelle dazu anregt, das Reasoning sofort zu beenden, sobald Unzulänglichkeit erkannt wird, während die Reasoning-Tiefe für lösbare Probleme erhalten bleibt.
Empirische Validierung: Umfassende Evaluierung sowohl an dichten (DeepSeek-R1-Distill-Qwen-14B) als auch an Mixture-of-Experts-Modellen (Qwen3-30B-A3B-Thinking) über mehrere Benchmarks hinweg, einschließlich des medizinischen Bereichs (MedIQ).

4. Experimentelle Ergebnisse

Experimente wurden auf dem Missing-Premise-Datensatz (MIP) und vier Teilmenge von AbstentionBench durchgeführt (MMLU-History, MMLU-Math, GPQA-Diamond, MedIQ).

Schließen der Lücke: JTS verbessert Abstention@Detection (A@D) signifikant und hebt sie auf nahezu Sättigungsniveau (99,8 % für DeepSeek, 99,3 % für Qwen). Dies zeigt, dass das Modell, sobald es fehlende Informationen erkennt, zuverlässig auf diese Erkenntnis reagiert.
Gesamtleistung:
- DeepSeek: OAR stieg von 18,6 % (Base) auf 88,5 % (JTS).
- Qwen: OAR stieg von 21,1 % (Base) auf 72,4 % (JTS).
Effizienz: JTS reduziert die durchschnittliche Antwortlänge bei unzureichend spezifizierten Fragen drastisch (z. B. von ~2600 Tokens auf ~350 Tokens für DeepSeek), indem unnötige Überlegungen beendet werden.
Klar definierte Fragen: Obwohl JTS einen leichten Kompromiss bei der rohen Antwortquote und Korrektheit bei lösbaren Fragen einführt, verbessert es die Effizienz pro Token (Korrektheit/1K Tokens) signifikant, was auf ein prägnanteres und effektiveres Reasoning hindeutet.
Unsicherheitsanalyse: Eine Token-Ebene-Entropieanalyse zeigt, dass JTS-Modelle im Vergleich zu Basismodellen eine höhere Unsicherheit (Entropie) um fehlende Prämissen aufweisen, die dazu neigen, übermäßig selbstbewusst zu sein. Dieses Unsicherheitsbewusstsein treibt das Enthaltungsverhalten an.
Sekundäre Beobachtung: Es wurde beobachtet, dass das Training auf Daten mit fehlenden Prämissen (selbst mit einfachem RL) „ineffektive Selbstreflexion" und Zögern bei schwierigen, aber beantwortbaren Matheproblemen (Omni-Math) reduziert, was zu leicht verbesserten pass@8-Werten in mittleren bis schwierigen Schwierigkeitsbereichen führt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass eine zuverlässige Enthaltung eine kritische Form der Reasoning-Kontrolle ist, die für den sicheren Einsatz von LRMs in hochriskanten Bereichen notwendig ist. Die Bedeutung der Arbeit liegt in:

Sicherheit: Der Nachweis, dass Modelle trainiert werden können, nicht untermauerte Antworten in medizinischen und anderen sicherheitskritischen Kontexten abzulehnen, wodurch die Generierung schädlicher Halluzinationen verhindert wird.
Mechanismus: Der Nachweis, dass das Versagen der Enthaltung oft ein Steuerungsproblem ist (Fortsetzung des Reasonings nach der Erkennung) und kein reines Fähigkeitsproblem, und dass dies durch Strukturierung der Reasoning-Trajektorie gelöst werden kann.
Effizienz: Der Beweis, dass die vorzeitige Beendigung unbeantwortbarer Trajektorien Rechenverschwendung und Inferenzzeit reduziert.

Die Autoren vermerken bescheiden, dass JTS zwar die Enthaltung verbessert, aber zu einer leichten Zunahme falscher Enthaltungen bei klar definierten Fragen führen kann, einen Kompromiss, den sie für sicherheitskritische Anwendungen als akzeptabel erachten. Sie erkennen auch Einschränkungen an, darunter die Abhängigkeit von LLM-as-a-judge für die Evaluierung und die Rechenkosten des Full-Parameter-RL-Trainings.