🤖 AI

Nice Fold or Hero Call: Learning Budget-Efficient Thinking for Adaptive Reasoning

Dieser Beitrag stellt Budget-Efficient Thinking (BET) vor, ein zweistufiges Framework, das die Testzeit-Rechenleistung großer Reasoning-Modelle optimiert, indem es lernt, Budgets dynamisch basierend auf erwarteten Renditen statt wahrgenommener Schwierigkeit zuzuweisen, wodurch eine erhebliche Token-Reduktion bei gleichzeitiger Leistungsverbesserung durch adaptive „kurze Lösung", „freundliches Folden" und „heroisches Callen" erreicht wird.

Ursprüngliche Autoren: Zhaomeng Zhou, Lan Zhang, Junyang Wang, Mu Yuan, Junda Lin

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhaomeng Zhou, Lan Zhang, Junyang Wang, Mu Yuan, Junda Lin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, aber leicht übermäßig eifrigen Assistenten, der versucht, einen riesigen Stapel Rätsel für Sie zu lösen. Dieser Assistent ist hervorragend im Denken, hat jedoch eine schlechte Angewohnheit: Manchmal starrt er stundenlang auf ein Rätsel, das unlösbar ist, und zu anderen Zeiten analysiert er ein einfaches Rätsel übermäßig, das in einer Minute hätte gelöst werden können. Dies verschwendet Ihre Zeit und Ihr Geld (in Form von Rechenleistung).

Diese Arbeit stellt eine neue Trainingsmethode namens BET (Budget-Efficient Thinking) vor, um diesem Assistenten beizubringen, klüger damit umzugehen, wie viel „Denkenergie" er für jedes Rätsel aufwendet.

So funktioniert BET, unter Verwendung einfacher Analogien:

Das Problem: Der „Überdenker" vs. der „Unterdenker"

Derzeit verhalten sich große KI-Modelle wie ein Schüler, der nicht weiß, wann er mit dem Lernen aufhören soll.

Das einfache Rätsel: Wenn Sie fragen: „Was ist 2+2?", schreibt der Schüler möglicherweise einen 10-seitigen Aufsatz, der beweist, warum 2+2 gleich 4 ist, und verschwendet dabei Zeit.
Das unmögliche Rätsel: Wenn Sie eine Frage stellen, die für den Schüler derzeit zu schwer ist (wie ein komplexes mathematisches Problem, das er noch nicht gelernt hat), versucht er möglicherweise stundenlang weiter, ohne voranzukommen, nur weil er nicht weiß, dass er es nicht lösen kann.
Das schwierige, aber lösbare Rätsel: Wenn das Rätsel schwierig, aber machbar ist, muss der Schüler weiterdenken. Doch aktuelle Methoden unterbrechen ihn manchmal zu früh, sodass er ein Rätsel aufgibt, das er hätte lösen können.

Die Lösung: BETs drei Superkräfte

Die Arbeit lehrt der KI drei spezifische Verhaltensweisen, die die Autoren „Short Solve", „Nice Fold" und „Hero Call" nennen. Betrachten Sie diese als Pokerstrategien:

Short Solve (Der schnelle Gewinn):
- Die Analogie: Sie sehen eine einfache Hand beim Poker. Sie wissen, dass Sie gewinnen werden, also müssen Sie nicht bluffen oder überanalysieren. Sie nehmen einfach die Chips und machen weiter.
- Was BET tut: Wenn die KI eine einfache Frage sieht, antwortet sie schnell und prägnant. Sie verschwendet keine Energie mehr für Dinge, die sie bereits kennt.
Nice Fold (Wissen, wann man aufhört):
- Die Analogie: Sie spielen Poker und stellen fest, dass Ihre Hand schrecklich ist und die Chancen gegen Sie stehen. Ein kluger Spieler „foldet" (gibt auf) sofort, um sein Geld für bessere Hände zu sparen. Er wirft kein Geld mehr in ein verlierendes Spiel.
- Was BET tut: Wenn die KI erkennt, dass eine Frage für ihre aktuelle Denkkraft zu schwer ist, sagt sie: „Ich kann das nicht lösen", und stoppt sofort. Sie verschwendet keine Zeit damit, zu versuchen, eine Antwort auf ein Problem zu erzwingen, das sie nicht knacken kann. Dies spart eine enorme Menge an Rechenleistung.
Hero Call (All-In zum richtigen Zeitpunkt):
- Die Analogie: Sie haben eine starke Hand beim Poker, aber sie ist noch nicht offensichtlich. Sie wissen, dass Sie mehr Geld investieren müssen, um den großen Pot zu gewinnen. Sie machen einen „Hero Call" und spielen weiter tief.
- Was BET tut: Wenn die KI eine schwierige Frage sieht, die sie lösen kann, wenn sie genug nachdenkt, bewahrt sie ihre Energie und macht weiter. Sie schaltet sich nicht zu früh ab.

Wie sie die KI trainierten (Das zweistufige Training)

Die Forscher sagten der KI nicht einfach nur, sie solle „effizient sein". Sie lehrten sie in zwei Schritten:

Stufe 1: Der Lehrplan (Cold Start): Sie zeigten der KI Beispiele dafür, wie sie sich verhalten soll. Sie zeigten ihr: „Hier ist ein einfaches Problem; so beantworten Sie es schnell." „Hier ist ein unmögliches Problem; so sagen Sie 'Ich gebe auf'." „Hier ist ein schwieriges Problem; so denken Sie weiter."
Stufe 2: Das Übungsspiel (Reinforcement Learning): Sie ließen die KI das Spiel spielen. Jedes Mal, wenn die KI versuchte, ein Problem zu lösen, überprüfte das System: „Haben Sie Zeit auf einem unmöglichen Problem verschwendet? Haben Sie bei einem schwierigen zu früh aufgegeben?" Basierend auf den Ergebnissen gaben sie der KI eine Punktzahl (eine Belohnung). Wenn die KI bei unmöglichen Problemen Geld sparte, aber dennoch die schwierigen löste, erhielt sie eine hohe Punktzahl.

Die Ergebnisse

Als sie diese neue Methode an sieben verschiedenen Mathematik- und Logiktests testeten:

Sie sparte etwa 55 % der Denkzeit. Die KI verwendete ungefähr die Hälfte der Rechenleistung, die sie zuvor nutzte.
Sie wurde besser im Lösen von Problemen. Da sie keine Zeit mit unmöglichen Aufgaben verschwendete oder einfache Dinge überdachte, löste sie tatsächlich mehr schwierige Probleme korrekt.
Sie funktioniert bei neuen Arten von Rätseln. Obwohl sie nur in Mathematik trainiert wurde, wandte sie diese „klugen Ausgaben"-Gewohnheiten auf Wissenschaftsfragen und Logikrätsel an, die sie noch nie gesehen hatte.

Das Fazit

BET lehrt KI-Modelle, wie ein kluger Investor zu sein. Anstatt Geld (Rechenleistung) blind auszugeben, berechnet es die „Rendite" für jede Frage.

Wenn die Rendite gering ist (einfache Frage), geben Sie wenig aus.
Wenn die Rendite negativ ist (unmögliche Frage), geben Sie nichts aus.
Wenn die Rendite hoch ist (schwierig, aber lösbar), investieren Sie stark.

Dies macht KI schneller, kostengünstiger im Betrieb und überraschend besser im Lösen der schwierigen Dinge.

Technische Zusammenfassung: Budget-Effizientes Denken (BET)

Problemstellung

Große Schlussfolgerungsmodelle (LRMs) wie OpenAI-o1 und DeepSeek-R1 verbessern die Problemlösungsfähigkeiten durch erweiterte, mehrstufige Schlussfolgerungen. Diese Fähigkeit geht jedoch mit nicht nachhaltigen Inferenzkosten einher. Eine kritische Ineffizienz, die in der Arbeit identifiziert wird, ist die Fehlzuteilung von Rechenleistung zur Laufzeit. Bestehende Effizienzmethoden fallen typischerweise in zwei Kategorien:

Uniforme Kompression: Techniken, die Schlussfolgerungsspuren global verkürzen oder Gedankenketten komprimieren. Diese unterdrücken oft produktive Exploration bei schwierigen, aber lösbaren Abfragen.
Schwierigkeitsbedingte Steuerung: Methoden, die die Tiefe der Schlussfolgerung basierend auf der wahrgenommenen Schwierigkeit der Abfrage anpassen. Diese unterscheiden oft nicht zwischen „schwierigen, aber lösbaren" Abfragen (die von tieferer Schlussfolgerung profitieren) und „effektiv unlösbaren" Abfragen (bei denen das Modell unabhängig vom Budget keine Fähigkeit besitzt).

Das Kernproblem besteht darin, dass aktuelle Methoden keine Lösbarkeitsbewusstheit aufweisen. Sie verschwenden möglicherweise erhebliche Rechenleistung bei Abfragen, die über die Fähigkeiten des Modells hinausgehen (fruchtlose Exploration), während sie gleichzeitig die Schlussfolgerung bei schwierigen Abfragen vorzeitig abbrechen, die mit ausreichendem Aufwand lösbar wären. Die Herausforderung besteht darin, Rechenleistung zur Laufzeit basierend auf der erwarteten Rendite der Schlussfolgerung und nicht nur auf der wahrgenommenen Schwierigkeit zuzuteilen.

Methodik: Budget-Effizientes Denken (BET)

Die Autoren schlagen Budget-Effizientes Denken (BET) vor, ein Framework, das Rechenleistung zur Laufzeit als computergestützte Investition unter Unsicherheit behandelt. BET zielt darauf ab, drei unterschiedliche Verhaltensweisen zu erlernen:

Kurz lösen (Short Solve): Beantwortung einfacher Abfragen prägnant.
Schönes Aufgeben (Nice Fold): Frühes Absehen, wenn die fortgesetzte Schlussfolgerung eine erwartete Rendite nahe Null hat (d. h. die Abfrage ist von der aktuellen Richtlinie nicht lösbar).
Heldenhafter Einsatz (Hero Call): Ausreichende Rechenleistung für schwierige, aber lösbare Abfragen bewahren, bei denen tiefere Schlussfolgerungen die Antwort ändern können.

Kernkomponenten

BET basiert auf dem Prinzip, dass Lösbarkeit richtlinienabhängig ist. Eine Abfrage kann für eine aktuelle Richtlinie unlösbar, für eine leistungsfähigere jedoch lösbar sein. Daher schätzt BET die Lösbarkeit dynamisch aus dem eigenen Verhalten des Modells ab, anstatt sich auf statische Schwierigkeitslabels zu verlassen.

Das Framework besteht aus zwei Phasen:

1. Verhaltens-Kaltstart (Supervised Fine-Tuning)

Ziel: Initialisierung der Richtlinie mit dem erforderlichen strukturierten Ausgabeformat und Verhaltensrepertoire.
Prozess: Das Modell wird auf einem kuratierten Datensatz feinabgestimmt, der aus einer Offline-Profilierung des Basismodells abgeleitet ist. Abfragen werden partitioniert in:
- Kurz lösen: Lösbare Abfragen mit niedrigen effizienten Kosten.
- Heldenhafter Einsatz: Lösbare Abfragen mit hohen effizienten Kosten.
- Schönes Aufgeben: Abfragen, bei denen das Basismodell in $K$ Durchläufen keine korrekte Lösung produziert.
Ausgabe: Das Modell lernt, einen strukturierten <predict>-Block auszugeben, der eine Lösbarkeitsschätzung ( $\hat{s}$ ) und eine Budgetschätzung ( $\hat{b}$ ) enthält, bevor die Schlussfolgerungsspur generiert wird.

2. Investitions-kostenbewusstes Training (GRPO)

Ziel: Optimierung der Richtlinie, um Entscheidungen zum Lösen oder Aufgeben mit der empirischen Lösbarkeit in Einklang zu bringen.
Mechanismus: Die Autoren setzen Group Relative Policy Optimization (GRPO) ein. Für jede Abfrage generiert die Richtlinie $K=16$ unabhängige Durchläufe.
Gruppenprofil: Aus diesen Durchläufen werden zwei Statistiken online berechnet:
- Gruppenerfolgsrate ( $\hat{s}(x)$ ): Der Anteil korrekter Durchläufe, der als Lösbarkeitsschätzung dient.
- Effiziente Lösungsschätzung ( $\hat{c}^*(x)$ ): Die mittlere Länge der kürzesten korrekten Trajektorien (z. B. die Top 30 %), die die Kostengrenze für produktive Schlussfolgerungen darstellt.
Zusammengesetzte Belohnungsfunktion: Die Belohnung $R(y|x)$ $R (y ∣ x)$ besteht aus drei Termen:
- $R_{VAL}$ (Wert mit Aufgabengate): Weist eine positive Belohnung ( $+\delta$ ) für das Aufgeben bei unlösbaren Abfragen zu (wo $\hat{s}(x) < \epsilon_{abs}$ ) und eine schwere Strafe ( $-\lambda$ ) für das Aufgeben bei lösbaren Abfragen. Falsche Versuche ziehen eine kostenproportionale Strafe nach sich.
- $R_{EFF}$ (Abfrage-adaptive Effizienz): Belohnt korrekte Lösungen, die kürzer sind als die effiziente Kostenschätzung $\hat{c}^*(x)$ . Dies fördert Prägnanz bei einfachen Abfragen, ohne notwendige Tiefe bei schwierigen, aber lösbaren Abfragen zu bestrafen.
- $R_{CAL}$ (Lösbarkeitskalibrierung): Bestraft Diskrepanzen zwischen der vom Modell vorhergesagten Lösbarkeit/Budget und dem empirischen Gruppenprofil. Dies stellt sicher, dass die vor der Schlussfolgerung getroffenen Schätzungen des Modells realitätsbasiert sind.

Hauptbeiträge

Lösbarkeitsbewusste Diagnose: Die Arbeit identifiziert, dass bestehende adaptive Schlussfolgerungsmethoden die Lösbarkeit übersehen, was zu übermäßiger Rechenleistung bei Abfragen jenseits der Kapazität und zu Unterinvestition bei schwierigen, aber lösbaren Abfragen führt.
Investitionsbewusstes Training (BET): Ein zweistufiges Framework, das Verhaltens-Kaltstart mit GRPO unter einer zusammengesetzten Belohnung kombiniert. Dies induziert die drei Zielverhalten (Kurz lösen, Schönes Aufgeben, Heldenhafter Einsatz), indem Entscheidungen mit der aus Durchläufen abgeleiteten Lösbarkeit in Einklang gebracht werden.
Evidenz im großen Maßstab: Umfangreiche Experimente zeigen, dass BET die Token-Nutzung reduziert, während die Genauigkeit erhalten bleibt oder verbessert wird, und dass es sich auf Aufgaben außerhalb des Domänenbereichs verallgemeinert.

Experimentelle Ergebnisse

Die Autoren bewerteten BET auf sieben Benchmarks (vier in-domänische Mathematik, drei out-of-domain) unter Verwendung von drei Basismodellen (Qwen3-4B, DeepSeek-R1-Distill-7B und 14B).

Effizienz und Genauigkeit: Über alle Modelle hinweg reduzierte BET die Schlussfolgerungstoken im Durchschnitt um etwa 55 %, während gleichzeitig eine Gesamtverbesserung der Leistung erzielt wurde.
- Bei Qwen3-4B stieg die Genauigkeit auf Omni-Math von 73,64 % auf 74,41 %, während die Token von 10.516 auf 4.561 sanken.
- Bei DeepSeek-R1-Distill-7B erreichte BET die niedrigsten durchschnittlichen Token-Kosten und blieb dabei innerhalb von 0,54 Punkten der besten Genauigkeit.
Selektive Kompression: Im Gegensatz zu Baselines, die uniform komprimieren, reduziert BET Token selektiv bei unlösbaren Abfragen (Kürzung der Nutzung um über 90 % für diese Fälle), während die Tiefe für würdige Abfragen erhalten bleibt.
Zero-Shot-Transfer: Nur auf mathematisches Schlussfolgern trainiert, übertrug sich BET effektiv auf wissenschaftliche QA (GPQA-Diamond), mehrstufiges narrativ Schlussfolgern (MUSR) und logisches Schlussfolgern (LSAT-AR) und erreichte 53–59 % Token-Einsparungen bei vergleichbaren Genauigkeitsgewinnen.
Pareto-Grenze: BET positioniert sich auf der Pareto-Grenze von Genauigkeits-Effizienz-Trade-offs und übertrifft Baselines wie Length-Penalty, DR.SAF und DiffAdapt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass BET einen Wandel von schwierigkeitsbedingter Kompression hin zu lösbarkeitsbewusster Budgetinvestition darstellt. Indem Rechenleistung als Investition behandelt wird, bei der die Rendite unsicher ist, lernt das Modell:

Früh zu stoppen, wenn die erwartete Rendite null ist (Schönes Aufgeben), um fruchtlose Exploration zu verhindern.
Tief zu investieren, nur wenn die Abfrage lösbar ist und die Schlussfolgerung die Antwort wahrscheinlich ändern wird (Heldenhafter Einsatz).
Prägnant zu sein, wenn die Lösung unkompliziert ist (Kurz lösen).

Die Autoren betonen, dass das Verhalten „Schönes Aufgeben" keine Behauptung intrinsischer Unmöglichkeit ist, sondern eine richtlinienabhängige Enthaltung. Es signalisiert, dass unter dem aktuellen Modell und Budget weitere Schlussfolgerungen unwahrscheinlich eine korrekte Antwort liefern werden. Diese kapazitätsbewusste Unsicherheit kann in kaskadierten Systemen genutzt werden, um schwierige Abfragen an stärkere Modelle weiterzuleiten und so die Effizienz auf Systemebene zu optimieren.

Die Arbeit schließt, dass BET eine anpassbare Richtlinienfamilie bietet, bei der der Trade-off zwischen Genauigkeit und Kosten justiert werden kann (z. B. über die Aufgabebelohnung $\delta$ ) und einen prinzipiellen Ansatz zur Verwaltung von Rechenleistung zur Laufzeit ohne Beeinträchtigung der Problemlösungsfähigkeit bietet.