💬 NLP

Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production

Die Arbeit stellt „Catch Your Breath" (CYB) vor, eine überwachte Verlustfunktion, die als sequenzielles Entscheidungsproblem formuliert ist und es Foundation-Modellen ermöglicht, während der Inferenz autonom und adaptiv Pausentokens einzufügen, um Rechenschritte dynamisch zuzuteilen, wodurch die Perplexität und die Genauigkeit nachgelagerter Aufgaben verbessert werden, ohne dass die Rechen- oder Speicherkosten steigen.

Ursprüngliche Autoren: Alexandre Galashov, Matt Jones, Rosemary Ke, Yuan Cao, Vaishnavh Nagarajan, Michael C. Mozer

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexandre Galashov, Matt Jones, Rosemary Ke, Yuan Cao, Vaishnavh Nagarajan, Michael C. Mozer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie nehmen an einem sehr schnell getakteten Quiz teil. In einem Standard-KI-Modell lautet die Regel einfach: Sobald die Frage erscheint, müssen Sie sofort eine Antwort rufen. Wenn Sie zögern, verlieren Sie Punkte. Selbst wenn die Frage knifflig ist und Sie einen Moment zum Nachdenken benötigen, zwingt Sie das System, sofort zu raten.

Stellen Sie sich nun eine neue Regel für dieses Quiz vor, die „Fangen Sie Ihren Atem" (CYB) heißt.

Der alte Weg: „Denken Sie, bevor Sie sprechen" (TBYS)

Bevor dieses neue Papier veröffentlicht wurde, versuchten Forscher, KI-Modellen eine „Denkzeit" zu geben, indem sie unsichtbare Pausen in den Text einfügten. Sie nannten dies „Denken Sie, bevor Sie sprechen" (TBYS).

Stellen Sie es sich wie einen Lehrer vor, der sagt: „Okay, alle, nach jedem einzelnen Wort, das ich sage, müsst ihr genau zwei Sekunden lang schweigend sitzen, bevor ihr das nächste Wort beantworten dürft."

Das Problem: Das Modell kann nicht selbst entscheiden, wann es nachdenkt. Es muss jedes Mal die vollen zwei Sekunden warten, selbst wenn das Wort einfach war (wie „der" oder „und").
Das Ergebnis: Es ist, als würde man gezwungen werden, zwei Sekunden lang die Luft anzuhalten, obwohl man es gar nicht braucht. Es verschwendet Zeit und hilft dem Modell tatsächlich nicht besser nachzudenken, weil es nicht selbst entscheiden kann, wann es verwirrt ist.

Der neue Weg: „Fangen Sie Ihren Atem" (CYB)

Die Autoren dieses Papiers schlagen ein intelligenteres System vor. Anstatt eine Pause zu erzwingen, geben sie dem Modell einen speziellen Knopf mit der Beschriftung „Ich weiß es nicht".

So funktioniert es:

Die Wahl: Wenn das Modell ein Wort sieht, kann es entweder sofort antworten ODER den Knopf „Ich weiß es nicht" drücken.
Die Pause: Wenn es den Knopf drückt, stoppt das Quiz. Das Modell erhält eine zusätzliche Sekunde (oder zwei, oder drei), um über dieses spezifische Wort nachzudenken, bevor es antworten muss.
Die Entscheidung: Das Modell lernt, den Knopf nur dann zu drücken, wenn es sich unsicher fühlt. Wenn das Wort einfach ist, antwortet es sofort. Wenn das Wort schwer ist (wie ein komplexes Matheproblem oder eine knifflige Redewendung), drückt es den Knopf, holt tief Luft und nutzt diese zusätzliche Zeit, um es herauszufinden.

Warum ist das eine große Sache?

Das Papier vergleicht diese neue Methode mit der alten Methode der „erzwungenen Pause" anhand von zwei Haupttests:

1. Der „Perplexity"-Test (Wie verwirrt ist das Modell?)
Stellen Sie sich „Perplexity" als ein Maß dafür vor, wie verloren sich das Modell fühlt. Niedriger ist besser.

Die Forscher testeten dies an Googles Gemma-KI-Modellen.
Das Ergebnis: Die „Fangen Sie Ihren Atem"-Modelle waren viel weniger verwirrt als die „erzwungenen Pause"-Modelle. Tatsächlich war ein Modell, das CYB mit nur einer Pause verwendete, besser als ein Modell, das die alte Methode mit drei Pausen verwendete. Es ist wie ein Schüler, der genau weiß, wann er hart lernen muss, und eine bessere Note bekommt als ein Schüler, der jeden Tag drei Stunden lang lernen muss, unabhängig vom Fach.

2. Der „Downstream"-Test (Kann es tatsächlich Probleme lösen?)
Sie testeten die Modelle an realen Aufgaben wie dem Beantworten von Multiple-Choice-Fragen (MMLU) und dem Lösen von Matheproblemen (GSM8K).

Das Ergebnis: Die CYB-Modelle beantworteten mehr Fragen richtig. Sie waren besser im Schlussfolgern und im Verstehen des Kontexts.

Das Geheimnis: Selbstregulation

Der wichtigste Teil dieses Papiers ist, dass das Modell lernt, sich selbst zu regulieren.

Es braucht keinen Menschen, der ihm sagt: „Halt, das ist ein schweres Wort."
Es lernt, dass es, wenn es „Ich weiß es nicht" sagt, mehr Zeit zum Nachdenken bekommt, und wenn es diese Zeit klug nutzt, eine bessere Punktzahl erhält.
Das Papier fand heraus, dass das Modell bei schwierigen Wörtern (wie „Herausforderungen" oder „Anwendungen") natürlicherweise mehr pausiert und bei einfachen Wörtern (wie „ist" oder „nicht") die Pause überspringt. Es ist wie ein menschlicher Leser, der sich bei einem komplexen Satz verlangsamt, aber einen einfachen Satz überfliegt.

Was das Papier NICHT behauptet

Es ist wichtig, bei dem zu bleiben, was die Autoren tatsächlich gefunden haben:

Es geht nicht darum, Zeit zu sparen: Das Papier behauptet nicht, dass dies die KI schneller macht. Tatsächlich könnte es, da das Modell zusätzliche Zeit nehmen kann, manchmal länger dauern. Das Ziel ist Genauigkeit, nicht Geschwindigkeit.
Es ist keine magische Lösung für alles: Das Papier konzentriert sich spezifisch darauf, wie Modelle trainiert werden können, diese „Pause"-Tokens besser zu nutzen. Es behauptet nicht, dass dies alle KI-Probleme löst oder dass es in der medizinischen Diagnose oder bei autonomen Fahrzeugen eingesetzt wird (diese Anwendungen werden im Text nicht erwähnt).
Es geht nicht um „Denken" im menschlichen Sinne: Das Papier vergleicht das Verhalten des Modells mit menschlichen Lesegewohnheiten (wo wir bei schwierigen Wörtern innehalten), aber es ist strikt eine mathematische und technische Verbesserung der Art und Weise, wie der Computer Daten verarbeitet.

Zusammenfassung

Das Papier stellt eine neue Trainingsmethode namens Fangen Sie Ihren Atem vor. Anstatt eine KI zu zwingen, eine feste Zeitspanne zum Nachdenken zu warten, lässt sie die KI selbst entscheiden, wann sie einen Moment zum Nachdenken benötigt. Durch das Drücken eines „Ich weiß es nicht"-Buttons erhält die KI zusätzliche Zeit, um schwierige Wörter zu verarbeiten. Die Ergebnisse zeigen, dass diese Selbstkontrolle die KI intelligenter, weniger verwirrt und besser in der Beantwortung von Fragen macht als frühere Methoden, die sie unabhängig von der Situation zum Warten zwangen.

Technische Zusammenfassung: Atmen Sie auf: Adaptive Berechnung für selbstgesteuerte Sequenzerzeugung

Problemstellung

Während das Scaling zur Inferenzzeit für Grundmodelle sich weitgehend auf die Erhöhung der Modelltiefe (z. B. Schicht-Rekurrenz) oder auf die Anwendung von Denkstrategien wie Chain-of-Thought konzentriert hat, stellt eine vielversprechende Alternative das Tiefen-basierte Scaling dar. Dieser Ansatz fügt spezielle <PAUSE>-Token in den Eingabestrom ein und gewährt dem Modell zusätzliche Vorwärtsdurchläufe, um den Kontext zu verarbeiten, bevor es eine Antwort generiert.

Bestehende Methoden zur Nutzung von Pause-Token, insbesondere das Framework „Think Before You Speak" (TBYS), leiden jedoch unter einer kritischen Einschränkung: Die Anzahl der Berechnungsschritte wird extern vom Datenloader bestimmt. In TBYS wird eine feste Anzahl von <PAUSE>-Token eingefügt, und die Ausgabe des Modells wird bis zum letzten Pause-Schritt ignoriert. Dies zwingt das Modell, in jedem Zwischenschritt gierig zu handeln, ohne zukünftige Pausen antizipieren oder seine eigene Verarbeitung regulieren zu können. Folglich kann das Modell keine Bereitschaft zur Antwort signalisieren oder Rechenressourcen adaptiv basierend auf der Komplexität des aktuellen Token zuweisen; es behandelt zusätzliche Schritte als statische Barriere und nicht als dynamische Ressource.

Methodik: Atmen Sie auf (CYB)

Die Autoren schlagen Catch Your Breath (CYB) vor, eine überwachte Verlustfunktion, die als sequenzielles Entscheidungsproblem formuliert ist und es Modellen ermöglicht, autonom die Anzahl der für jeden Eingabe-Token erforderlichen Berechnungsschritte zu bestimmen.

Kernmechanismus

Anstelle einer festen Pausenfolge erlaubt CYB dem Modell, in jedem Schritt $i$ zu entscheiden, ob es:

Antwortet: Den nächsten Token in der Sequenz generiert.
Enthält sich: Ein spezielles <DON'T KNOW>-Token ausgibt und einen zusätzlichen <PAUSE>-Schritt zur Fortsetzung der Verarbeitung anfordert.

Dies erzeugt ein System mit variabler Latenz, in dem das Modell sich mehrfach hintereinander enthalten kann, wodurch es seine Berechnungstiefe pro Token basierend auf interner Unsicherheit effektiv skalieren kann.

Die Verlustfunktion

Der CYB-Verlust leitet sich aus der erwarteten diskontierten Genauigkeit des Entscheidungsprozesses des Modells ab. Sei $d_i$ die Wahrscheinlichkeit, dass das Modell sich im Schritt $i$ enthält, und $t_i$ die Wahrscheinlichkeit, den korrekten Ziel-Token im Schritt $i$ auszuwählen. Das Modell generiert eine Ausgabe im Schritt $S$ (entweder selbstinduziert durch Enthaltung oder weltinduziert durch einen erzwungenen Stopp).

Der Verlust ist definiert als der negative Log-Likelihood der erwarteten diskontierten Genauigkeit:
$\ell_{CYB}(t, d; \omega, \gamma) = -\log \mathbb{E}_{S \sim \text{Pr}(S|d, \omega)} [\gamma_S t_S]$
Wobei:

$\omega$ die Verteilung der weltinduzierten Stoppzeiten darstellt (was einen erzwungenen Abbruch ermöglicht).
$\gamma$ schrittweise Diskontierungsfaktoren darstellt, die das Modell dafür bestrafen, Antworten zu verzögern, es sei denn, die Genauigkeit verbessert sich.
Der Erwartungswert berechnet wird, indem über alle möglichen Stopp-Schritte summiert wird, gewichtet mit der Wahrscheinlichkeit, in diesem Schritt zu stoppen.

Trainingsimplementierung

Um Effizienz zu gewährleisten, schlagen die Autoren ein paralleles Trainingsverfahren vor. Während des Trainings werden $W_{max} - 1$ Pause-Token nach jedem echten Eingabe-Token eingefügt. Der Transformer verarbeitet diese Schritte parallel unter Verwendung kausaler Maskierung. Der Verlust wird so berechnet, dass, wenn das Modell sich entscheidet, früh zu antworten (niedriges $d_i$ ) oder wenn die Welt einen Stopp erzwingt, nachfolgende Pause-Schritte nicht zum Verlust für diesen spezifischen Token beitragen. Dieser Ansatz behält denselben Rechen- und Speicheraufwand wie das Standard-Cross-Entropy-Training mit festen Pausen bei.

Hauptbeiträge

Prinzipielle Verlustfunktion: Einführung von CYB, einer Verlustfunktion, die Transformer trainiert, Berechnungsschritte selbst zu bestimmen, im Gegensatz zu den statischen, extern auferlegten Verzögerungen von TBYS.
Effizientes paralleles Training: Ein Trainingsverfahren, das die Rechen- und Speichereffizienz des Standard-Cross-Entropy-Verfahrens erreicht und gleichzeitig adaptive Berechnung ermöglicht.
Hypothesenvalidierung: Die Arbeit validiert vier Hypothesen:
- H1: CYB ist TBYS überlegen, da es den Zeitpunkt der Auslesung selbst bestimmt.
- H2: CYB ergibt ein gut kalibriertes Modell, bei dem die Wahrscheinlichkeit von <DON'T KNOW> mit dem Potenzial für Genauigkeitsverbesserung durch Verzögerung korreliert.
- H3: Die Entfernung der Modellkontrolle über Stoppzeiten (durch erzwungenen vorzeitigen Stopp) verschlechtert die Leistung, was den Wert der Autonomie bestätigt.
- H4: Der Trade-off zwischen Geschwindigkeit und Genauigkeit kann über Diskontierungsfaktoren ( $\gamma_0$ ) manipuliert werden, was dem Modell ermöglicht, schneller zu antworten, jedoch auf Kosten einer gewissen Genauigkeit.
Empirische Überlegenheit: Nachweis, dass CYB die Perplexität reduziert und die downstream-Genauigkeit sowohl in Pretraining- als auch in Fine-Tuning-Szenarien verbessert, ohne zusätzliche Rechenkosten im Vergleich zu TBYS.

Ergebnisse

Experimente wurden mit den Modellen Gemma1-2B und Gemma3-4B auf dem C4-Datensatz und verschiedenen downstream-Benchmarks (HellaSwag, MMLU, GSM8K) durchgeführt.

Reduktion der Perplexität: CYB schnitt TBYS konsistent ab. Bemerkenswerterweise erreichte ein CYB-Modell mit nur einem Pause-Token eine niedrigere Perplexität als ein TBYS-Modell mit drei Pause-Token. Im Pretraining zeigte CYB mit 3 Pausen eine relative Perplexitätsverbesserung von 3,6 % gegenüber TBYS, verglichen mit 2,7 % im Fine-Tuning.
Dateneffizienz: CYB benötigte nur 33 % der Daten, um die Baseline-Leistung zu erreichen, und weniger als 66 % der Daten, um das TBYS-Modell mit 3 Pausen zu schlagen, was echte Verbesserungen der Lerneffizienz und keine Artefakte der Datensättigung anzeigt.
Downstream-Genauigkeit: Mit CYB trainierte Modelle erreichten eine höhere Top-1-Genauigkeit bei HellaSwag, MMLU und GSM8K im Vergleich sowohl zur Baseline als auch zu TBYS.
Kalibrierung und Verhalten: Die Analyse zeigte eine statistisch signifikante positive Korrelation zwischen der Wahrscheinlichkeit von <DON'T KNOW> und dem potenziellen Genauigkeitsgewinn durch einen zusätzlichen Schritt. Eine qualitative Analyse ergab, dass die Pausendauern kontextsensitiv sind; beispielsweise pausiert das Modell bei komplexen Token (z. B. „traditional") länger, jedoch nicht bei vorhersehbaren Sequenzen (z. B. Ziffern).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Autonomie bei der Zuweisung von Rechenressourcen der entscheidende Unterschied zwischen CYB und bestehenden Tiefen-basierten Scaling-Methoden ist. Indem CYB dem Modell erlaubt zu entscheiden, wann es bereit ist zu antworten, verwandelt es Pause-Token von einer statischen Barriere in eine dynamische Ressource zur Integration von Informationen.

Die Autoren betonen, dass CYB nicht primär durch Einsparungen bei der Roh-Rechenleistung zur Inferenzzeit motiviert ist, sondern vielmehr durch die Bereitstellung einer flexiblen, kontextabhängigen Kontrolle über die Berechnung für die Architektur. Dies spiegelt menschliches Leseverhalten wider, bei dem die Fixationsdauer je nach Verarbeitungsanforderungen variiert. Die Arbeit positioniert CYB als strukturell überlegene Alternative zu tiefenbasierten adaptiven Methoden (wie geloopten Transformern) aufgrund seiner Parallelisierbarkeit, Einfachheit und formalen Ausdruckskraft und bietet ein neues Paradigma für das Scaling zur Inferenzzeit, das die Modellleistung verbessert, ohne den Rechenoverhead zu erhöhen.