When to Think, When to Speak: Learning Disclosure Policies for LLM Reasoning
Dieser Beitrag stellt Side-by-Side (SxS) Interleaved Reasoning vor, ein Framework, das große Sprachmodelle in die Lage versetzt, den Zeitpunkt der Inhaltspreisgabe während der Generierung dynamisch zu steuern, um den Zielkonflikt zwischen Überlegungszeit und vorzeitiger Festlegung auszugleichen und dadurch die Genauigkeits-Latenz-Leistung über verschiedene Benchmarks hinweg zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bitten einen brillanten, aber sehr vorsichtigen Freund um Hilfe bei einem komplexen Rätsel.
Der alte Weg: Die „Schweigesteuer"
Bei der aktuellen Funktionsweise von Large Language Models (LLMs) muss Ihr Freund laut denken. Doch hier liegt der Haken: Sobald er ein Wort sagt, ist dieses Wort öffentlich. Er kann es nicht zurücknehmen.
- Wenn er schweigt, um tief nachzudenken, sitzen Sie in unangenehmem Schweigen da (die „Schweigesteuer").
- Wenn er sofort aus Höflichkeit zu sprechen beginnt, könnte er etwas Falsches oder Unausgereiftes sagen. Da er es bereits gesagt hat, ist er nun zu dieser Idee „verpflichtet", was es ihm später erschweren könnte, seinen Kurs zu korrigieren. Er ist gezwungen, nur weil er zu früh gesprochen hat, auf einem wackeligen Fundament weiterzubauen.
Die neue Idee: Nebeneinander (SxS) schrittweise Schlussfolgerung
Diese Arbeit stellt eine neue Art vor, wie KI spricht, genannt Nebeneinander (SxS) verflochtene Schlussfolgerung (Side-by-Side Interleaved Reasoning).
Stellen Sie es sich wie eine Live-Kochshow mit einem geheimen Zutat vor.
- Der „Denk"-Modus (Privat): Der Koch (die KI) ist in der Küche, schneidet, probiert und mischt Zutaten. Diesen Teil können Sie nicht sehen. Es ist sein privater Arbeitsbereich.
- Der „Sprech"-Modus (Öffentlich): Der Koch tritt an die Theke und sagt Ihnen: „Ich füge jetzt Salz hinzu."
- Die magische Regel: Der Koch darf nur dann an die Theke treten und sprechen, wenn er das Gericht bereits probiert hat und zu 100 % sicher ist, dass das Salz der richtige Schritt ist. Er ruft nicht einfach nur Vermutungen heraus, um das Schweigen zu füllen.
Wie es funktioniert (Der „Implikations"-Trick)
Die Arbeit lehrt der KI eine spezifische Regel: „Sprich nicht, bevor dein Denken das unterstützt, was du sagen wirst."
- Den Koch trainieren: Die Forscher nutzten Tausende von Beispielen, in denen eine KI ein Problem löste. Sie verwendeten einen „Aufseher" (eine andere KI), um zu prüfen: „Beweist dieser spezifische Denk-Schritt tatsächlich diesen spezifischen Antwort-Schritt?"
- Der verflochtene Tanz: Sie schufen ein neues Trainingsformat, in dem die KI das Hin- und Herwechseln zwischen „Denken" (privat) und „Sprechen" (öffentlich) übt.
- Denken: „Ich muss die Fläche berechnen." (Privat)
- Denken: „Die Formel ist Länge mal Breite." (Privat)
- Sprechen: „Die Fläche beträgt 50." (Öffentlich, da das Denken es gerade bewiesen hat).
- Denken: „Warte, lass mich die Einheiten noch einmal überprüfen." (Privat)
- Sprechen: „Also, 50 Quadratmeter." (Öffentlich).
Die Ergebnisse: Das Beste aus beiden Welten
Die Arbeit testete dies an mathematischen Problemen (AIME25) und Wissenschaftsfragen (GPQA-Diamond) unter Verwendung von zwei verschiedenen Größen von KI-Modellen.
- Schnellere Updates: Anstatt 20.000 Tokens (eine sehr lange Zeit) auf die endgültige Antwort zu warten, liefert die KI nun viel früher kleine, verifizierte Teile der Antwort. Es ist wie ein Fortschrittsbalken, der sich tatsächlich bewegt, anstatt ein rotierendes Rad.
- Kein „Füllmaterial": Da die KI trainiert ist, nur zu sprechen, wenn sie einen Beweis hat, plappert sie nicht einfach Unsinn heraus, um das Schweigen zu füllen.
- Die Genauigkeit bleibt hoch: Manchmal macht es eine KI dümmer, sie zu zwingen, früh zu sprechen. Aber da diese Methode einen zweistufigen Trainingsprozess verwendet (zuerst lernen, wie man die Modi wechselt, dann Verstärkungslernen, um sicherzustellen, dass die Antworten immer noch korrekt sind), bleibt die KI intelligent.
- Der „Pareto"-Gewinn: Die Arbeit behauptet, dies schaffe ein besseres Gleichgewicht (ein „Pareto-Trade-off"). Sie erhalten schnellere, häufigere Updates, ohne die Qualität der endgültigen Antwort zu beeinträchtigen.
Zusammenfassung
Diese Arbeit löst die „Schweigesteuer", indem sie der KI beibringt, eine zuversichtliche, verifizierte Sprecherin zu sein. Sie ermöglicht dem Modell, während der Arbeit seinen „Denkhut" aufzubehalten und ihn nur dann abzunehmen, um ein Stück der Lösung zu teilen, wenn es weiß, dass dieses Stück solide ist. Dies macht die Interaktion schneller und reaktionsschneller, ohne die KI zu zwingen, zu raten oder zu lügen, um das Schweigen zu füllen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.