🤖 machine learning

SuperThoughts: Reasoning Tokens in Superposition

Das Papier stellt SuperThoughts vor, eine Methode, die aufeinanderfolgende Chain-of-Thought-Token in einzelne latente Repräsentationen komprimiert, die über ein Multi-Token-Prediction-Modul dekodiert werden, um eine Reduktion der Reasoning-Länge um 20–30 % und eine Verdoppelung des Inferenz-Durchsatzes zu erreichen, während gleichzeitig eine wettbewerbsfähige Genauigkeit bei komplexen Mathematik- und Reasoning-Benchmarks beibehalten wird.

Ursprüngliche Autoren: Zheyang Xiong, Shivam Garg, Max Yu, Vaishnavi Shrivastava, Haoyu Zhao, Anastasios Kyrillidis, Dimitris Papailiopoulos

Veröffentlicht 2026-06-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zheyang Xiong, Shivam Garg, Max Yu, Vaishnavi Shrivastava, Haoyu Zhao, Anastasios Kyrillidis, Dimitris Papailiopoulos

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr schwieriges mathematisches Problem zu lösen. Normalerweise löst ein intelligenter Computer (ein sogenanntes Large Language Model) dies, indem er mit sich selbst Schritt für Schritt spricht, so wie ein Mensch eine lange Liste von Gedanken aufschreibt, bevor er die endgültige Antwort gibt. Dies wird als „Chain-of-Thought“ (CoT) bezeichnet.

Betrachten Sie jeden Schritt in diesem Denkprozess als ein einzelnes Wort, das der Computer aufschreibt. Um ein schwieriges Problem zu lösen, muss er vielleicht 500 Wörter aufschreiben. Für jedes einzelne Wort, das er schreibt, muss der Computer anhalten, nachdenken und eine massive Berechnung durchführen. Dies ist präzise, aber langsam und verbraucht viel Energie, so als würde man ein Auto fahren, bei dem man nach jedem einzelnen Meter anhalten und den Motor neu starten muss.

Das Problem: Zu viele Stopps
Die Forscher hinter dieser Arbeit fragten: „Warum müssen wir für jedes einzelne Wort anhalten und neu starten? Kann der Computer nicht zwei Wörter gleichzeitig denken?“

Frühere Versuche, den Computer dazu zu bringen, in „unsichtbaren“ Gedanken (statt in Worten) zu denken, scheiterten, weil der Computer verwirrt wurde und den Faden verlor, ohne klares Feedback zu erhalten. Es ist, als würde man versuchen, eine neue Sprache zu lernen, indem man nur in seinem Kopf denkt, ohne jemals zu sprechen; man könnte sich verlieren, weil man erst weiß, ob die Gedanken korrekt sind, wenn man sie laut ausspricht.

Die Lösung: SuperThoughts
Das Papier stellt eine neue Methode namens SuperThoughts vor. So funktioniert sie, unter Verwendung einer einfachen Analogie:

Stellen Sie sich vor, Sie sind ein Koch, der eine Mahlzeit zubereitet.

Der alte Weg (Standard): Sie schneiden ein Gemüse, kochen es, probieren es, dann schneiden Sie das nächste Gemüse, kochen es, proben es. Sie machen dies nacheinander. Das dauert lange.
Der SuperThoughts-Weg: Sie schneiden zwei Gemüsesorten gleichzeitig und legen sie in eine spezielle „Super-Schüssel“ (dies ist der Kompressor). Dann kochen Sie diese Super-Schüssel. Wenn Sie sie herausnehmen, erhalten Sie nicht nur ein gekochtes Gemüse, sondern zwei perfekt gekochte Gemüsesorten, die servierbereit sind (dies sind das Main Module und das MTP Module, die zusammenarbeiten).

Durch das Bündeln von zwei Gedanken zu einem „Super-Gedanken“ muss der Computer nur halb so viele Kochschritte (Forward Passes) durchführen, um das gleiche Ergebnis zu erzielen. Dies verdoppelt theoretisch die Geschwindigkeit.

Das Sicherheitsnetz: Der „Confidence Check“
Es gibt einen Haken. Manchmal ist das Bündeln von zwei Gedanken zusammen zu schwierig. Wenn der Computer versucht, einen wirklich kniffligen Teil des Problems zu lösen, könnte er verwirrt werden, wenn er versucht, zwei Schritte gleichzeitig zu machen.

Um dies zu beheben, haben die Forscher einen Confidence Check hinzugefügt.

Stellen Sie es sich wie einen Fahrer vor, der die Straße prüft. Wenn die Straße frei und einfach ist (ein „einfacher“ Gedanke), beschleunigt der Fahrer und macht zwei Schritte gleichzeitig.
Aber wenn die Straße neblig oder gefährlich wird (ein „schwieriger“ Gedanke), verlangsamt der Fahrer und kehrt zum alten Weg zurück: einen Schritt nach dem anderen.

Dies geschieht automatisch. Wenn der Computer nicht zu 100 % sicher ist, dass er die nächsten zwei Wörter korrekt vorhersagen kann, sagt er: „Niemals, lass uns jetzt nur ein Wort machen“, und versucht es dann für das nächste Wort erneut. Dies stellt sicher, dass der Computer keine Fehler macht, nur um schnell zu sein.

Was sie herausgefunden haben
Die Forsser testeten dies an mehreren schwierigen Mathe- und Wissenschaftsrätseln (wie MATH500 und OlympiadBench). Hier ist, was passierte:

Geschwindigkeit: Der Computer benötigte etwa 20 % bis 30 % weniger Schritte, um die Probleme zu lösen. Es war, als hätte man eine lange Autoreise halbiert, indem man eine Abkürzung nahm.
Genauigkeit: Überraschenderweise wurde der Computer nicht viel dümmer. Seine Genauigkeit sank nur minimal (etwa 1 oder 2 Punkte von 100) im Vergleich zur langsamen, vorsichtigen Methode.
Größe zählt: Größere Computer (mit mehr „Gehirnleistung“) bewältigten den „Zwei-zu-einmal-Trick“ besser als kleinere.

Zusammenfassend
SuperThoughts ist eine Methode, KI schneller denken zu lassen, ohne ihre Intelligenz zu verlieren. Anstatt einen Schritt nach dem anderen zu machen, versucht sie, zwei Schritte gleichzeitig zu machen. Wenn sie sich unsicher fühlich, verlangsamt sie automatisch, um einen Schritt nach dem anderen zu machen, damit sie sich richtig ist. Dies spart Zeit und Rechenleistung, während die Antworten weitgehend korrekt bleiben.

Technisches Resümee: SuperThoughts: Reasoning Tokens in Superposition

Problemstellung

Große Sprachmodelle (LLMs) lösen komplexe Probleme durch die Generierung expliziter Chain-of-Thought (CoT)-Sequenzen, wobei jedes Token eine Recheneinheit (einen Forward Pass) darstellt. Während jüngste Modelle wie OpenAI o1 und DeepSeek-R1 zeigen, dass eine erhöhte Test-Time-Compute die Leistung signifikant verbessert, ist diese sequenzielle Token-Generierung rechenintensiv.

Bestehende Ansätze, die versuchen, die diskrete Token-Generierung durch das Argumentieren in kontinuierlichen latenten Räumen (z. B. COCONUT, latentes Reasoning) zu umgehen, stehen vor einer kritischen Herausforderung: dem Mangel an intermediärer Supervision. Das Standard-CoT-Training beruht auf einem Token-basierten Cross-Entropy-Loss bei jedem Schritt, was dichte Gradientensignale liefert. Wenn das Reasoning in einem unbeschränkten latenten Raum stattfindet, verschwindet diese Supervision, was zu Trainingsinstabilität, Repräsentationsdrift und schlechterer Leistung bei Aufgaben mit langem Zeithorizont führt. Im Gegensatz dazu reduzieren Methoden, die lediglich den Kontext komprimieren oder die Anzahl der diskreten Token durch Fine-Tuning verringern, nicht die Anzahl der für die Forward Passes erforderlichen Schritte, was ihre Auswirkungen auf den Inferenz-Durchsatz begrenzt.

Die zentrale Frage, die diese Arbeit adressiert, lautet: Kann ein Modell darauf trainiert werden, in einem reichhaltigeren, superponierten latenten Raum zu argumentieren und dabei gleichzeitig die intermediären Supervisionssignale der diskreten Token-Generierung beizubehalten?

Methodik

Die Autoren schlagen SuperThoughts vor, ein Framework, das Paare aufeinanderfolgender CoT-Token in einzelne latente Repräsentationen komprimiert, wodurch das Modell in der Lage ist, zwei Token pro Schritt zu dekodieren. Dieser Ansatz halbiert die Anzahl der erforderlichen Forward Passes für eine Reasoning-Kette der Länge $L$ (reduziert auf $L/2$ Schritte), während die diskrete Token-Supervision erhalten bleibt.

Architektur

Das Modell besteht aus drei primären Komponenten:

Kompressor: Kodiert ein Paar von Token-Embeddings $(c_{2i-1}, c_{2i})$ $(c_{2 i - 1}, c_{2 i})$ in einen einzelnen latenten Vektor $x_i$ $x_{i}$ . Die Autoren untersuchen zwei Implementierungen:
- Lineare Projektion: Konkateniert die Embeddings und projiziert sie über eine lernbare Matrix.
- Transformer-Block: Verarbeitet das Paar durch einen kleinen Transformer-Layer und extrahiert den Hidden State des zweiten Tokens.
Hauptmodul (Main Module): Das primäre Reasoning-Backbone (initialisiert von einem vortrainierten LLM). Es verarbeitet den komprimierten Vektor $x_i$ , um einen Hidden State $h_i$ zu erzeugen und das nächste ungeradzahlige Token ( $c_{2i+1}$ ) vorherzusagen.
Multi-Token Prediction (MTP) Modul: Ein leichtgewichtiges Modul, das das nachfolgende geradzahlige Token ( $c_{2i+2}$ ) vorhersagt. Es nimmt als Input das vorherige geradzahlige Token, das neu vorhergesagte ungeradzahlige Token sowie den Hidden State des Hauptmoduls und projiziert diese in einen Vektor $x'_i$ , um die nächste Vorhersage zu generieren. Beide Module teilen denselben Output-Language-Modeling-Head.

Trainingsstrategie

Um die Instabilität des latenten Reasonings zu adressieren, wird ein zweistufiges Trainingsprotokoll angewendet:

Latente Destillation (Stufe 1): Der Kompressor wird trainiert, um den latenten Raum der komprimierten Tokens mit dem vortrainierten Sprach-Manifold abzugleichen. Ein „Lehrer“-Modell verarbeitet die diskrete Token-Sequenz, während ein „Schüler“-Modell die komprimierten Paare verarbeitet. Der Kompressor wird optimiert, um die Smooth-L1-Distanz zwischen den Hidden States des Schülers (nach der Verarbeitung von $x_i$ ) und den Hidden States des Lehrers (nach der Verarbeitung des entsprechenden Token-Paars) zu minimieren. Dies stellt sicher, dass die komprimierten Repräsentationen den Reasoning-Zustand der ursprünglichen diskreten Sequenz bewahren.
Gemeinsames End-to-End Training (Stufe 2): Das Hauptmodul, das MTP-Modul und der Kompressor werden gemeinsam unter Verwendung des Standard-Cross-Entropy-Loss für alle vorhergesagten Tokens (sowohl Main- als als auch MTP-Outputs) trainiert.

Adaptive Inferenz

In Anerkennung der Tatsache, dass nicht alle Reasoning-Schritte gleichermaßen schwierig sind, führen die Autoren einen konfidenzbasierten adaptiven Mechanismus ein. Wenn die Vorhersagekonfidenz (maximale Wahrscheinlichkeit) des MTP-Moduls an einem Schritt unter einen Schwellenwert $\tau$ fällt, verwirft das Modell die MTP-Vorhersage. Es fällt dann auf das Standard-Decoding für diesen Schritt zurück und speist das einzelne Token direkt in das Hauptmodul ein. Dies ermöglicht es dem Modell, mehr Rechenleistung für „schwere“ Tokens aufzuwenden und gleichzeitig die Effizienz bei „leichten“ Tokens beizubehalten.

Kernbeiträge

SuperThoughts Architektur: Ein neuartiges Framework, das Token-Paare in superponierte Embeddings fusioniert und zwei Token pro Schritt mittels eines Hauptmoduls und eines MTP-Moduls dekodiert, was effektiv die Anzahl der erforderlichen Forward Passes halbiert.
Zweistufiges Trainingsprotokoll: Eine Methode zur Stabilisierung des latenten Reasonings durch die erstmalige Abstimmung des komprimierten Raums via Destillation vor dem gemeinsamen End-to-End Training mit diskreter Supervision.
Adaptiver Inferenzmechanismus: Ein dynamisches Fallback-System, das Durchsatz gegen Genauigkeit bei unsicheren Reasoning-Schritten abwägt und so die Leistungsdegradation bei komplexen Aufgaben verhindert.
Empirische Evaluierung: Umfassende Bewertung auf mathematischen und wissenschaftlichen Reasoning-Benchmarks (MATH500, AMC23, OlympiadBench, GPQA-Diamond), die eine signifikante Reduktion der CoT-Länge bei minimalem Genauigkeitsverlust zeigt.

Ergebnisse

Die Autoren evaluierten SuperThoughts auf Qwen2.5-Math Modellen (1.5B, 7B und 14B Varianten) über mehrere Benchmarks hinweg:

Längenreduktion: Mit dem adaptiven Mechanismus erreicht SuperThoughts eine Reduktion der CoT-Länge um 20–35 %.
Genauigkeit: Die Methode hält die Genauigkeit bei den meisten Aufgaben innerhalb von 1–2 Punkten der Standard-diskreten CoT-Baseline. Beispielsweise erreichte das 1.5B Modell mit $\tau=0.999$ eine MATH500-Genauigkeit von 73,0 % (gegenüber 72,4 % Baseline) bei einer 36%igen Reduktion der CoT-Länge.
Skalierungseffekte: Größere Modelle (7B) tolerieren aggressive Kompression besser als kleinere Modelle (1.5B). Ohne adaptive Inferenz litt das 1.5B Modell unter signifikanten Genauigkeitsverlusten (14–21 Punkte), während das 7B Modell nur 5–12 Punkte verlor.
Vergleich mit HAMburger: SuperThoughts übertraf die HAMburger-Baseline (Liu & Zhang, 2025) auf jedem Kompressionsniveau und erreichte entweder eine höhere Genauigkeit für die gleiche CoT-Länge oder kürzere CoT-Längen für die gleiche Genauigkeit.
Inferenz-Beschleunigung: Während die theoretische Beschleunigung proportional zur Längenreduktion ist, ist die tatsächliche Beschleunigung der Wandzeit aufgrund des Overheads durch die Kompressor- und MTP-Module etwas geringer. Dieser Overhead nimmt jedoch mit zunehmender Modellgröße ab; beim 14B Modell übersetzte sich eine ~33%ige Längenreduktion in eine ~28%ige Reduktion der Generationszeit.

Bedeutung

Das Paper behauptet, dass SuperThoughts erfolgreich demonstriert, dass Modelle in einem superponierten latenten Raum argumentieren können, ohne die durch diskrete Token-Supervision bereitgestellte Stabilität zu opfern. Durch die Komprimierung von Token-Paaren und die Nutzung adaptiver Inferenz bietet das Framework einen praktischen Weg, um die Rechenkosten von langfristigen Reasoning-Aufgaben zu senken. Die Arbeit legt nahe, dass größere Modelle über eine ausreichende Kapazität pro Schritt verfügen, um superponierte Tokens zuverlässig zu handhaben, was darauf hindeutet, dass zukünftiges Scaling eine noch stärkere Kompression (z. B. Superposition von drei oder mehr Tokens) ermöglichen könnte. Darüber hinaus merken die Autoren an, dass mit der Etablierung von nativen MTP-Modulen in zukünftigen LLMs (z. B. Qwen3-Next, MiMo) die Anwendung von SuperThoughts noch direkter und effektiver wird.