💬 NLP

Short Chains, Deep Thoughts: Balancing Reasoning Efficiency and Intra-Segment Capability via Split-Merge Optimization

Das Papier stellt CoSMo vor, ein Framework, das Large Reasoning Models durch einen konsistenzgesteuerten Split-Merge-Algorithmus und strukturabgestimmtes Reinforcement Learning verbessert, um strukturelle Redundanz zu eliminieren und dadurch die Genauigkeit signifikant zu steigern, während der Rechenaufwand reduziert wird.

Ursprüngliche Autoren: Runquan Gui, Jie Wang, Zhihai Wang, Chi Ma, Jianye Hao, Feng Wu

Veröffentlicht 2026-05-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Runquan Gui, Jie Wang, Zhihai Wang, Chi Ma, Jianye Hao, Feng Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes Puzzle zu lösen, wie „Wo ist Walter?", aber mit Fakten statt einem gestreiften Hemd. Sie haben ein Team von Detektiven (die KI), das versucht, die Antwort zu finden.

In der Vergangenheit wurde diesen Detektiven gesagt, sie sollten „schrittweise denken". Das taten sie, doch sie dachten oft zu viel nach. Sie schrieben jeden einzelnen Gedanken auf, selbst die, die nur das wiederholten, was sie bereits wussten, oder Dinge überprüften, die sie nicht überprüfen mussten. Dies führte zu einem massiven, unordentlichen Notizbuch voller redundanter Notizen. Es dauerte lange, dies zu lesen, verschwendete viel Papier (Rechenleistung), und manchmal verwirrte das schiere Volumen an Notizen den Detektiven tatsächlich, sodass er die offensichtliche Antwort verpasste.

Dieser Artikel stellt eine neue Methode vor, die CoSMo (Consistency-Guided Split-Merge Optimization) heißt, um dies zu beheben. Denken Sie an CoSMo als einen intelligenten Redakteur, der dem Detektiven beibringt, eine prägnante, perfekte Geschichte zu schreiben, ohne wichtige Handlungspunkte zu verlieren.

Hier ist, wie CoSMo funktioniert, unter Verwendung einfacher Analogien:

1. Das Problem: Zu viel Geplapper

Der Artikel argumentiert, dass aktuelle KI-Modelle wie Menschen sind, die zu viel reden. Sie sagen nicht einfach „Die Antwort ist X"; sie sagen: „Ich denke über X nach, und ich denke auch wieder über X nach, und vielleicht sollte ich prüfen, ob X wahr ist, und oh, schau, X ist wieder wahr."

Das Problem: Dieses „Geplapper" erzeugt strukturelle Redundanz. Es ist nicht so, dass die Wörter zu lang sind, sondern dass die Anzahl der einzelnen Schritte (Segmente) zu hoch ist.
Die Analogie: Stellen Sie sich vor, Sie gehen von Ihrem Haus zum Laden. Eine normale Person geht direkt dorthin. Ein überdenkender KI-Modell könnte zum Park gehen, die Uhrzeit prüfen, zurückgehen, zur Bibliothek gehen, die Uhrzeit erneut prüfen und dann zum Laden gehen. Die Distanz (Token-Anzahl) mag ähnlich sein, aber die Anzahl der Stopps (Segmente) ist riesig und ineffizient.

2. Die Lösung: Der „Split-Merge"-Algorithmus

CoSMo behandelt die Denkfolge der KI wie einen Satz, der redigiert werden muss. Es verwendet einen zweistufigen Prozess, um ihn zu bereinigen:

Das Zusammenführen (Das Ausschneiden des Ballasts): Wenn die KI zwei Schritte schreibt, die dasselbe sagen oder nur geringfügige Variationen voneinander sind, sagt CoSMo: „Hey, das ist derselbe Gedanke!" Es führt sie zu einem starken, klaren Satz zusammen.
- Analogie: Anstatt zu sagen „Ich habe Hunger. Ich spüre ein Knurren in meinem Magen", fasst der Redakteur dies zu „Ich habe Hunger" zusammen.
Das Aufteilen (Das Schließen der Lücken): Manchmal versucht die KI, zu effizient zu sein und überspringt Schritte, springt von „A" zu „C", ohne „B" zu erklären. CoSMo erkennt diesen „logischen Sprung" und sagt: „Warte, du hast einen Schritt ausgelassen!" Es teilt diesen großen Sprung in zwei kleinere, logische Schritte auf.
- Analogie: Wenn die KI sagt: „Ich habe einen Hund gesehen, also habe ich eine Leine gekauft", teilt CoSMo dies auf: „1. Ich habe einen Hund gesehen. 2. Ich brauche eine Leine für den Hund."

3. Das Training: Lernen, „Genau richtig" zu sein

Der Artikel beschreibt einen zweiphasigen Trainingsprozess, um der KI diese neue Denkweise beizubringen:

Phase 1: Der Redakteur (Supervised Fine-Tuning): Die Forscher nehmen die chaotischen, zu langen Antworten der KI und verwenden den Split-Merge-Algorithmus, um sie in perfekte, prägnante Versionen umzuschreiben. Dann bringen sie der KI bei, diese perfekten Versionen nachzuahmen. Es ist wie ein Schüler, der einen Musteressay studiert, um zu lernen, klar zu schreiben.
Phase 2: Der Trainer (Reinforcement Learning): Jetzt versucht die KI, Probleme allein zu lösen. Der „Trainer" (das Belohnungssystem) zählt nicht nur, wie viele Wörter die KI verwendet. Stattdessen zählt er, wie viele einzelne Schritte die KI unternimmt.
- Der Twist: Der Trainer sagt: „Du kannst so viele Wörter schreiben, wie du innerhalb eines Schritts brauchst, um sehr detailliert und genau zu sein. Aber du darfst nicht zu viele Schritte unternehmen."
- Warum das wichtig ist: Frühere Methoden versuchten, die Gesamtzahl der Wörter zu begrenzen. CoSMo erkennt, dass man manchmal einen langen Satz braucht, um eine komplexe Idee zu erklären. Also bestraft es die KI dafür, zu viele Stopps (Segmente) zu machen, nicht dafür, lange Sätze zu schreiben.

4. Die Ergebnisse: Kürzere Ketten, tiefere Gedanken

Der Artikel testete dies an verschiedenen schwierigen Fragen (wie mehrstufiges Quiz oder Leseverständnis).

Das Ergebnis: CoSMo lieferte Antworten, die genauer waren und weniger Schritte als andere Methoden verwendeten.
Die Metapher: Stellen Sie sich ein Rennen vor. Andere Läufer liefen im Kreis (redundante Schritte) oder machten riesige, ungeschickte Sprünge (logische Lücken überspringen). Der Läufer von CoSMo nahm den direktesten Weg, hielt genau die richtige Anzahl an Malen an, um seinen Plan zu prüfen, aber hielt nie an, um sich zweimal die Schuhe zu binden.
Die Statistiken: Der Artikel behauptet, CoSMo habe die Genauigkeit um etwa 3,3 Punkte verbessert und gleichzeitig die Anzahl der Denkschritte um fast 29 % reduziert.

Zusammenfassung

Kurz gesagt sagt dieser Artikel: Machen Sie die KI nicht nur weniger redselig; lassen Sie sie effizienter denken.

Indem man der KI beibringt, ihre wiederholenden Gedanken zusammenzuführen und ihre ausgelassenen Schritte aufzuteilen, schafft CoSMo einen „Goldlöckchen"-Denkstil: nicht zu kurz (was Details verpasst), nicht zu lang (was Zeit verschwendet), sondern genau richtig für die Komplexität des Problems. Es ermöglicht der KI, dort tief und detailliert zu sein, wo es nötig ist, während sie den strukturellen Ballast abschneidet, der sie verlangsamt.

1. Problemstellung

Large Reasoning Models (LRMs) haben beeindruckende Fähigkeiten bei komplexen Aufgaben (z. B. Multi-Hop-QA, Mathematik, Code) durch die Generierung langer Gedankengänge (CoT) unter Beweis gestellt. Diese Abhängigkeit von ausführlichen Generierungen führt jedoch zu zwei kritischen Problemen:

Rechenoverhead: Lange Gedankengänge führen zu erheblicher Latenz und Token-Verbrauch.
Strukturelle Redundanz: Eine bloße, willkürliche Verkürzung von Ketten (z. B. durch Token-Limits oder Beschneiden) unterbricht oft die logische Kohärenz. Umgekehrt führt eine übermäßige Länge zu redundanten Schritten, die das Modell verwirren können, insbesondere bei wissensintensiven Multi-Hop-Frageantworten (QA).
Die Kernherausforderung: Bestehende Methoden unterscheiden nicht zwischen struktureller Redundanz (unnötige Gedankenschritte/Segmente) und intra-segmentaler Tiefe (das notwendige Token-Volumen zur Erklärung eines einzelnen logischen Schritts). Aktuelle Ansätze bestrafen oft die gesamte Token-Länge und unterdrücken dabei unbeabsichtigt die tiefen reasoning-Fähigkeiten, die für komplexe Probleme erforderlich sind.

2. Methodik: CoSMo-Framework

Die Autoren schlagen CoSMo (Consistency-Guided Split-Merge Optimization) vor, ein Framework, das darauf ausgelegt ist, die Topologie der Gedankenkette zu optimieren und nicht nur deren Länge. Es arbeitet in zwei Phasen:

A. Split-Merge-Optimierungsalgorithmus (Datenerstellung & SFT)

Inspiriert von Bildsegmentierungsalgorithmen behandelt CoSMo die Gedankenkette als eine Sequenz diskreter Segmente ( $s_1, s_2, ..., s_N$ ). Es verfeinert die Kette iterativ, um die Anzahl der Segmente ( $N$ ) mit der Ground-Truth-Hop-Anzahl ( $k^*$ ) des Problems in Einklang zu bringen.

Merge-Phase: Wenn $N > k^*$ (Redundanz), identifiziert der Algorithmus mithilfe eines LLM-basierten Consistency Judge benachbarte Segmente, die semantisch redundant sind (z. B. Umschreibungen oder triviale Erweiterungen). Ein Semantic Generator fusioniert diese dann zu einer einzigen, prägnanten logischen Einheit.
Split-Phase: Wenn $N < k^*$ (logische Sprünge), erkennt der Algorithmus grobkörnige Logik, bei der mehrere Schritte komprimiert sind. Der Generator zerlegt diese in feinkörnigere, kohärente Untersegmente, um die logische Kontinuität sicherzustellen.
Ergebnis: Dieser Prozess erstellt einen hochwertigen, logikdichten Datensatz ( $D_{cosmo}$ ), der für das Supervised Fine-Tuning (SFT) verwendet wird und ein strukturelles Prior im Modell verankert.

B. Strukturausgerichtete Reinforcement Learning (RL)

Nach dem SFT wird das Modell weiter mittels Group Relative Policy Optimization (GRPO) optimiert.

Neuer Belohnungsmechanismus: Anstatt die gesamte Token-Anzahl zu bestrafen, führt CoSMo ein Segment-Level-Budget ein.
- Format-Belohnung: Stellt die strikte Einhaltung der nummerierten Listenstruktur sicher.
- Korrektheits-Belohnung: Belohnt exakte Übereinstimmungen der Antwort.
- Strukturelle Effizienz-Belohnung: Bestraft die Abweichung der Segmentanzahl von der Ground Truth ( $|N - k^*|$ ).
Schlüsselinnovation: Dieses Design ermöglicht es dem Modell, die Token-Länge innerhalb eines Segments (für tiefes Reasoning) ohne Strafe zu erweitern, solange die Anzahl der Segmente optimal bleibt. Dies entkoppelt strukturelle Effizienz von beschreibender Tiefe.

3. Hauptbeiträge

Entkopplung von Struktur und Tiefe: Das Paper definiert reasoning-Effizienz formal nicht durch das Token-Volumen, sondern durch die topologische Ausrichtung mit der Problemkomplexität. Es trennt strukturelle Redundanz (Segmentanzahl) von intra-segmentalem Reasoning (Token-Granularität).
Konsistenzgeführtes Split-Merge: Ein neuartiger Algorithmus, der Trainingsdaten dynamisch kuratiert, indem er redundante Schritte zusammenführt und logische Lücken aufteilt, um sowohl Prägnanz als auch logische Kontinuität zu gewährleisten.
Segment-Level-Budgetierung in RL: Eine Reinforcement-Learning-Strategie, die globale Token-Beschränkungen durch eine Segmentanzahl-Strafe ersetzt und so die Unterdrückung notwendiger tiefer Reasoning-Details verhindert.
Empirische Validierung: Umfassende Experimente zeigen, dass die Optimierung der Struktur bessere Ergebnisse liefert als die Optimierung der Länge allein.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CoSMo an mehreren Benchmarks (HotpotQA, HaluEval, NQ, CRAG) unter Verwendung von Llama-3.1-8B und Qwen-2.5-Modellen.

Leistungssteigerung: CoSMo erzielte im Vergleich zu Baselines für reasoning-Effizienz eine durchschnittliche Genauigkeitsverbesserung von +3,3 Punkten über alle Benchmarks hinweg.
Effizienz:
- Reduzierter durchschnittlicher Token-Verbrauch um 29,5 %.
- Reduzierte durchschnittliche Segmentanzahl um 28,7 % im Vergleich zu effizienten reasoning-Baselines.
- Bei HotpotQA (hauptsächlich 2-Hop-Fragen) reduzierte CoSMo die strukturelle Redundanz (Segmente, die die Ground Truth überschreiten) von ~1,6 (CoT) auf 0,6.
Robustheit:
- CoSMo behielt bei steigender Aufgabenschwierigkeit (von 2-Hop- zu 4-Hop-Fragen) eine hohe Genauigkeit bei, während Baselines wie CoT und C3oT erhebliche Genauigkeitsverluste erlitten.
- Das Modell zeigte eine konsistente Überlegenheit gegenüber verschiedenen LLM-Bewertern (Qwen-7B/14B/72B, Llama-3.1), was beweist, dass die Gewinne auf intrinsischer logischer Validität und nicht auf Bewerter-Bias beruhen.
Ablationsstudien:
- Die SFT-Phase (Split-Merge) allein lieferte signifikante Gewinne bei Genauigkeit und Token-Reduktion.
- Die RL-Phase verbesserte die intrinsischen Fähigkeiten weiter.
- Die Kombination beider Phasen ergab die besten Ergebnisse und bestätigt, dass strukturelle Priors und RL-Ausrichtung komplementär sind.

5. Bedeutung und Auswirkung

Rechen-Nachhaltigkeit: Durch die Beseitigung struktureller Redundanz ohne Opferung der reasoning-Tiefe bietet CoSMo einen Weg hin zu „Green AI", der den CO2-Fußabdruck und die Inferenzkosten von LRMs reduziert.
Paradigmenwechsel: Die Arbeit stellt den vorherrschenden „Token-Budget"-Ansatz in Frage und legt nahe, dass die Struktur des Reasoning ein wichtigerer Optimierungsziel ist als das Volumen der Tokens.
Interpretierbarkeit: Die resultierende segmentierte reasoning-Struktur ist transparenter und ermöglicht eine bessere Analyse, wie Modelle Ressourcen während der Inferenz allozieren.
Generalisierbarkeit: Die Methode ist modellagnostisch und über verschiedene Backbone-Architekturen und Schwierigkeitsgrade hinweg effektiv, was sie zu einem vielversprechenden Ansatz für den Einsatz effizienter reasoning-Modelle auf ressourcenbeschränkten Geräten macht.