💬 NLP

Share More, Search Less: Collaborative Parallel Thinking for Efficient Test-Time Scaling

Dieser Artikel stellt Collaborative Parallel Thinking (CPT) vor, ein trainingsfreies Framework, das die Effizienz der Skalierung zur Testzeit verbessert, indem es parallelen Denkzweigen ermöglicht, in Echtzeit Zwischenergebnisse zu teilen und wiederzuverwenden, wodurch redundante Exploration reduziert und auf mathematischen Benchmarks überlegene Trade-offs zwischen Genauigkeit und Latenz erreicht werden.

Ursprüngliche Autoren: Xinglin Wang, Hao Lin, Shaoxiong Feng, Peiwen Yuan, Yiwei Li, Jiayi Shi, Yueqi Zhang, Chuyi Tan, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

Veröffentlicht 2026-05-27

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xinglin Wang, Hao Lin, Shaoxiong Feng, Peiwen Yuan, Yiwei Li, Jiayi Shi, Yueqi Zhang, Chuyi Tan, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr schwieriges Mathe-Rätsel zu lösen. Sie haben ein Team von 64 brillanten Detektiven (diese sind die „parallelen Zweige" einer KI), die gleichzeitig am selben Fall arbeiten.

Der alte Weg: Das Problem des „stillen Raums"
In der Vergangenheit, als diese 64 Detektive arbeiteten, befanden sie sich in völlig separaten, schallisolierten Räumen.

Detektiv A verbringt 10 Minuten damit herauszufinden, dass „die Antwort eine gerade Zahl sein muss".
Detektiv B verbringt die nächsten 10 Minuten damit, genau dasselbe herauszufinden.
Detektiv C verbringt weitere 10 Minuten damit, es erneut zu entdecken.

Sie arbeiten alle hart, verschwenden aber eine enorme Menge an Zeit und Energie damit, Dinge wiederzufinden, die andere bereits gefunden haben. Sie sind wie eine Gruppe von Menschen, die versuchen, einen verlorenen Schlüssel in einem dunklen Raum zu finden, wobei jeder blind dasselbe Gebiet abtastet, ohne zu wissen, dass jemand anders den Schlüssel bereits gefunden und auf den Tisch gelegt hat.

Die neue Lösung: „Kollaboratives paralleles Denken" (CPT)
Die Autoren dieses Papiers schlagen eine neue Arbeitsweise vor, die als Kollaboratives paralleles Denken (Collaborative Parallel Thinking, CPT) bezeichnet wird. Stellen Sie sich vor, man gibt den Detektiven eine gemeinsame digitale Whiteboard in der Mitte des Raums.

So funktioniert es:

Zunächst unabhängig arbeiten: Die Detektive beginnen, in ihren eigenen Räumen zu arbeiten. Sie brauchen Zeit, um selbstständig nachzudenken, damit sie sich nicht sofort gegenseitig kopieren.
Das „Whiteboard"-Update: Von Zeit zu Zeit (nachdem sie eine bestimmte Menge Text geschrieben haben) machen sie eine Pause. Ein spezieller Assistent (die KI selbst) liest, was sie geschrieben haben, filtert die wichtigsten Hinweise heraus (wie „die Antwort ist gerade" oder „durch Null nicht teilen") und schreibt sie auf das gemeinsame Whiteboard.
Deduplizierung: Wenn Detektiv A und Detektiv B beide „die Antwort ist gerade" geschrieben haben, schreibt der Assistent dies nur einmal auf das Board. Dies hält das Board sauber und verhindert Unordnung.
Broadcasting: Der Assistent liest dann den Inhalt des Whiteboards für alle laut vor. Wenn Detektiv C nun seinen nächsten Schritt beginnt, kann er das Board sehen. Er muss keine Zeit damit verschwenden, herauszufinden, dass die Antwort gerade ist; er kann diesen Schritt überspringen und zum nächsten schwierigen Teil übergehen.
Intelligente Timing: Das System ist klug darin, wann geteilt werden soll. Wenn die Detektive noch viele neue Hinweise finden, arbeiten sie weiter allein. Sobald sie jedoch beginnen, dieselben alten Hinweise immer wieder zu finden, sagt das System: „Okay, es ist Zeit, das Board zu teilen!"

Warum dies wichtig ist
Das Papier testete dies an schwierigen Mathewettbewerben (wie HMMT und AIME). Sie stellten fest, dass:

Weniger verschwendete Zeit: Die Detektive hörten auf, Zeit damit zu verschwenden, Hinweise erneut zu finden.
Schnellere Antworten: Da sie keine Arbeit wiederholen mussten, erreichten sie die richtige Antwort schneller.
Bessere Ergebnisse: Selbst bei gleicher Zeit (oder „Latenz") beantwortete das Team mit dem gemeinsamen Whiteboard mehr Fragen richtig als Teams, die in Stille arbeiteten.

Der Haken (Einschränkungen)
Das Papier stellt fest, dass das Aktualisieren des Whiteboards nicht kostenlos ist. Jedes Mal, wenn der Assistent das Board liest und allen mitteilt, was darauf steht, kostet es ein winziges bisschen zusätzliche Energie, diese neuen Informationen zu verarbeiten. Allerdings ist die Zeitersparnis durch das Nicht-Wiederholen der Arbeit viel größer als die Kosten für das Aktualisieren des Boards.

Auf den Punkt gebracht
Anstatt dass 64 Personen blind dasselbe Zimmer absuchen und gegeneinander stoßen, gibt ihnen CPT eine gemeinsame Karte. Sie erkunden weiterhin verschiedene Pfade, teilen ihre Entdeckungen jedoch sofort, damit niemand Zeit damit verschwendet, denselben Sackgasse zweimal zu durchlaufen. Es geht darum, mehr zu teilen und weniger zu suchen.

Technische Zusammenfassung: Kollaboratives paralleles Denken für effizientes Test-Time Scaling

1. Problemstellung

Test-Time Scaling (TTS) verbessert die Schlussfolgerungsfähigkeiten von Large Language Models (LLMs), indem zusätzliche Inferenz-Rechenleistung zur Erkundung des Lösungsraums bereitgestellt wird. Während parallele TTS-Methoden mehrere Schlussfolgerungszweige gleichzeitig generieren, um die Erkundung zu beschleunigen, leiden sie unter einer kritischen Information-Isolations-Engstelle.

Bei bestehenden parallelen TTS-Ansätzen bleiben die Schlussfolgerungszweige während des Suchprozesses isoliert. Zwischenergebnisse (z. B. Einschränkungen, Gegenbeispiele oder Teil Schlüsse), die von einem Zweig erzielt werden, sind diesem Pfad vorbehalten und können andere Zweige nicht in Echtzeit steuern. Diese Isolation führt zu:

Redundanter Erkundung: Unterschiedliche Zweige entdecken wiederholt Informationen, die bereits von anderen gefunden wurden.
Ineffizienter Konvergenz: Zweige benötigen mehr Suchschritte, um die vollständigen Entscheidungsinformationen zu sammeln, die für das Erreichen einer korrekten Antwort notwendig sind.
Verschwendete Rechenleistung: Erhebliche Rechenressourcen werden für abnehmende marginale Informationsgewinne ausgegeben, anstatt für neue Erkundungen.

Die Autoren validieren diese Engstelle durch vorläufige Studien, die zeigen, dass unabhängiges paralleles Sampling mit fortschreitender Suche zu einer Zunahme doppelter Informationseinheiten führt, während die Offline-Einspeisung geteilter Informationen die Genauigkeit und Konvergenzgeschwindigkeit erheblich verbessert.

2. Methodik: Kollaboratives paralleles Denken (CPT)

Um die Informationsisolierung zu adressieren, schlagen die Autoren Collaborative Parallel Thinking (CPT) vor, ein trainingsfreies Inferenz-Framework. CPT verwandelt paralleles TTS von einer isolierten Erkundung in einen informationsaustauschenden Suchprozess. Es arbeitet durch drei koordinierte Komponenten:

A. Kollaborative Parallele Suche

CPT startet $K$ Schlussfolgerungszweige parallel. Im Gegensatz zu Methoden, die Spuren umschreiben oder Inhalte während der Generierung injizieren, synchronisiert CPT die Zweige nur bei festgelegten Token-Suchschritten (z. B. alle $C$ Token).

Private Historien: Jeder Zweig führt seine eigene private Schlussfolgerungshistorie ( $h_i$ ).
Geteilter Kontext: An Synchronisationspunkten wird ein gemeinsamer Informationsblock als zusätzlicher Kontext für nachfolgende Generierungsabschnitte bereitgestellt, sodass Zweige Entdeckungen wiederverwenden können, ohne ihre privaten Erkundungspfade zu verändern.

B. Gemeinsame Informationspooling

Rohe Schlussfolgerungsspuren sind zu verrauscht, um direkt geteilt zu werden. CPT verwendet dasselbe Policy-Modell $\pi$ , um kompakte Informationseinheiten ( $Z$ ) aus neu generierten Segmenten zu extrahieren.

Extraktion: Das Modell extrahiert spezifische Einheiten wie Zwischenschlüsse, Einschränkungen, Beobachtungen, Gegenbeispiele und nützliche Prüfungen.
Deduplizierung: Extrahierte Einheiten werden einem auf Abfrageebene geteilten Pool ( $P$ ) hinzugefügt. Das System filtert Kandidaten mittels semantischer Ähnlichkeit (über Text-Embeddings) gegen bestehende Einträge. Nur Einheiten unterhalb eines Ähnlichkeitsschwellenwerts ( $\tau_{dup}$ ) werden zugelassen, wodurch sichergestellt wird, dass der Pool kompakt und informationsdicht bleibt.
Broadcasting: In festen Schritten werden bis zu $M$ Einträge aus dem deduplizierten Pool in den Eingabekontext (die „Schwarze Tafel") serialisiert, für alle Zweige.

C. Adaptive Broadcast-Planung

Um eine vorzeitige Konvergenz oder den Verlust der Erkundungsvielfalt zu verhindern, verwendet CPT einen adaptiven Zeitplan basierend auf dem marginalen Informationsgewinn:

Probe-Phase: Zweige erkunden unabhängig. Extrahierte Informationen werden in den Pool geschrieben, aber noch nicht verbreitet.
Broadcast-Phase: Ausgelöst, wenn die Rate neuer Informationen, die in den Pool aufgenommen werden, unter einen Startschwellenwert ( $\tau_{start}$ ) fällt. Der geteilte Pool wird an alle Zweige verbreitet.
Free-Run-Phase: Ausgelöst, wenn der Gewinn unter einen Stopp-Schwellenwert ( $\tau_{stop}$ ) fällt. Die Synchronisation stoppt, und die Zweige decodieren unabhängig bis zum Abschluss.

3. Hauptbeiträge

Identifikation der Informationsisolierung: Die Arbeit identifiziert und validiert, dass das Fehlen von informationsaustauschenden Suchprozessen in parallelem TTS zu redundanter Wiederentdeckung führt und die Konvergenz verlangsamt.
CPT-Framework: Der Vorschlag einer trainingsfreien Methode, die parallelen Zweigen ermöglicht, entscheidungsrelevante Informationen durch kompakte Extraktion, dedupliziertes Pooling und adaptives Broadcasting zu teilen.
Empirische Validierung: Umfassende Evaluierung an herausfordernden mathematischen Schlussfolgerungs-Benchmarks (HMMT24/25, AIME24/25/26) über verschiedene Modellskalen hinweg (QWEN3-4B und QWEN3-30B) sowie verschiedene Rollout-Budgets.

4. Experimentelle Ergebnisse

Die Autoren bewerteten CPT gegen starke Baselines, darunter Base Parallel Sampling, DeepConf (auswahlbasiert auf Konfidenz) und LeaP (Peer-Pfad-Routing zur Selbstkorrektur).

Genauigkeit-Latenz-Pareto-Grenze: CPT etabliert konsistent eine stärkere Genauigkeit-Latenz-Grenze als die Baselines. Es erzielt höhere Genauigkeit bei gleicher Wandzeit-Latenz über verschiedene Modellgrößen und Problemverteilungen hinweg.
Redundanzreduktion: Die Analyse von Informationsstatistiken zeigt, dass CPT die Anzahl der pro Schritt entdeckten duplizierten Informationseinheiten signifikant reduziert, während eine vergleichbare Rate neuer Informationsentdeckungen aufrechterhalten wird.
Effizienzgewinne:
- Pass@1 & MV@K: CPT verbessert sowohl die Qualität einzelner Zweige (Pass@1) als auch die Mehrheitsvotegenauigkeit (MV@K), was darauf hindeutet, dass Informationsaustausch die Qualität einzelner Pfade verbessert und nicht nur eine vorzeitige Ausrichtung bewirkt.
- Token-Effizienz: CPT erreicht eine stärkere Genauigkeit-Token-Grenze und reduziert unnötiges Decodieren, das für die Wiederentdeckung bekannter Informationen aufgewendet wird.
- FLOPs-Abwägung: Obwohl CPT redundante Token reduziert, verursacht die Standardimplementierung zusätzliche FLOPs aufgrund des erneuten Prefillings des aktualisierten Kontexts während des Broadcastings. Die Autoren weisen darauf hin, dass zukünftige cache-bewusste Mechanismen dies mildern könnten.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Effizienz des parallelen Test-Time Scaling nicht nur davon abhängt, mehr Schlussfolgerungszweige zu starten, sondern entscheidend davon, Zweige zu befähigen, entscheidungsrelevante Informationen während der Suche zu teilen und wiederzuverwenden.

Paradigmenwechsel: CPT verschiebt paralleles TTS von „unabhängigem Sampling mit nachträglicher Aggregation" zu „kollaborativer Suche mit Echtzeit-Informationspooling".
Trainingsfrei: Die Methode erfordert kein zusätzliches Training, keine Reward-Modelle oder externen Verifizierer und verlässt sich ausschließlich auf die Fähigkeit des Policy-Modells, geteilten Kontext zu extrahieren und zu nutzen.
Skalierbarkeit: Der Ansatz ist über verschiedene Modellskalen (von 4B bis 30B Parametern) und Problemschwierigkeiten hinweg effektiv, was darauf hindeutet, dass Kollaboration zur Suchzeit ein generalisierbarer Mechanismus für effizientes Schlussfolgern ist.

Die Autoren schließen, dass die Reduzierung redundanter Wiederentdeckungen durch Kollaboration zur Suchzeit eine effektive Richtung für effizientes paralleles TTS darstellt und einen praktischen Weg zur Skalierung der Inferenz-Rechenleistung ohne den Latenz-Overhead sequenzieller Verfeinerungsmethoden bietet.