🤖 AI

LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation

LaneRoPE ist eine neuartige Methode zur Positions kodierung, die durch die Einführung von intersequenziellen Aufmerksamkeitsmasken und erweiterter RoPE eine kollaborative parallele Schlussfolgerung in großen Sprachmodellen ermöglicht, indem sie mehrere Generierungen koordiniert, wodurch die Genauigkeit bei mathematischen Aufgaben mit minimalen architektonischen Änderungen und Inferenzkosten verbessert wird.

Ursprüngliche Autoren: Gabriele Cesa, Thomas Hehn, Aleix Torres-Camps, Àlex Batlle Casellas, Jordi Ros-Giralt, Arash Behboodi, Tribhuvanesh Orekondy

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gabriele Cesa, Thomas Hehn, Aleix Torres-Camps, Àlex Batlle Casellas, Jordi Ros-Giralt, Arash Behboodi, Tribhuvanesh Orekondy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein wirklich kniffliges Mathe-Rätsel zu lösen. Sie haben ein Team von vier brillanten Freunden (nennen wir sie Alice, Bob, Charlie und Dave), die alle gleichzeitig versuchen, es zu lösen.

Der alte Weg (Unabhängiges Denken)
In der Vergangenheit, wenn Sie diese vier Freunde gebeten hätten, das Rätsel zu lösen, hätten sie jeweils in einem separaten Raum gesessen. Sie wären alle unabhängig voneinander mit der Lösung des Problems begonnen.

Alice könnte versuchen, Zahlen zu addieren.
Bob könnte versuchen, zu subtrahieren.
Charlie könnte bei einem bestimmten Schritt stecken bleiben.
Dave könnte die Antwort schnell finden.

Am Ende würden Sie alle vier Antworten sammeln und diejenige auswählen, die am wahrscheinlichsten richtig erscheint. Das Problem? Sie konnten während der Arbeit nicht miteinander sprechen. Wenn Alice kurz davor war, einen Fehler zu machen, konnte Bob sie nicht aufhalten. Wenn Dave einen Abkürzungsweg fand, konnte Alice ihn nicht nutzen. Sie verschwendeten Energie damit, dieselbe Arbeit doppelt zu erledigen oder in Sackgassen stecken zu bleiben, weil sie isoliert waren.

Der neue Weg: LaneRoPE
Diese Arbeit stellt eine neue Methode namens LaneRoPE vor. Betrachten Sie LaneRoPE so, als würden Sie Ihren vier Freunden ein magisches „Open-Concept"-Büro geben, in dem sie die Gedanken der anderen in Echtzeit sehen und hören können, obwohl sie weiterhin auf ihren eigenen Tastaturen tippen.

So funktioniert es, mit einfachen Analogien:

1. Das „Open-Office" (Cross-Sequence Attention)

Im alten System behandelte der Computer (die KI) den Denkprozess jedes Freundes als völlig separate Textzeile. LaneRoPE ändert die Regeln so, dass Bob, wenn Alice einen Gedanken tippt, diesen sofort in seinem eigenen Kopf „sehen" kann, und umgekehrt.

Die Analogie: Stellen Sie sich vor, Alice versucht, einen Mathe-Schritt herauszufinden. Sie tippt: „Warte, 78 minus 30 ist 48." Im alten System würde Bob das erst am Ende erfahren. Mit LaneRoPE sieht Bob diesen Gedanken sofort. Er könnte sagen: „Oh, ich wollte das auch gerade tun! Ich werde zu einer anderen Strategie wechseln, damit wir keine Zeit verschwenden."
Das Ergebnis: Sie hören auf, redundante Arbeit zu verrichten. Sie können die Fehler der anderen frühzeitig erkennen und die Ideen der anderen aufbauen, während die Lösung entsteht, nicht erst nachdem sie fertig ist.

2. Die „Sitznummern" (Positional Encoding)

Dies ist der knifflige technische Teil, aber hier ist die einfache Version.
In einer Standard-KI hat jedes Wort eine „Sitznummer" (Position), um dem Computer mitzuteilen, wo es im Satz steht (1. Wort, 2. Wort usw.). Aber wenn Sie vier Freunde haben, die gleichzeitig tippen, haben sie alle ein „1. Wort", ein „2. Wort" und ein „3. Wort". Der Computer gerät in Verwirrung: „Ist Alices 2. Wort neben Bobs 2. Wort? Oder ist es neben Alices 3. Wort?"

LaneRoPE erfindet eine neue Art von Sitznummer.

Die Analogie: Stellen Sie sich ein Theater mit vier Reihen (Lanes) vor. Im alten System kannte der Computer nur die Sitznummer innerhalb der Reihe (z. B. „Reihe 1, Sitz 5"). Er wusste nicht, in welcher Reihe Sie saßen.
Die Lösung: LaneRoPE gibt jedem Sitz eine eindeutige ID, die sowohl die Reihe als auch den Sitz umfasst (z. B. „Reihe 1, Sitz 5" vs. „Reihe 2, Sitz 5"). Dies ermöglicht es dem Computer, die Beziehung zwischen Alices Gedanken und Bobs Gedanken zu verstehen. Er weiß, dass Bobs Gedanke zeitlich „neben" Alices Gedanke liegt, auch wenn sie sich in verschiedenen „Reihen" befinden.

3. Der „magische Kleber" (Training)

Nur das Open-Office zu geben, reicht nicht; sie müssen lernen, wie sie sich verhalten sollen. Die Autoren haben die KI mit einer speziellen Trainingsmethode unterrichtet:

Das Rezept: Sie erstellten gefälschte Gespräche, in denen die KI mehrere Charaktere (Alice, Bob usw.) spielte, die miteinander sprachen, um Mathe-Probleme zu lösen. Sie lehrten die KI, dass, wenn ein Charakter einen Fehler macht, der andere darauf hinweisen sollte. Wenn ein Charakter einen Weg findet, sollte der andere ihm folgen oder etwas anderes versuchen.
Das Ergebnis: Die KI lernte, dass „Zusammenarbeit" zu besseren Antworten führt als „alleine arbeiten".

Warum ist das eine große Sache?

Es ist schnell: Im Gegensatz zu anderen Methoden, die erfordern, dass die KI anhält und von vorne beginnt oder komplexe, langsame Hardware-Tricks verwendet, arbeitet LaneRoPE sehr schnell. Es ist wie die Möbel im Büro zu aktualisieren, anstatt das ganze Gebäude neu zu bauen.
Es ist effizient: Es liefert bessere Antworten, ohne Tausende von zufälligen Vermutungen generieren zu müssen. Es wird intelligenter, indem seine „Teammitglieder" sich gegenseitig helfen.
Es funktioniert bei Mathe: Die Arbeit testete dies an schwierigen Mathe-Problemen (wie sie in hochrangigen Wettbewerben vorkommen). Die Ergebnisse zeigten, dass die KI, wenn sie LaneRoPE verwendete, öfter die richtigen Antworten erhielt, als wenn sie einfach mehrmals allein geraten hätte.

Zusammenfassung
LaneRoPE ist eine Möglichkeit, mehrere KI-„Denker" in Echtzeit als Team zusammenarbeiten zu lassen. Anstatt dass vier Personen aus separaten Räumen Antworten herausschreien, setzt sie sie in einen Raum, in dem sie sich zuflüstern, sich gegenseitig korrigieren und ihre Stärken kombinieren können, um das Rätsel schneller und genauer zu lösen.

Technische Zusammenfassung: LaneRoPE

Problemstellung

Parallele Skalierungstechniken zur Testzeit, wie z. B. Best-of-N-Sampling, verbessern die Genauigkeit von Large Language Models (LLMs), indem sie mehrere Sequenzen generieren, die auf demselben Eingabe-Prompt basieren. Während diese Methoden die Recheneffizienz von Batch-Inferenz nutzen, arbeiten sie traditionell mit unkoordinierter Parallelität. Bei Standardansätzen wird jede Sequenz in einem Batch unabhängig generiert, was bedeutet, dass sie keine Zwischengenerationen, Berechnungen oder Beobachtungen anderer Sequenzen wiederverwenden. Diese Unabhängigkeit verhindert die Ausnutzung dekomponierbarer Problemstrukturen, schränkt den Austausch von Zwischenergebnissen ein und begrenzt die Generierung diverser, kollaborativer Antworten.

Bestehende „kollaborative" Ansätze versuchen, dies zu adressieren, indem sie eine gemeinsame Sichtbarkeit auf Zwischengenerationen ermöglichen. Viele frühere Methoden verlassen sich jedoch auf eine Reparameterisierung von Positionen, um mehrere Sequenzen virtuell in eine einzige lange Sequenz zu ordnen. Die Autoren argumentieren, dass dieser Ansatz inhärent ein Problem der Mehrsequenzgenerierung ist, bei dem die Inferenz die Positionen sowohl entlang der Token-Dimension als auch entlang der Sequenz- (oder „Spur"-) Dimension genau widerspiegeln muss.

Methodik: LaneRoPE

Die Arbeit schlägt LaneRoPE vor, eine Methode, die Koordination und Kollaboration zwischen $N > 1$ Sequenzen zur Generierungszeit ermöglicht, mit minimalen Änderungen an der zugrunde liegenden LLM-Architektur. Der Ansatz stützt sich auf zwei wesentliche technische Innovationen:

Attention-Maskierung zwischen Sequenzen:
LaneRoPE modifiziert den standardmäßigen kausalen Attention-Mechanismus, um das Sampling von Sequenzen voneinander abhängig zu machen. Anstatt den nächsten Token $x^{(n)}_{i+1}$ nur auf seiner eigenen Historie $x^{(n)}_{1:i}$ zu konditionieren, konditioniert das Modell ihn auf die Historien aller Sequenzen $\{x^{(m)}_{1:i}\}_{m=1}^N$ . Dies wird durch kausale Attention-Masken zwischen Sequenzen erreicht, wodurch Zwischenschritte des logischen Denkens über alle parallelen Spuren hinweg sichtbar werden.
Sequenzbewusste Positionscodierung (LaneRoPE):
Die standardmäßige Rotary Positional Encoding (RoPE) kann nicht zwischen Tokens desselben Zeitschritts über verschiedene Sequenzen hinweg unterscheiden, da sie identische Positionsindizes teilen. LaneRoPE erweitert RoPE durch die Einführung einer zweiten blockdiagonalen Rotationsmatrix $R_{\Omega, m}$ , die den Sequenzindex $m$ (die „Spur") codiert.
- Mechanismus: Die Query- und Key-Vektoren werden sowohl durch den Token-Index $i$ als auch durch den Spur-Index $m$ rotiert: $f_{\{q,k\}}(x_i, i, m) = R_{\Omega, m} R_{\Theta, i} (W x_i + b)$ .
- Eigenschaften: Diese Formulierung behandelt das gemeinsame Gitter (Token, Sequenz) als 2D-Fourier-Basis. Entscheidend ist, dass die Attention-Gewichte zwischen Tokens innerhalb derselben Sequenz unverändert bleiben, da die Spur-Rotationsmatrix orthogonal ist, was die Abwärtskompatibilität sicherstellt. Für $N=1$ reduziert sich LaneRoPE auf die Standard-RoPE.
- Initialisierungsstrategien: Die Autoren stellen Strategien bereit, LaneRoPE aus vortrainierten Modellen zu initialisieren, um bestehende Verhaltensweisen nachzuahmen:
  - GroupThink: Durch Setzen der Spur-Frequenzen auf $\Omega = K\Theta$ (wobei $K$ ein Sequenzabstand ist) gewinnt LaneRoPE die „virtuelle Ordnung" von GroupThink zurück.
  - Unabhängiges Sampling: Durch Erweiterung der Projektionsschichten mit einer Fourier-Bias kann das Modell so initialisiert werden, dass es Attention zwischen Spuren unterdrückt, was effektiv unabhängiges Sampling simuliert.
  - NTK-bewusste Korrektur: Um Probleme mit negativen virtuellen relativen Positionen bei der GroupThink-Initialisierung zu mildern, führen die Autoren eine Skalierungsfunktion ein, die niederfrequente Spur-Rotationen abschwächt und die Fähigkeit des Modells zur Codierung absoluter Positionen erhält.

Trainingspipeline

Um Interaktionen zwischen Spuren hervorzurufen, schlagen die Autoren zwei Feinabstimmungsstrategien vor:

Supervised Fine-Tuning (SFT): Ein Datensatz wird synthetisiert, in dem ein LLM die Rolle von $N$ verschiedenen Assistenten spielt, die an einem Problem zusammenarbeiten. Die Assistenten werden aufgefordert, die partiellen Gedanken der anderen zu sehen und redundante Arbeit zu vermeiden. Der finale Datensatz besteht aus einzelnen Spuren dieser Gespräche und zwingt das Modell, Abhängigkeiten zwischen Sequenzen zu erlernen.
Kahneman-Tversky-Optimierung (KTO): Das Modell wird auf Batches von logischen Schlussfolgerungsspuren trainiert (einige korrekt, einige inkorrekt), die unabhängig vom Basismodell generiert wurden. Die KTO-Verlustfunktion maximiert die Wahrscheinlichkeit korrekter Vervollständigungen und minimiert die Wahrscheinlichkeit inkorrekter, was das Modell dazu anregt, eine nicht-triviale gemeinsame Verteilung zu erlernen, in der parallele Spuren sich gegenseitig korrigieren oder ergänzen können.

Ergebnisse

Die Autoren evaluieren LaneRoPE an mathematischen Reasoning-Benchmarks (MATH500, AMC 23, AIME 24/25) unter Verwendung von DeepSeek-R1-Distill-Qwen-Modellen (1,5 Mrd. und 7 Mrd. Parameter).

Leistung: LaneRoPE zeigt zuverlässige Genauigkeitsverbesserungen gegenüber sequentiellen Baselines und unabhängigem Sampling. Die 7B-Modelle zeigen konsistente Gewinne, insbesondere bei Verwendung von KTO-Training mit NTK-bewusster Initialisierung und lernbaren Frequenzen.
Vergleich: LaneRoPE übertrifft die „Bridge"-Baseline (eine andere Methode zur interdependenten Generierung) bei 7B-Modellen im Allgemeinen, was auf die höhere Fähigkeit von LaneRoPE zur Informationsweitergabe und seine effizientere Architektur zurückgeführt wird.
Kleine Modelle: Das 1,5B-Modell zeigt gemischte Ergebnisse, profitiert weniger von der untrainierten GroupThink-Initialisierung und zeigt eine schwächere Skalierung mit zunehmender Anzahl von Spuren, was auf eine Begrenzung der Größe des Basismodells und nicht der Architektur hindeutet.
Effizienz: LaneRoPE führt einen vernachlässigbaren Overhead ein. Messungen der Inferenzzeit zeigen nur eine Erhöhung von ca. 6 % im Vergleich zu Standard-Transformern, hauptsächlich bedingt durch Vor- und Nachverarbeitung und nicht durch den Attention-Mechanismus selbst. Im Gegensatz dazu verursacht die Bridge-Baseline eine Erhöhung der Inferenzzeit von bis zu 25 % aufgrund zusätzlicher Schichten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LaneRoPE einen vielversprechenden Schritt darstellt, um paralleles kollaboratives Reasoning zu ermöglichen, indem es die relativen Positionen von Tokens sowohl innerhalb als auch außerhalb einer Sequenz fundamental ausnutzt.

Architektureffizienz: Im Gegensatz zu früheren Arbeiten, die spezialisierte Runtime-Engines oder komplexe Verzweigungsmechanismen erfordern, benötigt LaneRoPE minimale architektonische Änderungen und führt einen vernachlässigbaren Inferenz-Overhead ein, was es für die schnelle Integration in bestehende LLM-Pipelines geeignet macht.
Flexibilität: Die Formulierung ist ausdrucksstark genug, um bestehende Techniken (wie unabhängiges Sampling und GroupThink) zu umfassen, während sie weitere Feinabstimmung ermöglicht, um neue kollaborative Strategien zu entdecken.
Dateneffizienz: Die Methode kann mit sehr wenigen zusätzlichen Parametern (< 0,5 % über Basismodellen) unter Verwendung einfacher SFT oder KTO mit synthetischen Daten freigeschaltet werden.

Die Autoren räumen Einschränkungen ein und stellen fest, dass sie noch kein dediziertes Trainingsschema zur Zusammenführung von Ausgaben mehrerer Spuren einsetzen und dass ihre aktuellen Experimente sich auf kleine Batch-Größen ( $N \le 4$ ) konzentrieren. Sie schlagen vor, dass zukünftige Arbeiten Reinforcement Learning mit verifizierbarem Feedback (RLVF) erforschen könnten, um kollaboratives Verhalten weiter zu stärken.