💬 NLP

SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens

Das Papier stellt SONAR-LLM vor, einen Decoder-only-Transformer, der Text durch die Vorhersage kontinuierlicher Satzeinbettungen im SONAR-Raum generiert, während er über ein tokenbasiertes Kreuzentropie-Ziel trainiert wird, wodurch die semantische Abstraktion von Large Concept Models mit der Effizienz und dem likelihood-basierten Training der autoregressiven Tokenvorhersage kombiniert wird.

Ursprüngliche Autoren: Nikita Dragunov, Temurbek Rahmatullaev, Elizaveta Goncharova, Nikita Kurdiukov, Aysel Mirzoeva, Anna Borisiuk, Andrey Kuznetsov, Anton Razzhigaev

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Nikita Dragunov, Temurbek Rahmatullaev, Elizaveta Goncharova, Nikita Kurdiukov, Aysel Mirzoeva, Anna Borisiuk, Andrey Kuznetsov, Anton Razzhigaev

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Geschichte zu schreiben.

Der alte Weg (Standard-LLMs): Der Stein-für-Stein-Bauer
Die meisten aktuellen KI-Modelle sind wie ein sehr schneller, sehr pedantischer Maurer. Um eine Mauer (eine Geschichte) zu errichten, legt er einen Stein (ein Wort oder „Token") nach dem anderen. Er hält inne, denkt nach, legt einen Stein, hält inne, denkt nach, legt einen weiteren.

Vorteile: Sie sind sehr präzise.
Nachteile: Wenn Sie einen Wolkenkratzer (ein sehr langes Dokument) bauen wollen, dauert dieser Prozess eine lange Zeit. Es ist langsam, weil sie für jedes einzelne winzige Stück innehalten und nachdenken müssen.

Der „LCM"-Weg (das vorherige Experiment): Der Träumer
Kürzlich versuchten Forscher einen neuen Ansatz namens „Large Concept Model" (LCM). Anstatt Steine zu legen, versucht dieses Modell, in Sätzen zu „träumen". Es stellt sich die Bedeutung des nächsten Satzes als eine glatte, kontinuierliche Wolke aus Ideen (ein „Embedding") vor, und nicht als spezifische Wörter.

Vorteile: Es überspringt die winzigen Steine und springt direkt zum großen Ganzen. Es ist schneller für lange Geschichten.
Nachteile: Da es nur in Wolken aus Bedeutung „träumt", bekommt es manchmal die tatsächlichen Wörter falsch. Es ist wie ein Maler, der genau weiß, wie sich ein Sonnenuntergang anfühlt, aber Schwierigkeiten hat, die genau richtigen Schattierungen von Orange und Rot zu mischen. Das Training war zudem instabil, wie der Versuch, auf einer wackeligen Leiter das Gleichgewicht zu halten.

Der neue Weg (SONAR-LLM): Der Architekt mit einem Bauplan
Diese Arbeit stellt SONAR-LLM vor. Es kombiniert das Beste aus beiden Welten.

Stellen Sie sich SONAR-LLM als einen Architekten vor, der in „Satz-Bauplänen" denkt, aber in „Steinen" spricht.

Denken in Bauplänen: Wie der Träumer plant SONAR-LLM seine Geschichte, indem es den nächsten Satz als ganze Einheit vorhersagt. Es macht sich keine Sorgen um das nächste Wort; es macht sich Sorgen um die nächste Idee. Dies hält es schnell und effizient, selbst für Millionen-Wörter-Romane.
Sprechen in Steinen: Hier kommt der magische Trick ins Spiel. Sobald der Architekt den „Bauplan" (die Satzwiedergabe) hat, errät er die Wörter nicht einfach. Er leitet diesen Bauplan durch einen eingefrorenen, vortrainierten Übersetzer (den SONAR-Decoder) weiter. Dieser Übersetzer ist ein Experte darin, abstrakte Ideen in perfekte, grammatikalisch korrekte Sätze zu verwandeln.
Die Rückkopplungsschleife: Das Modell wird dann bewertet, wie gut die tatsächlichen Wörter, die es produziert hat, mit der Zielgeschichte übereinstimmen. Dies gibt ihm ein klares, stabiles Signal zum Lernen (im Gegensatz zum Träumer) und stellt sicher, dass die finale Geschichte natürlich und menschlich klingt.

Warum ist das eine große Sache?

Geschwindigkeit vs. Qualität: Es ist schnell wie der Träumer (weil es ganze Sätze auf einmal verarbeitet), aber genau wie der Maurer (weil es an den tatsächlichen Wörtern bewertet wird).
Lange Geschichten: Die Arbeit zeigt, dass SONAR-LLM für sehr lange Texte (bis zu 1 Million Wörter) viel effizienter wird als Standardmodelle. Es ist wie der Wechsel vom schrittweisen Gehen zu riesigen Schritten; je länger die Reise, desto größer der Vorteil.
Das Geheimnis des „Einfrierens": Das Team hielt den „Übersetzer" (den Decoder) eingefroren, was bedeutet, dass sie ihn nicht neu trainierten. Dies sparte eine enorme Menge an Rechenleistung. Sie trainierten nur den „Architekten"-Teil, der entscheidet, was der nächste Satz sein sollte.

Was haben sie herausgefunden?

Bessere Geschichten: Als sie einen KI-Richter (GPT-4o) gebeten hatten, die Geschichten zu bewerten, schrieb SONAR-LLM bessere, kreativere und konsistentere Geschichten als die vorherigen „Träumer"-Modelle.
Zusammenfassen: Es war auch sehr gut darin, lange Artikel in kurze, prägnante Sätze zusammenzufassen.
Der Haken: Wenn die Aufgabe extreme Präzision bei Zahlen oder Symbolen erfordert (wie das Finden einer spezifischen Telefonnummer in einem Heuhaufen), funktioniert das Modell am besten, wenn Sie den Übersetzer auftauen und ihn diese spezifischen Details lernen lassen. Aber für das normale Geschichtenerzählen und Zusammenfassen ist das Einfrieren perfekt.

In Kürze:
SONAR-LLM ist eine neue Art von KI-Schriftsteller, der seine Geschichten in großen, bedeutungsvollen Abschnitten (Sätzen) plant, um schnell zu bleiben, aber einen vertrauenswürdigen Experten nutzt, um diese Abschnitte in perfekte Wörter zu übersetzen. Dies macht es für lange Dokumente schneller als aktuelle Modelle, ohne die Qualität des Schreibens zu beeinträchtigen.

Technischer Überblick: SONAR-LLM

Problemstellung

Autoregressive Large Language Models (LLMs) arbeiten typischerweise auf Token-Ebene und minimieren die Kreuzentropie über ein diskretes Vokabular. Obwohl dies effektiv ist, erzeugt diese feingranulare Dekodierung einen Durchsatz-Engpass für lange Sequenzen. Umgekehrt adressiert Metas Large Concept Model (LCM) die Latenz, indem es Satz-Embeddings in einem kontinuierlichen Raum unter Verwendung von Diffusions- oder Mean Squared Error (MSE)-Zielfunktionen vorhersagt. Das Entfernen von Token-Wahrscheinlichkeiten in LCMs führt jedoch zu einer weniger stabilen Optimierung und Schwierigkeiten beim Erhalt der narrativen Struktur. Es besteht ein Bedarf an einem Modell, das die semantische Abstraktion und Effizienz der Satzgenerierung beibehält und gleichzeitig die Stabilität einer likelihood-basierten Training wiederherstellt.

Methodik

SONAR-LLM ist ein Decoder-only-Transformer, der im kontinuierlichen SONAR-Satz-Embedding-Raum operiert, jedoch über Token-Kreuzentropie überwacht wird.

Architektur: Das Modell sagt das nächste Satz-Embedding ( $\hat{e}_t$ ) basierend auf einem Präfix von Embeddings ( $e_{<t}$ ) voraus. Es nutzt eine Standard-Decoder-only-Transformer-Architektur (ähnlich wie Llama 3) mit rotierenden Positions-Encodings und RMS-Norm, jedoch mit einem Embedding-Vokabular der Größe eins (Vorhersage kontinuierlicher Vektoren statt diskreter Tokens).
Hybride Zielfunktion: Um Diffusions- oder MSE-Zielfunktionen zu vermeiden, leitet das Modell den Verlust durch einen eingefrorenen SONAR-Decoder weiter. Das vorhergesagte Embedding $\hat{e}_t$ wird unter Verwendung des eingefrorenen Decoders ( $D$ ) und der Ground-Truth-Vortokens ( $s_{t,<i}$ ) zurück in Token-Logits dekodiert. Das Modell minimiert die Standard-Kreuzentropie zwischen diesen Logits und der Ground-Truth-Token-Sequenz des Zielsatzes.
Trainingsprozess:
- Text wird mittels des Punkt-Tokenizers in Sätze segmentiert.
- Sätze werden in Vektoren fester Länge ( $d=1024$ ) unter Verwendung eines eingefrorenen mehrsprachigen SONAR-Encoders kodiert.
- Das Modell wird mit Teacher Forcing trainiert, wobei das Ground-Truth-Embedding für den nächsten Zeitschritt bereitgestellt wird.
- Die Generierung endet, wenn die Kosinus-Ähnlichkeit zwischen dem vorhergesagten Embedding und einem speziellen „End of sequence"-Embedding einen Schwellenwert ( $\tau_{stop}=0.98$ ) überschreitet oder eine maximale Anzahl von Sätzen erreicht ist.
Aufheben des Einfrierens des Decoders: Während die primären Experimente den SONAR-Encoder und -Decoder aus Effizienzgründen eingefroren lassen, untersuchten die Autoren das Aufheben des Einfrierens des Decoders. Dies reduzierte die Validierungs-Kreuzentropie signifikant, erzielte jedoch nur substantielle Gewinne in nachgelagerten Aufgaben, die stark auf Symbolen basieren (z. B. Needle-in-a-Haystack-Retrieval), und nicht bei der Standard-Textgenerierung.

Hauptbeiträge

Token-bewusstes Embedding-Ziel: Einführung einer Trainingsmethode, die Token-Kreuzentropie durch einen eingefrorenen SONAR-Decoder zurückpropagiert und kontinuierliche Satzvorhersagen mit diskreten Token-Zielen abstimmt.
Analyse der Skalierungsgesetze: Eine detaillierte Anpassung der Skalierungsgesetze ( $L(N) = aN^{-\alpha} + b$ ) über verschiedene Modellgrößen (39 Mio. bis 1,3 Mrd. Parameter), die Skalierungsexponenten für SONAR-LLM, Standard-LLMs und LCM-Varianten quantifiziert.
Umfassende Evaluation: Bewertung der Textqualität mittels standardisierter NLG-Metriken (BLEU, ROUGE-L, METEOR) und GPT-4o-basierter Bewertungen (Grammatik, Kreativität, Konsistenz, Handlung) sowie Zusammenfassungs-Benchmarks (XSum, CNN/DM).
Analyse der Inferenzeffizienz: Eine theoretische Analyse der FLOPs, die zeigt, dass der Betrieb auf Satzschnitten im Vergleich zur Token-Ebenen-Dekodierung eine günstige Skalierung für lange Sequenzen bietet.
Open-Source-Veröffentlichung: Öffentliche Freigabe von Trainingscode, Evaluierungsskripten und vortrainierten Checkpoints.

Ergebnisse

Skalierungsverhalten: SONAR-LLM zeigt einen starken Skalierungsexponenten ( $\alpha \approx 0,596$ ), der mit anderen Embedding-basierten Modellen vergleichbar ist, und demonstriert eine effiziente Nutzung erhöhter Modellkapazität.
Qualität der Textgenerierung: In GPT-4o-Evaluierungen übertraf SONAR-LLM sowohl MSE-basierte als auch diffusionsbasierte LCM-Varianten signifikant in den Metriken Grammatik, Kreativität, Konsistenz und Handlung. Während Standard-Token-LLMs (mit Beam Search) die höchsten absoluten Scores erreichten, entsprach oder näherte sich SONAR-LLM deren Leistung bei Standard-NLG-Metriken (ROUGE-L, METEOR) im größten Maßstab (900 Mio. Parameter).
Zusammenfassung: SONAR-LLM übertraf Satz-basierte Baselines (MSE- und Diffusions-LCMs) bei XSum und CNN/DM erheblich. Es entsprach Token-Level-LLMs auf dem abstrakteren XSum-Datensatz, blieb jedoch bei CNN/DM, das extraktive Ansätze begünstigt, leicht hinterher.
Auswirkung des Aufhebens des Einfrierens: Das Aufheben des Einfrierens des SONAR-Decoders verbesserte die Exact-Match-Genauigkeit beim RULER (NIAH)-Benchmark von 21,6 % auf 41 %, was Vorteile für Aufgaben zeigt, die eine präzise numerische oder symbolische Reproduktion erfordern, bot jedoch keine signifikanten Gewinne für die Standardzusammenfassung.
Inferenzeffizienz: Die theoretische Analyse zeigt, dass, obwohl beide Ansätze eine quadratische Komplexität aufweisen, die effektiven Kosten von SONAR-LLM bis zu 1 Million Tokens fast linear mit der Sequenzlänge wachsen. Es übertrifft Standard-LLMs in der Inferenzeffizienz für Sequenzen, die länger als etwa 4.096 Tokens sind.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SONAR-LLM die Lücke zwischen konzeptbasierten Modellen und traditionellen autoregressiven LLMs erfolgreich schließt. Durch die Beibehaltung der semantischen Abstraktion der Satzverarbeitung bei gleichzeitiger Wiederherstellung eines likelihood-basierten Trainingssignals erreicht das Modell eine stabile Optimierung und wettbewerbsfähige Generierungsqualität ohne die Notwendigkeit von Diffusions-Samplern.

Die Autoren positionieren SONAR-LLM als vielversprechende Alternative für die Generierung mit langem Kontext und bieten eine praktische und skalierbare Option, bei der die Rechenkosten langsamer wachsen als bei Token-Level-Modellen. Sie stellen fest, dass das Modell, obwohl es in Satz-Embeddings reasoning betreibt, keine grundlegend neuen generativen Fähigkeiten über bestehende LLMs hinaus einführt, sondern vielmehr eine andere Abstraktionsebene bietet, die die Effizienz und strukturelle Kohärenz in langen Sequenzen verbessern kann. Die Arbeit wird als ein Schritt vorwärts in der effizienten, skalierbaren Sprachgenerierung und im Repräsentationslernen präsentiert.