🤖 AI

SimReg: Achieving Higher Performance in the Pretraining via Embedding Similarity Regularization

Das Papier schlägt SimReg vor, eine Methode zur Regularisierung der Embedding-Ähnlichkeit für das Pretraining großer Sprachmodelle, die die Intra-Klassen-Varianz und die Inter-Klassen-Ähnlichkeit reduziert, um die Konvergenz um mehr als 30 % zu beschleunigen und die downstream Zero-Shot-Leistung um mehr als 1 % zu verbessern.

Ursprüngliche Autoren: Yan Sun, Guoxia Wang, Jinle Zeng, JiaBin Yang, Shuai Li, Li Shen, Dacheng Tao, DianHai Yu, Haifeng Wang

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yan Sun, Guoxia Wang, Jinle Zeng, JiaBin Yang, Shuai Li, Li Shen, Dacheng Tao, DianHai Yu, Haifeng Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein Roboter beim Lesen unterrichten

Stellen Sie sich vor, Sie trainieren einen sehr intelligenten Roboter (ein Large Language Model), um das nächste Wort in einem Satz vorherzusagen. Sie zeigen ihm Millionen von Sätzen, und er lernt, indem er das nächste Wort errät. Wenn er richtig liegt, gibt es einen goldenen Stern. Wenn er falsch liegt, erhält er ein sanftes „Versuch es noch einmal".

So werden diese Modelle normalerweise trainiert: Sie versuchen einfach, die richtige Antwort zu finden. Doch die Autoren dieses Papers haben ein Problem mit dieser „goldenen Stern"-Methode festgestellt.

Das Problem: Die Verwirrung im „überfüllten Raum"

Stellen Sie sich das Gehirn des Roboters als einen riesigen Raum vor, in dem jedes Wort, das es kennt, als Person lebt.

Das Ziel: Menschen, die Freunde sind (Wörter, die dasselbe bedeuten oder zur selben Kategorie gehören), sollten nah beieinander stehen. Menschen, die Fremde oder Feinde sind (Wörter mit unterschiedlichen Bedeutungen), sollten weit voneinander entfernt stehen.
Die aktuelle Methode (Cross-Entropy): Dem Roboter wird gesagt: „Stelle sicher, dass du für diesen spezifischen Moment die richtige Person auswählst."
Der Fehler: Da Sprache so flexibel ist, gerät der Roboter in Verwirrung. Das Wort „Wände" im Satz „Die Katze springt über Wände" und das Wort „Wände" in „Ein Kind malt in der Nähe von Wänden" sind dasselbe Wort, stammen aber aus völlig unterschiedlichen Kontexten.
- Nach der alten Methode behandelt der Roboter diese beiden „Wände" als zwei verschiedene Personen, die in verschiedenen Ecken des Raums stehen.
- Gleichzeitig könnte der Roboter versehentlich „Wände" und „Decke" (die unterschiedliche Wörter sind) direkt nebeneinander stellen, weil sie in ähnlichen Kontexten aufgetreten sind.
- Ergebnis: Der Raum ist ein chaotischer Menschenhaufen. Jeder steht zu nah an jedem anderen, was es dem Roboter später erschwert, sie auseinanderzuhalten.

Die Lösung: SIMREG (Die „Gruppenumarmung"-Regel)

Die Autoren schlagen eine neue Regel vor, die SIMREG (Similarity Regularization) heißt. Stellen Sie sich das wie das Hinzufügen eines zweiten Lehrers zur Trainingseinheit vor, der zusätzliche Anweisungen gibt.

Während der erste Lehrer sagt: „Hole dir die richtige Antwort", sagt der zweite Lehrer (SIMREG):

„Gruppenumarmung": Wenn zwei Tokens (Wörter) im selben Satz dasselbe „wahre Label" haben (das heißt, sie sind vom selben Typ), müssen Sie näher zusammenrücken!
„Soziale Distanzierung": Wenn zwei Tokens unterschiedliche Labels haben, müssen Sie weit voneinander entfernt stehen!

Dies zwingt den Roboter, seinen mentalen Raum zu organisieren. Anstatt sich nur die Antwort für einen bestimmten Satz zu merken, lernt er, dass „alle Wände in die 'Wand'-Nachbarschaft gehören", unabhängig davon, in welchem Satz sie vorkommen.

Wie es in der Praxis funktioniert

Das Paper hat dies an mehreren Roboterhirnen (Modellen wie LLaMA und Mixtral) unterschiedlicher Größe getestet.

Schnelleres Lernen: Da der mentale Raum des Roboters nun organisiert ist, lernt er viel schneller. Das Paper behauptet, dass es das Training um über 30 % beschleunigt. Es ist wie der Unterschied zwischen dem Versuch, ein Buch in einem chaotischen Haufen zu finden, versus in einer ordentlich organisierten Bibliothek.
Bessere Leistung: Wenn der Roboter an neuen Aufgaben getestet wird (wie das Beantworten von Fragen oder das Lösen von Logikrätseln), schneidet er besser ab. Das Paper fand eine durchschnittliche Verbesserung von über 1 % bei Standardtests.
Stabilität: Der Roboter wird während des Trainings nicht verwirrt oder „crasht". Die neue Regel hält die Organisation stabil, selbst wenn der Roboter größer und intelligenter wird.

Der „Chunk"-Trick

Zu berechnen, wer nah an wem steht, ist schwierig, wenn man eine Million Menschen im Raum hat. Es erfordert zu viel Rechenleistung.

Die Innovation: Die Autoren stellten fest, dass sie nicht jeden gegen jeden gleichzeitig überprüfen müssen. Sie können den Raum in kleinere „Chunks" (Gruppen) aufteilen.
Das Ergebnis: Sie können die Gruppen unabhängig voneinander organisieren und die Ergebnisse dann zusammenfügen. Dies spart eine enorme Menge an Speicher und Zeit, ohne die Vorteile zu verlieren. Es ist wie die Organisation eines Konzerts, bei dem jede Sektion (Bläser, Streicher, Percussion) ihre eigenen Reihen organisiert, anstatt zu versuchen, 10.000 Menschen in einer einzigen riesigen Reihe unterzubringen.

Das Fazit

Das Paper argumentiert, dass es nicht ausreicht, einem Sprachmodell nur zu sagen: „Hole dir die richtige Antwort". Man muss ihm auch beibringen, wie es sein Wissen organisiert.

Durch das Hinzufügen einer einfachen Regel, die ähnliche Wörter dazu zwingt, zusammenzuhalten, und unterschiedliche Wörter dazu, sich fernzuhalten, lernt das Modell schneller, wird genauer und organisiert sein „Gehirn" viel effizienter. Es ist eine kleine Änderung im Trainingsrezept, die einen großen Leistungsschub bringt.

Technische Zusammenfassung: SimReg – Erzielung höherer Leistung beim Pretraining durch Regularisierung der Embedding-Ähnlichkeit

1. Problemstellung

Large Language Models (LLMs) basieren grundlegend auf der Vorhersage des nächsten Tokens, ein Prozess, der als Klassifizierungsproblem über die kombinierten Repräsentationen des vorangegangenen Kontexts betrachtet werden kann. Obwohl das Pretraining mit Cross-Entropy-Verlust bemerkenswerte Fortschritte vorangetrieben hat, identifizieren die Autoren eine kritische Einschränkung: Die kontextabhängige Natur von Token-Embeddings führt zu einer hohen Varianz innerhalb einer Klasse und zu Ähnlichkeiten zwischen Klassen.

Im Gegensatz zur Bildklassifizierung, bei der ein spezifisches Objekt (z. B. eine Katze) konsistent auf ein stabiles Label und Embedding abgebildet wird, werden Sprach-Token auf Basis diverser kontextueller Merkmale vorhergesagt. Folglich können Embeddings, die denselben Token vorhersagen (z. B. „Wände" in verschiedenen Sätzen), aufgrund ihrer unterschiedlichen Kontexte erheblich variieren. Die Arbeit argumentiert, dass der Standard-Cross-Entropy-Verlust keine starke Konsistenz auf diesen Embeddings erzwingt. Empirische Analysen zeigen, dass Cross-Entropy zwar die kontrastive Ähnlichkeit im frühen Training schnell einschränkt, jedoch sobald eine grundlegende Trennschwellen erreicht ist, stagniert. Er treibt auch bei steigender Modellgröße weder die Vergrößerung der Klassifizierungsmargen voran noch erzwingt er eine ausreichende Heterogenität unter den Token-Embeddings. Diese Einschränkung behindert die Effizienz des Repräsentationslernens und verlangsamt die Konvergenz.

2. Methodik: SIMREG

Um diese Probleme zu adressieren, schlagen die Autoren SIMREG (Similarity Regularization) vor, eine Verlustfunktion, die entwickelt wurde, um die Ähnlichkeit von Embeddings während des großskaligen Pretrainings explizit zu regularisieren.

Kernmechanismus

Für jeden Token in einer Sequenz partitioniert die Methode alle Tokens basierend auf ihren Ground-Truth-Labels in positive und negative Gruppen:

Positive Gruppe ( $P_i$ ): Tokens, die dasselbe Ground-Truth-Label wie der Anker-Token teilen.
Negative Gruppe ( $N_i$ ): Tokens mit unterschiedlichen Labels.

Der SIMREG-Verlust zielt darauf ab, den Abstand zwischen Embeddings in der positiven Gruppe zu minimieren und die Trennung von der negativen Gruppe zu maximieren. Der Verlust für den $i$ -ten Token wird wie folgt formuliert:
$L_i = L_{ce}^i + \lambda \cdot \text{softplus}(L_{sr}^i)$
Wobei $L_{sr}^i$ der Term für die Ähnlichkeitsregularisierung ist:
$L_{sr}^i \triangleq \log \sum_{j \in N_i} \phi_{i,j} - \log \sum_{j \in P_i} \phi_{i,j}$
Hierbei repräsentiert $\phi$ die Kosinusähnlichkeit zwischen Embeddings, skaliert durch einen Temperaturkoeffizienten $\tau$ . Um Stabilität und Gültigkeit sicherzustellen, umfasst die Methode:

Selbstähnlichkeit: Hinzufügen des Anker-Tokens zu seiner eigenen positiven Gruppe, um sicherzustellen, dass mindestens ein positives Paar existiert, selbst bei einzigartigen Tokens in einer Sequenz.
Softplus-Skalierung: Sicherstellen, dass der Regularisierungsverlust nicht-negativ bleibt.
Durchschnittsbildung auf Gruppenebene: Berechnung des Verlusts auf Gruppenebene statt auf Probenebene, um Beiträge über Tokens hinweg auszugleichen und Stabilität über lange Trainingsläufe hinweg zu gewährleisten.

Implementierungsdetails

Chunk-weise Berechnung: Um die $O(n^2)$ -Komplexität der Berechnung von Ähnlichkeiten innerhalb langer Sequenzen zu bewältigen und Sequence Parallelism (SP) ohne übermäßigen Kommunikationsaufwand zu unterstützen, teilen die Autoren Sequenzen in Chunks auf. Der Verlust wird intern innerhalb der Chunks berechnet, was die Komplexität auf $O(n^2/b)$ reduziert, wobei $b$ die Anzahl der Chunks ist.
Platzierung: Empirische Studien deuten darauf hin, dass die Anwendung von SIMREG in der letzten Schicht des Modells am effektivsten ist, da mittlere Schichten verflochtene kontextuelle Informationen kodieren, wohingegen die letzte Schicht diese in distinkte semantische Räume projiziert, die für die Vorhersage verwendet werden.

3. Theoretische Analyse

Die Arbeit liefert eine theoretische Begründung für die Wirksamkeit von SIMREG durch die Analyse ihrer Auswirkungen auf Klassifizierungsmargen.

Vergrößerung der Marge: Die Autoren zeigen, dass der Cross-Entropy-Verlust durch eine Exponentialfunktion der Klassifizierungsmarge ( $m_i$ ) nach oben beschränkt ist. Durch die Minimierung des SIMREG-Verlusts verschiebt sich das positive Zentrum des Embeddings eines Tokens in Richtung von Same-Class-Proben, und das negative Zentrum verschiebt sich weg.
Konvergenzschranke: Theoretische Beweise zeigen, dass dieser Prozess die Klassifizierungsmarge ( $m_k$ ) um mindestens $\delta \|\epsilon^+\| + \sqrt{2}L_P \gamma$ erhöht, wobei $\epsilon^+$ die Störung durch den Ähnlichkeitsverlust darstellt. Diese Vergrößerung der Marge führt zu einer multiplikativen Reduktion des Cross-Entropy-Verlusts und beschleunigt theoretisch den Pretraining-Prozess.

4. Hauptbeiträge

Einführung von SIMREG: Ein neuartiger Regularisierungsverlust für Embedding-Ähnlichkeit, der während des großskaligen Pretrainings explizit Intra-Klassen-Konsistenz und Inter-Klassen-Trennung fördert und die Grenzen des alleinigen Cross-Entropy-Ansatzes adressiert.
Theoretische Einsichten: Eine detaillierte Analyse, die zeigt, wie SIMREG Multi-Klassifizierungsmargen vergrößert, wodurch die obere Schranke des Cross-Entropy-Verlusts reduziert und die Optimierungsdynamik verbessert wird.
Skalierbare Implementierung: Eine chunk-weise Berechnungsstrategie, die eine effiziente Anwendung der Ähnlichkeitsregularisierung in Sequence-Parallelism-Umgebungen ermöglicht und sie für großskalige Modelle praktikabel macht.
Umfassende Evaluierung: Ausführliche Experimente über dichte Architekturen (LLaMA-350M bis 7B) und Mixture-of-Experts-Architekturen (Mixtral-8×1B).

5. Experimentelle Ergebnisse

Die Autoren evaluierten SIMREG an Standard-Benchmarks unter Verwendung von Modellen mit 350M bis 7B Parametern sowie des Mixtral-8×1B MoE-Modells.

Beschleunigung des Trainings: SIMREG beschleunigt die Trainingskonvergenz konsistent. Bei LLaMA-Modellen wird eine Beschleunigung von über 30% (bis zu 38% bei 7B-Modellen) erreicht, um das gleiche Cross-Entropy-Verlustniveau wie die Baseline zu erreichen.
Downstream-Leistung: Die Methode verbessert die durchschnittliche Zero-Shot-Leistung bei Downstream-Aufgaben um über 1% über Standard-Benchmarks hinweg (z. B. +1,14% bei LLaMA-1,3B, +1,22% bei LLaMA-7B).
Trennbarkeit der Embeddings: Analysen zeigen, dass Cross-Entropy allein zu einem durchschnittlichen Inter-Klassen-Winkel von ca. 61,3 Grad führt, während die Hinzunahme von SIMREG diesen Winkel auf ungefähr 74 Grad erhöht, was auf eine signifikant bessere Merkmalstrennbarkeit hinweist.
Effizienz: Der vollständige SIMREG-Verlust führt zu einem Anstieg der Laufzeit von weniger als 2% und einer GPU-Speichernutzung von unter 1%. Die chunk-weise Variante ist nahezu ressourcenneutral.
Hyperparameter-Empfindlichkeit: Die Methode ist robust über einen weiten Bereich von Hyperparametern hinweg. Die optimale Temperatur $\tau$ liegt stabil bei 0,01, während $\lambda$ effektiv mit der Embedding-Dimension des Modells skaliert (annähernd proportional zu $\sqrt{d}$ ).

6. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SIMREG eine einfache, aber breit anwendbare Strategie bietet, um die Effizienz und Generalisierung des LLM-Pretrainings zu verbessern. Durch die explizite Erzwingung von Embedding-Konsistenz überwindet es die Stagnation des Repräsentationslernens, die beim Standard-Cross-Entropy-Training beobachtet wird. Die Autoren positionieren diese Arbeit als praktischen Fortschritt, der minimale zusätzliche Rechenkosten erfordert, während er erhebliche Gewinne sowohl bei der Trainingsgeschwindigkeit als auch bei der Leistung in Downstream-Aufgaben liefert. Sie betonen, dass Konsistenzregularisierung, die bisher hauptsächlich im Fine-Tuning oder in kleineren Maßstäben untersucht wurde, hochwirksam ist, wenn sie auf die Pretraining-Phase großskaliger Modelle erweitert wird.