💬 NLP

Sequence Repetition Enhances Token Embeddings and Improves Sequence Labeling with Decoder-only Language Models

Diese Arbeit zeigt, dass Sequenzrepetition, eine weniger invasive Alternative zur Entfernung der kausalen Maskierung, Decoder-only-Sprachmodellen effektiv ermöglicht, bidirektionalen Kontext für Sequenzklassifizierungsaufgaben zu nutzen, was im Vergleich zu sowohl Encoder-only-Modellen als auch unmaskierten Decodern überlegene Token-Embeddings und Leistungen liefert, während die Effizienz durch die Verwendung von Repräsentationen intermediärer Schichten gewahrt bleibt.

Ursprüngliche Autoren: Matija Luka Kukić, Marko Čuljak, David Dukić, Martin Tutek, Jan Šnajder

Veröffentlicht 2026-01-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Matija Luka Kukić, Marko Čuljak, David Dukić, Martin Tutek, Jan Šnajder

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Einbahnstraße“ vs. die „Zwei-Wege-Straße“

Stellen Sie sich vor, Sie versuchen, einen Satz zu verstehen.

Encoder-only-Modelle (wie BERT) sind wie eine Person, die ein Buch liest und dabei sowohl vorwärts als auch rückwärts schauen kann. Sie können das Wort vor und das Wort nach dem aktuellen Wort sehen, um die Bedeutung eines spezifischen Wortes zu verstehen. Das ist großartig für Aufgaben, bei denen man jedes einzelne Wort klassifizieren muss (wie das Finden von Namen von Personen oder Orten).
Decoder-only-Modelle (wie die, die Chatbots antreiben) sind wie eine Person, die ein Buch liest, aber nur nach vorne schauen darf. Sie können nur sehen, was nach dem aktuellen Wort kommt. Sie sind darauf ausgelegt, das nächste Wort vorherzusagen, und nicht darauf, den ganzen Satz auf einmal zu analysieren.

Aufgrund dieser Einschränkung durch die „Einbahnstraße“ waren Decoder-only-Modelle historisch gesehen schlechter darin, jedes Wort in einem Satz zu klassifizieren, als die „Zwei-Wege-Straßen“-Modelle.

Die alte Lösung: Die Regeln brechen

Um dies zu beheben, versuchten Forscher einen „Vorschlaghammer“-Ansatz: Sie entfernten physisch die Regel, die das Modell daran hindert, rückwärts zu schauen. Sie verwandelten die „Einbahnstraße“ in eine „Zwei-Wege-Straße“, indem sie die interne Architektur des Modells änderten.

Der Nachteil: Das ist so, als würde man den Motor eines Autos umbauen, nur damit es rückwärts fahren kann. Es ist kompliziert, invasiv und erfordert viel Re-Engineering.

Die neue Lösung: „Sequenz-Repetition“ (Die Echokammer)

Die Autoren dieser Arbeit fanden einen viel einfacheren Trick, der „ohne Werkzeuge auskommt“. Anstatt den Motor des Modells zu ändern, wiederholten sie einfach den Satz, bevor sie ihn dem Modell einspeisten.

Die Analogie:
Stellen Sie sich vor, Sie versuchen das Wort „Bank“ im Satz zu verstehen: „Ich ging zum Flussufer.“ (Im Englischen: "I went to the river bank.")

Normaler Decoder: Er sieht „Ich ging zum Fluss...“ und muss „Bank“ basierend auf dem vorangegangenen Text erraten. Er könnte an eine Geldbank denken.
Sequenz-Repetition: Sie füttern das Modell mit: „Ich ging zum Flussufer. Ich ging zum Flussufer. Ich ging zum Flussufer.“

Wenn das Modell die zweite oder dritte Kopie des Satzes verarbeitet, hat es das Wort „Fluss“ in der vorherigen Kopie bereits „gesehen“. Obwohl das Modell technisch gesehen immer noch nur nach „vorne“ schauen darf, täuscht die Wiederholung das Modell dazu, den gesamten Kontext zu sehen. Es ist wie ein Echo, das es einem ermöglicht, den Anfang des Satzes zu hören, während man das Ende liert.

Was sie herausgefunden haben

1. Mehr Wiederholungen = Besseres Verständnis
Frühere Studien deuteten darauf hin, dass eine einmalige Wiederholung des Satzes ausreicht und mehr Wiederholungen nicht helfen würden. Die Autoren fanden das Gegenteil für Aufgaben auf Wortebene heraus.

Das Ergebnis: Den Satz 2, 4 oder sogar 8 Mal zu wiederholen, machte das Modell tatsächlich klüger beim Klassifizieren von Wörtern.
Warum? Jede Wiederholung gibt dem Modell eine weitere „Chance“, die Information zu verarbeiten. Es ist wie das dreimalige Lesen eines schwierigen Absatzes; beim dritten Mal versteht man die Nuancen viel besser.

2. Es schlägt die „Zwei-Wege-Straßen“-Modelle
Überraschenderweise führte die Verwendung dieses Repetitions-Tricks bei Decoder-only-Modellen dazu, dass sie besser abschnitten als die traditionellen „Zwei-Wege-Straßen“-Modelle (Encoder) und sogar besser als die Modelle, bei denen die rückwärts gerichtete Regel manuell entfernt wurde.

Das Resultat: Der einfache Trick der Textwiederholung funktionierte besser als die komplexen architektonischen Änderungen.

3. Der „Early Exit“-Trick (Zeit und Geld sparen)
Das Wiederholen des Textes macht den Input länger, was den Computer verlangsamt und die Kosten für den Betrieb erhöht.

Die Lösung: Die Autoren entdeckten, dass das Modell nicht den gesamten wiederholten Text lesen muss, um eine gute Antwort zu erhalten. Sie fanden heraus, dass das Stoppen des Modells mitten durch seine Schichten (ein „Early Exit“) immer noch hochwertige Ergebnisse lieferte.
Die Analogie: Es ist wie das Lesen eines Buches, um einen Handlungspunkt zu verstehen. Man muss nicht immer die letzte Seite lesen; manchmal reicht es, bis zur Mitte des Buches zu lesen, um den Kern der Sache zu erfassen, und man spart Zeit.
Der Vorteil: Sie konnten die gleiche hohe Leistung wie das volle Modell erzielen, aber es 1,4-mal schneller (oder in einigen Fällen sogar 4-mal schneller) berechnen, indem sie frühzeitig stoppten.

Zusammenfassung der Kernaussage

Die Arbeit beweist, dass man ein Decoder-only-Sprachmodell nicht umbauen muss, um es gut im Klassifizieren von Wörtern zu machen. Man muss lediglich den Input-Text wiederholen.

Einfach: Keine Code-Änderungen am „Gehirn“ des Modells.
Effektiv: Es erschafft eine „künstliche“ Zwei-Wege-Straße, die besser funktioniert als das Original.
Effizient: Durch das frühzeitige Stoppen des Modells bleibt es schnell und kostengünstig.

Die Autoren kommen zu dem Schluss, dass diese einfache Methode der „Repetition“ ein mächtiges, praktisches Werkzeug ist, das moderne KI-Modelle vielseitiger macht, ohne dass komplexes Engineering erforderlich ist.

Technische Zusammenfassung: Sequenzrepetition verbessert Token-Embeddings und optimiert die Sequenzklassifizierung mit Decoder-only-Sprachmodellen

Problemstellung
Moderne Decoder-only-Large-Language-Models (LLMs) werden autoregressiv trainiert und sind durch eine kausale Maske nur auf das Präfix einer Sequenz konditioniert. Diese unirektionale Architektur steht im Gegensatz zu Aufgaben der Sequenzklassifizierung (Sequence Labeling, SL) (z. B. Named Entity Recognition, Slot Labeling), die von Natur aus von bidirektionalem Kontext profitieren, um Labels für einzelne Token zuzuweisen. Historisch gesehen stützte sich SL auf Encoder-only-Modelle (z. B. BERT, RoBERTa), die nativ bidirektionale Aufmerksamkeit unterstützen. Während Decoder-only-Modelle zwar überlegene Skalierungsfähigkeiten gezeigt haben, erfordert die Anpassung dieser an SL-Aufgaben typischerweise invasive architektonische Änderungen, wie das vollständige oder selektive Entfernen der kausalen Maske (CM). Solche Modifikationen verändern die Grundfunktionalität des Modells und erfordern erheblichen Re-Engineering-Aufwand. Darüber hinaus wurde die Wirksamkeit von Eingangssequenz-Repetition (Sequence Repetition, SR) zur Verbesserung von Sequenz-Repräsentationen zwar bereits untersucht, ihre Effektivität für Token-Level-Embeddings und die SL-Performance bleibt jedoch weitgehend unerforscht.

Methodik
Die Autoren schlagen Sequence Repetition (SR) als nicht-invasive Alternative vor, um Bidirektionalität in Decoder-only-Modellen ohne Änderung ihrer Kernarchitektur zu ermöglichen.

Mechanismus: Die Eingangssequenz $s$ wird $r$ -mal wiederholt, um eine neue Sequenz $s_k$ der Länge $k \cdot n$ zu bilden (wobei $k = r+1$ ). Aufgrund der kausalen Maske können Token in späteren Repetitionen auf alle Token in vorangegangenen Repetitionen aufmerksam nehmen. Eine theoretische Analyse der Attention-Gewichtsmatrix zeigt, dass mit steigendem $k$ der Anteil der voll-bidirektionalen Attention-Blöcke gegen 1 geht, was es dem Modell effektiv ermöglicht, Token mit vollem Kontext zu verarbeiten.
Experimentelles Setup: Die Studie evaluiert SR über sieben Decoder-only-Modelle (Gemma-7B, Gemma2-2B/9B, Qwen3-1.7B/4B/8B, Mistral-7B) und vier SL-Datensätze (CoNLL03, SemEval-2014 Rest14, NLU++, ACE05).
Baselines: Die Performance wird verglichen mit:
1. Masked Decoder: Standard-Fine-Tuning ohne Repetitionen ( $r=0$ ).
2. Full Unmasking: Vollständiges Entfernen der kausalen Maske.
3. Middle Unmasking: Entfernen der kausalen Maske nur aus den mittleren $N/3$ Schichten (eine parametereffiziente Adaptionsstrategie).
4. Encoder-only Modelle: RoBERTa und ModernBERT.
Effizienzstrategie: Um die Rechenkosten durch die erhöhte Sequenzlänge zu mildern, nutzen die Autoren Early Exiting, indem sie Embeddings aus intermediären Schichten ( $L \in \{9, 14, 19, 24\}$ ) statt aus der finalen Schicht extrahieren.

Zentrale Beiträge

Wirksamkeit von SR für Token-Level-Aufgaben: Die Arbeit zeigt, dass SR eine einfache, praktische Strategie ist, die inhärent Bidirektionalität in Decoder-only-Modellen ermöglicht. SR liefert Token-Level-Embeddings, die sowohl starke Encoder-only-Modelle als auch unmasked Decoder über mehrere SL-Benchmarks hinweg übertreffen.
Vorteil mehrerer Repetitionen: Im Gegensatz zu bisherigen Erkenntnissen bei Sequenz-Level-Aufgaben, bei denen zusätzliche Repetitionen abnehmende Erträge oder Verschlechterungen brachten, stellt diese Arbeit fest, dass eine Erhöhung der Anzahl der Repetitionen ( $r > 1$ ) die SL-Performance konsistent verbessert. Die Autoren hypothetisieren, dass zusätzliche Repetitionen die effektive Verarbeitungskapazität des Modells für jeden Token erhöhen.
Effizienz durch Early Exiting: Die Studie zeigt, dass die Extraktion von Embeddings aus intermediären Schichten (speziell Schichten 19 und 24 eines 32-Schicht-Modells) in Kombination mit SR eine Performance erreicht, die mit finalen Layer-Embeddings vergleichbar ist, während der Rechenaufwand signifikant reduziert wird (bis zu $1,39\times$ effizienter).

Ergebnisse

Performance-Gewinne: SR-Modelle erzielen konsistent die höchsten Micro-F1-Scores. Beispielsweise erreichte Mistral-7B mit SR ( $r=4$ ) einen Durchschnittswert von 83,79 % und übertraf damit Middle Unmasking (83,35 %) und Full Unmasking (83,34 %). SR übertraf zudem die Encoder-only-Baselines (RoBERTa: 78,53 %, ModernBERT: 76,08 %).
Repetitionsanzahl: Die Performance verbessert sich generell, wenn $r$ von 0 auf 4 oder 8 steigt. Während kleinere Modelle (z. B. Gemma2-2B) eine Sättigung der Performance oder leichte Rückgänge nach $r=2$ oder $r=4$ zeigten, profitierten größere Modelle (z. B. Mistral-7B, Qwen3-8B) weiterhin von höheren Repetitionszahlen.
Stabilität: SR verbesserte nicht nur die mittlere Performance, sondern reduzierte auch die Varianz (Standardabweichung) der Ergebnisse im Vergleich zu Unmasking-Strategien.
Early Exiting: Embeddings aus Schicht $L=14$ oder höher entsprachen in mehreren Fällen der Performance des finalen Layers ( $L=32$ ) oder übertrafen diese sogar, was die Nutzung intermediärer Schichten für Effizienz ohne Qualitätsverlust validiert.
Modellgröße: Selbst kleinere Decoder-only-Modelle (z. B. Qwen3-0.34B via Early Exiting), die mit SR trainiert wurden, schnitten auf einem Niveau mit oder besser als der 0,35B-Parameter starke RoBERTa ab, was darauf hindeutet, dass SR es kleineren Decodern ermöglicht, mit spezialisierten Encodern zu konkurrieren.

Bedeutung und Behauptungen
Das Paper behauptet, dass Sequence Repetition die strukturellen Einschränkungen von Decoder-only-Modellen abmildert und es ihnen ermöglicht, effektiv auf inhärent bidirektionalen Token-Level-Aufgaben zu arbeiten, ohne die Architektur zu modifizieren. Die Autoren positionieren SR als eine effizientere und anpassungsfähigere Alternative zum Entfernen der kausalen Maske und erweitern damit die Anwendbarkeit von Decoder-only-LMs auf Aufgaben, die zuvor von Encodern dominiert wurden. Die Ergebnisse unterstreichen, dass intermediäre Schichten entscheidend für Downstream-Aufgaben sind und dass eine Erhöhung der Repetitionszahlen die Verarbeitungskapazität steigern kann, anstatt die Performance zu verschlechtern, was bisherige Annahmen über Repetition in LMs infrage stellt. Die Arbeit legt nahe, dass SR ein günstiges Qualitäts-Effizienz-Verhältnis bietet, insbesondere in Kombination mit Early-Exiting-Strategien.