Seq vs Seq: An Open Suite of Paired Encoders and Decoders

Die Studie stellt die Ettin-Suite vor, eine Open-Data-Sammlung von gepaarten Encoder- und Decoder-Modellen, die mit identischen Trainingsrezepten trainiert wurden und zeigen, dass spezialisierte Architekturen ihre jeweiligen Aufgaben (Klassifizierung/Retrieval vs. Generierung) deutlich besser bewältigen als durch Weitertraining adaptierte Modelle.

Das Wesentliche

Stell dir vor, du hast zwei verschiedene Arten von Super-Helfern im Bereich der künstlichen Intelligenz, die Texte verstehen und schreiben. Die Forscher nennen sie „Encoder" und „Decoder".

Bisher hat die ganze Welt fast nur die Decoder (die „Schreiber") benutzt, weil sie toll darin sind, Geschichten zu erfinden oder Chatbots zu sein. Die Encoder (die „Leser" oder „Analysten") wurden etwas vernachlässigt, obwohl sie eigentlich die Champions sind, wenn es darum geht, Texte zu verstehen, zu klassifizieren oder Informationen zu finden (wie bei einer Google-Suche).

Das Problem war bisher: Man konnte diese beiden nicht fair vergleichen. Es war, als würde man einen Formel-1-Rennwagen (Decoder) gegen einen alten, aber gut gewarteten Laster (Encoder) antreten lassen. Der Rennwagen ist schneller, aber der Laster ist vielleicht besser für schwere Fracht. Man wusste nicht, ob der Laster wirklich schlechter ist oder nur, weil er veraltet war.

Die Lösung: Das „ETTIN"-Experiment

Die Forscher der Johns Hopkins University haben sich etwas Cleveres ausgedacht. Sie haben eine neue Familie von Modellen namens ETTIN (benannt nach einem zweiköpfigen nordischen Riesen, passend für die zwei Modelle) erschaffen.

Die große Idee:
Stell dir vor, sie haben Zwillinge gebaut.

1. Zwilling A (Encoder): Ein Meister im Lesen und Verstehen.
2. Zwilling B (Decoder): Ein Meister im Schreiben und Erfinden.

Aber hier ist der Clou: Beide Zwillinge wurden mit exakt denselben Zutaten erzogen.

• Sie haben dieselbe Nahrung gegessen (dieselben Trainingsdaten aus dem Internet).
• Sie haben denselben Lehrer gehabt (denselben Trainingsplan).
• Sie haben dieselbe Größe und denselben Körperbau (gleiche Architektur), nur dass ihr Gehirn anders verschaltet ist.

Das ist wie ein riesiges wissenschaftliches Experiment, bei dem man endlich sagen kann: „Schau mal, wenn wir alles gleich machen, wer ist dann wirklich besser in welchem Job?"

Was haben sie herausgefunden?

Die Ergebnisse sind überraschend klar und bestätigen ein altes Wissen, aber mit einem wichtigen Twist:

1. Jeder ist in seinem Job der Beste

• Wenn du einen Text analysieren, eine Frage beantworten oder nach etwas Bestimmtem suchen musst (z. B. „Finde alle Artikel über Katzen"), ist der Encoder unschlagbar. Er ist wie ein brillanter Bibliothekar, der sofort weiß, wo das Buch steht.
• Wenn du einen kreativen Text schreiben, eine Geschichte fortsetzen oder einen Chatbot bauen willst, ist der Decoder der König. Er ist wie ein kreativer Schriftsteller.

2. Der „Jobwechsel" funktioniert nicht gut
Früher dachten viele: „Warum nicht einfach einen Decoder nehmen und ihn ein bisschen umschulen, damit er auch gut im Lesen ist?" (Oder umgekehrt).
Die Forscher haben genau das versucht. Sie haben den Decoder gezwungen, sich wie ein Encoder zu verhalten, und umgekehrt.
Das Ergebnis? Es war wie ein Frosch, der versucht, ein Flugzeug zu bauen. Es klappt nicht wirklich gut.

• Ein Decoder, der versucht, ein Encoder zu sein, ist immer noch schlechter als ein echter Encoder, selbst wenn man ihm mehr Daten gibt.
• Ein Encoder, der versucht, ein Decoder zu sein, ist immer noch schlechter als ein echter Decoder.

Die Moral der Geschichte: Es lohnt sich, den richtigen Spezialisten für den richtigen Job zu nehmen, statt zu versuchen, einen Generalisten zu erzwingen.

Warum ist das wichtig für uns?

• Fairer Vergleich: Jetzt wissen wir endlich, dass Encoder nicht „schlechter" sind, sondern nur für andere Aufgaben gemacht.
• Bessere KI für alle: Wenn du eine App brauchst, die schnell Texte durchsucht oder Fragen beantwortet, solltest du einen Encoder nutzen. Wenn du eine App brauchst, die Geschichten schreibt, nimm einen Decoder.
• Offene Welt: Die Forscher haben alle ihre Daten, ihre Rezepte und ihre Modelle kostenlos ins Internet gestellt. Das ist, als hätten sie nicht nur die Kuchen gebacken, sondern auch das Rezept und die Zutatenliste veröffentlicht, damit jeder nachbacken und weiterforschen kann.

Zusammenfassend:
Diese Studie sagt uns: „Hört auf, alle KI-Modelle als Alleskönner zu behandeln. Ein Hammer ist toll für Nägel, aber schlecht für Schrauben. Wir haben jetzt die besten Hämmer und Schraubenzieher gebaut, die man je gesehen hat, und zeigen euch genau, wofür man welches Werkzeug benutzt."

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „SEQ VS SEQ: AN OPEN SUITE OF PAIRED ENCODERS AND DECODERS" auf Deutsch:

1. Problemstellung

Die Large Language Model (LLM)-Community konzentriert sich fast ausschließlich auf Decoder-only-Modelle (GPT-ähnlich), da diese für Textgenerierung optimiert sind. Encoder-only-Modelle (BERT-ähnlich) werden zwar immer noch für Klassifizierungs- und Suchaufgaben (Retrieval) verwendet, leiden jedoch unter einem Mangel an neuer Entwicklung und veralteten Architekturen.

Bisherige Versuche, Encoder und Decoder zu vergleichen, waren methodisch fehlerhaft, da sie Modelle unterschiedlicher Größe, Architektur, Trainingsdaten und Trainingsrezepte gegenüberstellten. Es fehlte eine faire, „Apfel-zu-Apfel"-Vergleichsbasis, um die intrinsischen Stärken der beiden Architekturen bei gleicher Parametergröße und gleichem Datenumfang zu isolieren. Zudem ist unklar, ob Decoder-Modelle durch Nachtraining (Cross-Objective Training) effektiv für Encoder-Aufgaben adaptiert werden können.

2. Methodik: Das ETTIN-Suite

Die Autoren stellen ETTIN (benannt nach dem zweiköpfigen nordischen Riesen) vor, eine Suite von 10 Modellen (5 Paare), die speziell für diesen Vergleich entwickelt wurden.

• Architektur & Skalierung: Die Suite umfasst Modelle von 17 Millionen bis 1 Milliarde Parametern (Größenklassen: XXS, XS, S, Base, Large, XL).
• Identisches Training: Alle Modelle (sowohl Encoder als auch Decoder) wurden mit exakt demselben Trainingsrezept, denselben Daten und denselben Hyperparametern trainiert.
  • Der einzige Unterschied liegt in der Aufmerksamkeit (bidirektional für Encoder vs. kausal für Decoder) und dem Ziel (Masked Language Modeling - MLM für Encoder vs. Causal Language Modeling - CLM für Decoder).
• Daten: Es wurde eine Open-Data-Replikation des modernen Encoders „ModernBERT" erstellt. Die Daten stammen aus hochwertigen Quellen wie DCLM und Dolma (v1.7), unterteilt in drei Phasen:
  1. Base Pre-training: 1,7 Billionen Token (vielfältige Datenquellen).
  2. Mid-training / Context Extension: 250 Milliarden Token (gefilterte, hochwertigere Daten, längere Kontexte bis 8000 Token).
  3. Decay Phase: 50 Milliarden Token (sehr hochwertige Daten wie Bücher, Wikipedia, Lehrbücher).
• Cross-Objective Training: Um die Anpassungsfähigkeit zu testen, wurden finale Modelle weiter trainiert, aber mit dem gegenläufigen Ziel (Encoder mit CLM, Decoder mit MLM/MNTP). Dies geschah über 50 Milliarden Token.
• Reproduzierbarkeit: Alle Artefakte, einschließlich der Trainingsdaten, der genauen Reihenfolge der Datenbatches und über 200 Checkpoints pro Modell, wurden Open-Source veröffentlicht.

3. Wichtige Beiträge

1. Erste faire Vergleichsbasis: ETTIN ist die erste Suite, die Encoder und Decoder bei identischen Parametern, Daten und Rezepten vergleicht.
2. State-of-the-Art (SOTA) Leistung: Die Modelle erreichen SOTA-Leistung für ihre Größe im Open-Data-Bereich. Die Encoder schlagen ModernBERT, und die Decoder schlagen Llama 3.2 und SmolLM2 in ihrer jeweiligen Größenklasse.
3. Analyse von Cross-Objective Training: Das Paper liefert empirische Belege dafür, dass das Nachtrainieren eines Modells mit dem „falschen" Ziel (z. B. einen Decoder zu einem Encoder machen) ineffizient ist.
4. Bias-Analyse: Durch die offenen Daten wurde eine Fallstudie zu Geschlechterbias (WinoGender-Dataset) durchgeführt, die zeigt, wie sich die Trainingsziele auf die Vorhersage von Pronomen auswirken.

4. Ergebnisse

Leistung nach Aufgabe

• Encoder-only Modelle: Überlegen sich bei Klassifizierung (z. B. MNLI) und Retrieval (z. B. MS MARCO) deutlich. Ein 400M-Encoder erreicht auf MNLI eine höhere Genauigkeit als ein 1B-Decoder.
• Decoder-only Modelle: Überlegen sich bei generativen Aufgaben (z. B. ARC, HellaSwag, TriviaQA). Der Leistungsabstand zwischen Decoder und Encoder vergrößert sich mit der Modellgröße.
• Cross-Objective Training (Nachtraining):
  • Das Nachtrainieren eines Decoders mit MLM (um ihn als Encoder zu nutzen) führt zu einer Verbesserung, erreicht aber nicht das Niveau eines nativen Encoders, selbst bei 50B zusätzlichen Token.
  • Umgekehrt schneidet ein Encoder, der mit CLM nachtrainiert wurde, bei generativen Aufgaben schlechter ab als ein nativer Decoder.
  • Fazit: Die Architektur und das primäre Trainingsziel sind entscheidender als reine Skalierung oder Nachtraining. Ein 400M-Encoder ist MNLI-basiert besser als ein 1B-Decoder, und ein 1B-Decoder ist generativ besser als ein 400M-Encoder.

Bias-Analyse (Geschlecht)

• Encoder-Modelle neigen dazu, häufiger geschlechtsneutrale Pronomen zu verwenden als Decoder-Modelle.
• Beide Architekturen zeigen eine Tendenz zu männlichen Pronomen, wobei Decoder eine stärkere männliche Verzerrung aufweisen.
• Mit zunehmender Modellgröße nutzen Decoder mehr weibliche Pronomen, während Encoder eine stochastischere Verteilung zeigen.

5. Bedeutung und Implikationen

• Architekturwahl: Für Aufgaben wie Klassifizierung, Embeddings und Retrieval sind Encoder-only-Modelle auch bei kleineren Parametern überlegen gegenüber großen Decoder-Modellen. Die Annahme, dass Decoder durch Nachtraining alle Encoder-Aufgaben übernehmen können, wird widerlegt.
• Ressourceneffizienz: In Szenarien mit begrenzten Ressourcen (z. B. < 1B Parameter) lohnt es sich, spezialisierte Encoder zu trainieren, anstatt Decoder zu adaptieren.
• Forschung: Die Veröffentlichung der Trainingsdaten und Checkpoints ermöglicht zukünftige Forschungen zu Lernprozessen, Datenqualität und Bias in einem kontrollierten Setting.
• Leitplanken für Leaderboards: Da aktuelle Leaderboards (wie MTEB) oft von großen Decoder-Modellen dominiert werden, die mit MLM nachtrainiert wurden, deutet das Paper darauf hin, dass ein kleinerer, nativer Encoder (z. B. 3B Parameter) in der Praxis besser abschneiden könnte als ein 7B+ Decoder.

Zusammenfassend liefert das Paper den Beweis, dass Encoder und Decoder unterschiedliche Stärken haben, die nicht einfach durch Skalierung oder Cross-Objective Training ausgeglichen werden können, und stellt ein unverzichtbares Werkzeug für die faire Evaluierung von Sprachmodellen bereit.