Seq vs Seq: An Open Suite of Paired Encoders and Decoders

Dit paper introduceert de open-source Ettin-suite, een reeks gepaarde encoder-only en decoder-only modellen die aantonen dat specifieke architecturen superieur zijn aan hun tegenhangers voor hun respectieve taken, zelfs na aanpassing via voortgezette training.

De kern

Hier is een uitleg van het paper "SEQ VS SEQ" in eenvoudig Nederlands, met behulp van creatieve metaforen.

De Grote Taalstrijd: De Lezer versus De Schrijver

Stel je voor dat je twee soorten super-intelligente robots hebt die taal leren. De wereld van kunstmatige intelligentie (AI) is de afgelopen jaren bijna volledig gefocust op één type robot: de Schrijver (in het Engels: Decoder).

• De Schrijver (Decoder): Deze robot is een meester in het schrijven van verhalen, het maken van gedichten en het beantwoorden van vragen. Hij denkt als een mens die een zin afmaakt: "Ik ga naar de..." en vult dan automatisch in: "...winkel". Omdat hij zo goed is in het genereren van tekst, gebruiken bijna iedereen deze robots.
• De Lezer (Encoder): Dit is de oudere broer. Hij is niet zo goed in het schrijven van nieuwe zinnen, maar hij is een meester in het begrijpen. Als je hem een tekst geeft, kan hij perfect zeggen of het positief of negatief is, of twee zinnen hetzelfde betekenen, of welke woorden in een tekst het belangrijkst zijn. Hij is als een super-snel lezend boekrecensent.

Het probleem: De meeste mensen denken nu dat de Schrijver zo goed is dat hij ook de Lezer kan vervangen. Ze proberen de Schrijver te trainen om ook te lezen en te begrijpen, maar dat werkt vaak niet optimaal.

Het Experiment: De "ETTIN" Twins

De onderzoekers van deze paper (uit Johns Hopkins University) wilden weten: Is de Schrijver echt beter dan de Lezer, of is het gewoon dat we de Lezer verwaarlozen?

Om dit eerlijk te testen, bouwden ze een nieuw team van robots genaamd ETTIN (vernoemd naar een Zweedse twee-koppige reus, wat symboliseert dat ze twee hoofden hebben: één voor lezen, één voor schrijven).

Ze maakten paarsgewijs identieke robots:

1. Een Lezer en een Schrijver met exact hetzelfde aantal "hersencellen" (parameters).
2. Ze leerden ze met exact hetzelfde schoolboek (dezelfde data).
3. Ze gebruikten exact dezelfde lesmethode (dezelfde training).

Het enige verschil? De opdracht:

• De Lezer mocht alleen zinnen "in" kijken (hij zag de hele zin tegelijk).
• De Schrijver mocht alleen zinnen "uit" schrijven (hij zag alleen wat er al geschreven was).

Ze bouwden robots van heel klein (zoals een hamster) tot groot (zoals een olifant), variërend van 17 miljoen tot 1 miljard parameters.

De Resultaten: Wie wint er?

De resultaten waren verrassend duidelijk en bevestigden wat we al vermoedden, maar met een belangrijke nuance:

1. Specialisten winnen altijd

• Bij het begrijpen (Klassificatie & Zoeken): De Lezer was een absolute kampioen. Hij was veel beter in het vinden van informatie in een tekst of het bepalen of een zin waar of onwaar was. Zelfs een kleine Lezer was beter dan een gigantische Schrijver die probeerde te lezen.
• Bij het schrijven (Genereren): De Schrijver was de onbetwiste koning. Hij kon creatiever en vloeiender tekst produceren.

2. De "Kruis-training" werkt niet
Veel mensen denken: "Als ik mijn Schrijver-robot een beetje laat oefenen met lezen, wordt hij dan ook een goede Lezer?"
De onderzoekers probeerden dit. Ze namen een Schrijver en trainden hem extra om te lezen (en andersom).

• Het resultaat: Het werkte niet goed. Het was alsof je een professionele voetballer probeert te trainen om een top-tennisser te worden. Hij wordt misschien iets beter, maar hij zal nooit de top-tennisser verslaan die zijn hele leven al tennis heeft gedaan.
• Een kleine, echte Lezer was veel beter in lees-taken dan een gigantische Schrijver die extra was getraind om te lezen.

3. De Grootte maakt het verschil
Bij het schrijven werd de Schrijver steeds beter naarmate hij groter werd. Maar bij het lezen bleef de Lezer de Schrijver verslaan, zelfs als de Schrijver veel groter was.

Waarom is dit belangrijk?

Vroeger dachten veel mensen: "We hoeven geen Lezers meer te bouwen, we kunnen gewoon onze grote Schrijvers gebruiken voor alles."

Dit paper zegt: "Nee, doe dat niet."

• Als je een app wilt bouwen die snel teksten moet scannen, sentiment analyseert of zoekt in duizenden documenten: Gebruik een Lezer. Het is sneller, goedkoper en beter.
• Als je een chatbot wilt die verhalen schrijft of code genereert: Gebruik een Schrijver.

De Conclusie in Eén Zin

De onderzoekers hebben laten zien dat specialisten beter zijn dan generalisten. Een robot die is gebouwd om te lezen, blijft de beste lezer, en een robot die is gebouwd om te schrijven, blijft de beste schrijver. Je kunt ze niet zomaar vervangen door de ander, hoe hard je ze ook traint.

Ze hebben al hun code, data en robots gratis beschikbaar gesteld, zodat iedereen dit kan controleren en erop kan bouwen. Het is als het openen van een fabriek waar je precies kunt zien hoe je de beste "Lezer" en de beste "Schrijver" bouwt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SEQ VS SEQ: AN OPEN SUITE OF PAIRED ENCODERS AND DECODERS", gepubliceerd bij ICLR 2026.

Probleemstelling

De Large Language Model (LLM) gemeenschap concentreert zich bijna uitsluitend op decoder-only modellen (zoals GPT-varianten) vanwege hun superioriteit in tekstgeneratie. Ondanks dit, blijven encoder-only modellen (zoals BERT-varianten) essentieel voor taken zoals classificatie, zoekopdrachten (retrieval) en embeddings.

Het huidige probleem is dat er geen eerlijke vergelijking mogelijk is tussen deze twee architecturen. Eerdere studies die encoder- en decoder-modellen vergeleken, deden dit met modellen die verschillende grootte (parameters), trainingsdata, architecturale details en trainingsrecepten gebruikten. Dit maakt het onmogelijk om te bepalen of prestatieverschillen te wijten zijn aan de architectuur zelf of aan andere factoren. Daarnaast wordt vaak aangenomen dat decoder-modellen kunnen worden aangepast voor encoder-taken (en vice versa) via continue training, maar dit is niet grondig onderzocht op schaal.

Methodologie: De ETTIN Suite

De auteurs introduceren ETTIN (vernoemd naar de Noorse twee-koppige reus), een open-source suite van gepaarde modellen die specifiek is ontworpen om een "apples-to-apples" vergelijking mogelijk te maken.

1. Gelijke Recepten: De kern van de methode is dat zowel de encoder-only als de decoder-only modellen worden getraind met exact dezelfde:
   • Data: Een mix van open datasets (DCLM, Dolma v1.7, Olmo-curated data), inclusief een gefilterde "decay phase" met hogere kwaliteit data.
   • Architectuur: Dezelfde hyperparameters (aantal lagen, hidden size, attention heads) voor elke modelgrootte. Het enige verschil is de attentie-mechanisme (bidirectioneel voor encoders, causaal voor decoders) en het trainingsdoel.
   • Training: Een drie-fasen proces:
     • Base Pre-training: 1,7 biljoen tokens.
     • Mid-training/Context Extension: 250 miljard tokens met langere context (tot 8000 tokens) en gefilterde data.
     • Decay Phase: 50 miljard tokens met nog hogere kwaliteit data.
2. Modelgrootte: De suite bevat 10 modellen (5 paren) variërend van 17 miljoen tot 1 miljard parameters.
3. Cross-Objective Training: De auteurs testen of het mogelijk is om een decoder te "converseren" naar een encoder (door Masked Language Modeling, MLM, toe te passen) en vice versa. Ze trainen deze modellen 50 miljard tokens verder met het omgekeerde doel (bijv. een decoder trainen met MLM).
4. Open Science: Alle artefacten zijn openbaar, inclusief de exacte volgorde van de trainingsdata per checkpoint (200+ checkpoints per model), wat diepgaande analyse van het leerproces mogelijk maakt.

Belangrijkste Bijdragen

• Eerste Eerlijke Vergelijking: De eerste suite van open-data modellen die encoders en decoders vergelijkt met identieke trainingscondities en schaal.
• State-of-the-Art (SOTA) Prestaties: De ETTIN-modellen behalen SOTA-prestaties voor hun grootte binnen hun respectievelijke categorieën, zelfs zonder distillatie. Ze verslaan ModernBERT (encoder) en Llama 3.2/SmolLM2 (decoder) in hun specifieke domeinen.
• Replicatie van ModernBERT: De paper biedt de eerste open-data replicatie van de ModernBERT-recept, wat de gemeenschap in staat stelt om hierop te bouwen.
• Analyse van Cross-Objective Training: Een grondig onderzoek naar de effectiviteit van het aanpassen van modellen aan een niet-natuurlijk trainingsdoel.

Resultaten

1. Architecturale Superioriteit:

   • Encoders excelleren duidelijk in classificatie (bijv. MNLI) en retrieval (bijv. MS MARCO). Een 400M encoder presteert beter dan een 1B decoder op MNLI.
   • Decoders excelleren duidelijk in generatieve taken (bijv. HellaSwag, TriviaQA). Een 1B decoder presteert aanzienlijk beter dan een 1B encoder op generatieve taken.
   • Conclusie: De voorkeur voor een specifieke architectuur blijft bestaan, ongeacht de modelgrootte.

2. Grenzen van Cross-Objective Training:

   • Het aanpassen van een decoder naar een encoder (door MLM toe te passen) of vice versa, resulteert in suboptimale prestaties vergeleken met een model dat vanaf het begin met het juiste doel is getraind.
   • Zelfs na 50 miljard tokens aan extra training (cross-objective) kan een decoder niet de prestaties van een native encoder halen op classificatie-taken.
   • Omgekeerd presteert een "decoder-from-encoder" slecht op generatieve taken, vooral naarmate het model groter wordt (schaalprobleem).

3. Bias Analyse (Case Study):

   • De auteurs analyseren genderbias (WinoGender dataset). Ze vinden dat MLM-objectieven (encoders) leiden tot meer gebruik van genderneutrale voornaamwoorden dan CLM-objectieven (decoders).
   • Beide architecturen vertonen echter nog steeds een bias naar mannelijke voornaamwoorden, hoewel dit verschilt per grootte en trainingsdoel.

Significantie en Impact

Deze paper is van groot belang voor de AI-gemeenschap omdat het:

• Mythes doorbreekt: Het weerlegt het idee dat decoder-modellen eenvoudig kunnen worden omgebouwd tot hoogwaardige encoders voor classificatie of retrieval. Voor deze taken blijft het trainen van native encoders (of het gebruik van zeer grote decoders die al op leaderboards staan) de beste route, maar native encoders zijn superieur op hun eigen schaal.
• Richtinggeeft voor toekomstig onderzoek: Het biedt een solide basis voor het bestuderen van hoe trainingsdoelen (MLM vs. CLM) het leren van modellen beïnvloeden, inclusief aspecten als bias, kennisverwerving en data-efficiëntie.
• Openheid: Door het vrijgeven van de volledige trainingsdata-volgorde en checkpoints, stelt het onderzoekers in staat om het "black box" proces van LLM-training te analyseren en te repliceren, wat een grote stap is in de richting van transparante en reproduceerbare AI-onderzoek.

Kortom, de paper bevestigt dat hoewel decoders dominant zijn in generatie, encoders onmisbaar blijven voor specifieke NLP-taken, en dat het proberen te "converseren" tussen deze twee architecturen via continue training geen perfecte oplossing biedt.