Seq vs Seq: An Open Suite of Paired Encoders and Decoders

Questo lavoro introduce la suite Ettin, un insieme open-source di modelli encoder-only e decoder-only accoppiati e addestrati con la stessa ricetta su dati massicci, che dimostra come le architetture specializzate superino i modelli adattati incrociatamente per compiti specifici, fornendo allo stesso tempo un dataset completo di checkpoint e dati per la ricerca futura.

L'essenziale

Ecco una spiegazione semplice e creativa del paper "SEQ VS SEQ", immaginata come una storia di due gemelli con talenti diversi.

🧠 La Storia dei Gemelli ETTIN: Due Modi di Pensare

Immagina un laboratorio di intelligenza artificiale dove gli scienziati hanno creato due gemelli, chiamati Ettin (dal nome di un gigante norreno a due teste). Questi gemelli sono identici in tutto: hanno lo stesso DNA (architettura), mangiano lo stesso cibo (gli stessi dati di addestramento) e crescono insieme.

Tuttavia, c'è una differenza fondamentale nel modo in cui vengono "addestrati" a pensare:

1. Il Gemello "Encoder" (Il Lettore Attento):

   • Come pensa: Legge una frase da sinistra a destra e da destra a sinistra contemporaneamente. È come se avesse gli occhi su entrambi i lati della testa.
   • Il suo superpotere: È un analista. Quando legge "Il cane ha abbaiato perché...", capisce subito il contesto completo. È bravissimo a rispondere a domande di tipo "Vero o Falso", a classificare testi o a cercare informazioni specifiche in un archivio.
   • La sua debolezza: Non è molto bravo a scrivere storie lunghe e creative da solo. Se gli chiedi di inventare una fiaba, si blocca.

2. Il Gemello "Decoder" (Lo Scrittore Creativo):

   • Come pensa: Legge solo da sinistra a destra, parola per parola, come se stesse scrivendo un libro riga dopo riga. Non può guardare il futuro (le parole successive) mentre scrive.
   • Il suo superpotere: È un creativo. È eccellente a scrivere storie, a rispondere a chat, a generare codice e a inventare contenuti nuovi.
   • La sua debolezza: Se gli chiedi di analizzare un testo complesso per capire se è positivo o negativo, fatica un po' di più rispetto al suo fratello gemello.

🏆 La Sfida: Chi è il migliore?

Per anni, la comunità scientifica ha pensato che il "Gemello Scrittore" (Decoder) fosse superiore a tutto. Si pensava che, se lo si allenava abbastanza, potesse fare anche il lavoro del "Gemello Analista" (Encoder).

In questo studio, gli autori hanno fatto un esperimento unico: hanno creato 10 modelli (dalle dimensioni di un piccolo uccellino fino a un elefante) e li hanno allenati con la stessa ricetta perfetta.

Cosa hanno scoperto?

1. Ognuno è il re del suo regno:

   • Se vuoi cercare informazioni o classificare (es. "Questa recensione è positiva?"), il Gemello Encoder vince sempre, anche se è più piccolo. È come chiedere a un bibliotecario esperto di trovare un libro specifico: lo trova subito.
   • Se vuoi scrivere o generare (es. "Scrivi una poesia"), il Gemello Decoder vince sempre. È come chiedere a un poeta: lui sa creare, il bibliotecario no.

2. Il trucco non funziona (Il "Cambio di Ruolo"):

   • Molti pensavano: "E se prendiamo il Gemello Scrittore e lo forziamo a fare l'Analista per un po'?"
   • Gli scienziati hanno provato: hanno preso il Decoder e lo hanno fatto studiare ancora per un po' con il metodo dell'Encoder.
   • Risultato: È come se un calciatore professionista provasse a diventare un arbitro dopo aver giocato per 10 anni. Può imparare le regole, ma non diventerà mai un arbitro migliore di uno nato e cresciuto come tale. Il Decoder "trasformato" è sempre peggio del Decoder originale e molto peggio dell'Encoder nato per quello scopo.

🎯 Perché è importante? (Le Analogie)

• L'Analogia dell'Atleta:
  Immagina di voler vincere le Olimpiadi.

  • Se vuoi vincere i 100 metri piani (generazione di testo), ti serve un sprinter (Decoder).
  • Se vuoi vincere la ginnastica ritmica (classificazione/retrieval), ti serve un ginnasta (Encoder).
  • Il paper ci dice: "Non provare a trasformare lo sprinter in un ginnasta facendogli fare solo un po' di allenamento extra. È meglio assumere un ginnasta professionista fin dall'inizio."

• L'Analogia della Cucina:

  • L'Encoder è come un sommelier: sa analizzare un vino, dire da dove viene, se è buono e abbinarlo al cibo perfetto.
  • Lo Decoder è come uno chef stellato: sa creare piatti nuovi, mescolare ingredienti e sorprendere il palato.
  • Se chiedi allo chef di fare il sommelier, potrebbe farlo, ma non sarà mai bravo quanto un sommelier nato. E se chiedi al sommelier di cucinare, il risultato sarà disastroso.

💡 La Conclusione Semplice

Questo studio ci insegna che non esiste un coltellino svizzero perfetto per l'intelligenza artificiale.

• Se hai bisogno di capire, cercare o classificare informazioni, usa un modello Encoder.
• Se hai bisogno di creare, scrivere o conversare, usa un modello Decoder.

Non sprecare tempo e risorse cercando di trasformare un modello nell'altro: è meglio scegliere lo strumento giusto per il lavoro giusto fin dall'inizio. Inoltre, gli autori hanno reso tutto gratuito e aperto, dando a tutti la ricetta per cucinare questi "gemelli" a casa propria.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "SEQ VS SEQ: AN OPEN SUITE OF PAIRED ENCODERS AND DECODERS", presentato come articolo di conferenza all'ICLR 2026.

1. Il Problema

La comunità dei Large Language Model (LLM) si è concentrata quasi esclusivamente sui modelli decoder-only (stile GPT) per la generazione di testo, mentre una vasta fetta della comunità continua a utilizzare modelli encoder-only (stile BERT) per compiti di classificazione e recupero (retrieval).
Esiste un divario significativo nello sviluppo tra queste due architetture:

• I lavori precedenti che tentano di confrontarle lo fanno utilizzando modelli non comparabili: diverse dimensioni di parametri, tecniche di addestramento, dataset e obiettivi di pre-training.
• C'è una percezione diffusa che i decoder possano essere adattati facilmente a compiti tipicamente encoder (tramite continued pre-training o cross-objective training), rendendo superfluo lo sviluppo di encoder dedicati.
• Manca un benchmark "mela con mela" (apples-to-apples) che isoli l'impatto dell'architettura (encoder vs decoder) e dell'obiettivo di addestramento (MLM vs CLM) mantenendo costanti tutti gli altri fattori.

2. Metodologia

Gli autori hanno introdotto la suite ETTIN, un insieme di modelli open-source progettati per colmare questo divario.

• Suite ETTIN: Comprende 10 modelli (5 coppie encoder/decoder) con dimensioni che vanno da 17 milioni a 1 miliardo di parametri.
• Addestramento Uniforme:
  • Dati: Tutti i modelli sono addestrati sugli stessi dati open-source (un mix di DCLM e Dolma v1.7), replicando il processo di ModernBERT ma con dati pubblici.
  • Ricetta: Vengono utilizzati gli stessi iperparametri, la stessa architettura di base (ispirata a MobileLLM per modelli piccoli e larghi) e la stessa fase di addestramento (Pre-training, Mid-training, Decay).
  • Differenze Chiave: L'unica differenza tra le coppie è l'obiettivo e il pattern di attenzione:
    • Encoder: Attenzione bidirezionale + Masked Language Modeling (MLM).
    • Decoder: Attenzione causale + Causal Language Modeling (CLM).
• Cross-Objective Training: Per testare l'ipotesi di adattamento, gli autori hanno eseguito un addestramento continuo incrociato:
  • Pre-training di un decoder finale con obiettivo MLM (per trasformarlo in encoder).
  • Pre-training di un encoder finale con obiettivo CLM (per trasformarlo in decoder).
  • Questo è stato fatto per 50 miliardi di token su dati di alta qualità, simulando scenari reali di adattamento.
• Open Science: Vengono rilasciati tutti gli artefatti, inclusi i dati di addestramento, l'ordine dei batch segmentati per checkpoint e oltre 200 checkpoint di modelli, permettendo analisi granulari su come i modelli apprendono.

3. Contributi Chiave

1. Prima Suite Comparativa Fair: La prima collezione di modelli encoder-only e decoder-only addestrati con la stessa ricetta e gli stessi dati, permettendo un confronto diretto e rigoroso.
2. Nuovi SOTA Open-Data: I modelli ETTIN raggiungono prestazioni State-of-the-Art (SOTA) per la loro dimensione tra i modelli open-data, superando ModernBERT (per gli encoder) e Llama 3.2/SmolLM2 (per i decoder) nelle rispettive categorie.
3. Replicazione Open di ModernBERT: Forniscono la prima replica open-data del processo di addestramento di ModernBERT, consentendo alla comunità di costruire sopra questa ricetta.
4. Analisi dell'Adattamento Incrociato: Dimostrano empiricamente che l'adattamento di un decoder a compiti di encoder (e viceversa) tramite continued pre-training è inferiore rispetto all'uso di un modello nativo con l'obiettivo corretto.
5. Studio sui Bias: Utilizzano la suite per analizzare come gli obiettivi di addestramento influenzino l'apprendimento dei bias di genere, mostrando differenze sistematiche tra encoder e decoder.

4. Risultati Principali

Prestazioni per Compito

• Classificazione e Retrieval (Compiti Encoder): Gli encoder nativi dominano nettamente.
  • Su MNLI (classificazione), un encoder da 400M supera un decoder da 1B (anche se quest'ultimo è stato adattato con MLM).
  • Su MS MARCO (retrieval), gli encoder mantengono un vantaggio significativo. Anche l'adattamento del decoder con 50B token aggiuntivi non riesce a colmare il divario con un encoder nativo di dimensioni inferiori.
• Generazione (Compiti Decoder): I decoder nativi eccellono.
  • Su compiti generativi (es. HellaSwag, TriviaQA), i decoder superano gli encoder.
  • L'adattamento di un encoder a decoder (Dec-from-Enc) scala male: le prestazioni peggiorano all'aumentare delle dimensioni, suggerendo che l'architettura encoder non è adatta alla generazione sequenziale anche con addestramento aggiuntivo.

Confronto Dimensionale

• Un modello encoder di dimensioni ridotte (es. 150M) spesso supera un decoder di dimensioni molto maggiori (es. 400M) nei compiti di classificazione.
• L'adattamento incrociato non è una soluzione efficace: un decoder addestrato come encoder non raggiunge mai le prestazioni di un encoder nativo della stessa dimensione, e viceversa.

Analisi del Bias di Genere

• Utilizzando il benchmark WinoGender, gli autori hanno scoperto che:
  • Gli encoder tendono a scegliere più frequentemente pronomi neutri rispetto ai decoder.
  • Entrambe le architetture mostrano un bias verso i pronomi maschili, ma il decoder sembra più incline a questo bias rispetto all'encoder.
  • Questo dimostra che l'obiettivo di addestramento (MLM vs CLM) influenza non solo le prestazioni, ma anche la rappresentazione semantica e i bias interni del modello.

5. Significato e Implicazioni

Il lavoro di ETTIN ha diverse implicazioni fondamentali per la ricerca e l'applicazione pratica:

1. Rilevanza degli Encoder: Nonostante la popolarità dei decoder, gli encoder rimangono superiori per compiti di classificazione e retrieval, specialmente in scenari con risorse limitate (modelli piccoli). L'idea che i decoder possano sostituire completamente gli encoder tramite adattamento è smentita dai dati.
2. Efficienza delle Risorse: Per applicazioni come il retrieval o la classificazione, addestrare un encoder nativo è più efficiente ed efficace che tentare di adattare un grande decoder pre-addestrato.
3. Trasparenza e Riproducibilità: La disponibilità di dati, ordini di batch e checkpoint permette alla comunità di studiare come i modelli apprendono (es. effetti della qualità dei dati, bias, scaling), andando oltre la semplice valutazione delle prestazioni finali.
4. Futuro della Ricerca: La suite fornisce una base solida per future ricerche sull'impatto degli obiettivi di pre-training, sull'analisi dei bias e sullo sviluppo di modelli ibridi o specializzati.

In sintesi, il paper conferma che l'architettura e l'obiettivo di addestramento sono fondamentali: non esiste un "modello universale" che possa essere adattato perfettamente a tutti i compiti senza perdite significative di prestazioni rispetto a un modello nativo ottimizzato per quello specifico scopo.