💬 NLP

Sequence Repetition Enhances Token Embeddings and Improves Sequence Labeling with Decoder-only Language Models

Questo articolo dimostra che la ripetizione della sequenza, un'alternativa meno invasiva alla rimozione della maschera causale, consente efficacemente ai modelli linguistici decoder-only di sfruttare il contesto bidirezionale per i compiti di etichettatura delle sequenze, producendo embedding di token e prestazioni superiori rispetto sia ai modelli encoder-only che ai decoder non mascherati, pur rimanendo efficiente attraverso l'uso di rappresentazioni di strati intermedi.

Autori originali: Matija Luka Kukić, Marko Čuljak, David Dukić, Martin Tutek, Jan Šnajder

Pubblicato 2026-01-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Matija Luka Kukić, Marko Čuljak, David Dukić, Martin Tutek, Jan Šnajder

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: La "Strada a Senso Unico" vs. La "Strada a Doppio Senso"

Immaginate di cercare di capire una frase.

I modelli solo-encoder (come BERT) sono come una persona che legge un libro e può guardare sia avanti che indietro. Può vedere la parola prima e la parola dopo per capirne il significato. Questo è ottimo per i compiti in cui è necessario etichettare ogni singola parola (come trovare nomi di persone o luoghi).
I modelli solo-decoder (come quelli che alimentano i chatbot) sono come una persona che legge un libro e le è permesso di guardare solo in avanti. Possono vedere solo ciò che viene dopo l'attuale parola. Sono costruiti per predire la parola successiva, non per analizzare l'intera frase in un colpo solo.

A causa di questo limite della "strada a senso unico", i modelli solo-decoder storicamente sono stati peggiori nell'etichettare ogni parola di una frase rispetto ai modelli a "strada a doppio senso".

La Vecchia Soluzione: Rompere le Regole

Per risolvere il problema, i ricercatori hanno provato un approccio "a colpi di martello": hanno fisicamente rimosso la regola che impedisce al modello di guardare all'indietro. Hanno preso la "strada a senso unico" e l'hanno trasformata in una "strada a doppio senso" cambiando l'architettura interna del modello.

Il lato negativo: È come ricostruire il motore di un'auto solo per farla andare in retromarcia. È complicato, invasivo e richiede molta riprogettazione.

La Nuova Soluzione: "Ripetizione della Sequenza" (La Camera dell'Eco)

Gli autori di questo documento hanno trovato un trucco molto più semplice e che "non richiede attrezzi". Invece di cambiare il motore del modello, hanno semplicemente ripetuto la frase prima di darla in pasto al modello.

L'analogia:
Immaginate di cercare di capire la parola "Banca" nella frase: "Sono andato alla riva del fiume." (Nota: in inglese "bank" può significare sia banca che riva).

Decoder Normale: Vede "Sono andato alla riva del..." e deve indovinare "riva" basandosi solo su ciò che è venuto prima. Potrebbe pensare a una banca di denaro.
Ripetizione della Sequenza: Fornite al modello questo: "Sono andato alla riva del fiume. Sono andato alla riva del fiume. Sono andato alla riva del fiume."

Quando il modello sta elaborando la seconda o la terza copia della frase, ha già "visto" la parola "riva" nella copia precedente. Anche se il modello è tecnicamente ancora autorizzato a guardare solo "in avanti", la ripetizione lo inganna, permettendogli di vedere l'intero contesto. È come avere un'eco che ti permette di sentire l'inizio della frase mentre stai leggendo la fine.

Cosa hanno scoperto

1. Più Ripetizioni = Migliore Comprensione
Studi precedenti suggerivano che ripetere una frase una volta fosse sufficiente e che farlo di più non aiutasse. Gli autori hanno scoperto l'opposto per i compiti a livello di parola.

La Scoperta: Ripetere la frase 2, 4 o anche 8 volte ha effettivamente reso il modello più intelligente nell'etichettare le parole.
Perché? Ogni ripetizione dà al modello un'altra "opportunità" di elaborare l'informazione. È come leggere un paragrafo difficile tre volte; alla terza volta, si comprende la sfumatura molto meglio.

2. Supera i Modelli a "Doppio Senso"
Sorprendentemente, usare questo trucco della ripetizione sui modelli solo-decoder ha reso le loro prestazioni migliori dei tradizionali modelli a "doppio senso" (encoder) e persino migliori dei modelli in cui è stata rimossa manualmente la regola del guardare all'indietro.

Il Risultato: Il semplice trucco di ripetere il testo ha funzionato meglio dei complessi cambiamenti architettonici.

3. Il Trucco dell' "Uscita Anticipata" (Risparmiare Tempo e Denaro)
Ripetere il testo rende l'input più lungo, il che rallenta il computer e costa più denaro per l'esecuzione.

La Soluzione: Gli autori hanno scoperto che il modello non ha bisogno di finire di leggere l'intero testo ripetuto per ottenere una buona risposta. Hanno scoperto che interrompere il modello a metà dei suoi strati (un' "uscita anticipata" o early exit) forniva comunque risultati di alta qualità.
L'analogia: È come leggere un libro per capire un punto della trama. Non sempre è necessario leggere l'ultima pagina; a volte, leggere fino alla metà del libro è sufficiente per capire l'essenza, e questo fa risparmiare tempo.
Il Beneficio: Potevano ottenere le stesse alte prestazioni del modello completo ma computandolo 1,4 volte più velocemente (o addirittura 4 volte più velocemente in alcuni casi) interrompendo l'elaborazione in anticipo.

Sintesi del Messaggio Chiave

Il documento dimostra che non è necessario ricostruire un modello linguistico solo-decoder per renderlo bravo nell'etichettare le parole. Basta ripetere il testo in input.

Semplice: Nessuna modifica al codice del "cervello" del modello.
Efficace: Crea una "falsa" strada a doppio senso che funziona meglio della vera.
Efficiente: Interrompendo il modello in anticipo, si può mantenere l'operazione veloce ed economica.

Gli autori concludono che questo semplice metodo di "ripetizione" è uno strumento potente e pratico che rende i moderni modelli di IA più versatili senza richiedere una complessa ingegneria.

Riepilogo Tecnico: La Ripetizione di Sequenza Migliora gli Embedding dei Token e il Labeling di Sequenza nei Modelli di Linguaggio Decoder-only

Problematica
I moderni modelli di linguaggio (LLM) decoder-only sono addestrati in modo autoregressivo, condizionati solo dal prefisso di una sequenza tramite una maschera causale. Questa architettura unidirezionale contrasta con i compiti di Sequence Labeling (SL) (ad esempio, Named Entity Recognition, Slot Labeling), che beneficiano intrinsecamente di un contesto bidirezionale per assegnare etichette ai singoli token. Storicamente, l'SL si è basato su modelli encoder-only (ad esempio, BERT, RoBERTa) che supportano nativamente l'attenzione bidirezionale. Sebbene i modelli decoder-only abbiano mostrato capacità di scaling superiori, l'adattamento di questi ultimi all'SL richiede tipicamente modifiche architettoniche invasive, come la rimozione totale o selettiva della maschera causale (CM). Tali modifiche alterano la funzionalità di base del modello e richiedono una significativa riprogettazione. Inoltre, sebbene la ripetizione della sequenza di input (SR) sia stata esplorata per migliorare le rappresentazioni a livello di sequenza, la sua efficacia per gli embedding a livello di token e per le prestazioni di SL rimane poco esplorata.

Metodologia
Gli autori propongono la Sequence Repetition (SR) come un'alternativa non invasiva per abilitare la bidirezionalità nei modelli decoder-only senza modificare la loro architettura centrale.

Meccanismo: La sequenza di input $s$ viene ripetuta $r$ volte per formare una nuova sequenza $s_k$ di lunghezza $k \cdot n$ (dove $k = r+1$ ). A causa della maschera causale, i token nelle ripetizioni successive possono prestare attenzione a tutti i token nelle ripetizioni precedenti. L'analisi teorica della matrice dei pesi dell'attenzione mostra che all'aumentare di $k$ , la proporzione di blocchi di attenzione completamente bidirezionali si avvicina a 1, permettendo efficacemente al modello di elaborare i token con un contesto completo.
Configurazione Sperimentale: Lo studio valuta la SR su sette modelli decoder-only (Gemma-7B, Gemma2-2B/9B, Qwen3-1.7B/4B/8B, Mistral-7B) e quattro dataset SL (CoNLL03, SemEval-2014 Rest14, NLU++, ACE05).
Baseline: Le prestazioni sono confrontate con:
1. Masked Decoder: Fine-tuning standard senza ripetizioni ( $r=0$ ).
2. Full Unmasking: Rimozione completa della maschera causale.
3. Middle Unmasking: Rimozione della maschera causale solo dai $N/3$ strati centrali (una strategia di adattamento efficiente nei parametri).
4. Modelli Encoder-only: RoBERTa e ModernBERT.
Strategia di Efficienza: Per mitigare il costo computazionale dell'aumento della lunghezza della sequenza, gli autori impiegano l'Early Exiting, estraendo gli embedding da strati intermedi ( $L \in \{9, 14, 19, 24\}$ ) invece che dallo strato finale.

Contributi Chiave

Efficacia della SR per i compiti a livello di Token: Il documento dimostra che la SR è una strategia semplice e pratica che abilita intrinsecamente la bidirezionalità nei modelli decoder-only. La SR produce embedding a livello di token che superano sia i forti modelli encoder-only che i decoder unmasked su molteplici benchmark SL.
Beneficio di Molteplici Ripetizioni: Contrariamente alle scoperte precedenti sui compiti a livello di sequenza dove ulteriori ripetizioni offrivano rendimenti decrescenti o degradazione, questo lavoro trova che aumentare il numero di ripetizioni ( $r > 1$ ) migliora costantemente le prestazioni di SL. Gli autori ipotizzano che le ripetizioni aggiuntive aumentino la capacità di elaborazione effettiva del modello per ogni token.
Efficienza tramite Early Exiting: Lo studio mostra che l'estrazione degli embedding da strati intermedi (specificamente gli strati 19 e 24 in un modello a 32 strati) combinata con la SR raggiunge prestazioni paragonabili agli embedding dello strato finale, ottenendo al contempo una riduzione significativa del carico computazionale (fino a $1.39\times$ più efficiente).

Risultati

Guadagni di Prestazione: I modelli SR ottengono costantemente i punteggi Micro F1 più elevati. Ad esempio, Mistral-7B con SR ( $r=4$ ) ha raggiunto un punteggio medio di 83.79%, superando il Middle Unmasking (83.35%) e il Full Unmasking (83.34%). La SR ha inoltre superato le baseline encoder-only (RoBERTa: 78.53%, ModernBERT: 76.08%).
Conteggio delle Ripetizioni: Le prestazioni migliorano generalmente all'aumentare di $r$ da 0 a 4 o 8. Mentre i modelli più piccoli (ad esempio, Gemma2-2B) hanno mostrato saturazione delle prestazioni o lievi cali dopo $r=2$ o $r=4$ , i modelli più grandi (ad esempio, Mistral-7B, Qwen3-8B) hanno continuato a beneficiare di conteggi di ripetizione più elevati.
Stabilità: La SR non solo ha migliorato la media delle prestazioni, ma ha anche ridotto la varianza (deviazione standard) dei risultati rispetto alle strategie di unmasking.
Early Exiting: Gli embedding dallo strato $L=14$ o superiore hanno eguagliato o superato le prestazioni dello strato finale ( $L=32$ ) in diversi casi, validando l'uso di strati intermedi per l'efficienza senza sacrificare la qualità.
Dimensione del Modello: Anche modelli decoder-only più piccoli (ad esempio, Qwen3-0.34B tramite early exiting) addestrati con SR hanno ottenuto prestazioni paragonabili o superiori al RoBERTa da 0.35B parametri, suggerendo che la SR permette ai decoder più piccoli di competere con gli encoder specializzati.

Significatività e Rivendicazioni
Il documento afferma che la Sequence Repetition allevia i limiti strutturali dei modelli decoder-only, consentendo loro di operare efficacemente su compiti di livello di token intrinsecamente bidirezionali senza modifiche architettoniche. Gli autori posizionano la SR come un'alternativa più efficiente e adattabile alla rimozione della maschera causale, ampliando l'applicabilità dei modelli di linguaggio decoder-only a compiti precedentemente dominati dagli encoder. Le scoperte sottolineano che gli strati intermedi sono critici per i compiti downstream e che aumentare i conteggi di ripetizione può potenziare la capacità di elaborazione piuttosto che degradare le prestazioni, sfidando le assunzioni precedenti sulla ripetizione nei modelli di linguaggio. Il lavoro suggerisce che la SR offre un rapporto qualità-efficienza favorevole, in particolare quando combinata con strategie di early exiting.