💬 NLP

VoidPadding: Let [VOID] Handle Padding in Masked Diffusion Language Models so that [EOS] Can Focus on Semantic Termination

Il documento propone VoidPadding, un metodo che disaccoppia i ruoli di padding e di terminazione nei modelli linguistici di diffusione mascherata introducendo un token [VOID] dedicato per il padding, il quale risolve i problemi di overflow del [EOS] e migliora significativamente le prestazioni e l'efficienza di decodifica sui modelli istruiti tramite istruzioni.

Autori originali: Chunyu Liu, Zhengyang Fan, Kaisen Yang, Alex Lamb

Pubblicato 2026-06-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Chunyu Liu, Zhengyang Fan, Kaisen Yang, Alex Lamb

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come scrivere storie. Nel vecchio metodo (modelli autoregressivi), il robot scrive una parola alla volta, da sinistra a destra, come un essere umano che digita. Ma in questo nuovo metodo chiamato Masked Diffusion, il robot parte da una pagina bianca piena di punti interrogativi e cerca di indovinare tutte le parole contemporaneamente, perfezionando le sue ipotesi ripetutamente finché la storia non ha senso.

Il problema identificato dal documento è che, quando insegniamo al robot, dobbiamo fornirgli degli esempi di pratica. Per rendere la pratica efficiente, prendiamo brevi storie e le integriamo con delle "parole fittizie" in modo che tutte abbiano la stessa dimensione di pagina.

Il Problema: Il Segnale di "Stop" Confuso

In passato, i ricercatori utilizzavano un token speciale chiamato [EOS] (End of Sentence - Fine della frase) come quella "parola fittizia".

Suo Compito 1: Dire al robot: "Smetti di scrivere qui, la storia è finita".
Suo Compito 2: Riempire lo spazio vuoto sulla pagina in modo che il robot possa fare pratica.

Il documento sostiene che dare al token [EOS] questi due compiti sia come chiedere a un semaforo di essere sia un segnale di Stop che una barriera stradale.

Quando il robot si sta esercitando, impara che il token [EOS] significa "riempi questo spazio". Ma quando sta scrivendo una storia vera, vede l' [EOS] e si confonde. Pensa: "Oh, devo riempire questo spazio con altri [EOS]!". Questo causa un glitch chiamato [EOS] overflow. Il robot scrive un piccolo pezzo di testo e poi si limita a riempire lo spazio rimanente con una serie infinita di marcatori "Fine della frase", interrompendo la storia prematuramente.

Questo peggiora quando il robot prova a scrivere storie lunghe in grandi blocchi (large blocks). Il segnale di "Stop" si ritrova affollato di segnali "fittizi" e il robot non riesce più a capire dove finisce la vera storia.

La Soluzione: VoidPadding

Gli autori propongono una soluzione semplice chiamata VoidPadding. Introducono un nuovo token invisibile chiamato [VOID].

Pensatelo in questo modo:

[VOID] è la nuova "parola fittizia". Riempie lo spazio vuoto sulla pagina di pratica, ma non ha significato. È come un fantasma che occupa spazio ma non parla.
[EOS] è ora solo il segnale di "Stop". È riservato esclusivamente per dire al robot quando la storia è effettivamente terminata.

Separando questi ruoli, il robot impara chiaramente:

[VOID] = "Questo è solo spazio vuoto, ignoralo".
[EOS] = "La storia è finita, fermati ora".

Come Funziona in Pratica

Il documento descrive due trucchi ingegnosi che avvengono durante l'"inference" (quando il robot sta effettivamente lavorando):

Il Divieto del "Fantasma": Quando il robot sta generando una storia, gli è severamente vietato scrivere [VOID]. Se prova a indovinare [VOID], il sistema dice: "No, quello è solo un fantasma". Questo evita che il robot riempia accidentalmente la sua storia di fantasmi invisibili.
Lo Stop Anticipato: Poiché l' [EOS] è ora un puro segnale di "Stop", il robot può ascoltarlo. Non appena vede un segnale [EOS] chiaro, smette immediatamente di scrivere. Non spreca tempo a riempire il resto della pagina con spazzatura. Questo rende il robot molto più veloce.
L'Espansore di Tela (Canvas Expander): A volte il robot parte con una pagina troppo piccola per la storia che vuole raccontare. Il documento introduce un trucco chiamato VoidExpansion. Il robot osserva i segnali "fantasma" ([VOID]) che ha imparato durante l'addestramento. Se la pagina è troppo corta, i segnali [VOID] sembreranno "a disagio" (come un fantasma che cerca di incastrarsi in una scatola troppo piccola). Il robot percepisce questo, espande la pagina a una dimensione maggiore e poi termina la storia.

I Risultati

Gli autori hanno testato questo metodo su due diversi modelli di robot (LLaDA e Dream) usando enigmi matematici e di programmazione.

Qualità Migliore: Quando i robot cercavano di scrivere risposte lunghe, il vecchio metodo spesso falliva e sputava fuori semplicemente "Fine della frase" ripetutamente. Il nuovo metodo (VoidPadding) ha risolto questo problema, mantenendo le risposte lunghe e corrette.
Più Veloce: Poiché i robot si sono fermati esattamente quando avevano finito (invece di riempire l'intera pagina), hanno completato i compiti mediamente il 55% più velocemente.
Robusto: Il nuovo metodo ha funzionato bene sia che il robot scrivesse risposte brevi o molto lunghe, e sia che lavorasse in piccoli blocchi o in grandi blocchi.

Riassunto

Il documento dimostra che dando al segnale di "Stop" e al riempitivo dello "Spazio Vuoto" due nomi diversi, possiamo evitare che il robot si confonda. Questo permette al robot di scrivere meglio, fermarsi al momento giusto e lavorare molto più velocemente. È un piccolo cambiamento nel modo in cui insegniamo al robot che porta a un grande miglioramento nelle sue prestazioni.

Riepilogo Tecnico: VoidPadding

Problema: Overflow di [EOS] nei Modelli Linguistici di Diffusione Mascherata

I Modelli Linguistici di Diffusione Mascherata (MDLM) generano testo denoisando una tela (canvas) pre-allocata e completamente mascherata in parallelo, utilizzando l'attenzione bidirezionale. Questa architettura contrasta con i modelli autoregressivi (ARLM), che generano i token sequenzialmente. Una sfida critica sorge durante il fine-tuning delle istruzioni (IT) per gli MDLM: per facilitare il batching efficiente, le coppie prompt-risposta vengono sottoposte a padding per raggiungere una lunghezza di sequenza uniforme. Seguendo le convenzioni ereditate dall'addestramento ARLM, gli MDLM esistenti utilizzano tipicamente token [EOS] ripetuti come padding.

Questa pratica crea un disallineamento tra ruolo di addestramento e di inferenza che porta all'overflow di [EOS], particolarmente sotto il decoding a grandi blocchi:

Ruolo Duplice di [EOS]: In fase di addestramento, [EOS] svolge una doppia funzione: funge da terminatore semantico per la risposta effettiva e da token di padding per il resto della sequenza. Di conseguenza, il modello impara ad associare alte probabilità di [EOS] alla coda della sequenza, trattando efficacemente [EOS] come un "segnale di lunghezza" che indica dove la risposta dovrebbe terminare.
Fallimento in Inferenza: Durante l'inferenza, gli MDLM operano su una tela fissa. Se il modello si impegna su token [EOS] ad alta confidenza nella coda della tela (basandosi sul segnale di lunghezza appreso), questi token impegnati diventano parte del contesto bidirezionale per i successivi step di denoising. Ciò causa la propagazione delle probabilità di [EOS] verso sinistra, portando a una terminazione prematura e a token [EOS] ripetuti, anche quando il contenuto semantico è incompleto. Questo fenomeno, terminato come overflow di [EOS], degrada la qualità della generazione e limita l'efficacia delle strategie di decoding a grandi blocchi.

Metodologia: VoidPadding

Gli autori propongono VoidPadding, un co-design addestramento-inferenza che scinde il ruolo di terminazione semantica dal ruolo di padding.

1. Design dell'Addestramento: Introduzione di `[VOID]`

Inveve di effettuare il padding con [EOS], i dati di addestramento sono formattati come [prompt] [risposta] [EOS] [VOID]*.

[EOS]: Riservato esclusivamente come terminatore semantico. Appare esattamente una volta per esempio, immediatamente dopo la risposta.
[VOID]: Introdotto come nuovo tipo di token utilizzato unicamente per il padding del resto della sequenza.
Obiettivo di Addestramento: Il modello è addestrato a predire il token originale nelle posizioni mascherate. Fondamentalmente, l'unico token [EOS] è sempre mascherato durante l'addestramento, costringendo il modello a imparare [EOS] strettamente come un terminatore semantico stabile piuttosto che come un artefatto di padding. Anche i token [VOID] sono mascherati, insegnando al modello ad associare [VOID] alla porzione "non utilizzata" della tela.

2. Design dell'Inferenza: Stopping e Espansione Disaccoppiati

VoidPadding introduce due meccanismi complementari per l'inferenza:

Terminazione [EOS] (Early Stopping):
- Le regole di stopping standard degli MDLM (VanillaStopping) richiedono il decoding dell'intera tela o finché tutti i mask non sono riempiti, portando spesso a una generazione ridondante dopo l'endpoint semantico.
- VoidPadding implementa la Terminazione [EOS]: il decoding si interrompe non appena tutte le posizioni a sinistra dell'[EOS] visibile più a sinistra sono de-mascherate. Il modello scarta la tela rimanente (inclusi eventuali padding [VOID]).
- Per evitare che [VOID] appaia nell'output, i suoi logit vengono impostati a $-\infty$ durante la selezione del token, garantendo che rimanga un segnale nascosto.
VoidExpansion (Allocazione Adattiva della Tela):
- Gli MDLM richiedono una tela pre-allocata. Se la tela iniziale è troppo corta, la qualità della generazione cala.
- VoidExpansion sfrutta il segnale di lunghezza [VOID] appreso. Prima del decoding, il modello valuta la coda dell'attuale tela. Se le posizioni della coda mostrano una forte preferenza per token non-[VOID] (indicando che la tela è insufficiente), la tela viene espansa di una dimensione di blocco ( $B$ ).
- Questo processo si ripete finché la preferenza della coda non vira verso [VOID] (indicando una lunghezza sufficiente) o fino a una lunghezza massima raggiunta. Ciò consente al modello di allocare adattivamente lo spazio della tela senza fare affidamento su fragili segnali [EOS].

Contributi Chiave

Analisi del Meccanismo: Il documento identifica sistematicamente la causa radice dell'overflow di [EOS] come il duplice uso di [EOS] sia per il padding che per la terminazione durante il fine-tuning delle istruzioni, il che crea un segnale di lunghezza appreso che confligge con il contesto bidirezionale dell'inferenza.
Framework VoidPadding: La proposta di un co-design addestramento-inferenza leggero che introduce [VOID] per il padding e riserva [EOS] per la terminazione. Ciò consente un affidabile early stopping ([EOS]Termination) e un'espansione adattiva della tela (VoidExpansion).
Validazione Empirica: Esperimenti estesi dimostrano che VoidPadding previene l'overflow di [EOS], migliora significativamente la qualità della generazione attraverso benchmark di ragionamento matematico e generazione di codice, e riduce il costo computazionale del decoding (NFE) abilitando la terminazione anticipata.

Risultati

Gli esperimenti sono stati condotti su LLaDA-8B-Instruct e Dream-7B-Instruct su quattro benchmark: GSM8K, MATH500, HumanEval e MBPP.

Robustezza alla Dimensione del Blocco:
- Su Dream-7B-Instruct, VoidPadding ha migliorato il punteggio medio dei quattro task mediato per dimensione del blocco di +17,84 punti rispetto al modello originale e di +6,95 punti rispetto al precedente metodo allo stato dell'arte, RainbowPadding.
- Su LLaDA-8B-Instruct, il miglioramento è stato di +7,06 punti rispetto al modello originale e +3,59 punti rispetto a RainbowPadding.
- Crucialmente, mentre i modelli originali subivano un grave degrado delle prestazioni all'aumentare della dimensione del blocco (ad esempio, scendendo da ~~76% a ~28% su GSM8K per LLaDA con dimensione del blocco 512), VoidPadding mantiene prestazioni stabili (~~78%).
Efficienza del Decoding:
- Utilizzando la Terminazione [EOS], VoidPadding ha ridotto significativamente il Numero di Valutazioni Forward (NFE). Su Dream-7B-Instruct, l'NFE è stato ridotto mediamente del 55,7%, con riduzioni specifiche del 69,3% su GSM8K e dell'84,6% su MBPP rispetto al requisito standard di 512 step.
Generazione a Lunghezza Variabile:
- La strategia VoidExpansion ha permesso al modello di gestire efficacemente tele iniziali corte (es. $L_0=64$ ). Su LLaDA, il metodo completo VoidPadding + VoidExpansion ha raggiunto un punteggio medio di 51,34, superando i baseline di sola inferenza come DAEDAL (50,77) e $\rho$ -[EOS] (45,50), correndo inoltre 2,12 $\times$ più velocemente in tempo di esecuzione (wall-clock time).
- Sotto stress test con blocchi grandi ( $L_0=256, B=256$ ), i metodi di sola inferenza basati sul segnale [EOS] originale sono crollati (DAEDAL è sceso a 23,46 media), mentre VoidExpansion ha mantenuto una robusta media di 50,04.

Significato e Affermazioni

Il documento sostiene che l'overflow di [EOS] non è un fallimento della capacità del modello, ma un fallimento strutturale derivante dall'interazione tra i priori di lunghezza appresi, il contesto bidirezionale e le regole di campionamento standard. Decoupling (scindendo) il padding dalla terminazione, VoidPadding risolve questo disallineamento.

Gli autori posizionano VoidPadding come un adattamento necessario per gli MDLM, sostenendo che le convenzioni ereditate dagli ARLM (come l'uso di [EOS] per il padding) sono "largamente innocue" sotto l'attenzione causale ma diventano "fragili" sotto il denoising bidirezionale. Il metodo offre una via pratica per sbloccare il pieno potenziale del decoding a grandi blocchi nei modelli di diffusione, migliorando sia la qualità degli output di ragionamento complesso che l'efficienza del processo di generazione. Il documento conclude che i futi design di MDLM devono esplicitamente considerare il timing dell'impegno dei token, l'allocazione della tela e le decisioni di stopping in condizioni bidirezionali, piuttosto che fare affidamento su assunzioni autoregressive.