Sintesi Tecnica: Un Framework di Catene di Markov a Tempo Continuo per Modelli di Linguaggio di Inserimento

Problema

I modelli di linguaggio autoregressivi (ARM) generano sequenze strettamente da sinistra a destra, il che limita la loro flessibilità per compiti che richiedono una generazione non sequenziale, come la pianificazione e l'infilling basata su sottogruppi. I Modelli di Diffusione Mascherata (MDM) consentono ordini di generazione arbitrari e passi multi-token, ma spesso faticano con sequenze di lunghezza variabile poiché trattano i token di padding come elementi ordinari del vocabolario, impattando sulla qualità della generazione e limitando il campionamento a procedure basate su blocchi da sinistra a destra.

Gli esistenti Modelli di Linguaggio di Inserimento (ILM) affrontano queste limitazioni inserendo iterativamente token in posizioni arbitrarie, gestendo naturalmente lunghezze variabili e vincoli di ordinamento relativo. Tuttavia, le attuali formulazioni degli ILM si affidano a obiettivi di addestramento e procedure di campionamento ad hoc che mancano di un fondamento probabilistico rigoroso. Inoltre, gli ILM esistenti spesso faticano con la sfida di determinare quando terminare la generazione.

Metodologia

Gli autori propongono i Modelli di Linguaggio di Inserimento basati su Diffusione (DILM), un framework basato su principi che deriva dai primi principi utilizzando una Catena di Markov a Tempo Continuo (CTMC) sullo spazio delle sequenze di lunghezza variabile.

1. Il Processo di Noising

Il processo di noising in avanti è formulato come una CTMC che elimina i token da una sequenza di verità fondamentale $x_0$ uniformemente a caso su un intervallo di tempo $[0, T]$.

• Spazio degli Stati: Lo spazio degli stati include sia il contenuto della sequenza che la sua lunghezza.
• Meccanismo di Eliminazione: I token vengono rimossi uno alla volta (o tramite tassi indipendenti) con un tasso dipendente dal tempo $\sigma_t$.
• Due Varianti:
  • Noising Congiunto (Joint Noising): Le eliminazioni avvengono come un singolo evento in cui il numero di token rimossi segue una distribuzione di Poisson, e le posizioni sono scelte uniformemente.
  • Noising Indipendente (Independent Noising): Ogni posizione ha un tasso di eliminazione indipendente, modellato tramite una distribuzione Binomiale.

2. Il Processo Generativo (Reverse CTMC)

Il processo generativo è il tempo inverso del processo di noising, che costruisce una sequenza inserendo token. Gli autori derivano un Evidence Lower Bound (ELBO) per la log-verosimiglianza dei dati sotto questo processo inverso. Propongono due parametrizzazioni per la matrice di tasso inversa $\hat{R}^\theta_t$:

• DILM-S (Singolo Inserimento): Modella la probabilità congiunta di una posizione di inserimento e di un elemento del vocabolario, nonché la "lunghezza rimanente" (il numero di token ancora da inserire). Questa parametrizzazione predice un inserimento alla volta.
• DILM-M (Inserimento Multiplo): Modella tassi di inserimento indipendenti per ogni posizione. Ciò consente al modello di campionare più inserimenti simultaneamente attraverso diversi gap in un singolo passaggio.

Entrambe le varianti utilizzano un backbone transformer con normalizzazione di strato adattiva (AdaLN) condizionata dal tempo $t$. Per gestire la condizione di arresto, i modelli predicono la lunghezza rimanente (o le dimensioni dei gap), consentendo alla generazione di terminare quando il tasso di inserimento predetto scende a zero, invece di fare affidamento su un classificatore di arresto separato o su iperparametri.

3. Campionamento

Il campionamento è eseguito tramite discretizzazione di Eulero (per DILM-S) o una procedura di $\tau$-leaping vincolata (per DILM-M). Questi metodi consentono un compromesso tra qualità del campione e numero di passaggi in avanti (passaggi di campionamento), una flessibilità non presente negli ILM standard.

Contributi Chiave

1. Framework Principled: L'articolo deriva un obiettivo di denoising in stile diffusione per la generazione basata su inserimento dai primi principi utilizzando un framework CTMC, andando oltre le formulazioni ad hoc.
2. Unificazione: Le procedure di campionamento proposte unificano le formulazioni esistenti degli ILM, mostrando che esse sono casi speciali di questo framework più ampio.
3. Due Parametrizzazioni: Gli autori introducono due varianti (DILM-S e DILM-M) che differiscono nel modo in cui modellano i tassi di inserimento (congiunto vs indipendente), offrendo flessibilità nell'efficienza di campionamento e nella generazione multi-token.
4. Fondamento Teorico: Il lavoro fornisce una derivazione rigorosa dell'ELBO e discute le considerazioni computazionali per l'addestramento e il campionamento.

Risultati Empirici

Gli autori valutano i DILM su compiti di pianificazione sintetica e benchmark di modellazione del linguaggio.

• Pianificazione Sintetica (Compiti Star Graph): Nei compiti di pianificazione a lunghezza variabile dove gli ARM e gli MDM faticano, DILM-S e DILM-M raggiungono un'accuratezza quasi perfetta (comparabile agli esistenti ILM), dimostrando che l'approccio basato sulla diffusione mantiene i vantaggi della generazione basata su inserimento per compiti strutturali complessi.
• Modellazione del Linguaggio (LM1B e OpenWebText):
  • Sul benchmark LM1B, DILM-S e DILM-M sono competitivi con gli esistenti ILM e MDM in termini di log-verosimiglianza negativa (NLL) per token.
  • Su OpenWebText, le varianti DILM superano sia i baseline ILM che MDM.
  • Flessibilità di Campionamento: Un risultato chiave è la capacità di scambiare la qualità della generazione con il numero di passaggi di campionamento. A differenza degli ILM esistenti, che mostrano curve di perplexity piatte o erratiche, i DILM esibiscono un miglioramento fluido della perplexity generativa all'aumentare dei passaggi di campionamento.

Significatività e Rivendicazioni

L'articolo sostiene che i DILM offrono un'alternativa probabilisticamente fondata agli esistenti modelli di inserimento, fornendo un obiettivo di addestramento e una procedura di campionamento rigorosi. Il framework mantiene i vantaggi centrali degli ILM — ordine di generazione flessibile e gestione naturale della lunghezza variabile — pur affrontando i limiti delle condizioni di arresto ad hoc e della mancanza di fondamento teorico.

Gli autori osservano che, sebbene DILM-M consenta molteplici inserimenti, è attualmente limitato a un solo token per gap, limitando la modellazione delle correlazioni tra token contigui. Identificano l'inserimento di span multi-token e lo scaling verso modelli più grandi come direzioni per il lavoro futuro. Il lavoro stabilisce una base per trattare la generazione basata su inserimento come un processo di diffusione a tempo continuo, unificando i precedenti approcci euristici sotto un unico ombrello teorico.