💬 NLP

Zonkey: A Hierarchical Diffusion Language Model with Differentiable Tokenization and Probabilistic Attention

Zonkey è un nuovo modello linguistico di diffusione gerarchica che introduce una pipeline completamente addestrabile dai caratteri grezzi alle rappresentazioni a livello di documento, utilizzando un tokenizer differenziabile e un meccanismo di attenzione probabilistica per consentire l'ottimizzazione end-to-end e una generazione di testo adattiva e linguisticamente significativa senza tokenizer fissi.

Autori originali: Alon Rozental

Pubblicato 2026-01-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alon Rozental

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come scrivere una storia. Di solito, insegniamo ai robot fornendo loro un dizionario fisso di "pezzi" (come parole o sillabe) e dicendo loro: "Se vedi uno spazio, inizia una nuova parola". Questo è come dare al robot un set rigido di mattoncini LEGO che possono incastrarsi solo in un modo specifico. Se il robot incontra un nuovo tipo di mattoncino o un mucchio disordinato di sabbia, si confonde perché le sue regole non si adattano.

Il documento presenta Zonkey, un nuovo tipo di robot che non utilizza un dizionario fisso. Invece, impara a costruire i propri "pezzi" man mano che procede, partendo dalle singole lettere e capendo dove le parole e le frasi iniziano e finiscono naturalmente. Lo fa utilizzando un processo speciale di "diffusione", che è come scolpire una statua da un blocco di marmo che lentamente si trasforma in polvere e poi torna a essere pietra.

Ecco come funziona Zonkey, suddiviso in parti semplici:

1. L' "Attenzione Probabilistica" (Il Filtro Morbido)

I robot tradizionali guardano una frase e dicono: "Questa parte esiste, e questa parte non esiste". Usano tagli netti. Zonkey è più simile a un dimmer (un regolatore di intensità). Assegna una "probabilità di esistenza" a ogni parte del testo.

L'Analogia: Immagina di guardare attraverso un vetro appannato. Alcune parti sono chiare (alta probabilità) e altre sono molto appannate (bassa probabilità). Zonkey non si limita a tagliare le parti appannate; impara a guardare attraverso la nebbia. Capisce che una parola potrebbe essere "quasi presente" o "appena accennata", permettendogli di gestire frasi di qualsiasi lunghezza senza bloccarsi su una dimensione fissa.

2. Il "Segment Splitter" (Il Censore Auto-Apprendente)

Di solito, un computer ha bisogno che un essere umano gli dica: "Metti uno spazio qui per iniziare una nuova parola". Zonkey ha un modulo speciale chiamato Segment Splitter che impara questo da solo.

L'Analogia: Pensa a una lunga stringa ininterrotta di lettere come thequickbrownfox. Un computer normale ha bisogno di un libro di regole per sapere dove tagliare. Zonkey è come un paio di forbici intelligenti che impara: "Ehi, sento il bisogno di tagliare dopo 'the' perché questo crea una parola migliore". Non ha bisogno di un libro di regole; impara a tagliare in corrispondenza di spazi o punti perché farlo lo aiuta a ricostruire meglio la storia in seguito. Scopre il concetto di "parole" e "frasi" da solo.

3. Il "Compressore" e la "Diffusione" (Il Riassuntore e lo Scultore)

Una volta che Zonkey ha diviso il testo in pezzi, comprime ogni pezzo in un piccolo riassunto compatto (un vettore).

L'Analogia: Immagina di prendere un intero paragrafo e rimpicciolirlo in un singolo, denso marmo.
La parte della Diffusione: Per generare testo, Zonkey parte da un blocco di puro rumore (statico). Poi "denoisa" lentamente questo blocco, trasformando lo statico in un'immagine chiara (o testo).
Il Colpo di Scena: La maggior parte dei modelli di diffusione fatica con il testo perché il testo è discreto (non puoi avere mezza lettera). Zonkey utilizza un Modello Misto (DDMM). È come uno scultore che sa quando fare piccoli passi cauti per curare i dettagli e quando fare grandi, audaci balzi per dare la forma all'intero corpo. Questo lo aiuta a creare frasi lunghe e coerenti senza perdersi.

4. Lo "Stitcher" (La Sarta)

Poiché Zonkey divide il testo in pezzi sovrapposti per elaborarli, deve poi rimetterli insieme.

L'Analogia: Immagina di cucire insieme due pezzi di tessuto. Un robot normale potrebbe semplicemente accostarli lateralmente, lasciando una cucitura visibile e brutta. Lo Stitcher di Zon키 è una maestra sarta. Guarda dove i due pezzi si sovrappongono e li fonde insieme in modo così fluido che non puoi capire dove uno finisce e l'altro inizia. Se un pezzo ha un errore (come dire "meccanica classica" invece di "meccanica quantistica"), lo Stitcher usa il pezzo sovrapposto per correggere gentilmente l'errore prima di cucire insieme.

5. Il Risultato: Un Robot Completamente Addestrabile

La tesi principale del documento è che tutto in Zonkey è "differenziabile".

L'Analogia: Nei robot normali, se vuoi cambiare il modo in cui tagliano le parole, devi riscrivere manualmente il codice. In Zonkey, l'intero sistema è come un unico, enorme elastico flessibile. Se il robot commette un errore, l' "errore" si propaga attraverso lo Stitcher, il processo di Diffusione, il Compressore e torna fino allo Splitter. Questo dice allo Splitter: "Ehi, hai tagliato nel posto sbagliato; prova a tagliare in un altro punto la prossima volta".

Cosa può fare Zonkey (Secondo il Documento)

Generare Testo dal Rumore: Può partire da uno statico casuale e trasformarlo lentamente in frasi coerenti su argomenti di Wikipedia.
Riempire i Vuoti: Se gli dai una frase con una parte centrale mancante (ad esempio, "Bob è un giocatore [VUOTO] nella NBA"), può riempire il vuoto ("basket") senza dover scrivere la frase da sinistra a destra. Può sistemare il centro mantenendo fissi l'inizio e la fine.
Adattarsi a Qualsiasi Dato: Poiché impara le proprie "parole" e "frasi", può gestire testi disordinati o insoliti meglio dei robot con dizionari fissi.

Cosa NON può fare (Ancora)

Il documento è molto onesto riguardo ai suoi limiti. Attualmente, Zonkey è una "prova di concetto" addestrata su un singolo computer utilizzando dati di Wikipedia.

Può scrivere frasi coerenti, ma non è ancora stato testato per scrivere interi libri o documenti complessi.
Non ha un vocabolario fisso, quindi i test standard usati per misurare altri modelli di IA (come il conteggio della "perplessità") non funzionano per lui.
Il documento non afferma che possa effettuare diagnosi mediche, consulenze legali o altre applicazioni nel mondo reale; è puramente un passo di ricerca verso un nuovo tipo di modello linguistico.

In breve, Zonkey è un esperimento per vedere se possiamo costruire un modello linguistico che impari a leggere, scrivere e comprendere la struttura del linguaggio interamente da solo, partendo dal basso, senza bisogno che un essere umano definisca le regole per primo.

Riepilogo Tecnico: Zonkey

Problema

I Large Language Models (LLM) attualmente si affidano a tokenizer fissi e non differenziabili (ad esempio, il Byte Pair Encoding) che creano colli di bottiglia nell'ottimizzazione end-to-end. Questi schemi statici faticano a gestire i problemi di out-of-vocabulary (OOV), i dati rumorosi e l'adattamento al dominio. Inoltre, i modelli gerarchici esistenti spesso assumono segmenti a lunghezza fissa, limitandone la flessibilità. Sebbene i modelli di diffusione abbiano mostrato potenzialità nella generazione di immagini, la loro applicazione al testo è ostacolata dai vincoli dei token discreti, dalle distorsioni semantiche causate dal rumore e dalle difficoltà nel gestire sequenze di lunghezza variabile senza espliciti token di fine sequenza (EOS).

Metodologia

Zonkey propone un framework di diffusione gerarchica completamente differenziabile che opera dai caratteri grezzi fino alle rappresentazioni a livello di documento. L'architettura integra cinque componenti core:

1. Attenzione Probabilistica

Per gestire sequenze teoricamente infinite e lunghezze variabili senza masking rigido (che interrompe i gradienti), Zonkey introduce l'Attenzione Probabilistica.

Meccanismo: Ad ogni posizione $k$ viene assegnata una probabilità di esistenza $p_k \in (0, 1]$ . Il punteggio di attenzione è modulato da un fattore di scala basato sul rapporto tra le probabilità di esistenza ( $p_k/p_q$ ) per le posizioni future.
Effetto: Questo crea una "soft mask" dove le posizioni a bassa probabilità esercitano un'influenza minima su quelle ad alta probabilità. Permette al modello di simulare la troncatura e gestire l'incertezza, pur preservando il flusso del gradiente, consentendo la modellazione di sequenze teoricamente infinite.

2. Il Segment Splitter (Tokenizer Differenziabile)

Sostituendo i tokenizer statici, il Segment Splitter apprende decisioni probabilistiche di Beginning-of-Sequence (BOS) direttamente dai dati.

Processo: Elabora i vettori di input (ad esempio, embedding di caratteri) tramite un leggero encoder Transformer per predire la $p_{BBOS}$ per ogni posizione.
Differenziabilità: Invece del campionamento rigido, il modello utilizza queste probabilità per modulare i pesi dell'attenzione nei moduli successivi. Gli split subottimali (quelli che ostacolano la ricostruzione) incorrono in perdite più elevate, creando un segnale di gradiente implicito che incoraggia lo splitter a imparare confini linguisticamente significativi (ad esempio, spazi per le parole, punti per le frasi) senza supervisione esplicita.
Output: Segmenti sovrapposti con associate probabilità di esistenza e "quote di esistenza" (pesi normalizzati) per garantire un contributo uniforme della perdita attraverso le regioni sovrapposte.

3. Il Compressore

Questo modulo distilla segmenti di lunghezza variabile in rappresentazioni vettoriali a dimensione fissa per un'astrazione di livello superiore.

Architettura: Vettori CLS apprendibili vengono preposti ai segmenti, che vengono poi elaborati da un Transformer Encoder utilizzando l'Attenzione Probabilistica.
Obiettivo: I vettori compressi sono ottimizzati tramite una perdita di Masked Language Modeling (MLM) (usando obiettivi contrastivi) e perdite di ricostruzione. Ciò assicura che lo spazio latente compresso catturi il significato semantico piuttosto che semplici forme superficiali, raggruppando concetti simili (ad esempio, "eccellente" e "ottimo") pur penalizzando split arbitrari che aumentano l'entropia.

4. Denoising Diffusion Mixed Model (DDMM)

Zonkey impiega una strategia di diffusione ibrida per ricostruire i segmenti dai latenti compressi.

Approccio Ibrido: Combina la stochasticità esplorativa della varianza di DDPM (piccoli passi, alta diversità) con l'efficienza di traiettoria di DDIM (grandi salti, deterministico).
Obiettivo a Step Misti: Il modello è addestrato per compiere "salti ambiziosi" verso i dati puliti quando il segnale è forte, ma per tornare a "passi piccoli e cauti" quando l'incertezza è elevata. Ciò viene ottenuto minimizzando la distanza del coseno tra uno stato denoisato e la sua proiezione sulla linea segmentata che connette gli stati puliti e fortemente rumorosi.
Processo: Il modello inverte le compressioni in vettori di livello inferiore, predice le probabilità di esistenza per determinare la lunghezza della sequenza e raffina la sequenza utilizzando l'Attenzione Probabilistica.

5. Il Segment Stitcher

Per riassemblare i segmenti sovrapposti e denoisati in documenti coerenti, Zonky utilizza uno Stitcher differenziabile.

Funzione: Allinea i segmenti consecutivi inferendo offset morbidi basati sul decadimento della probabilità di esistenza e sulla somiglianza del contenuto.
Raffinamento: Un leggero meccanismo di cross-attention fonde le regioni sovrapposte, correggendo gli errori residui (ad esempio, correggendo "meccanica classica" in "meccanica quantistica" se la sovrapposizione suggerisce quest'ultima) pur mantenendo la coerenza globale. Ciò assicura che gli output gerarchici siano invarianti rispetto ai confini di segmentazione specifici.

Contributi Chiave

Pipeline Completamente Differenziabile: Zonky elimina il collo di bottiglia non differenziabile dei tradizionali tokenizer, apprendendo split adattivi (Segment Splitter) e riassemblaggio (Stitcher) end-to-end.
Attenzione Probabilistica: Un nuovo meccanismo di attenzione che gestisce sequenze di lunghezza variabile e contesti infiniti tramite soft masking, consentendo il flusso del gradiente attraverso i confini incerti dei segmenti.
Diffusione Gerarchica: Un framework che comprime i caratteri grezzi in astrazioni di tipo parola e frase, ricostruendoli tramite DDMM per generare testi coerenti e di lunghezza variabile dal rumore.
Struttura Linguistica Emergente: Il modello dimostra la capacità di apprendere confini di token significativi (spazi, punti) e strutture gerarchiche puramente attraverso obiettivi di ricostruzione e MLM, senza supervisione linguistica esplicita.

Risultati

Addestrato end-to-end su dati di Wikipedia utilizzando una singola GPU, Zonky dimostra le seguenti capacità:

Generazione Coerente: Genera testo coerente e di lunghezza variabile dal rumore a livello di frase.
Gerarchie Emergenti: Il modello sviluppa spontaneamente strutture a livello di parola e di frase, con lo Segment Splitter che impara a posizionare i token BOS in posizioni linguisticamente appropriate (ad esempio, dopo spazi o punti).
Tokenizzazione Adattiva: A differenza dei tokenizer fissi, Zonky adatta la sua segmentazione in base alla distribuzione dei dati, gestendo in modo più robusto testi rumorosi o specifici di un dominio.
Infilling: L'architettura supporta naturalmente l'infilling non sequenziale di sezioni di testo mancanti, condizionandosi su vettori di prefisso/suffisso fissi e denoisando il gap.

Significato e Rivendicazioni

L'articolo posiziona Zonky come un passo significativo verso i modelli linguistici completamente basati sul gradiente. Rimuovendo i tokenizer fissi e i vincoli di lunghezza rigidi, Zonky affronta la rigidità degli attuali LLM, offrendo potenzialità per:

Migliore Adattamento al Dominio: La capacità di apprendere la tokenizzazione e la gerarchia direttamente dai dati permette di gestire in modo più robusto domini rumorosi o specializzati.
Generazione Scalabile: L'elaborazione parallela dei livelli gerarchici (rispetto alla generazione autoregressiva sequenziale) offre vantaggi di velocità per la sintesi di testi lunghi.
Ottimizzazione Unificata: Il framework unifica tokenizzazione, compressione e generazione in un unico obiettivo differenziabile, allineando le rappresentazioni di basso livello con la qualità della ricostruzione di alto livello.

Gli autori notano che i risultati attuali sono preliminari (prova di concetto su una singola GPU) e che la valutazione quantitativa rimane impegnativa a causa della mancanza di un vocabolario fisso. Tuttavia, l'emergere qualitativo della struttura linguistica e il successo della dimostrazione della generazione tramite diffusione a lunghezza variabile suggeriscono una via percorribile verso una modellazione del linguaggio scalabile, adattabile e veramente differenziabile.