MultiHashFormer: Hash-based Generative Language Models

Sintesi Tecnica: MultiHashFormer

Definizione del Problema

I modelli linguistici (LM) standard si affidano a matrici di embedding apprese che scalano linearmente con la dimensione del vocabolario, creando un "collo di bottiglia del vocabolario". Questa scalabilità lineare vincola i modelli a capacità di token fissi, ostacolando la loro capacità di adattarsi a nuovi domini o lingue senza aumenti significativi dei parametri. Sebbene la ricerca precedente abbia esplorato l'hashing dei token per vincolare l'impronta dei parametri, i modelli basati su hash esistenti (ad es., Proformer, HashFormer) utilizzano mappature many-to-one. In questi sistemi, più token condividono un singolo indice di hash. Pur essendo efficienti in termini di parametri, questo approccio causa collisioni di token che impediscono il recupero deterministico del token durante la generazione autoregressiva. Di conseguenza, i precedenti metodi basati su hash sono stati limitati ad architetture solo encoder e all'addestramento discriminativo, rendendoli impraticabili per modelli linguistici generativi (solo decoder) causali.

Metodologia

Gli autori propongono MultiHashFormer, un framework progettato per abilitare l'autoregressione basata su hashing eliminando le collisioni di token attraverso un approccio a firma multi-identificatore. L'architettura consiste in tre moduli primari:

1. Hash Encoder:

   • Indicizzazione Multi-Hash: Inveiz di mappare un token a un singolo ID di hash, ogni token viene convertito in una "firma di hash" unica composta da una breve sequenza di ID di hash discreti generati da $H$ funzioni di hash indipendenti (utilizzando l'algoritmo MurmurHash3). Ad esempio, un token potrebbe essere rappresentato come $[12, 40, 56]$. Questa mappatura multi-ID supporta teoricamente una vastissima capacità di vocabolario (ad es., $B^H$ firme uniche) con un'impronta di parametri strettamente sub-lineare.
   • Gated Compositional Embedding: Per gestire il fatto che i bucket di hash sono condivisi globalmente (causando potenzialmente collisioni tra token semanticamente non correlati), il modello impiega un gate compositivo consapevole del contesto. Questo modulo comprime i singoli embedding di hash in un vettore latente denso e unificato. Utilizza una rete bottleneck feed-forward con normalizzazione softmax per determinare il contributo di ciascun bucket, seguita da un adapter lineare per proiettare la rappresentazione combinata nello spazio latente del backbone.

2. Sequence Processing Backbone:

   • I vettori latenti compressi passano attraverso uno stack standard di strati di decoder Transformer (basato sull'architettura Qwen3) per generare rappresentazioni contestualizzate.

3. Hash Decoder:

   • Predittore Cascata: Per ricostruire il token successivo, il modello non predice un singolo ID di token. Invece, ricostruisce autoregressivamente la firma multi-ID del prossimo token. Ciò avviene tramite un sistema strutturato e iterativo di correzione degli errori.
   • Il decoder inizializza un ciclo di predizione con l'ultimo stato nascosto del backbone. Successivamente, predice iterativamente ogni coordinata della firma di hash ($H_1, H_2, \dots, H_H$) in sequenza.
   • Soft Embedding Retrieval: Per mantenere la differenziabilità durante la cascata, il modello calcola un "soft bucket embedding" (il valore atteso dell'embedding matrix pesato dalle probabilità logit) invece di indici discreti duri per i passaggi intermedi.
   • Aggiornamento dello Stato: Un mixer a cascata ricorsivo aggiorna lo stato interno concatenando lo stato corrente con il soft embedding recuperato, instradando la rappresentazione congiunta attraverso uno strato bottleneck per informare la predizione della coordinata di hash successiva.

4. Modellazione della Probabilità:

   • Addestramento: Il modello ottimizza il prodotto delle probabilità delle coordinate indipendenti ($\prod P(H_i(w) | \cdot)$), consentendo predizioni su combinazioni di coordinate che potrebbero non mappare su voci effettive del vocabolario per semplificare l'ottimizzazione.
   • Inferenza: Per garantire una generazione valida, il modello esclude esplicitamente le firme non assegnate durante l'inferenza, rinormalizzando la distribuzione di probabilità strettamente sul vero vocabolario di token ($V_{actl}$).

Contributi Chiave

• Primo LM Causale Basato su Hash: MultiHashFormer è il primo framework che supporta la modellazione del linguaggio causale utilizzando l'hashing, prevenendo le collisioni di token attraverso la generazione di firme multi-ID.
• Efficienza dei Parametri e Prestazioni: Il modello supera costantemente i modelli Transformer standard su 10 benchmark a scale di 100M, 1B e 3B parametri. Dimostra che il disaccoppiamento del vocabolario dalla matrice dei parametri è più efficace rispetto al semplice aggiunta di strati ai modelli standard.
• Espansione del Vocabolario senza Parametri: Il framework consente un'espansione fluida del vocabolario (ad es., da 32K a 48K token) senza aumentare il numero di parametri o richiedere modifiche strutturali. Il modello gestisce l'espansione multilingue registrando nuove firme virtuali uniche.
• Migliori Rappresentazioni di Parole Rare: Il meccanismo di bucket condiviso migliora la rappresentazione delle parole rare, come dimostrato da una maggiore correlazione con le annotazioni umane sul dataset Card-660 rispetto ai baseline standard.

Risultati

• Capacità Core: Alle scale 1B e 3B, MultiHashFormer (specificamente la configurazione H4B16K) supera i baseline standard in 9 task su 11, inclusi guadagni significativi in LAMBADA (modellazione del linguaggio) e HellaSwag (logica narrativa).
• Pareggio dei Parametri: Quando confrontato con i baseline dotati di un numero equivalente di parametri (o anche con i baseline a cui sono stati aggiunti strati per eguagliare il numero totale di parametri), le varianti di MultiHashFormer ottengono prestazioni superiori nella maggior parte dei task.
• Espansione del Vocabolario: Negli esperimenti di pre-addestramento continuo per l'espansione del vocabolario da 32K a 48K (aggiungendo token arabi, cinesi e hindi), MultiHashFormer ha mantenuto o migliorato le prestazioni nei task multilingue senza i circa 31 milioni di parametri aggiuntivi richiesti dai baseline standard per accogliere i nuovi token.
• Parole Rare: MultiHashFormer ha mostrato correlazioni di Pearson e Spearman più elevate con i punteggi di similarità umana per le coppie di parole rare rispetto ai modelli standard, in particolare analizzando gli stati nascosti del penultimo strato del decoder.

Significato e Rivendicazioni

Il paper sostiene che MultiHashFormer riesce a superare il tradizionale collo di bottiglia del vocabolario per i modelli LM basati su decoder. Sostituendo la matrice di embedding lineare con un'interfaccia di hashing modulare, il modello raggiunge un'impronta di parametri strettamente sub-lineare, portando la capacità del vocabolario ai limiti teorici (ad es., quadrilioni di firme). Gli autori sostengono che questo approccio risolve l'ambiguità delle collisioni di token nelle impostazioni generative, un limite che precedentemente aveva confinato l'hashing ai soli modelli encoder. Inoltre, il framework offre una soluzione pratica per l'adattamento multilingue, consentendo ai modelli di integrare nuove lingue e token senza i costi computazionali e di memoria associati all'espansione delle matrici di embedding. I risultati suggeriscono che il bias induttivo fornito dall'hash encoder e dal decoder è robusto e deriva dall'architettura stessa piuttosto che dalla varianza del campionamento casuale.