TreeWY: Speculative Verification for Gated DeltaNet Hybrids

Nel mondo dell'intelligenza artificiale moderna, i grandi modelli linguistici agiscono come potenti motori che generano testo una parola alla volta. Per farlo, devono ricordare tutto ciò che hanno scritto finora per garantire che la parola successiva si adatti al contesto. Per molti anni, il modo più comune per gestire questa memoria è stato quello di mantenere una lista crescente di ogni parola precedente e dei suoi dati associati, un metodo che funziona bene ma richiede una quantità massiccia di memoria informatica man mano che la conversazione si allunga. Recentemente, è emersa una nuova generazione di modelli che mescola questo approccio tradizionale con un metodo diverso, più compatto. Questi modelli ibridi utilizzano un tipo speciale di livello che riassume l'intera cronologia in un singolo snapshot di dimensioni fisse, invece di una lista in crescita. Ciò li rende incredibilmente efficienti per i compiti standard di lettura e scrittura, permettendo loro di girare su computer più piccoli. Tuttavia, questa efficienza crea un nuovo problema quando si cerca di velocizzare il processo utilizzando una tecnica chiamata decoding speculativo.

Il decoding speculativo è una strategia utilizzata per rendere questi modelli IA più veloci. Invece di generare una parola alla volta, un modello "draft" più piccolo e meno costoso ipotizza diverse parole in anticipo, e il modello principale le controlla tutte insieme per vedere quali ipotesi siano corrette. Se il modello principale può verificare una lunga sequenza di ipotesi, può produrre più parole in un unico passaggio, aumentando drasticamente la velocità. Il problema sorge con i modelli ibridi menzionati in precedenza. Poiché la loro memoria è uno snapshot singolo e di dimensioni fisse che non può essere facilmente tagliato o incollato, gli attuali sistemi devono effettuare una copia completa di questo snapshot per ogni singola parola che il modello draft ipotizza. Se il modello draft ipotizza una lunga lista di parole, il sistema deve memorizzare una copia della memoria per ogni ipotesi. Questo riempie rapidamente la memoria del computer, costringendo il sistema a interrompere le lunghe liste di ipotesi e limitando i guadagni di velocità. È un collo di bottiglia che impedisce a questi modelli efficienti di girare alla velocità che teoricamente potrebbero raggiungere.

I ricercatori di Thomson Reuters, guidati da Sneha Murthy Ghantasala, hanno sviluppato un nuovo metodo chiamato TreeWY per risolvere questo specifico collo di bottiglia della memoria. Il loro lavoro si concentra su una famiglia di modelli ibridi noti come Qwen3.5, che sono progettati per essere efficienti ma faticano con le richieste di memoria del decoding speculativo. Il team si è reso conto che il modo in cui questi modelli aggiornano la loro memoria segue un particolare schema matematico che potrebbe essere riorganizzato. Invece di salvare una copia completa dello stato della memoria per ogni singola ipotesi, hanno trovato un modo per calcolare i risultati di tutte le ipotesi in una volta sola, utilizzando un'operazione matematica singola e snella. Questa operazione tratta la sequenza di ipotesi non come una serie di snapshot separati, ma come un albero strutturato dove le informazioni necessarie sono condivise e calcolate in modo efficiente.

Il cuore della loro scoperta è che non hanno più bisogno di memorizzare il pieno stato della memoria per ogni token draft. Nel vecchio metodo, se un modello ipotizzava dieci parole, doveva salvare dieci versioni complete della sua memoria, il che consumava una quantità enorme di spazio. Con TreeWY, il sistema salva solo un piccolo riassunto compresso dei cambiamenti apportati durante la fase di ipotesi. Esegue un singolo calcolo per verificare tutte le ipotesi simultaneamente. Se un'ipotesi viene accettata, il sistema ricostruisce lo stato di memoria corretto partendo da quel piccolo riassunto. Se un'ipotesi viene rifiutata, il sistema si limita a scartare il riassunto senza aver mai avuto bisogno di memorizzare lo stato di memoria completo e pesante in primo luogo. Questo approccio elimina la necessità del massiccio overhead di memoria che precedentemente rendeva impossibili le lunghe catene di ipotesi.

I ricercatori hanno testato questo metodo su due dimensioni del modello Qwen3.5, una versione da 35 miliardi di parametri e una molto più grande da 397 miliardi di parametri, eseguendoli su schede grafiche di fascia alta. Hanno confrontato il loro nuovo metodo TreeWY con l'approccio standard utilizzato nei popolari software di IA. I risultati hanno mostrato che, quando la memoria del computer era sotto forte pressione, il nuovo metodo permetteva al sistema di gestire significativamente più richieste contemporaneamente. In alcuni casi, la velocità di generazione del testo è aumentata di quasi il cinquanta per cento e il tempo necessario per iniziare a generare una risposta è diminuito drasticamente. Ciò è accaduto perché lo spazio di memoria liberato ha permesso al sistema di mantenere in esecuzione più conversazioni attive simultaneamente senza crash o rallentamenti.

Tuttavia, lo studio ha anche rilevato che i benefici dipendono fortemente da quanta memoria è disponibile. Quando il computer aveva molta memoria in eccesso, il nuovo metodo era leggermente più lento dell'approccio standard, costando una piccola percentuale in termini di velocità. Questo perché il nuovo calcolo, pur risparmiando memoria, richiede un briciolo di tempo in più per essere eseguito rispetto al semplice metodo di copiare i dati. I ricercatori hanno osservato che il vero vantaggio arriva quando il sistema è limitato dalla memoria, una situazione comune per i grandi modelli. In questi scenari, la capacità di eseguire più conversazioni contemporaneamente supera di gran lunga il piccolo costo del calcolo.

Il team ha anche esplorato se questo metodo potesse supportare strategie di ipotesi ancora più ambiziose, come una struttura ad "albero" dove il modello ipotizza diversi percorsi differenti contemporaneamente, invece di una singola linea di parole. Il nuovo metodo ha reso possibile questo mantenendo l'uso della memoria costante indipendentemente da quanto diventasse larga l'albero delle ipotesi. Precedentemente, un albero di ipotesi ampio avrebbe richiesto così tanta memoria da rendere impossibile l'esecuzione. Ora, il sistema può permettersi di provare molti percorsi diversi contemporaneamente. Sebbene ciò non abbia prodotto immediatamente un massiccio aumento della velocità per i modelli testati, ha dimostrato che il metodo è abbastanza flessibile da gestire strutture di ipotesi ampie e complesse che prima erano insostenibili.

I ricercatori hanno sottolineato che la loro soluzione è specifica per le regole matematiche che governano questi modelli ibridi. Non si basa sui dettagli specifici del design del modello, ma sul modo fondamentale in cui la sua memoria si aggiorna. Ciò significa che l'approccio potrebbe potenzialmente essere applicato ad altri modelli che utilizzano strutture di memoria simili. Il lavoro è stato implementato in un framework software ampiamente utilizzato per eseguire modelli IA, e i ricercatori hanno verificato che il nuovo metodo produce risultati matematicamente identici all'approccio standard, garantendo che la qualità del testo rimanga invariata.

In definitiva, questa ricerca dimostra che ripensando a come la memoria viene gestita durante la fase di ipotesi, è possibile sbloccare il pieno potenziale di velocità dei modelli ibridi efficienti. Lo studio mostra che il limite non era nei modelli stessi, ma nel modo in cui il software gestiva la loro memoria. Passando dallo storage di snapshot completi al calcolo di un riassunto condiviso, i ricercatori hanno trasformato un collo di bottiglia della memoria in una via per prestazioni più elevate. Ciò consente a questi modelli efficienti di girare più velocemente e gestire più utenti, particolarmente in situazioni in cui la memoria del computer è il vincolo più stretto. Le scoperte suggeriscono che i futuri miglioramenti nella velocità dell'IA potrebbero non derivare solo dalla costruzione di modelli più grandi, ma da modi più intelligenti per gestire i dati che già possiedono.