💬 NLP

CoFrGeNet: Continued Fraction Architectures for Language Generation

Questo articolo introduce CoFrGeNets, una famiglia di architetture innovativa ispirata alle frazioni continue che sostituisce i componenti standard dei Transformer con alternative efficienti in termini di parametri, ottenendo prestazioni competitive o superiori su modelli linguistici su larga scala con un numero significativamente inferiore di parametri e tempi di pre-addestramento più brevi.

Autori originali: Amit Dhurandhar, Vijil Chenthamarakshan, Dennis Wei, Tejaswini Pedapati, Karthikeyan Natesan Ramamurthy, Rahul Nair

Pubblicato 2026-05-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Amit Dhurandhar, Vijil Chenthamarakshan, Dennis Wei, Tejaswini Pedapati, Karthikeyan Natesan Ramamurthy, Rahul Nair

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un robot gigante, incredibilmente intelligente, che scrive storie, risponde a domande e risolve problemi. Questo robot è costruito utilizzando una specifica pianta chiamata Transformer. Per anni, questa pianta è stata lo standard aureo, ma è pesante, costosa da eseguire e richiede una quantità enorme di "potenza cerebrale" (parametri) per funzionare.

Il documento che hai condiviso introduce una nuova pianta chiamata CoFrGeNet. Pensa a essa come a un modo per ricostruire il cervello di quel robot utilizzando un trucco matematico diverso e più efficiente chiamato Frazioni Continue.

Ecco la spiegazione della loro scoperta, illustrata in modo semplice:

1. Il Problema: Il Robot è Troppo Pesante

I modelli di IA attuali (come il famoso GPT-2 o Llama) si affidano a due motori principali per pensare:

Il Motore dell'Attenzione: Questo aiuta il robot a guardare indietro alle parole precedenti per comprendere il contesto (come ricordare cosa hai detto cinque frasi fa).
Il Motore Feed-Forward: Questo è il luogo in cui il robot elabora effettivamente le informazioni e prende decisioni.

Questi motori sono potenti ma pesanti. Richiedono milioni di ingranaggi (parametri) per girare, rendendo il robot lento e costoso da costruire.

2. La Soluzione: Una "Scala" Invece di un "Muro"

Gli autori hanno esaminato un antico concetto matematico chiamato Frazione Continua. Immagina una frazione che non si ferma semplicemente; continua a scendere come una scala:
$a_0 + \frac{1}{a_1 + \frac{1}{a_2 + \dots}}$

In passato, le persone hanno provato a usare questa idea della "scala" per semplici problemi matematici. Ma questo documento chiede: Possiamo usare questa scala per costruire un intero nuovo cervello robotico?

Hanno creato i CoFrGeNet (Reti Generative a Frazioni Continue). Invece di utilizzare i motori standard pesanti, li hanno sostituiti con queste scale matematiche.

La Magia: Queste scale possono fare lo stesso lavoro dei motori pesanti ma con meno ingranaggi.
Il Risultato: Hanno costruito modelli che sono dal 33% al 50% più piccoli (meno parametri) dei giganti originali, eppure performano altrettanto bene, o talvolta anche meglio.

3. Il Collo di Bottiglia della "Divisione" (e come l'hanno risolto)

C'era un problema. Calcolare queste scale comporta molte divisioni (separazione di numeri). Nell'hardware informatico, la divisione è come cercare di spingere un masso pesante su per una collina: è molto lenta e richiede molta energia rispetto alla moltiplicazione.

Se hai una scala profonda con 100 gradini, fare una divisione ad ogni gradino rende il robot incredibilmente lento.

L'Innovazione:
Gli autori hanno realizzato che potevano usare una scorciatoia matematica (chiamata Continuanti) per calcolare l'intera scala in una volta sola.

Vecchio Modo: Fare 100 divisioni per ottenere la risposta.
Nuovo Modo: Fare i calcoli una volta sola, e fare una singola divisione alla fine.

Questo è come rendersi conto che non hai bisogno di salire ogni singolo gradino di una scala per arrivare in cima; puoi fare semplicemente un grande balzo usando una scorciatoia calcolata. Questo ha reso i loro modelli molto più veloci da addestrare ed eseguire.

4. Come l'hanno Testato

Non l'hanno solo costruito; l'hanno messo alla prova contro i giganti:

I Soggetti del Test: Hanno sostituito parti di GPT-2-xl (un modello da 1,5 miliardi di parametri) e Llama3 (un modello da 3,2 miliardi di parametri).
L'Addestramento: Hanno insegnato a questi nuovi modelli su enormi quantità di testo internet (OpenWebText, GneissWeb e una miscela di documenti).
I Risultati:
- Più Piccoli: I nuovi modelli erano significativamente più piccoli.
- Più Veloci: Si sono addestrati più velocemente ed eseguiti più velocemente.
- Più Intelligenti (o Uguali): Quando testati su comprensione della lettura, risposta a domande e compiti di ragionamento, i modelli CoFrGeNet più piccoli hanno eguagliato o superato le prestazioni dei modelli originali molto più grandi.

5. Il Trucco del "Piano di Addestramento"

Hanno anche scoperto che non puoi semplicemente girare tutti i manopole del robot contemporaneamente. Hanno inventato un speciale "piano di addestramento" (un piano di apprendimento passo dopo passo).

L'Analogia: Immagina di insegnare a un bambino a andare in bicicletta. Non gli permetti di pedalare, sterzare e mantenere l'equilibrio tutto insieme nel primo giorno. Inizii con le rotelle, poi gli lasci sterzare, poi gli lasci pedalare.
Il Risultato: Aggiornando prima le parti "più profonde" della loro scala e sbloccando lentamente le altre parti, i modelli hanno imparato in modo più stabile e hanno performato meglio.

Riassunto

Il documento afferma che, sostituendo le parti standard "pesanti" dei modelli di IA con una struttura intelligente basata sulla matematica a "scala", possiamo costruire modelli di IA più piccoli, più veloci ed economici che sono altrettanto bravi a scrivere e pensare quanto quelli massicci che usiamo oggi.

Cosa NON hanno affermato:

Non hanno affermato che questo funziona per la diagnosi medica o usi clinici.
Non hanno affermato che questo risolve i problemi di sicurezza dell'IA (anzi, hanno notato che questi modelli possono ancora "allucinare" o commettere errori proprio come gli altri modelli).
Non hanno affermato che questo è pronto per un uso commerciale immediato, ma piuttosto che è una nuova architettura promettente per la futura ricerca e i flussi di lavoro industriali.

Riepilogo Tecnico: CoFrGeNet – Architetture a Frazioni Continue per la Generazione Linguistica

Enunciato del Problema

I Transformer sono diventati l'architettura dominante per la generazione linguistica, basandosi su Attention multi-testa e Reti Feed-Forward (FFN) con strati nascosti di grandi dimensioni. Tuttavia, questi componenti introducono un significativo sovraccarico computazionale, in particolare in termini di numero di parametri e tempo di addestramento. Sebbene siano state proposte varie approssimazioni (ad esempio, attention sparsa, attention lineare) per migliorare l'efficienza, permane la necessità di classi di funzioni fondamentalmente diverse che possano sostituire questi componenti fondamentali mantenendo o migliorando le prestazioni.

Un lavoro precedente ha introdotto le CoFrNets (Reti a Frazioni Continue) per l'apprendimento supervisionato, utilizzando una struttura a scala ispirata alle frazioni continue. Tuttavia, l'adattamento di questa architettura alla modellazione generativa presenta tre sfide specifiche:

Output multidimensionali: I modelli generativi richiedono la produzione di output ad alta dimensionalità, a differenza degli output scalari spesso osservati negli ambienti supervisionati.
Apprendimento di funzioni più ricche: L'architettura deve apprendere rappresentazioni complesse adatte alla modellazione delle sequenze.
Vincoli causali: Il modello deve apprendere parametri che dipendono esclusivamente dai token precedenti per garantire una generazione coerente.
Inefficienza computazionale: La non linearità standard $1/x$ nelle frazioni continue richiede $d$ divisioni per una scala di profondità $d$ . Poiché la divisione è significativamente più lenta della moltiplicazione sull'hardware moderno, ciò crea un collo di bottiglia sia per l'addestramento che per l'inferenza, specialmente all'aumentare della profondità ( $d$ ) e del numero di scale ( $L$ ).

Metodologia

1. Reti Generative a Frazioni Continue (CoFrGeNets)

Gli autori propongono le CoFrGeNets, una famiglia di architetture che sostituiscono i livelli di Attention e/o FFN nei blocchi Transformer con componenti basati su frazioni continue. La classe di funzioni fondamentale è definita come:
$w_0x + \frac{1}{w_1x + \frac{1}{w_2x + \dots}}$
dove $x$ è l'input e $w_k$ sono vettori di parametri apprendibili.

2. Componenti Architettonici

Il documento introduce design specifici per la sostituzione dei componenti Transformer mantenendo i vincoli causali:

Sostituzione Causale dell'Attention (CAttnU e CAttnM):
- CAttnU: Utilizza scale CoFrNet univariate dove gli input sono trasposti per mescolare le dimensioni attraverso i token. Per imporre la causalità (prevenendo la fuoriuscita di token futuri), l'architettura impiega strati lineari triangolari superiori all'interno degli ensemble. La moltiplicazione elemento per elemento degli output di due ensemble genera termini incrociati, potenziando la capacità rappresentativa senza violare il flusso causale.
- CAttnM: Utilizza $L$ scale CoFrNet per mappare gli input in embedding di lunghezza della sequenza, che fungono da pesi di attenzione. La causalità è mantenuta applicando un softmax causale (combinazione convessa di soli token precedenti) prima di pesare la matrice dei valori.
Sostituzione FFN (Cffn):
- Poiché le FFN richiedono il mixing delle caratteristiche piuttosto che il mixing dei token, l'architettura utilizza ensemble di scale p-variate (dove $p$ è la dimensione dell'embedding) senza trasporre l'input.
- Uno strato lineare alla fine proietta l'output nuovamente alla dimensione target.
- Crucialmente, l'input a queste scale è una rappresentazione gated, non espansa ( $\alpha=1$ ), evitando l'esplosione dei parametri tipica delle FFN Transformer standard che spesso utilizzano un fattore di espansione $\alpha \gg 1$ .

3. Implementazione Efficiente tramite Continuant

Per affrontare l'inefficienza computazionale delle divisioni ripetute, gli autori derivano un'implementazione personalizzata basata sui continuant (polinomi $K_k$ ).

Passo in Avanti: Invece di calcolare la frazione strato per strato con $d$ divisioni, la frazione continua è calcolata come il rapporto di due polinomi: $\tilde{f}(a) = K_{d-1} / K_d$ . Ciò richiede il calcolo ricorsivo dei polinomi utilizzando solo moltiplicazioni e addizioni, seguito da una singola divisione ( $1/K_d$ ).
Passo all'Indietro: Gli autori derivano espressioni in forma chiusa per i gradienti utilizzando le proprietà dei continuant. Il gradiente $\frac{\partial \tilde{f}}{\partial a_k}$ è espresso come un rapporto di quadrati di continuant.
Ottimizzazione: Calcolando $K_d$ una volta e riutilizzando $1/K_d$ per tutti i calcoli del gradiente, il numero di divisioni è ridotto da $d$ a 1. Ciò accelera significativamente sia l'addestramento che l'inferenza.

4. Programma di Addestramento Personalizzato

Gli autori propongono un programma di aggiornamento dei parametri dicotomico per stabilizzare l'addestramento. Invece di aggiornare tutti i parametri simultaneamente:

I componenti lineari vengono aggiornati fin dall'inizio.
I parametri a profondità superiori vengono inizialmente congelati.
Gli aggiornamenti per i parametri di profondità $i$ iniziano solo dopo $t/2^i$ iterazioni (dove $t$ è il numero totale di iterazioni).
Questo approccio incrementale previene l'instabilità durante le fasi iniziali dell'addestramento.

Contributi Chiave

Nuove Architetture: Introduzione dei componenti CoFrGeNet come sostituti plug-in per i livelli di Attention e FFN nei Transformer, offrendo una nuova classe di funzioni per la modellazione generativa.
Formulazione Efficiente dei Gradienti: Derivazione di formule di gradiente personalizzate utilizzando i continuant che riducono il numero di operazioni di divisione da $d$ a 1 per scala, migliorando drasticamente l'efficienza hardware.
Stabilità dell'Addestramento: Sviluppo di un programma di addestramento dicotomico personalizzato che stabilizza l'addestramento di architetture profonde a frazioni continue.
Validazione Empirica: Pre-addestramento e valutazione su modelli su larga scala (GPT2-xl e Llama3) che dimostrano prestazioni competitive con un numero ridotto di parametri.

Risultati Sperimentali

Configurazione

Modelli: Gli esperimenti sono stati condotti su GPT2-xl (1.5B) pre-addestrato su OpenWebText e GneissWeb, e Llama3 (3.2B) pre-addestrato sul mix di dati docling (2T token).
Baseline: I confronti includevano i Transformer originali, il Dense Synthesizer e l'Attention Sparsa.
Varianti: CoFrGeNet-F (FFN sostituita), CoFrGeNet-A (Attention sostituita) e CoFrGeNet (entrambe sostituite).

Prestazioni

Compiti a valle (GLUE): I modelli CoFrGeNet, nonostante avessero da 2/3 a 1/2 dei parametri dei modelli originali, hanno raggiunto accuratezze competitive o superiori nei compiti di classificazione, Q&A e ragionamento. Ad esempio, CoFrGeNet-F (985M) ha superato il GPT2-xl da 1.5B sulla maggior parte dei benchmark GLUE.
Perplessità: Sui benchmark di modellazione linguistica (PTB, Wikitext, Lambada), le varianti CoFrGeNet hanno generalmente raggiunto una perplessità inferiore rispetto ai Transformer baseline e ad altre baselines di attention efficiente.
Efficienza:
- Tempo di Addestramento: L'implementazione basata sui continuant ha ridotto significativamente il tempo di addestramento rispetto a un'implementazione "letterale" (CoFrGeNetB) che non utilizzava i continuant. Per GPT2-xl, il tempo di addestramento è sceso da ~203 ore (B) a ~178 ore (CoFrGeNet).
- Tempo di Inferenza: La velocità di inferenza è migliorata di quasi un ordine di grandezza per la versione basata sui continuant rispetto all'implementazione letterale.
- Throughput: Su Llama3, le varianti CoFrGeNet hanno mostrato un throughput superiore di token/giorno e un tempo totale di addestramento ridotto (ad esempio, CoFrGeNet-F addestrato in 6,6 giorni contro 8,5 giorni per la baseline).

Significato e Affermazioni

Il documento afferma che le CoFrGeNets rappresentano un'alternativa praticabile ed efficiente in termini di parametri ai componenti Transformer standard. Sfruttando le proprietà matematiche delle frazioni continue e ottimizzandone l'implementazione tramite i continuant, gli autori dimostrano che:

È possibile costruire modelli linguistici ad alte prestazioni con significativamente meno parametri.
Il collo di bottiglia computazionale delle operazioni di divisione nelle frazioni continue può essere efficacemente mitigato, rendendo l'architettura pratica per flussi di lavoro industriali su larga scala.
L'approccio è "plug-and-play", richiedendo modifiche minime alle pipeline esistenti di addestramento e inferenza.

Gli autori concludono che questo lavoro getta le basi per architetture generative ispirate alle frazioni continue, potenzialmente democratizzando l'IA consentendo a entità con meno risorse di pre-addestrare modelli di alta qualità. Tuttavia, notano che questi modelli non possiedono intrinsecamente misure di sicurezza e rimangono suscettibili ad allucinazioni e attacchi avversari, suggerendo che la ricerca futura dovrebbe concentrarsi sull'affrontare queste sfide all'interno della specifica forma funzionale.