🤖 machine learning

Forward Pass Domain Adaptation (Without Cross-Layer Backpropagation)

Questo articolo introduce l'addestramento Forward-Pass-Only (FPO), un metodo di adattamento del dominio per i grandi modelli linguistici che raggiunge un throughput significativamente più elevato e un uso della memoria inferiore applicando un singolo segnale di errore dello strato di output direttamente agli strati target senza retropropagazione, mantenendo al contempo prestazioni paragonabili al fine-tuning standard sia nei benchmark in-domain che off-domain.

Autori originali: Rivaan Patil, Simon Dennis, Hao Guo, Kevin Shabahang

Pubblicato 2026-08-18

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Rivaan Patil, Simon Dennis, Hao Guo, Kevin Shabahang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I modelli linguistici di grandi dimensioni sono i motori che alimentano molti degli strumenti di intelligenza artificiale più avanzati disponibili oggi, capaci di scrivere, ragionare e risolvere problemi con una fluidità che un tempo sembrava impossibile per le macchine. Per rendere questi modelli utili per compiti specifici, come la diagnosi di condizioni mediche o l'analisi di documenti legali, i ricercatori tipicamente li "affinano" (fine-tuning). Questo processo consiste nel mostrare al modello enormi quantità di nuovi dati specializzati e nel regolare le sue impostazioni interne in modo che apprenda i pattern di quel nuovo mondo. Tuttavia, questa regolazione è incredibilmente costosa. Richiede computer potenti per far girare il modello in avanti per vedere la risposta, e poi all'indietro per capire esattamente come cambiare ogni singola parte del sistema per ottenere un risultato migliore. Questo passaggio all'indietro richiede una quantità massiccia di memoria, spesso tre volte quella necessaria solo per far girare il modello, rendendo impossibile l'esecuzione su computer consumer standard o in situazioni in cui la velocità è critica.

Un team di ricercatori dell'Università della California, Santa Cruz, e dell'Università di Melbourne ha scoperto un modo per bypassare interamente questo costoso passaggio all'indietro. Hanno scoperto che, per i modelli linguistici di grandi dimensioni, i cambiamenti più importanti necessari per apprendere nuove informazioni avvengono principalmente nei livelli finali della rete, vicino alla fine della catena di elaborazione. Concentrandosi solo su questi strati tardivi e calcolando i cambiamenti necessari utilizzando solo le informazioni disponibili da un singolo passaggio in avanti, hanno creato un nuovo metodo di addestramento chiamato Forward-Pass-Only MLP training. Questo approccio consente al modello di apprendere nuove abilità senza mai guardare all'indietro attraverso la propria struttura, riducendo la memoria richiesta di circa il quaranta percento e rendendo il processo quasi tre volte più veloce rispetto ai metodi standard. Fondamentalmente, questa velocità ed efficienza arrivano senza il consueto costo di dimenticare ciò che il modello già sapeva; mentre i metodi tradizionali spesso degradano le capacità generali del modello quando apprende una nuova specialità, questa nuova tecnica mantiene intatto il sapere originale del modello.

Il nucleo di questa scoperta risiede in un'osservazione semplice ma profonda su come questi modelli elaborano le informazioni. In una sessione di addestramento standard, il computer calcola un segnale di errore alla fine dell'output del modello e poi invia quel segnale all'indietro, strato dopo strato, per regolare i pesi all'interno della rete. I ricercatori si sono resi conto che per l'ultimo quarto dei livelli del modello, la direzione della necessaria regolazione è quasi identica a un segnale che può essere calcolato utilizzando solo l'output e lo stato attuale del modello, senza bisogno di tracciare il percorso all'indietro. Hanno testato questa idea su sei diversi modelli pubblici, che vanno da tre a otto miliardi di parametri, e hanno scoperto che la direzione della vera regolazione si allinea strettamente con questo segnale più semplice, puramente in avanti. L'allineamento era abbastanza forte da essere utile, con i segnali che puntavano nella stessa direzione in quasi la metà dei casi, una coerenza che si è rivelata valida attraverso diverse architetture di modelli.

Per mettere in pratica questa teoria, il team ha sviluppato uno strumento diagnostico rapido che impiega circa due minuti per essere eseguito su un singolo chip di un computer. Questo strumento misura quanto bene il semplice segnale in avanti corrisponda al complesso segnale all'indietro per ogni strato di un modello specifico. Funge da mappa, mostrando ai ricercatori esattamente dove il passaggio all'indietro può essere saltato in sicurezza. Una volta identificati questi strati tardivi "viabili", il processo di addestramento cambia fondamentalmente. Invece di costruire un registro massiccio e complesso di ogni passaggio effettuato dal modello affinché possa ripercorrerli all'indietro in seguito, il sistema esegue semplicemente il modello in avanti, calcola l'errore alla fine e applica una correzione diretta ai livelli target. Non viene mai costruito un passaggio all'indietro, e non viene sprecata memoria memorizzando la cronologia del calcolo. Ciò elimina il principale collo di bottiglia che ha impedito a molte persone di eseguire il fine-tuning di grandi modelli sul proprio hardware.

I risultati dei test di questo metodo su tre diverse famiglie di modelli sono stati sorprendenti. In termini di velocità, il nuovo approccio è stato tra 2,7 e 3,2 volte più veloce del fine-tuning standard, consentendo ai ricercatori di elaborare significativamente più dati nello stesso lasso di tempo. Su hardware con memoria limitata, come una singola scheda grafica di fascia alta, il metodo ha permesso di elaborare simultaneamente batch di dati molto più grandi, mentre i metodi standard avrebbero causato il crash a causa dei limiti di memoria. Forse più importante di tutto, il metodo ha preservato l'intelligenza generale del modello. Quando i ricercatori hanno testato i modelli adattati su una varietà di compiti non correlati, come rispondere a domande di cultura generale o risolvere enigmi logici, i modelli hanno performato quasi esattamente come prima dell'addestramento. Al contrario, i modelli addestrati con i metodi standard hanno spesso visto diminuire significativamente le loro prestazioni su questi compiti generali, un fenomeno noto come oblio catastrofico. Il nuovo metodo ha evitato questa trappola, mantenendo stabili le capacità ampie del modello mentre apprendeva la sua nuova specialità.

I ricercatori hanno anche esplorato il perché di questa preservazione della conoscenza generale. Hanno confrontato il loro metodo con un approccio ibrido in cui aggiornavano solo gli strati finali ma utilizzavano comunque il lento passaggio all'indietro standard. Hanno scoperto che la preservazione della conoscenza generale non era un trucco del nuovo metodo di calcolo in sé, ma un risultato diretto della restrizione dei cambiamenti agli strati finali della rete. Gli strati iniziali, che gestiscono i mattoni fondamentali del linguaggio e del ragionamento, sono stati lasciati intatti, impedendo al modello di sovrascrivere la sua comprensione fondamentale. Tuttavia, il nuovo metodo è l'unico modo pratico per ottenere questo, poiché il passaggio all'indietro standard è troppo lento e dispendioso in termini di memoria per essere fattibile quando limitato a solo pochi strati. Il nuovo approccio rende possibile operare in questa "zona sicura" dove l'apprendimento è efficiente e l'oblio è minimizzato.

Sebbene il metodo sia altamente efficace, presenta dei limiti. I modelli addestrati con questa tecnica non hanno appreso il nuovo dominio in modo così profondo come i modelli addestrati con il metodo completo e lento; hanno ottenuto un miglioramento leggermente inferiore nel compito specifico che stavano imparando. Questo è il compromesso: il nuovo metodo sacrifica una piccola parte della massima performance sul nuovo compito per ottenere enormi miglioramenti in velocità, efficienza della memoria e preservazione della conoscenza generale. I ricercatori suggeriscono che per molte applicazioni del mondo reale, come la personalizzazione di un modello per un utente specifico o l'adattamento per un settore specializzato su hardware consumer, questo compromesso vale decisamente la pena. Il metodo apre la porta all'adattamento in contesti dove prima era impossibile, trasformando un processo che un tempo richiedeva un data center in qualcosa che può girare su una singola macchina, il tutto mantenendo l'intelligenza originale del modello al sicuro dai danni della sovra-specializzazione.

Riepilogo Tecnico: Forward Pass Domain Adaptation (FPO)

1. Definizione del Problema

Il fine-tuning di grandi modelli linguistici (LLM) su dati specifici di un dominio richiede tipicamente un intero passaggio all'indietro (backward pass) attraverso la rete. Questo processo necessita di memorizzare le attivazioni per ogni livello per calcolare i gradienti, con un footprint di memoria 2–3 volte superiore rispetto all'inferenza. Questo overhead impedisce il fine-tuning su GPU consumer, dispositivi edge o in scenari di personalizzazione ad alta produttività. Sebbene metodi parametri-efficienti come LoRA riducano lo stato dell'ottimizzatore, essi richiedono comunque un intero backward pass, materializzando così l'intero grafo delle attivazioni. Inoltre, il fine-tuning dell'intera rete spesso porta al "oblio catastrofico" (catastrophic forgetting), in cui le prestazioni sui benchmark fuori dominio (es. MMLU, ARC-Challenge) degradano significativamente, un comportamento che non è riproducibile in modo affidabile tra diversi seed casuali.

2. Osservazione Centrale e Metodologia

Il paper sostiene che nei livelli tardivi (late layers) di un transformer, il vero gradiente rispetto ai pesi MLP può essere approssimato da una quantità calcolabile esclusivamente tramite il passaggio in avanti (forward pass).

2.1 Base Teorica

Per un peso MLP $W^{(\ell)}$ al livello $\ell$ , il vero gradiente $\nabla W^{(\ell)}L$ si decompone in:
$\nabla W^{(\ell)}L = \tilde{g}W^{(\ell)} + R W^{(\ell)}$
Dove:

$\tilde{g}W^{(\ell)}$ è il pseudogradiente proiettato in uscita. Viene calcolato retropropagando l'errore dello strato di output attraverso la trasposta dell'unembedding e i Jacobiani in forma chiusa dei soli strati di normalizzazione finali. Assume che tutti i livelli intermedi tra $\ell$ e l'uscita agiscano come funzioni identità.
$R W^{(\ell)}$ è il residuo, che contiene i contributi dalle non-linearità intermedie e dal routing cross-token.

Indagini empiriche su sei modelli pubblici (3B–8B parametri) rivelano che negli ultimi 25% dei livelli, la similarità del coseno tra $\tilde{g}W^{(\ell)}$ e il vero gradiente varia tra 0,47 e 0,59. Ciò suggerisce che il residuo sia sufficientemente piccolo nella direzione ortogonale affinché la componente proiettata in uscita catturi la direzione dominante del gradiente.

2.2 Lo Strumento Diagnostico

Gli autori introducono uno strumento diagnostico di vitalità del livello (layer-viability diagnostic) che quantifica questa similarità del coseno per ogni livello.

Processo: Esegue un piccolo batch di calibrazione (16 sequenze di 512 token) su una singola GPU, impiegando circa due minuti.
Output: Identifica la regione "high-plateau" nei livelli finali dove l'allineamento è sufficientemente forte da poter essere sfruttato. Ciò consente ai professionisti di determinare dove l'adattamento dei livelli tardivi è praticabile per un modello specifico.

2.3 Forward-Pass-Only MLP Training (FPO)

FPO è un algoritmo che adatta i modelli linguistici senza costruire un grafo autograd o eseguire un backward pass attraverso il corpo del modello.

Meccanismo:
1. Esegue un normale forward pass, memorizzando le attivazioni intermedie MLP ( $h_{mid}$ ) ai livelli target.
2. Calcola l'errore dello strato di output ( $e = \text{softmax}(z) - y$ ).
3. Proietta $e$ nello spazio del residuo usando la trasposta della testa del modello linguistico ( $g = e W_{lm}$ ).
4. Compone $g$ con i Jacobiani in forma chiusa degli strati di normalizzazione (es. RMSNorm) per produrre il segnale specifico del livello $\tilde{g}^{(\ell)}$ .
5. Aggiornamenti dei Pesi:
  - Down-projection ( $W_3$ ): Aggiornata esattamente usando $\Delta W_3 \propto -\tilde{g}^{(\ell)T} h_{mid}$ .
  - Proiezioni Gate ( $W_1$ ) e Up ( $W_2$ ): Queste richiedono un segnale di gradiente nello spazio nascosto dell'MLP. FPO approssima questo utilizzando i pesi iniziali memorizzati ( $W_3^{init}$ ) come matrice di feedback fissa: $\text{error}_h = \tilde{g}^{(\ell)} W_3^{init}$ . Questa approssimazione regge perché $W_3$ cambia lentamente sotto il regime di adattamento.
Vincoli: Nessun segnale viene propagato tra i livelli; nessun grafo autograd viene costruito. L'overhead di memoria di picco è limitato alle attivazioni memorizzate ai livelli target e agli stati dell'ottimizzatore per quei livelli specifici (circa il 10% dei parametri).

3. Contributi Chiave

Diagnostico di Vitalità del Livello: Uno strumento veloce, di due minuti, che quantifica la similarità del coseno tra gli pseudogradienti proiettati in uscita e i veri gradienti, identificando i livelli target vitali per qualsiasi transformer autoregressivo.
Algoritmo FPO: Un metodo di addestramento che adatta i modelli linguistici senza un backward pass attraverso il corpo del modello. È 2,7–3,2× più veloce del fine-tuning supervisionato (SFT) a intera rete e 2,2× più veloce del SFT parziale (SFT-partial). Riduce il picco di memoria di addestramento di circa il 40% rispetto allo SFT standard.
Regime Sicuro per i Benchmark: Evidenza empirica che limitare l'adattamento ai livelli tardivi (tramite FPO) preserva le prestazioni dei benchmark fuori dominio (es. MMLA, ARC-Challenge) entro il rumore del seed rispetto alla baseline. Al contrario, il SFT a intera rete e LoRA spesso degradano significativamente questi benchmark.

4. Risultati Sperimentali

Il metodo è stato valutato su tre famiglie di modelli: OLMo-2-7B, Qwen3-8B e Falcon3-7B, adattati su testi matematici, biomedici e scientifici.

Throughput e Memoria:
- FPO raggiunge 22,0K–22,7K token/s su GPU H100, rispetto a 7,5K–8,7K token/s per il SFT a intera rete.
- FPO supporta batch size più grandi (es. batch size 8–10) su hardware dove l'SFT non riesce a caricarli interamente (es. l'SFT con batch size 1 usa ~30GB su OLMo-7B, mentre FPO con batch size 8 usa ~40GB).
Preservazione dei Benchmark:
- FPO: Mantiene i benchmark fuori dominio (MMLU, ARC-Challenge, HellaSwag, Winogrande) entro 0,22 punti dalla baseline. Su OLMo-2-7B, ha persino mostrato un miglioramento di +0,91.
- SFT Completo & LoRA: Hanno costantemente degradato i benchmark. Il SFT completo su OLMo ha mostrato un'alta varianza, con alcuni seed che hanno causato danni gravi (fino a -8,86 punti), mentre LoRA ha mostrato un degrado costante (-0,68 a -3,96 punti).
Performance In-Domain:
- FPO ottiene miglioramenti della perplessità in-domain, sebbene minori rispetto a SFT completo o LoRA (es. -6,3% vs -11,4% per OLMo).
- Fondamentalmente, FPO mantiene la perplessità del testo tenuto fuori (held-out) vicina alla baseline, mentre LoRA la degrada spesso significativamente (es. +19,4% su Qwen3).
Controllo del Meccanismo (SFT-partial):
- Eseguire uno SFT standard limitato solo ai livelli target di FPO (congelando il resto) ha riprodotto la preservazione dei benchmark di FPO. Ciò conferma che la selezione del livello (adattamento dei livelli tardivi) è il driver primario della sicurezza dei benchmark, mentre FPO è il meccanismo pratico per raggiungere tale regime in modo efficiente.

5. Significato e Rivendicazioni

Il paper sostiene che FPO operazionalizza l'osservazione che i gradienti dei livelli tardivi sono ampiamente ridondanti con i segnali di output. La sua importanza risiede in:

Fattibilità: Rendere possibile l'adattamento di dominio su GPU consumer e dispositivi edge dove il backpropagation completo è impossibile a causa dei vincoli di memoria.
Stabilità: Fornire un regime "sicuro per i benchmark" dove i modelli si adattano a nuovi domini senza perdere le capacità generali, una proprietà non raggiunta in modo affidabile dal fine-tuning a intera rete.
Efficienza: Offrire un vantaggio di throughput di 3× rispetto al fine-tuning standard, rendendo l'iterazione rapida e la personalizzazione su larga scala significativamente più veloci.

Gli autori segnalano alcune limitazioni: FPO è attualmente validato su modelli linguistici causali (3B–8B) con layout di normalizzazione specifici. Si rivolge alla cross-entropy del next-token e richiede una nuova derivazione per l'instruction tuning o gli obiettivi di RL. Il metodo si basa sull'assunto che $W_3$ cambi abbastanza lentamente da permettere ai pesi iniziali memorizzati di fungere da valida matrice di feedback per gli aggiornamenti di $W_1$ e $W_2$ .