💬 NLP

AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

Il documento propone AWARe, un metodo di fine-tuning che mitiga l'oblio catastrofico nei Modelli Linguistici Multimodali congelando dinamicamente i parametri critici per la conoscenza pregressa in base ai pattern di attivazione, preservando così le capacità a monte e ottenendo al contempo prestazioni a valle superiori senza modificare le architetture del modello.

Autori originali: Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

Pubblicato 2026-08-13

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un amico robot brillante e super intelligente che ha passato anni a leggere ogni libro della biblioteca e a guardare ogni dipinto del mondo. Questo robot, un Modello Linguistico di Grandi Dimensioni Multimodale (MLLM), è incredibile nel comprendere sia le immagini che le parole. Ma ecco la parte difficile: se provi a insegnare al robot una nuova, specifica competenza — come risolvere un gioco di puzzle o scrivere una poesia su un gatto specifico — spesso dimentica tutto il resto che sapeva. È come se tu imparassi a suonare un nuovo brano al pianoforte con tale intensità da dimenticare improvvisamente come allacciarti le scarpe. Questo "dimenticare" è chiamato dimenticanza catastrofica (catastrophic forgetting), ed è un enorme mal di testa per gli scienziati che vogliono mantenere questi modelli di IA utili e dotati di conoscenza mentre apprendono nuove cose.

Il documento che stai per leggere affronta questo problema con un nuovo metodo ingegnoso chiamato AWARe. Pensa al cervello del robot come a una massiccia città con miliardi di piccoli lavoratori (neuroni) che svolgono diversi compiti. Quando il robot impara qualcosa di nuovo, di solito dice a tutti i lavoratori di cambiare le proprie abitudini, il che causa il caos e lo porta a dimenticare i suoi vecchi lavori. AWARe suggerisce un approccio più intelligente: invece di chiedere a tutti di cambiare, ascolta i lavoratori per vedere chi sta attualmente gridando più forte (attivandosi di più) quando il robot osserva i suoi vecchi, familiari compiti. Poi dice a quei lavoratori specifici e impegnati: "Tu rimani esattamente così! Continua a fare il tuo vecchio lavoro". Solo i lavoratori più silenziosi e meno impegnati possono cambiare le proprie abitudini per imparare il nuovo compito. In questo modo, il robot impara la nuova competenza senza perdere i suoi vecchi ricordi.

Il Problema: Il Glitch dell' "Overwrite" (Sovrascrittura)

I Modelli Linguistici di Grandi Dimensioni Multimodali sono come studenti super-potenziati che si sono già laureati in una massiccia università di immagini e testi. Sono in grado di ragionare, spiegare e chattare su quasi tutto. Ma quando proviamo a fare il "fine-tuning" su di loro — ovvero insegnare loro un nuovo, specifico lavoro come identificare condizioni mediche o rispondere a domande su un particolare videogioco — spesso soffrono di dimenticanza catastrofica.

Immagina di stare imparando un nuovo passo di danza. Se lo pratichi così intensamente da dimenticare come camminare, quella è la dimenticanza catastrofica. Nel mondo dell'IA, questo accade perché il processo di apprendimento del nuovo compito comporta l'aggiornamento dei "pesi" interni del modello (le manopole e i cursori che controllano il suo modo di pensare). Quando il modello regola queste manopole per il nuovo compito, accidentalmente ruota quelle che sostenevano la sua vecchia conoscenza, causando il crollo delle vecchie abilità.

La Soluzione: AWARe (Activation-Weighted Adaptive REtention)

Gli autori propongono un metodo chiamato AWARe per risolvere questo problema. Invece di cambiare ciecamente l'intero cervello, AWARe agisce come un bibliotecario intelligente che sa esattamente quali libri sono più importanti da tenere sullo scaffale.

Ecco come funziona, passo dopo passo:

La Fase di "Ascolto" (Profiling): Prima di insegnare al robot qualsiasi cosa di nuovo, i ricercatori lo fanno osservare un piccolo insieme di esempi di "calibrazione" (come alcune vecchie foto o domande che già conosce bene). Non si limitano a guardare la struttura del cervello del robot; osservano come il cervello si illumina. Misurano l'attivazione — quanta energia ogni piccolo lavoratore (neurone) utilizza quando elabora questi compiti familiari.
La Decisione di "Congelamento" (Freeze): I ricercatori hanno scoperto che alcuni neuroni sono super attivi e critici per la vecchia conoscenza del robot, mentre altri sono più rilassati. AWARe identifica i neuroni "rumorosi" (il top 30% che è più attivo) e dice: "Sei essenziale! Congelati". Questo significa che le loro impostazioni sono bloccate e non possono essere cambiate.
La Fase di "Adattamento" (Adapt): Gli altri neuroni (il restante 70% più silenzioso) vengono lasciati sbloccati. Quando il robot impara il nuovo compito, solo questi neuroni sbloccati possono cambiare. I neuroni bloccati mantengono i vecchi ricordi del robot sicuri e saldi.

Perché questo è importante

Il documento dimostra che questo metodo è un punto di svolta per due ragioni principali:

È un Aggiornamento "Senza Sforzo": A differenza di altri metodi che richiedono la costruzione di nuovi e complessi componenti aggiuntivi al cervello del robot o la conservazione di enormi librerie di vecchi dati (il che richiede molta memoria), AWARe lavora con il cervello esistente del robot. Non cambia l'architettura; cambia solo quali parti sono autorizzate a muoversi. È come riorganizzare i mobili in una stanza senza costruire nuove pareti.
Fa Miracoli: Nei loro esperimenti, il team ha testato AWARe su modelli come LLaVA-v1.5 e Qwen2.5-VL.
- Quando hanno insegnato al modello a rispondere a domande su diagrammi (IconQA), AWARe ha mantenuto la vecchia conoscenza del modello (come rispondere a domande generali sulle immagini) al 98,4% della sua forza originale, pur imparando molto bene il nuovo compito.
- In un test di apprendimento continuo in cui il modello doveva imparare cinque compiti consecutivi (come domande mediche, guida e finanza), AWARe ha superato tutti gli altri metodi, mantenendo un punteggio medio di 3,18 punti superiore rispetto al secondo miglior metodo.

Cosa dice il Documento (e cosa non dice)

Gli autori sono molto chiari su ciò che hanno scoperto e su ciò che non hanno scoperto.

Cosa Funziona: Hanno dimostrato che usare l'attivazione (quanto un neurone sta lavorando) è un modo migliore per decidere cosa congelare rispetto al semplice guardare la dimensione del peso o scegliere i neuroni casualmente. Se si scelgono i neuroni casualmente, il modello dimentica le sue vecchie abilità quasi immediatamente. Se si scelgono in base a quanto sono "rumorosi", il modello rimane intelligente.
Cosa Non Funziona (o non è necessario): Hanno dimostrato che non è necessario congelare l'intero cervello. Congelare solo il top 30% dei neuroni più attivi in parti specifiche del cervello (gli strati di auto-attenzione e il connettore che lega le immagini al testo) è sufficiente. Congelare le parti "MLP" (gli strati di pensiero profondo) in realtà danneggia le prestazioni, suggerendo che quegli strati sono destinati a essere flessibili.
Il Set di Calibrazione "Magico": Una delle scoperte più interessanti è che non è necessario utilizzare i dati di addestramento originali del robot per capire quali neuroni congelare. Si può usare un set di domande generiche e casuali (come il dataset MMMU) per fare il profiling. Anche con questi dati generici, AWARe funziona quasi altrettanto bene come se avessero usato i dati specifici originali. Questo rende il metodo molto pratico per l'uso nel mondo reale.
Efficienza: Il metodo è incredibilmente efficiento. Nella loro configurazione migliore, hanno aggiornato solo circa il 17,5% dei parametri totali. Ciò significa che il computer non deve lavorare quasi quanto dovrebbe se dovesse aggiornare l'intero modello.

In Sintesi

AWARe suggerisce che il segreto per impedire a un'IA di dimenticare non è smettere di farla imparare, ma essere selettivi su cosa cambiare. Ascoltando quali parti del cervello lavorano più duramente sui vecchi compiti e proteggendole, possiamo insegnare a questi modelli nuovi trucchi senza perdere la loro vecchia saggezza. È un modo semplice, efficace e sorprendentemente delicato per mantenere i nostri amici digitali intelligenti, stabili e pronti per qualunque cosa venga dopo.

Sintesi Tecnica: AWARe

Problematica

I Modelli Linguistici Multimodali (MLLM) possiedono forti capacità di generalizzazione e ragionamento derivanti dal pre-addestramento su larga scala. Tuttavia, il fine-tuning di questi modelli su task downstream spesso innesca il catastrophic forgetting (CF) (oblio catastrofico), in cui l'ottimizzazione per nuovi obiettivi degrada le capacità upstream precedentemente acquisite. Questo problema è particolarmente severo negli MLLM a causa della complessa interazione tra le modalità e dell'alta dimensionalità dello spazio dei parametri. Le strategie di mitigazione esistenti, come l'experience replay o i metodi basati sulla regolarizzazione, comportano spesso un overhead computazionale proibitivo o faticano a scalare su miliardi di parametri. Inoltre, i metodi di Parameter-Efficient Fine-Tuning (PEFT) come LoRA, pur riducendo i parametri addestrabili, non prevengono intrinsecamente l'erosione della conoscenza pre-addestrata, poiché possono comunque interrompere le feature upstream affidabili. La sfida centrale consiste nel permettere agli MLLM di adattarsi ai task downstream preservando in modo robusto le capacità pre-addestrate senza incorrere in costi eccessivi o modifiche architettoniche.

Metodologia: AWARe

Gli autori propongono AWARe (Activation-Weighted Adaptive REtention), un framework di fine-tuning che mitiga il forgetting catastrofico controllando dinamicamente gli aggiornamenti dei parametri in base ai pattern di attivazione. Il metodo si ispira al principio secondo cui una piccola frazione di pesi associata a grandi magnitudo di attivazione è sproporzionatamente importante per preservare il comportamento del modello (un concetto osservato negli studi di quantizzazione e pruning aware sull'attivazione).

AWARe opera in due fasi:

Knowledge Profiling (Profilazione della Conoscenza):
- Il metodo utilizza un piccolo set di calibrazione ( $S_{cal}$ ) campionato dai task upstream. Se i dati upstream non sono disponibili, un benchmark general-purpose (es. MMMU) funge da proxy.
- Per un determinato strato lineare con matrice di peso $W$ , il modello esegue un forward pass sul set di calibrazione per ottenere un tensore di attivazione $A$ .
- Stima della Saliency (Salienza): Il metodo calcola uno score di salienza per ogni neurone di output attraverso un processo di aggregazione in tre fasi:
  1. Calcolo della norma L2 delle attivazioni lungo la dimensione della lunghezza della sequenza.
  2. Applicazione della L2-normalizzazione per campione attraverso la dimensione nascosta per garantire la comparabilità e prevenire bias da attivazioni outlier.
  3. Media dei valori normalizzati attraverso il batch per generare un vettore di salienza finale $s$ .
- Questo processo identifica i neuroni che catturano costantemente caratteristiche strutturali attraverso diversi task upstream.
Constrained Fine-tuning (Fine-tuning Vincolato):
- In base agli score di salienza, un rapporto di ritenzione $\rho$ (es. 30%) viene utilizzato per identificare la frazione top- $\rho$ dei neuroni di output più salienti globalmente attraverso i target layer.
- Viene costruito un gradiente mask binario $M_{grad}$ dove le righe corrispondenti ai neuroni ad alta salienza sono impostate a 0 (congelate), mentre le altre sono impostate a 1 (addestrabili).
- Durante l'ottimizzazione downstream, i parametri associati alle regioni salienti sono mantenuti costanti tramite aggiornamenti del gradiente mascherati: $W^{(t+1)} = W^{(t)} - \eta \cdot (\nabla_W L_{down} \odot M_{grad})$ .
- Selezione del Target: AWARe applica specificamente questa strategia ai layer di proiezione lineare all'interno dei meccanismi di self-attention ( $q\_proj, k\_proj, v\_proj$ ) e al proiettore multimodale ( $mm\_projector$ ). Altri componenti, come i blocchi MLP e la proiezione di output, rimangono interamente congelati. Questa selezione si basa sulle evidenze che l'aggiornamento delle proiezioni della self-attention causa meno forgetting della conoscenza preesistente rispetto ai blocchi MLP.

Contributi Chiave

Framework AWARe: L'introduzione di un metodo semplice, basato sull'attivazione, per preservare la conoscenza upstream critica durante l'adattamento downstream negli MLLM. Il metodo riutilizza la salienza dell'attivazione dai contesti di compressione e merging per la mitigazione del forgetting.
Efficienza e Semplicità: L'approccio non richiede cambiamenti architettonici, non introduce moduli adapter aggiuntivi e aggiorna solo un piccolo sottoinsieme di parametri (circa il 17,5% nell'impostazione ottimale). Evita la necessità di buffer di replay o statistiche del secondo ordine.
Validazione Esaustiva: Gli autori dimostrano attraverso studi di ablazione e benchmark che la salienza basata sull'attivazione è un criterio efficace per la selezione dei parametri, superando la selezione statica basata sulla norma del peso o la selezione casuale.

Risultati Sperimentali

Gli autori hanno valutato AWARe sul backbone LLaVA-v1.5-7B e ne hanno validato la trasferibilità su Qwen2.5-VL-7B.

Adattamento Downstream Single-Task: Su IconQA (VQA) e COCO-Caption (Image Captioning), AWARe ha raggiunto un equilibrio superiore tra Knowledge Retention (R) (stabilità dei task upstream) e Learning Efficiency (E) (performance sul nuovo task).
- Rispetto ai baseline allo stato dell'arte (inclusi LoRA, DoRA, Orth-Reg, Model Tailor, LoRASculpt e SPIDER), AWARe ha mantenuto alti tassi di ritenzione (es. $R \approx 98,4$ su IconQA) ottenendo al contempo performance downstream competitive.
- Notevolmente, l'uso di un set di calibrazione general-purpose (MMMU) invece dei dati upstream specifici ha prodotto risultati comparabili all'uso dell'intero dataset upstream, dimostrando robustezza.
Continual Instruction Tuning: Sul benchmark MLLM-DCL (una sequenza di cinque task: Remote Sensing, Medical, Autonomous Driving, Science, Finance), AWARe ha ottenuto la più alta performance media su tutti i task e la migliore performance finale dopo l'ultimo task. Ha migliorato le medie complessive di 3,18 e 1,77 punti rispetto al baseline più forte (DISCO) nelle metriche di media e dell'ultimo task, rispettivamente.
Studi di Ablazione:
- Strategia di Selezione: La selezione basata sull'attivazione ha superato significativamente la selezione casuale e quella basata sulla norma del peso.
- Rapporto di Ritenzione: Un rapporto di ritenzione del 30% (congelando il top 30% dei neuroni salienti) ha fornito il miglior compromesso tra stabilità e plasticità.
- Target di Addestramento: L'applicazione di AWARe sia alle proiezioni della self-attention che al proiettore multimodale ha prodotto i risultati migliori. Congelare interamente i blocchi MLP è stato cruciale, poiché il loro fine-tuning portava a un grave collasso delle performance sui task upstream.

Significato e Rivendicazioni

Il paper sostiene che AWARe offra una soluzione pratica ed efficace al catastrophic forgetting negli MLLM sfruttando pattern di attivazione dinamici e dipendenti dai dati piuttosto che priori statici del peso. La significatività del lavoro risiede in:

Agnosticismo Architetturale: Opera senza modificare le architetture dei modelli, garantendo la compatibilità con i motori di inferenza esistenti.
Efficacia dei Costi: Congelando i parametri ad alta salienza e aggiornando solo una piccola frazione, riduce significativamente l'overhead computazionale rispetto al full fine-tuning o ai metodi basati su replay.
Robustezza: Il metodo rimane efficace anche quando i dati dei task upstream sono limitati, facendo affidamento su set di calibrazione general-purpose.
Compromesso Stabilità-Plasticità: AWARe riesce a bilanciare la preservazione delle capacità generali fondamentali con la flessibilità necessaria per l'adattamento a task specializzati, affrontando un collo di bottiglia critico nel deployment pratico degli MLLM.

Gli autori riconoscono i limiti, notando che la qualità dei dati di calibrazione può influenzare le regioni congelate selezionate e che shift di distribuzione estremamente ampi potrebbero richiedere la calibrazione del rapporto di ritenzione. Tuttavia, il framework proposto stabilisce un nuovo baseline per un fine-tuning multimodale efficiente e stabile.