Hidden Forgetting in Continual Multimodal Learning: When Accuracy Survives but Grounding Fails

Riepilogo Tecnico: Dimenticanza Nascosta nell'Apprendimento Multimodale Continuo

Definizione del Problema

I Modelli Linguistici Multimodali Grandi (MLLM) devono adattarsi continuamente a compiti e domini in evoluzione, come nuovi formati visivi, istruzioni e capacità di ragionamento. Mentre le metriche standard dell'apprendimento continuo (CL) si concentrano sul verificare se le risposte precedenti rimangano corrette, esse trascurano ampiamente la stabilità dell'ancoraggio multimodale (multimodal grounding).

Il paper identifica un modello di fallimento specifico denominato Dimenticanza Nascosta dell'Uso delle Evidenze (Hidden Evidence-Use Forgetting). In questo scenario, un MLLM mantiene un'elevata accuratezza sui compiti precedenti ma sposta silenziosamente il proprio affidamento da canali di evidenza ancorati (ad esempio, regioni visive, token OCR, elementi di grafici, testo di documenti) verso scorciatoie meno ancorate (ad esempio, prior linguistici o bias del dataset). La valutazione standard a livello di risposta non riesce a rilevare questo deriva, creando un falso senso di stabilità mentre il processo di ragionamento del modello diventa meno fedele.

Metodologia: Apprendimento Continuo con Vincolo di Affidamento (RCL)

Per affrontare questo problema, gli autori propongono RCL, un framework di apprendimento continuo senza replay che preserva non solo cosa il modello risponde, ma anche come utilizza le evidenze.

Meccanismo Centrale

RCL opera congelando il checkpoint precedente come riferimento comportamentale ("insegnante") e vincolando il modello corrente ("studente") a mantenere il profilo di affidamento sulle evidenze dell'insegnante durante l'adattamento.

1. Interventi Controfattuali sui Canali:

   • Per ogni input, RCL costruisce esempi controfattuali sopprimendo sistematicamente specifici canali di evidenza (ad esempio, mascherando regioni visive, rimuovendo token OCR o nascondendo elementi di grafici).
   • La sensibilità del modello a queste soppressioni è misurata tramite l'incremento della perdita (loss) o lo spostamento della distribuzione dell'output.
   • Queste sensibilità vengono normalizzate in un vettore di affidamento $r_\theta(x, y)$, che rappresenta la distribuzione di probabilità su quali canali di evidenza il modello dipende per un campione specifico.

2. Obiettivo di Preservazione dell'Affidamento:

   • Il framework ottimizza congiuntamente tre obiettivi:
     • Apprendimento del Compito ($L_{task}$): Standard cross-entropy loss per la fase corrente.
     • Preservazione della Predizione ($L_{pred}$): Distillazione a livello di token per garantire che il modello corrente produca le stesse risposte del precedente.
     • Preservazione dell'Affidamento ($L_{rel}$): Un termine di perdita che minimizza la Divergenza di Jensen–Shannon (JSD) tra il vettore di affidamento dell'insegnante e quello dello studente.
   • Un gate di confidenza pesa la perdita di affidamento, riducendo il peso dei campioni in cui le predizioni dell'insegnante sono incerte o in cui l'insegnante non mostra una dipendenza misurabile da specifici canali, evitando la propagazione di target rumorosi.

3. Dettagli di Implementazione:

   • RCL è senza replay (replay-free): non memorizza precedenti esempi multimodali.
   • Utilizza il Fine-Tuning Parametrico Efficiente (PEFT) (ad esempio, LoRA), congelando il backbone e aggiornando solo i parametri dell'adapter.
   • Nessun Overhead di Inferenza: Gli interventi controfattuali e la stima dell'affidamento avvengono solo durante l'addestramento e la valutazione. Il modello distribuito ha la stessa architettura e latenza di un normale MLLM adattato tramite PEFT.

Contributi Chiave

1. Formalizzazione della Dimenticanza Nascosta dell'Uso delle Evidenze: Gli autori definiscono e quantificano un modello di fallimento in cui l'accuratezza della risposta è preservata mentre il percorso delle evidenze sottostante devia. Introducono metriche come la Deriva dell'Affidamento Modale (MRD), il Tasso di Inversione dell'Evidenza Dominante (DEF) e il Tasso di Dimenticanza Nascosta (HFR) per diagnosticare questo fenomeno.
2. Framework RCL: Un nuovo framework senza replay che vincola la deriva dell'uso delle evidenze attraverso interventi controfattuali sui canali senza aumentare i costi di inferenza.
3. Validazione Empirica: Il paper dimostra che preservare i profili di affidamento migliora sia la ritenzione delle risposte che la stabilità dell'ancoraggio, offrendo una nozione di apprendimento continuo multimodale più robusta rispetto alla sola accuratezza della risposta.

Risultati Sperimentali

Gli autori hanno valutato RCL su quattro benchmark: CoIN, COAST, MCITlib e un flusso multimodale sensibile alle evidenze personalizzato (che copre VQA, OCR, grafici e documenti) utilizzando backbone come LLaVA-1.5-7B/13B e InternVL-Chat-7B.

• Performance vs. Dimenticanza: RCL ha superato costantemente i baseline senza replay (ad esempio, Seq-LoRA, EWC, LwF) in termini di accuratezza media finale, riducendo significativamente la dimenticanza media.
• Stabilità dell'Ancoraggio:
  • RCL ha ridotto la Deriva dell'Affidamento Modale (MRD) di circa il 50% rispetto ai forti baseline (ad esempio, da ~0,23 a ~0,10).
  • Ha drasticamente abbassato il Tasso di Inversione dell'Evidenza Dominante (DEF), in particolare per le evidenze strutturate come OCR, grafici e documenti.
  • Il Tasso di Dimenticanza Nascosta (HFR) è stato ridotto dal ~65% (in baseline come Answer-KD) a circa l'11% con RCL.
• Efficienza dei Costi: Nonostante il costo in fase di addestramento degli interventi controfattuali, RCL ha raggiunto prestazioni quasi Pareto-ottimali, offrendo guadagni sostanziali nella stabilità dell'ancoraggio con solo un moderato aumento del calcolo di addestramento (circa 1,56x il costo di LoRA sequenziale).

Significato e Rivendicazioni

Il paper sostiene che un apprendimento continuo multimodale robusto richiede la preservazione del percorso delle evidenze dietro le risposte corrette, non semplicemente le risposte stesse.

• Oltre l'Accuratezza: Gli autori affermano che la valutazione standard centrata sulla risposta è insufficiente per applicazioni sensibili alla sicurezza e a lungo termine, poiché può mascherare la deriva del modello verso ragionamenti basati su scorciatoie.
• Efficienza Senza Replay: RCL dimostra che è possibile ottenere un'alta qualità nella preservazione dell'affidamento senza memorizzare dati passati o incorrere in penalità al tempo di inferenza, rendendolo adatto alla distribuzione nel mondo reale.
• Generalizzabilità: Il metodo si dimostra efficace attraverso diverse scale di modelli e architetture, suggerendo che la stabilità dell'uso delle evidenze è un requisito fondamentale per l'adattamento affidabile degli MLLM.

Gli autori concludono che i futuri sistemi di apprendimento continuo dovrebbero essere valutati non solo in base a cosa rispondono, ma anche in base a come utilizzano le evidenze multimodali per arrivare a tali risposte.