Sintesi Tecnica: InduceKV

Definizione del Problema

I Modelli Linguistici Multimodali Grandi (MLLM) affrontano sfide significative nell'adattamento continuo ad evoluzioni di task e domini operando sotto rigorosi vincoli di implementazione. Gli approcci esistenti rientrano tipicamente in due categorie, entrambe le quali fatica a soddisfare il requisito del "footprint fisso":

1. Aggiornamenti dei Parametri: I metodi che utilizzano il Parameter-Efficient Fine-Tuning (PEFT), il Mixture of Experts (MoE) o l'espansione dell'architettura scambiano stabilità e plasticità, ma riscrivono intrinsecamente i parametri del modello nel tempo. Ciò complica il controllo del budget (poiché lo stato di esperti/router cresce) e rischia di intrecciare gli adattamenti ai nuovi task con l'interfaccia pre-addestrata cross-modale, potenzialmente danneggiando la generalizzazione.
2. Meccanismi Basati sul Replay: Gli approcci che utilizzano la selezione dinamica dei dati, il replay sintetico o la distillazione riducono l'oblio, ma legano il miglioramento continuo alla gestione dei dati durante l'addestramento. Spesso affrontano una tensione tra la preservazione di comportamenti storici diversificati e l'adeguamento a un footprint di memoria esterno piccolo e fisso, specialmente quando il pool di candidati diventa ridondante.

La sfida centrale affrontata da questo lavoro è come adattare continuamente un MLLM a nuovi task preservando le competenze precedenti, mantenendo il modello backbone congelato e mantenendo uno stato di adattamento esterno strettamente limitato (footprint fisso).

Metodologia: InduceKV

Gli autori propongono InduceKV, un metodo basato sul retrieval che esternalizza gli incrementi specifici per task in una memoria Key-Value (KV) compatibile con l'attenzione senza aggiornare i parametri del backbone.

Meccanismo Core

1. Estrazione di Chiave e KV Congelati:

   • Per un dato prefisso di input $x$, il MLLM congelato estrae una chiave di retrieval a norma unitaria $r(x)$ tramite mean-pooling degli stati latenti dell'ultimo layer.
   • Simultaneamente, estrae payload Key-Value (KV) compatti e per layer $\{(\bar{K}_\ell(x), \bar{V}_\ell(x))\}_{\ell=1}^L$ per ogni layer del Transformer. Questi payload sono compressi tramite segment-mean pooling a una lunghezza di token fissa $m$, garantendo una dimensione della memoria indipendente dal task.
   • Questi componenti formano un'entrata di memoria $e(x)$ memorizzata in una memoria esterna.

2. Induzione KV Pesata dal Retrieval:

   • In fase di inferenza, una chiave di query $r(x)$ recupera le voci di memoria rilevanti basandosi sulla similarità del coseno.
   • Un parametro di calibrazione leggero $\phi$ (composto da una temperatura di retrieval $\tau$ e gate di valore per layer $\lambda_\ell$) controlla la forza del retrieval e l'iniezione dei valori di memoria.
   • I payload KV recuperati vengono concatenati e iniettati come token di cache aggiuntivi nella masked self-attention del modello. Il meccanismo di attenzione viene modificato per prestare attenzione sia ai token del prefisso standard che ai token di memoria iniettati, permettendo al modello di sfruttare l'evidenza esterna senza alterare $\theta$.

3. Selezione del Set Inducente Bilevel:

   • Per operare sotto un budget di memoria $B$ rigoroso, il sistema non può memorizzare tutte le entrate estratte. Utilizza un processo di ottimizzazione bilevel per selezionare un "set inducente" compatto:
     • Livello Interno: Adatta un minimo calibramento di retrieval $\phi$ sui dati del task corrente per minimizzare la negative log-likelihood (NLL).
     • Livello Esterno: Seleziona un sottoinsieme di entrate di memoria (pesi $w$) che ottimizzano congiuntamente:
       • Fit Corrente: La verosimiglianza sul task corrente.
       • Ritenzione: Le prestazioni su un piccolo set di "ancore" storiche (esempi fissi da task precedenti).
       • Copertura: Un regolarizzatore di copertura spettrale (log-determinante della matrice di covarianza in uno spazio di retrieval proiettato) per prevenire la ridondanza e garantire la diversità nella memoria selezionata.
   • La memoria finale $M_t$ è composta dalle Top-$B$ entrate selezionate dall'ottimizzazione esterna.

Contributi Chiave

1. Riformulazione dell'Adattamento Continuo: Il paper riformula l'adattamento continuo di MLLM come un problema di selezione di un set inducente online con budget per la memoria basata sul retrieval. Questo sposta la tensione stabilità-plasticità da un processo di aggiornamento dei parametri in continua crescita a un problema di allocazione della memoria.
2. Meccanismo di Adattamento Guidato dal Retrieval: Gli autori introducono un meccanismo che memorizza gli incrementi di task come memorie KV esterne compatibili con l'attenzione. Fondamentalmente, utilizza un'interfaccia di calibrazione leggera per controllare la forza del retrieval e tiene esplicitamente conto dell'overhead di prefill e iniezione KV, iniettando evidenze specifiche del task senza ripetuti aggiornamenti del backbone.
3. Validazione Empirica e Teorica: L'approccio raggiunge risultati allo stato dell'arte in diverse configurazioni (instruction tuning incrementale per task, VQA continua, adattamento incrementale di dominio e tuning lifelong). Teoricamente, il paper fornisce limiti di regret che mostrano come il selettore di memoria rilassato competa con la migliore allocazione di un set inducente fisso sotto lo stesso budget, con un regret sublineare.

Risultati Sperimentali

Gli autori hanno valutato InduceKV contro forti baseline (inclusi PEFT, MoE, replay e metodi di prompt-retrieval) sotto budget di memoria e vincoli computazionali equivalenti.

• Instruction Tuning Incrementale per Task (UCIT & CoIN): InduceKV ha superato costantemente le baseline come HiDe-LLaVA, O-LoRA e MoELoRA. Ad esempio, sul benchmark UCIT con un backbone LLaVA-v1.5-7B, InduceKV ha migliorato il punteggio medio di 0.88 e il punteggio dell'ultimo task di 1.12 rispetto a HiDe-LLaVA.
• VQA Continua: Sotto entrambi i protocolli LV e T5, InduceKV ha ottenuto una Precision Media (AP) più elevata e un oblio (AF) inferiore rispetto a CL-MoE e QUAD.
• Adattamento Incrementale di Dominio e Tuning Lifelong: Il metodo ha dimostrato robustezza nei cambiamenti di dominio (Medicina, Grafici, Matematica) e in scenari di arrivo dinamico di dataset (LiIT), superando Adapt-$\infty$ e altre baseline di selezione dinamica.
• Studi di Ablazione: La rimozione di componenti come il weighted induction del retrieval, il coupling bilevel o la copertura spettrale ha portato a cali significativi delle prestazioni, confermando la necessità dell'ottimizzazione congiunta dei pesi di selezione e del calibramento del retrieval.
• Efficienza: Sebbene InduceKV comporti un overhead di prefill dovuto al calcolo della chiave di retrieval, raggiunge un throughput superiore rispetto ai metodi di replay basati su prompt (che devono elaborare gli esempi recuperati attraverso l'intera rete) e mantiene un throughput comparabile ai metodi PEFT pur offrendo una ritenzione superiore.

Significato e Rivendicazioni

Il paper sostiene che InduceKV offre un'alternativa fondata alle pipeline di aggiornamento dei parametri per l'adattamento continuo di MLLM. Congelando il backbone ed esternalizzando gli incrementi in una memoria KV compatta e con budget, il metodo:

• Decoppia l'Adattamento dai Backbone: Evita la complessità della gestione di stati di parametri crescenti (es. router degli esperti) e previene l'intreccio di nuovi task con l'interfaccia pre-addestrata.
• Garantisce un Footprint Fisso: Lo stato di adattamento è strettamente limitato, rendendolo adatto a scenari di implementazione con vincoli di archiviazione e privacy.
• Sfrutta l'Attenzione Nativa: A differenza dei metodi di prompt-retrieval che trattano i dati recuperati come testo, InduceKV inietta l'evidenza direttamente nella cache dell'attenzione, permettendo al modello di utilizzare la conoscenza recuperata in modo più efficiente e controllabile.

Gli autori sottolineano che i guadagni non derivano da un backbone più forte, dal solo replay o da un pool di candidati illimitato, ma piuttosto dal design specifico della selezione del set inducente con budget e dall'iniezione allineata all'attenzione. Il lavoro suggerisce che l'adattamento continuo scalabile è fattibile trattando la selezione della memoria come un problema di ottimizzazione online piuttosto che come un compito di archiviazione dati statico.