Riepilogo Tecnico: Dimenticanza Visiva Contrastiva Vincolata allo Spazio Nullo per l'Oblio negli MLLM

1. Definizione del Problema

Il documento affronta la sfida dell'oblio automatico all'interno dei Modelli Linguistici Multimodali di Grande Dimensione (MLLM). Mentre l'oblio nei LLM basati solo su testo mira a rimuovere conoscenze testuali specifiche, l'oblio negli MLLM presenta un compromesso più complesso: l'obiettivo è cancellare la conoscenza visiva target (ad esempio, l'aspetto visivo di una persona specifica) preservando rigorosamente:

1. Conoscenza visiva non target (caratteristiche visive di altre entità).
2. Tutta la conoscenza testuale (informazioni fattuali relative sia alle entità target che a quelle non target).

La difficoltà principale risiede nel forte intreccio tra le modalità visiva e testuale. I metodi standard di oblio che aggiornano l'intero modello spesso degradano le capacità testuali o falliscono nel dimenticare selettivamente i concetti visivi senza causare danni collaterali alla conoscenza visiva mantenuta. Inoltre, i metodi esistenti si basano tipicamente su una supervisione a livello di output (funzioni di perdita applicate agli output finali del modello), che è inefficiente quando viene aggiornato solo il modulo visivo, poiché il segnale di supervisione viene attenuato dal backbone LLM intermedio.

2. Metodologia

Il framework proposto, Dimenticanza Visiva Contrastiva Vincolata allo Spazio Nullo (NC-CVF), opera congelando il backbone LLM e affinando solo il modulo visivo (Codificatore Visivo e Proiettore). L'approccio consta di tre componenti principali:

A. Supervisione a Livello Intermedio tramite Dimenticanza Visiva Contrastiva (CVF)

Invece di applicare la supervisione all'output finale, il metodo inietta la supervisione direttamente nelle Rappresentazioni Visive Intermedie (IVR) prodotte dal modulo visivo.

• Modello di Riferimento: Il modello originale, pre-oblio, funge da riferimento.
• Meccanismo Contrastivo:
  • Spinta: Per le entità target (insieme da dimenticare), le IVR del modello che subisce l'oblio vengono allontanate dalle IVR di riferimento utilizzando una funzione di perdita modificata simile a InfoNCE ($L_{CVF-push}$). Questo separa esplicitamente i concetti visivi target dalle loro rappresentazioni originali.
  • Attrazione: Per impedire al modello di deviare verso una regione che danneggia la conoscenza mantenuta, le IVR sottoposte a oblio vengono attratte verso una rappresentazione di ancoraggio ($p^a_r$). Questo ancoraggio è la media delle IVR di riferimento provenienti dai campioni mantenuti, garantendo che il modello rimanga entro uno spazio di caratteristiche "sicuro" per la conoscenza non target.
• Funzione di Perdita per il Mantenimento: Una funzione di perdita esplicita di Errore Quadratico Medio ($L_{RET}$) viene applicata alle IVR dei campioni mantenuti per garantire che corrispondano al modello di riferimento.
• Utilità Generale: Una funzione di perdita standard di verosimiglianza a livello di output ($L_{GUM}$) è inclusa sui dati mantenuti per preservare le capacità multimodali generali.

B. Oblio Vincolato allo Spazio Nullo (NCU)

Per disaccoppiare ulteriormente l'oblio dal mantenimento, il metodo vincola gli aggiornamenti dei parametri a un sottospazio ortogonale alle direzioni che codificano la conoscenza mantenuta.

• Identificazione del Sottospazio: Utilizzando la Scomposizione ai Valori Singoli (SVD) sulla matrice di covarianza delle attivazioni dell'insieme mantenuto, il metodo identifica il sottospazio generato dai vettori propri corrispondenti ai valori propri più piccoli. Queste direzioni sono debolmente associate alla conoscenza mantenuta.
• Vincolo LoRA: L'oblio viene implementato tramite Adattamento a Basso Rango (LoRA). Il metodo inizializza la matrice LoRA $A$ utilizzando la base di questo spazio nullo e la congela per tutta la durata dell'addestramento. Viene ottimizzata solo la matrice $B$.
• Effetto: Ciò garantisce che gli aggiornamenti dei pesi ($\Delta W = BA$) abbiano un impatto trascurabile sugli output del layer per i dati mantenuti ($A x \approx 0$), isolando efficacemente l'operazione di oblio dal mantenimento della conoscenza.

C. Estensione all'Oblio Continuo

Il framework è esteso all'oblio continuo, in cui le richieste di oblio arrivano in sequenza. Congelando la base dello spazio nullo $A$ e inizializzando i compiti successivi con la matrice $B$ ottimizzata dal compito precedente, il metodo previene il degrado cumulativo della conoscenza mantenuta nel tempo.

3. Contributi Chiave

1. Supervisione a Livello Intermedio: Il documento propone di spostare la supervisione dell'oblio dall'output finale alle rappresentazioni visive intermedie, affrontando il problema dell'attenuazione del segnale negli MLLM quando viene aggiornato solo il modulo visivo.
2. Dimenticanza Visiva Contrastiva (CVF): Un meccanismo innovativo che utilizza una strategia "spinta-attrazione" nello spazio delle caratteristiche per separare i concetti visivi target ancorandoli contemporaneamente alle regioni della conoscenza mantenuta.
3. Oblio Vincolato allo Spazio Nullo (NCU): Un vincolo strutturale che disaccoppia esplicitamente oblio e mantenimento limitando gli aggiornamenti a un sottospazio ortogonale alla conoscenza mantenuta, ispirato all'apprendimento nello spazio nullo nell'editing degli LLM.
4. Framework per l'Oblio Continuo: Il primo approccio a gestire richieste di oblio sequenziali negli MLLM, dimostrando che i vincoli proposti mitigano il degrado cumulativo tipicamente osservato negli scenari continui.

4. Risultati Sperimentali

Il metodo è stato valutato su tre benchmark: MLLMU-Bench, UMU-Bench e CLEAR, utilizzando i modelli LLaVA-1.5-7B e Qwen2-VL-7B.

• Efficacia dell'Oblio: Il metodo ha ottenuto la precisione più bassa sui compiti "Forget VQA" (indicando una rimozione riuscita della conoscenza visiva target) su tutti i benchmark, superando le baseline all'avanguardia come MMU e MANU.
• Mantenimento della Conoscenza: Ha mantenuto un'alta precisione sui compiti "Retain VQA" e "Forget/Retain QA". In modo notevole, ha preservato la conoscenza testuale (compiti QA) a livelli comparabili al modello vanilla, mentre altri metodi hanno spesso subito cali significativi.
• Oblio Continuo: Negli scenari di oblio sequenziale, il metodo proposto ha mostrato un degrado significativamente più lento nel mantenimento e nell'utilità reale rispetto alle baseline, che hanno mostrato un collasso delle prestazioni dopo pochi compiti.
• Efficienza: Congelando l'LLM e utilizzando un vincolo a spazio nullo pre-calcolato, il metodo ha ridotto il tempo di addestramento e l'utilizzo della memoria GPU rispetto alle baseline di affinamento dell'intero modello.

5. Significato e Affermazioni

Il documento afferma di presentare una soluzione robusta al compromesso tra oblio e mantenimento negli MLLM. Il suo significato risiede in:

• Oblio Selettivo: Dimostrare con successo che la conoscenza visiva può essere cancellata senza compromettere la capacità del modello di richiamare fatti testuali o riconoscere altre entità visive.
• Disaccoppiamento Strutturale: Andare oltre semplici aggiustamenti della funzione di perdita per adottare vincoli strutturali (spazio nullo) che isolano matematicamente il processo di oblio dalla conoscenza mantenuta.
• Fattibilità Continua: Affrontare uno scenario pratico e poco esplorato in cui si verificano multiple richieste di oblio nel tempo, mostrando che il metodo scala efficacemente senza danni cumulativi.

Gli autori posizionano questo lavoro come un passo verso la creazione di MLLM più sicuri e conformi alle normative sulla privacy, abilitando la rimozione precisa e specifica per modalità della conoscenza senza il costo proibitivo del retraining.