🤖 machine learning

Multimodal Unlearning Across Vision, Language, Video, and Audio: Survey of Methods, Datasets, and Benchmarks

Questo sondaggio presenta una tassonomia unificata e orientata al sistema dei metodi, dei dataset e dei benchmark per l'unlearning multimodale attraverso le modalità visione, linguaggio, audio e video, affrontando la sfida di rimuovere selettivamente informazioni sensibili o protette da copyright dai modelli fondativi preservandone l'utilità complessiva.

Autori originali: Nobin Sarwar, Shubhashis Roy Dipta, Zheyuan Liu, Vaidehi Patil

Pubblicato 2026-07-10

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Nobin Sarwar, Shubhashis Roy Dipta, Zheyuan Liu, Vaidehi Patil

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di aver costruito un amico robot super intelligente e super creativo che può disegnare immagini, scrivere storie, cantare canzoni e creare video tutto in una volta. Questo robot ha imparato leggendo l'intero internet, ma nel farlo ha accidentalmente memorizzato alcune cose che non avrebbe dovuto: magari una foto privata di un vicino, un dipinto protetto da copyright di un artista famoso o una battuta strana e non sicura.

Il vicino vuole che quella foto venga dimenticata, l'artista vuole che il suo stile venga cancellato e l'internet vuole che quella battuta scompaia. Il vecchio modo per risolvere il problema era eliminare i dati cattivi e ricostruire il robot da zero. Ma questo è come demolire un grattacielo solo per rimuovere un mattone crepato: richiede un tempo infinito, costa una fortuna ed è totalmente impraticabile.

Questo articolo è una survey massiccia (una gigantesca mappa del panorama attuale) che esplora un modo nuovo e più intelligente per risolvere il problema: l'Unlearning Multimodale (Dimenticanza Multimodale). Invece di ricostruire l'intero robot, questi metodi cercano di eseguire una "dimenticanza selettiva", rimuovendo chirurgicamente solo i cattivi ricordi mentre la capacità del robot di disegnare, scrivere e cantare rimane perfettamente intatta.

La Grande Mappa: Dove Interveniamo?

Gli autori organizzano tutti i diversi metodi in una mappa "basata sul sistema". Invece di guardare solo la matematica, guardano a quando e dove si interviene nel cervello del robot. Hanno identificato cinque luoghi principali in cui eseguire questa chirurgia:

Lato Dati (Prima che il Robot Impari): Immagina di mettere un adesivo "non imparare" sulle foto o sui testi cattivi prima ancora che il robot li veda. Alcuni metodi modificano leggermente i dati in modo che il robot non possa memorizzarli, oppure puliscono la libreria di addestramento per rimuovere coppie "avvelenate" di immagini e parole.
Modifiche durante l'Addestramento (Mentre il Robot sta Imparando): Questo è come insegnare al robot una nuova regola mentre sta studiando. Gli dici: "Ehi, quando vedi questo specifico elemento, non ricordarlo, ma continua a ricordare tutto il resto". Il robot regola i pesi del suo cervello per dimenticare l'obiettivo mantenendo intatto il resto.
Vincoli di Architettura (Cambiando l'Hardware del Robot): A volte, invece di cambiare le regole, si cambia la struttura del robot. Potresti "congelare" (bloccare) alcune parti del suo cervello in modo che non possano cambiare, o potare (tagliare via) specifiche connessioni che contengono il cattivo ricordo, poi lasciare che il robot ri-impari le cose buone attorno al vuoto lasciato.
Unlearning Senza Addestramento (La Gomma Magica): Questa è la parte più interessante. Questi metodi non ri-addestrano affatto il robot. Usano la matematica per modificare direttamente i pesi del cervello del robot o le sue rappresentazioni interne (il modo in cui "pensa" alle cose) in un unico passaggio rapido. È come usare un solvente chimico specifico per sciogliere solo l'inchiostro cattivo senza toccare il resto della pagina.
Tempo di Decodifica (Durante lo Spettacolo): Immagina che il robot stia disegnando un'immagine. All'ultimo secondo, prima che l'immagine appaia, un filtro interviene e dice: "No, non disegnare quel volto specifico". Il cervello del robot rimane lo stesso, ma l'output viene guidato lontano dal contenuto proibito.

Le Regole del Gioco

L'articolo è molto chiaro su ciò che questi metodi cercano di ottenere e su ciò che non stanno facendo.

L'Obiettivo: L'obiettivo principale è la rimozione selettiva. Vuoi dimenticare un set specifico di dati (il "forget set", come un volto privato o uno stile protetto da copyright) mentre mantieni il "retain set" (tutto il resto) perfettamente funzionante. L'articolo definisce questo concetto matematicamente: il robot dopo l'unlearning dovrebbe comportarsi quasi esattamente come un robot che non è mai stato addestrato su quei dati cattivi.
Ciò che Escludono: L'articolo argomenta esplicitamente contro l'idea che basti eliminare i dati e aspettarsi che il robot dimentichi automaticamente. Dimostra che la conoscenza è distribuita in tutto il cervello del robot; eliminare il file sorgente non cancella la memoria. Inoltre, esclude l'idea che gli attuali metodi siano perfetti. Sono spesso euristici (basati su tentativi, errori e intuizioni intelligenti) piuttosto che dotati di prove matematiche incrollabili che garantiscano che la memoria sia sparita per sempre.
La Trappola "Unlearning vs. Nascondere": L'articolo suggerisce che alcuni metodi potrebbero solo nascondere l'informazione cattiva invece di eliminarla davvero. Se si interroga il robot con le domande "avversarie" giuste (come un jailbreak), il ricordo dimenticato potrebbe riemergere. L'articolo nota che, sebbene abbiamo molti metodi, non abbiamo ancora la garanzia che la memoria sia stata realmente cancellata, specialmente contro attacchi sofisticati.

Il Kit di Attrezzi: Dataset e Benchmark

Per testare questi metodi, i ricercatori utilizzano specifici "campi di addestramento". L'articolo elenca diversi dataset utilizzati per questo scopo:

Per i Volti: Utilizzano dataset come CelebA (202.599 immagini) e VGGFace2 (3,3 milioni di immagini di volti) per testare se il robot può dimenticare il volto di una persona specifica.
Per il Copyright: Utilizzano UnlearnCanvas (60 stili artistici) per vedere se il robot può dimenticare lo stile di un artista specifico.
Per la Sicurezza: Utilizzano dataset come I2P (4.700 prompt) per testare se il robot può dimenticare come generare contenuti non sicuri o inappropriati.
Per l'Audio: Utilizzano VoxCeleb1 (150.000 utterance) per testare se il robot può dimenticare la voce di un parlatore specifico.

L'articolo evidenzia che disponiamo di benchmark (come MU-Bench e MLLMU-Bench) per misurare quanto bene funzionano questi metodi. Questi benchmark controllano tre cose:

Ha dimenticato? (Il robot fallisce nel riconoscere la cosa cattiva?)
Ha mantenuto le cose buone? (Il robot è ancora bravo a disegnare e scrivere riguardo a tutto il resto?)
È sicuro? (Un hacker può truccare il robot per fargli ricordare di nuovo la cosa cattiva?)

Un Controllo di Realtà: Cosa è Ancora Rotto?

Gli autori sono onesti riguardo alle lacune. Suggeriscono che, sebbene abbiamo molti strumenti interessanti, siamo ancora agli "inizi".

Nessuna Garanzia Magica: La maggior parte dei metodi è simulata o testata su modelli specifici. Non abbiamo una prova matematica universale che dica: "Questo metodo cancellerà sempre la memoria per sempre, indipendentemente da tutto".
Il Probletma della "Ritorno alla Superficie": L'articolo suggerisce che nei modelli generativi (come i creatori di immagini), i concetti dimenticati potrebbero riemergere se il robot viene sottoposto a un ulteriore fine-tuning o se qualcuno usa un prompt astuto. È come dimenticare una canzone, ma poi sentire una melodia simile e ricordarla di nuovo.
Il Compromesso (Trade-off): Spesso c'è un compromesso. Più aggressivamente cerchi di dimenticare, più potresti danneggiare la capacità del robot di fare altre cose. L'articolo nota che eliminare anche solo una piccola quantità di dati può talvolta causare un calo misurabile delle prestazioni in altri compiti.
Leakage Cross-Modale: Se insegni al robot a dimenticare un volto nelle immagini, dimenticherà anche quel volto nelle descrizioni testuali? L'articolo suggerisce che questa è una grande sfida aperta; la sicurezza in una modalità (testo) non si traduce necessariamente in sicurezza in un'altra (immagine).

Conclusione

Questo articolo è una survey, il che significa che è una guida completa a ciò che esiste attualmente, non una singola nuova invenzione. Organizza il caos del "come far dimenticare l'IA" in un sistema chiaro. Suggerisce che abbiamo strumenti potenti per eseguire la "chirurgia" sui modelli di IA, ma stiamo ancora cercando di capire come rendere tale chirurgia 100% affidabile, sicura dagli hacker e perfetta nel non danneggiare il resto del cervello del robot.

Gli autori stanno rilasciando un repository curato (una collezione pubblica di codice e dati) per aiutare altri a costruire sopra queste basi. Sono speranzosi che, mappando i problemi — come la necessità di migliori benchmark e garanzie più forti — potremo alla fine costruire un'IA che rispetti la privacy e il copyright senza dover essere ricostruita da capo ogni volta che qualcuno chiede di essere dimenticato.

Riepilogo Tecnico: Unlearning Multimodale tra Visione, Linguaggio, Video e Audio

1. Definizione del Problema

La rapida adozione di Modelli Fondazionali Multimodali (MFM) — che includono modelli visione-linguaggio (VLM), modelli di diffusione (DM), modelli linguistici di grandi dimensioni (LLM) e modelli fondazionali audio (AFM) — ha introvato rischi significativi riguardanti l'inavvertita codifica di associazioni cross-modali sensibili, protette da copyright, distorte o insicure. Questi modelli, addestrati su dati su scala web, spesso memorizzano istanze specifiche (ad es., volti privati, opere d'arte protette da copyright) o concetti indesiderabili (ad es., tropi dannosi).

Quando si affrontano richieste di cancellazione (ad es., il "Diritto all'Oblio") o aggiornamenti delle policy, la soluzione standard del riaddestramento da zero è spesso computazionalmente impraticabile. Inoltre, l'unlearning mirato è tecnicamente complesso perché la conoscenza negli MFM è distribuita attraverso rappresentazioni condivise; rimuovere un'associazione in una modalità (ad es., il testo) può involontariamente interrompere comportamenti non correlati in un'altra (ad es., la generazione di immagini) o fallire nel cancellare completamente il concetto a causa di una residua fuga cross-modale. Il problema centrale è ottenere la rimozione selettiva di specifici dati o concetti attraverso le modalità, mantenendo al contempo l'utilità complessiva e le prestazioni del modello sui dati rimanenti.

2. Metodologia e Tassonomia

Questo survey propone una tassonomia orientata al sistema che organizza i metodi di unlearning multimodale non per obiettivi di ottimizzazione, ma per stadio di intervento e percorso di controllo. Questo framework copre l'intero processo, dalla preparazione dei dati all'inferenza.

2.1 Formalizzazione

L'obiettivo è definito come la rimozione dell'influenza di un set di dimenticato $D_f$ preservando l'utilità sui dati mantenuti $D_r$ . La procedura di unlearning $U$ applicata al modello originale $M_o$ e ai dati $D$ deve produrre un modello $M_u$ la cui distribuzione sia indistinguibile da un modello riaddestrato su $D \setminus D_f$ . Ciò è formalizzato utilizzando un criterio di unlearning $(\epsilon, \delta)$ , che rispecchia la Differential Privacy, per fornire garanzie teoriche sull'equivalenza tra unlearning e riaddestramento.

2.2 Stadi di Intervento

Il survey categorizza i metodi in cinque punti di intervento primari:

Interventi sul Lato dei Dati:
- Perturbazione del Percorso dei Dati: Modifica gli input (immagini/testo) invece dei pesi per ridurre la apprendibilità di cluster mirati (ad es., usando esempi non apprendibili o "mantelli") preservando l'utilità sul resto del corpus.
- Igiene dei Dati e Normalizzazione dei Prompt: Cura i dati di addestramento riducendo il peso di coppie sospette o normalizzando i prompt in forme canoniche per mitigare associazioni spurie prima dell'inizio dell'addestramento.
Modifiche durante l'Addestramento:
- Gradiente Diretto: Formula l'unlearning come minimizzazione del rischio mirato, sopprimendo le risposte sul set di dimenticato mentre mantiene le prestazioni sul set mantenuto. Questo include obiettivi per VLM e modelli di diffusione che scindono le strutture cross-modali.
- Aggiornamenti Vincolati: Impone limiti durante l'ottimizzazione per limitare la competenza residua sul set di dimenticato e restringere la deviazione da un modello di riferimento, bilanciando l'efficacia dell'unlearning con l'integrità del modello.
- Unlearning Selettivo Guidato da Maschere: Restringe gli aggiornamenti a parametri, feature o regioni spaziali localizzate tramite mappe di salienza o di attenzione, minimizzando i danni collaterali ai comportamenti mantenuti.
- Basato su Distillazione: Trasferisce il comportamento da un modello "insegnante" a un modello "studente" guidato verso target sicuri, spesso senza accesso diretto ai dati di addestramento originali.
Unlearning Vincolato all'Architettura:
- Editing dell'Architettura: Modifica direttamente la struttura della rete (ad es., pruning, congelamento o ricrescita di specifici layer/tensori) per bloccare i percorsi che codificano il segnale di dimenticato.
- Aggiornamenti Vincolati per Layer: Identifica i layer specifici in cui si concentra un concetto e restringe le modifiche a quei layer per limitare la deriva dei parametri.
Unlearning Senza Addestramento (Training-Free):
- Unlearning Lineare nello Spazio dei Pesi (WLU): Utilizza operazioni lineari a forma chiusa (ad es., sottrazione di vettori di task, negazione dei pesi) su un checkpoint di riferimento per sopprimere comportamenti indesiderati senza riaddestramento.
- Unlearning per Proiezione della Rappresentazione (RPU): Proietta le attivazioni interne o gli output di attenzione lontano da un sottospazio appreso associato al segnale di dimenticato, filtrando efficacemente i concetti target senza modificare i pesi del modello.
Unlearning al Tempo di Decoding:
- Controllo del Percorso di Guida: Modifica il campionatore o la funzione di score durante la generazione (ad es., Guida Negativa Dinamica) per indirizzare gli output lontano da concetti insicuri mantenendo fisso il modello base.
- Controllo del Percorso di Condizionamento: Trasforma il segnale di condizionamento (ad es., embedding testuali) prima che entri nel modello, indebolendo efficacemente la condizione per il concetto target senza alterare i parametri del modello.

3. Contributi Chiave

Il documento apporta tre contributi primari al campo dell'unlearning multimodale:

Survey Fondamentale: Sintetizza l'unlearning multimodale attraverso modelli fondazionali di immagine, testo, video e audio, fornendo un framework unificato che copre meccanismi, teoria e valutazione.
Prospettiva di Sistema: Introduce una tassonomia basata sul sistema organizzata per stadio di intervento e percorso di controllo. Questo contrasta con i precedenti survey focalizzati sugli algoritmi, consentendo confronti più chiari tra diverse classi di modelli (VLM, DM, AFM) e chiarendo i compromessi tra forza di cancellazione, ritenzione dell'utilità, efficienza e reversibilità.
Frontiere Emergenti: Delinea sfide aperte critiche, tra cui la necessità di metriche di valutazione robuste, la robustezza avversaria contro la riattivazione e i vincoli pratici di deployment.

4. Risultati ed Evidenze

In quanto articolo di survey, i "risultati" primari sono i confronti sistematici e le analisi della letteratura esistente piuttosto che nuovi dati sperimentali. Il documento presenta:

Un Repository Curato: Una collezione completa di metodi, dataset e benchmark.
Analisi di Dataset e Benchmark: Il documento esamina i dataset chiave utilizzati per l'unlearning di identità, affetto, video e copyright (ad es., CelebA, VoxCeleb, DreamBooth) e valuta i benchmark esistenti (ad es., MU-Bench, MLLMU-Bench, PEBench). Evidenzia come gli attuali benchmark manchino spesso di standard unificati, basandosi su identità sintetiche o famiglie di modelli ristrette.
Framework di Valutazione: Consolida le metriche per la qualità dell'unlearning (ad es., Unlearning Accuracy, CLIP-Sim Drop), la sicurezza (Refusal Rate), la privacy (Membership Inference Attacks) e l'utilità (Top-k Accuracy, FID, LPIPS).
Analisi dei Compromessi (Trade-off): Il survey chiarisce che i metodi variano significativamente nei loro compromessi; ad esempio, i metodi senza addestramento offrono efficienza ma possono mancare della forza di cancellazione degli approcci basati sul riaddestramento, mentre l'editing dell'architettura preserva meglio l'utilità ma richiede una localizzazione precisa del segnale di dimenticato.

5. Significato e Direzioni Future

Il documento sostiene che l'unlearning multimodale è uno strumento centrale per la governance dei modelli, essenziale per il deployment di MFM responsabili in contesti reali. La sua importanza risiede in:

Abilitare la Rimozione Selettiva: Fornire meccanismi per eliminare specifiche identità, attributi o concetti senza il costo proibitivo del riaddestramento completo.
Supportare la Conformità: Affrontare i requisiti normativi come il GDPR (Diritto all'Oblio) e le leggi sul copyright.
Migliorare la Sicurezza: Mitigare la generazione di contenuti dannosi, distorti o insicuri attraverso le modalità.

Il documento identifica diverse sfide aperte e direzioni future:

Modalità Temporali e Dinamiche: Estendere l'unlearning alla generazione di audio, video e movimento in streaming rimane un problema aperto.
Modelli di Scala Frontiera: Scalare i metodi di unlearning a modelli fondazionali con miliardi di parametri è attualmente limitato da valutazioni ristrette su backbone più piccoli.
Unlearning Continuo: Sviluppare protocolli che rimangano efficaci sotto ripetute cancellazioni e fine-tuning a valle, prevenendo la "riuscita" dei concetti dimenticati.
Fuga Cross-Modale (Cross-Modal Leakage): Affrontare il fallimento dell'allineamento di sicurezza o privacy in una modalità (ad es., il testo) nel generalizzarsi ad altre (ad es., visione o audio).
Benchmark Unificati: Il campo manca di benchmark standardizzati e unificati che spazino tra diverse modalità e architetture, rendendo difficile confrontare equamente i metodi.

In conclusione, questo survey fornisce una tabella di marcia strutturata per ricercatori e professionisti per navigare nelle complessità dell'unlearning multimodale, enfatizzando la necessità di approcci robusti, scalabili e teoricamente fondati per garantire il deployment sicuro e conforme dei modelli fondazionali.