To See is Not to Learn: Protecting Multimodal Data from Unauthorized Fine-Tuning of Large Vision-Language Model

Sintesi Tecnica: Vedere non è Imparare: Protezione dei Dati Multimodali dall'Addestramento Non Autorizzato di Modelli Vision-Language di Grande Dimensione

Formulazione del Problema
Il rapido avanzamento dei Modelli Vision-Language di Grande Dimensione (LVLM) dipende fortemente dalla raccolta indiscriminata di dati web multimodali, creando gravi rischi di copyright e privacy per i proprietari dei dati. Le contromisure esistenti, come l'oblio automatico (machine unlearning) e le filigrane digitali (watermarks), sono intrinsecamente post-hoc, intervenendo solo dopo che l'infrazione è avvenuta o richiedendo la cooperazione dei fornitori di modelli. Questo lavoro affronta il vuoto nella difesa proattiva: come possono i proprietari dei dati proteggere i propri dati immagine-testo prima della pubblicazione per prevenire l'addestramento non autorizzato?

Gli autori formalizzano questo problema come un problema di ottimizzazione a due livelli. Il difensore mira a costruire un dataset protetto $\tilde{D}$ applicando perturbazioni impercettibili alle immagini ($\delta$) e inserendo trigger discreti nel testo ($\gamma$) in modo che:

1. Furtività: Le perturbazioni rimangano entro budget percettivi e semantici rigorosi ($\epsilon_x, \epsilon_t$).
2. Efficacia: Un attaccante che addestra un LVLM su $\tilde{D}$ ottiene una bassa perdita di addestramento ma subisce un degrado significativo delle prestazioni su dati di valutazione downstream puliti.

La sfida risiede nella ridondanza della supervisione multimodale (proteggere una modalità lascia l'altra apprendibile), nella natura autoregressiva dell'addestramento LVLM (che può aggirare il rumore tramite priori semantici) e nella natura black-box dell'architettura dell'attaccante e della sua ricetta di addestramento.

Metodologia: MMGUARD
Il lavoro propone MMGUARD, un framework centrato sui dati che genera "esempi non apprendibili" accoppiando perturbazioni di immagine e testo con un nuovo meccanismo chiamato Interruzione del Legame Cross-Modale.

1. Protezione delle Immagini Non Apprendibili:

   • Gli autori costruiscono un processore di immagini surrogato differenziabile per approssimare le operazioni non differenziabili (ad esempio, ridimensionamento, quantizzazione) delle pipeline LVLM standard.
   • Utilizzando la Discesa del Gradiente Proiettata (PGD), ottimizzano le perturbazioni delle immagini ($\delta$) per minimizzare la perdita di addestramento su un LVLM surrogato, creando una scorciatoia di ottimizzazione che induce il modello a sovradattarsi al rumore.

2. Protezione del Testo Non Apprendibile:

   • Un trigger discreto ($\gamma$) viene inserito nell'input testuale.
   • L'ottimizzazione viene eseguita tramite una ricerca guidata dal gradiente (stile HotFlip) su un vocabolario ammissibile, seguita da una verifica esatta per tenere conto degli spostamenti dei confini di tokenizzazione (ad esempio, fusione/scissione BPE).

3. Interruzione del Legame Cross-Modale (Innovazione Centrale):

   • Gli esempi non apprendibili standard spesso falliscono contro gli LVLM perché il modello può ancora fare affidamento su associazioni semantiche nella modalità non perturbata o sulla conoscenza pre-addestrata.
   • MMGUARD introduce un meccanismo per forzare l'LVLM ad apprendere una correlazione spuria tra i segnali di protezione (perturbazione e trigger) e la risposta target.
   • Dirottamento del Percorso Ponte (BPH): Questa variante indirizza esplicitamente la massa di attenzione dai token di risposta al trigger, e dal trigger alla perturbazione dell'immagine. Teoricamente, ciò costringe il modello a fare affidamento su un percorso che svanisce durante l'inferenza pulita (poiché trigger e perturbazione sono assenti), causando uno spostamento distribuzionale nei pattern di attenzione.
   • Spostamento del Routing Contrastivo (CRS): Una variante agnostica rispetto al percorso che richiede semplicemente che il pattern di attenzione sui dati protetti differisca significativamente dai dati puliti, offrendo una migliore trasferibilità ad architetture sconosciute.

4. Ottimizzazione d'Insieme:

   • Per gestire scenari black-box in cui il modello dell'attaccante è sconosciuto, la protezione viene ottimizzata su un insieme di LVLM surrogati, garantendo che le perturbazioni generate siano robuste attraverso diverse architetture.

5. Strategia di Ottimizzazione:

   • Il framework risolve un problema di ottimizzazione a due livelli multi-obiettivo vincolato utilizzando un algoritmo di approssimazione alternata. Bilancia l'obiettivo "min-min" (rendere i dati facili da adattare tramite scorciatoie) con l'obiettivo di interruzione del legame (assicurando che tali scorciatoie non si trasferiscano).

Contributi Chiave

• Primo Framework Proattivo: MMGUARD è presentato come il primo framework centrato sui dati specificamente progettato per difendere proattivamente i dati multimodali dall'addestramento non autorizzato di LVLM.
• Protezione Multimodale Accoppiata: A differenza dei metodi precedenti su singola modalità, accoppia perturbazioni di immagine e trigger testuali, affrontando il problema della ridondanza in cui una modalità potrebbe compensare l'altra.
• Interruzione del Legame Cross-Modale: Il lavoro introduce un meccanismo che sposta le dinamiche di apprendimento degli LVLM verso scorciatoie specifiche per la protezione, fornendo garanzie teoriche (tramite limiti sulla Variazione Totale) sul perché ciò degrada la generalizzazione su compiti puliti.
• Valutazione Completa: Il framework è valutato su sei dataset diversificati (inclusi RealWorldQA, ScienceQA e benchmark medici/documentali) e nove LVLM open-source sotto modelli di minaccia white-box, gray-box e black-box.

Risultati Sperimentali

• Efficacia: MMGUARD degrada costantemente le prestazioni downstream degli LVLM addestrati su dati protetti. In ambienti white-box, i modelli protetti spesso performano vicino o al di sotto delle baseline zero-shot, eliminando efficacemente il guadagno di utilità dell'addestramento.
• Trasferibilità: La protezione si trasferisce in modo robusto ad architetture inedite (black-box) e a diverse strategie di addestramento (LoRA, QLoRA, full fine-tuning). Il componente di legame cross-modale è identificato come il fattore chiave che abilita questa trasferibilità, poiché le baseline su singola modalità spesso falliscono o addirittura migliorano le prestazioni dell'attaccante in ambienti black-box.
• Robustezza: La difesa rimane efficace contro attacchi adattivi, inclusi trasformazioni dei dati (compressione JPEG, sfocatura, normalizzazione del testo) e mescolamento dei dati (diluire dati protetti con dati puliti).
• Furtività: Le immagini protette mantengono un'alta qualità percettiva (PSNR > 34 dB, SSIM ~0.88). Il principale costo percettivo deriva dall'inserimento del trigger testuale, che aumenta la perplessità ma mantiene alti punteggi di rispondibilità umana e coerenza immagine-testo.
• Analisi del Meccanismo: Le visualizzazioni confermano che il metodo reindirizza con successo l'attenzione dalle prove visive genuine alle regioni di perturbazione/trigger durante l'addestramento, un pattern che collassa durante l'inferenza pulita.

Significato e Affermazioni
Il lavoro posiziona MMGUARD come un primitivo strutturale per la proprietà proattiva dei dati multimodali. Sostiene che, sfruttando le dinamiche di apprendimento degli LVLM—in particolare il loro affidamento al routing dell'attenzione e alla generazione autoregressiva—i proprietari dei dati possono iniettare "veleno" invisibile agli umani ma catastrofico per l'addestramento non autorizzato.

Gli autori sottolineano che MMGUARD non è una soluzione miracolosa ma uno strato in una strategia di "difesa in profondità", che completa misure reattive come le filigrane digitali e i ricorsi legali. Affermano esplicitamente che il framework opera solo su dati controllati dal difensore prima della pubblicazione e non rivendica di proteggere dati già raccolti o di prevenire l'addestramento da zero (che considerano economicamente poco attraente per la maggior parte dei dati a coda lunga). Il lavoro mira a restituire l'agenzia ai proprietari dei dati rendendo l'addestramento non autorizzato economicamente e tecnicamente non sostenibile senza richiedere la cooperazione dei fornitori di modelli.