Riepilogo Tecnico: Riconsiderazione dei Fallimenti nell'Apprendimento Fondamentale nei Benchmark di Dimenticanza per LVLM

1. Enunciato del Problema

I Modelli Linguistici Visivi di Grande Dimensione (LVLM) pongono rischi significativi per la privacy memorizzando involontariamente informazioni personali sensibili dai loro dati di addestramento. Sebbene la Dimenticanza Automatica (Machine Unlearning, MU) sia emersa come soluzione per rimuovere tali dati senza un riaddestramento completo, i benchmark di valutazione attuali per la dimenticanza negli LVLM soffrono di un fallimento critico di Fase 1.

I benchmark esistenti (ad esempio, FIUBench, MLLMU-bench) si basano su identità fittizie per testare l'efficacia della dimenticanza. Tuttavia, questo documento dimostra che tali benchmark non riescono a garantire che il modello memorizzi efficacemente le informazioni target durante la fase iniziale di fine-tuning. Di conseguenza, le successive valutazioni della dimenticanza sono inaffidabili perché al modello viene chiesto di "dimenticare" informazioni che non ha mai codificato con successo. Gli autori identificano due cause radice di questa sott memorizzazione:

1. Reiterazione Insufficiente dei Dati: I benchmark esistenti forniscono troppe poche coppie domanda-risposta (QA) per identità.
2. La Maledizione del Multi-hop: I benchmark si affidano pesantemente a domande di ragionamento multi-hop complesse senza fornire i passaggi fondamentali single-hop necessari, causando difficoltà ai modelli nell'apprendimento composizionale.

2. Metodologia e Diagnosi

Per diagnosticare questo fallimento, gli autori hanno condotto un'analisi dello stato interno confrontando i modelli fine-tuned sui benchmark esistenti con un "Insieme Reale" di figure pubbliche (che il modello base ha memorizzato con successo).

• Firme Probabilistiche di Memorizzazione: Utilizzando la Perplexità Inversa (1/PPL) e la Probabilità Min-k%, gli autori hanno scoperto che i modelli trattavano le identità fittizie dei benchmark esistenti come eventi di coda a bassa probabilità, a differenza dell'estrazione ad alta confidenza osservata con le figure reali.
• Tracciamento Causale: Corrompendo i token del soggetto e ripristinando gli stati nascosti, gli autori hanno misurato l'Effetto di Stima Indiretta (IE). I modelli addestrati sui benchmark esistenti mostravano valori IE trascurabili o dispersi, indicando una mancanza di circuiti di memorizzazione funzionali nella memoria parametrica.
• Analisi delle Cause Radice:
  • Scalabilità dei Dati: Esperimenti che variavano il numero di campioni QA (da 20 a 200) hanno rivelato una forte correlazione tra la quantità di campioni e le prestazioni di memorizzazione (misurate tramite EM e ROUGE).
  • Composizione QA: Esperimenti che variavano il rapporto tra domande single-hop e multi-hop hanno mostrato che è necessaria una miscela strategica (specificamente il 70% single-hop) per fornire le basi per il ragionamento complesso e raggiungere una memorizzazione robusta.

3. Soluzione Proposta: ReMem

Gli autori introducono ReMem (Benchmark di Memorizzazione Multi-hop e Multi-immagine Affidabile), un nuovo framework progettato per stabilire una base valida per la dimenticanza negli LVLM.

• Costruzione del Dataset:
  • Scala: Ogni identità fittizia è associata a 100 coppie QA e 100 immagini (rispetto a 1–20 nei benchmark esistenti).
  • Struttura di Ragionamento: Un rapporto 70:30 tra domande single-hop e multi-hop garantisce che i passaggi fondamentali vengano appresi prima del ragionamento complesso.
  • Diversità Visiva: La sintesi multi-vista genera immagini diverse (variando posa, abbigliamento, sfondo) per ogni identità per prevenire l'overfitting su una singola istanza visiva e garantire la generalizzazione.
  • Controllo di Qualità: Una revisione manuale rigorosa garantisce l'allineamento cross-modale, la coerenza del personaggio e la sicurezza etica.
• Metriche di Valutazione:
  • Metriche Standard: ROUGE-L, GPT-Score (LLM-as-a-Judge) e Exact Match (EM) sia per la ritenzione che per la dimenticanza.
  • Nuova Metrica (Esposizione): Una nuova metrica che quantifica la profondità della cancellazione delle informazioni in base alla posizione della risposta target all'interno della distribuzione di probabilità di un insieme di candidati. Misura se il modello assegna la probabilità più bassa all'attributo dimenticato.

4. Risultati Sperimentali

Gli autori hanno valutato cinque algoritmi di dimenticanza (Gradient Ascent, Gradient Difference, KL Minimization, DPO, NPO) sui modelli LLaVA-1.5 (7B e 13B) utilizzando ReMem.

• Validazione di Fase 1: I modelli fine-tuned su ReMem hanno codificato con successo sia le narrazioni contestuali che le specifiche Informazioni di Identificazione Personale (PII), ottenendo punteggi EM e ROUGE elevati sia sui set di addestramento che su quelli di test tenuti da parte, confermando un apprendimento fondamentale robusto.
• Risultati di Fase 2 (Dimenticanza):
  • Trade-off Utilità-Dimenticanza: Esiste una chiara correlazione inversa tra la preservazione dell'utilità generale del modello e la cancellazione efficace delle informazioni target. Metodi come Gradient Difference (GD) preservano bene l'utilità ma falliscono nel dimenticare efficacemente, mentre NPO dimentica bene ma degrada significativamente l'utilità.
  • Disparità di Ragionamento: I metodi di dimenticanza degradano costantemente le capacità di ragionamento multi-hop più severamente rispetto ai task single-hop, suggerendo che i metodi attuali interrompono i percorsi di ragionamento complesso come danno collaterale piuttosto che recidere con precisione i percorsi di estrazione specifici.
  • Scalabilità del Modello: I modelli più grandi (13B) trattengono le informazioni più fortemente, rendendoli più difficili da dimenticare efficacemente rispetto ai modelli più piccoli (7B), sebbene siano anche più resilienti al degrado delle capacità multimodali generali.

5. Significato e Affermazioni

Il documento afferma che ReMem fornisce un framework rigoroso e affidabile per diagnosticare sia i comportamenti di apprendimento che quelli di dimenticanza negli LVLM. Affrontando il fallimento fondamentale della sott memorizzazione, ReMem garantisce che le valutazioni della dimenticanza stiano valutando la rimozione di informazioni effettivamente apprese e non artefatti di un addestramento carente.

Il lavoro evidenzia che i benchmark precedenti potrebbero aver prodotto conclusioni fuorvianti sull'efficacia della dimenticanza a causa di questo fallimento di Fase 1. Gli autori posizionano ReMem non come soluzione definitiva a tutte le sfide della dimenticanza, ma come prerequisito necessario per una valutazione affidabile. Notano esplicitamente le limitazioni, riconoscendo che il benchmark attuale si concentra su identità singole isolate e non affronta ancora scenari complessi che coinvolgono più individui all'interno di un singolo input visivo.

Il dataset e il codice sono disponibili pubblicamente per facilitare ulteriori ricerche sulla dimenticanza affidabile negli LVLM.