LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection

Sulla base del documento fornito, ecco un riassunto tecnico dettagliato di LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection.

Definizione del Problema

Il post-training tramite Reinforcement Learning (RL) ha migliorato significativamente le capacità di ragionamento visivo dei Multimodal Large Reasoning Models (MLRM), consentendo loro di emettere una "catena di pensiero" (Chain of Thought - CoT) esplicita prima di rispondere. Tuttavia, questa capacità introduce una distinta vulnerabilità della privacy: mentre i metodi esistenti di unlearning possono rimuovere con successo fatti sensibili dalla risposta finale del modello, spesso non riescono a impedire al modello di citare quegli stessi fatti all'interno della propria traccia di ragionamento interna.

Gli autori identificano che questo "leakage della traccia di ragionamento" è sostanzialmente più pronunciato nei MLRM addestrati con RL rispetto ai loro modelli base non orientati al ragionamento. Gli approcci di unlearning esistenti, che tipicamente si concentrano sul fine-tuning dei pesi o sull'intervento al livello della risposta finale, sono inadeguati per gestire questo fenomeno. Essi falliscono nel monitorare le diverse traiettorie esplorative indotte dall'RL o degradano le capacità di ragionamento del modello nel tentativo di perturbare la traccia.

Osservazione Chiave: La Firma dell'Entropia

L'intuizione centrale che guida questo lavoro è la scoperta di una distintiva firma di entropia a livello di token associata alla citazione di contenuti sensibili memorizzati in modelli addestrati con RL.

• Pattern a due stadi: Quando un modello addestrato con RL richiama un attributo sensibile, mostra un pattern caratteristico di crescita e crollo dell'entropia a livello di token ($H_t(v)$).
  1. Stadio di Deliberazione: Il modello esita tra candidati valori, causando un picco di entropia man mano che più candidati competono.
  2. Stadio di Impegno (Commitment): Una volta che il modello si impegna sull'intervallo memorizzato, l'entropia crolla vicino allo zero mentre cita deterministicamente l'attributo.
• Questa firma è ampiamente assente nei modelli base non orientati al ragionamento, dove le distribuzioni di entropia sono più caotiche. Questa dinamica fornisce un segnale affidabile e training-free per rilevare quando inizia e finisce il ragionamento sensibile.

Metodologia: LEMUR

LEMUR è un framework di unlearning a tempo di inferenza, completamente training-free, progettato specificamente per modelli multimodali nativamente addestrati con RL. Opera monitorando il processo di decoding e intervenendo solo quando viene rilevato contenuto sensibile. Il metodo si compone di tre componenti primarie:

1. Switching di Sensibilità Aumentato dall'Entropia:

   • LEMUR combina un controllo lessicale (set di token proibiti) con la firma dell'entropia per attivare una "modalità sensibile".
   • La condizione di attivazione ($g_t$) si attiva se viene rilevata un'alta massa di token proibiti (citazione impegnata) OPPURE se viene rilevata un'alta entropia insieme a una soglia inferiore di massa proibita (stadio di deliberazione). Ciò garantisce che l'intervento inizi proprio all'inizio dell'intervallo sensibile, non solo dopo che il modello si è impegnato nella risposta errata.

2. Iniezione di Anchor Visivi Consapevole dell'Entropia:

   • Una volta in modalità sensibile, LEMUR passa dal normale decoding autoregressivo a un regime di decoding latente.
   • Invece di alimentare indietro un token discreto, il modello riceve un embedding continuo costruito tramite Feedback Latente Vincolato (renormalizzando la distribuzione per escludere i token proibiti) e Anchor di Redirection Visiva.
   • Gli anchor consistono in un Anchor Visivo (embedding medio dei token speciali visivi per ricondurre il ragionamento all'immagine) e un Anchor di Risposta Sicura (embedding di template di rifiuto/incertezza).
   • Iniezione Controllata dall'Entropia: La forza dell'iniezione di questi anchor ($\gamma_t$) è modulata dinamicamente dall'entropia del token corrente. Un'alta entropia (deliberazione) riceve uno steering forte; una bassa entropia (test impegnato) riceve uno steering più debole per preservare la fluidità.

3. Durata della Fase Controllata Dinamicamente dall'Entropia:

   • Per evitare che l'intervento persista troppo a lungo (degradando la fluidità) o termini troppo presto (permettendo il leakage), LEMUR utilizza un meccanismo di uscita adattivo.
   • Monitora l'entropia di base del modello su testo normale e termina la fase latente solo quando l'entropia recupera sopra una soglia adattiva ($\kappa \bar{H}_t$) e la massa proibita viene meno.
   • Un "periodo di raffreddamento refrattario" evita oscillazioni rapide tra le modalità discrete e latenti, garantendo la coerenza del ragionamento circostante.

Risultati Sperimentali

Gli autori hanno valutato LEMUR su MLRM addestrati con RL (R1-Onevision-7B e Vision-R1-7B) utilizzando un dataset ricostruito basato su MLLMU-Bench, che include soggetti fittizi con attributi privati.

• Soppressione del Leakage: LEMUR ha superato significativamente sia i baselines basati su training (es. Gradient Ascent, NPO) che i baselines training-free (es. R-MUSE). Ha ottenuto il più basso Subject-Level Reasoning Leakage (SRL), cancellando efficacementamente i fatti sensibili sia dalla traccia di ragionamento che dalla risposta finale.
• Preservazione dell'Utilità: A differenza dei metodi basati su training che spesso degradano le capacità generali, LEMUR ha preservato le prestazioni sui dati non da dimenticare (split Retain e Celebrity) in compiti di classificazione, fill-in-the-blank e generazione.
• Fluidità: La metrica Reasoning Retention Ability (RRA) ha mostrato che LEMUR mantiene un ragionamento fluido e ben formato, mentre i baselines aggressivi spesso causano il collasso del modello in testi ripetitivi o degeneri.
• Generalizzazione: Il metodo è stato testato anche su modelli non-RL (Qwen2.5-VL) e corpora di ragionamento visivo generale (VQAv2), dimostrando che, sebbene il segnale di entropia sia più forte nei modelli RL, il framework rimane efficace e trasferibile.

Significatività e Claim

Il paper sostiene di essere il primo metodo di unlearning progettato specificamente per modelli di ragionamento multimodali nativamente addestrati con RL. I suoi principali contributi sono:

1. Identificazione di un Rischio di Privacy: Dimostrare che l'esplorazione indotta dall'RL crea una vulnerabilità di privacy unica in cui le tracce di ragionamento perdono dati sensibili anche quando le risposte sono pulite.
2. Sfruttamento della Dinamica dell'Entropia: Mostrare che la firma dell'entropia a livello di token della citazione memorizzata fornisce un segnale affidabile e training-free per rilevare e intercettare il leakage durante il decoding.
3. Unlearning Training-Free Efficace: Proporre LEMUR, che raggiunge prestazioni di unlearning allo stato dell'arte senza retraining, guidando la traiettoria di decoding attraverso l'ancoraggio visivo modulato dall'entropia.

Gli autori concludono che la dinamica dell'entropia al tempo di decoding offre una base promettente per il controllo della privacy nei modelli capaci di ragionamento, suggerendo che i futuri obiettivi di sicurezza potrebbero essere affrontati sfruttando questi segnali interni piuttosto che affidarsi esclusivamente agli aggiornamenti dei pesi.