LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection

Op basis van het verstrekte artikel volgt hier een gedetailleerde technische samenvatting van LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection.

Probleemdefinitie

Reinforcement Learning (RL) post-training heeft de visuele redeneercapaciteiten van Multimodale Large Reasoning Models (MLRMs) aanzienlijk verbeterd door ze in staat te stellen expliciete "chains of thought" (CoT) uit te sturen voordat ze antwoorden. Deze capaciteit introduceert echter een onderscheidend privacykwetsbaarheid: terwijl bestaande machine unlearning-methoden er succesvol in zijn om gevoelige feiten uit het uiteindelijke antwoord van een model te verwijderen, falen ze vaak om te voorkomen dat het model diezelfde feiten reciteert binnen zijn interne redeneerspoor (reasoning trace).

De auteurs identificeren dat deze "reasoning-trace leakage" aanzienlijk prominenter is in RL-getrainde MLRMs dan in hun niet-redenerende basismodellen. Bestaande unlearning-benaderingen, die zich doorgaans richten op het finetunen van gewichten of ingrijpen op het niveau van het uiteindelijke antwoord, zijn niet toegerust om dit aan te pakken. Ze falen ofwel in het monitoren van de diverse, exploratieve trajecten die door RL worden geïnduceerd, of ze verslechteren de redeneercapaciteiten van het model wanneer ze proberen het spoor te verstoren.

Kernobservatie: De Entropie-signatuur

De kerninzicht die aan dit werk ten grondslag ligt, is de ontdekking van een onderscheidende token-level entropie-signatuur die geassocieerd wordt met het reciteren van gememoriseerde gevoelige inhoud in RL-getrainde modellen.

• Tweefasig patroon: Wanneer een RL-getraind model een gevoelig attribuut herinnert, vertoont het een karakteristiek stijgende en dalende patroon in de token-level entropie ($H_t(v)$).
  1. Deliberatie-fase (Overwegingsfase): Het model twijfelt tussen kandidaten, wat zorgt voor een piek in de entropie doordat meerdere kandidaten met elkaar concurreren.
  2. Commitment-fase (Toezeggingfase): Zodra het model zich vastlegt op de gememoriseerde reeks, stort de entropie in tot bijna nul, omdat het het attribuut deterministisch reciteert.
• Deze signatuur is grotendeels afwezig in niet-redenerende basismodellen, waar de entropieverdelingen chaotischer zijn. Deze dynamiek biedt een betrouwbaar, training-vrij signaal om te detecteren wanneer gevoelig redeneren begint en eindigt.

Methodologie: LEMUR

LEMUR is een volledig training-vrij, inference-time unlearning-framework dat specifiek is ontworpen voor native RL-getrainde multimodale modellen. Het werkt door het decoderingsproces te monitoren en alleen in te grijpen wanneer gevoelige inhoud wordt gedetecteerd. De methode bestaat uit drie primaire componenten:

1. Entropy-Augmented Sensitivity Switching (Entropie-versterkte Gevoeligheidsschakeling):

   • LEMUR combineert een lexicale controle (verboden tokensets) met de entropie-signatuur om een "gevoelige modus" te activeren.
   • De triggerconditie ($g_t$) wordt geactiveerd als er ofwel een hoge massa aan verboden tokens wordt gedetecteerd (committed recital) OF als er een hoge entropie wordt gedetecteerd samen met een lagere drempel van verboden massa (deliberation stage). Dit zorgt ervoor dat de interventie begint bij het begin van de gevoelige reeks, en niet pas nadat het model het foutieve antwoord heeft gecommitteerd.

2. Entropy-Aware Visual Anchor Injection (Entropie-bewuste Visuele Ankerinjectie):

   • Zodra de gevoelige modus wordt geactiveerd, schakelt LEMUR over van standaard autoregressieve decodering naar een latent decoding regime.
   • In plaats van een discrete token terug te koppelen, ontvangt het model een continue embedding die is geconstrueerd via Constrained Latent Feedback (het hernormaliseren van de distributie om verboden tokens uit te sluiten) en Visual Redirection Anchors.
   • De ankers bestaan uit een Visual Anchor (gemiddelde embedding van visuele speciale tokens om het redeneren opnieuw te verankeren in de afbeelding) en een Safe-Answer Anchor (embeddings van weigerings-/onzekerheidstemplates).
   • Entropy-Controlled Injection: De sterkte van de injectie van deze ankers ($\gamma_t$) wordt dynamisch gemoduleerd door de huidige token-entropie. Hoge entropie (deliberation) ontvangt sterke sturing; lage entropie (gecommitteerde tekst) ontvangt zwakkere sturing om de vloeiendheid te behouden.

3. Dynamic Entropy-Controlled Phase Duration (Dynamische Entropie-gecontroleerde Fase Duur):

   • Om te voorkomen dat de interventie te lang voortduurt (wat de vloeiendheid verslechtert) of te vroeg eindigt (waardoor lekkage optreedt), gebruikt LEMUR een adaptief exit-mechanisme.
   • Het houdt de baseline-entropie van het model op normale tekst bij en beëindigt de latente fase pas wanneer de entropie boven een adaptieve drempel ($\kappa \bar{H}_t$) stijgt en de verboden massa is verdwenen.
   • Een "refractory cooldown" (refractaire afkoelingsperiode) voorkomt snelle oscillaties tussen discrete en latente modi, wat de coherentie van de omliggende redenering waarborgt.

Experimentele Resultaten

De auteurs evalueerden LEMUR op RL-getrainde MLRMs (R1-Onevision-7B en Vision-R1-7B) met behulp van een gereconstrueerde dataset gebaseerd op MLLMU-Bench, die fictieve subjecten met private attributen bevat.

• Leakage Suppression (Onderdrukking van lekkage): LEMUR presteerde significant beter dan zowel training-gebaseerde baselines (bijv. Gradient Ascent, NPO) als training-vrije baselines (bijv. R-MUSE). Het bereikte de laagste Subject-Level Reasoning Leakage (SRL), waardoor gevoelige feiten effectief werden gewist uit zowel het redeneerspoor als het uiteindelijke antwoord.
• Utility Preservation (Behoud van nut): In tegen tegenstelling tot training-gebaseerde methoden die vaak de algemene capaciteiten verslechteren, behield LEMUR de prestaties op niet-vergeten data (Retain en Celebrity splits) over classificatie-, invul- en generatietaken.
• Fluency (Vloeiendheid): De Reasoning Retention Ability (RRA) metriek toonde aan dat LEMUR vloeiende, goed gevormde redeneringen behield, terwijl agressieve baselines vaak leidden tot repetitieve of degeneratieve tekst.
• Generalisatie: De methode werd ook getest op niet-RL modellen (Qwen2.5-VL) en algemene visuele redeneercorpora (VQAv2), waarbij werd aangetoond dat hoewel het entropie-signaal het sterkst is in RL-modellen, het framework effectief en overdraagbaar blijft.

Betekenis en Claims

Het artikel beweert de eerste unlearning-methode te zijn die specifiek is ontworpen voor native RL-getrainde multimodale redeneermodellen. De primaire bijdragen zijn:

1. Identificatie van een privacyrisico: Het aantonen dat RL-geïnduceerde exploratie een unieke privacykwetsbaarheid creëert waarbij redeneersporen gevoelige gegevens lekken, zelfs wanneer de antwoorden 'schoon' zijn.
2. Exploitatie van entropiedynamiek: Het aantonen dat de token-level entropie-signatuur van gememoriseerde herinnering een betrouwbaar, training-vrij signaal biedt voor het detecteren en onderscheppen van lekkage tijdens decodering.
3. Effectieve Training-Free Unlearning: Het voorstellen van LEMUR, dat state-of-the-art unlearning-prestaties bereikt zonder hertraining, door de decoderings-traject te sturen via entropie-gemoduleerde visuele verankering.

De auteurs concluderen dat decoderingstijd entropiedynamiek een veelbelovende basis biedt voor privacycontrole in redeneerbare modellen, wat suggereert dat toekomstige veiligheidsdoelstellingen kunnen worden geadresseerd door gebruik te maken van deze interne signalen in plaats van uitsluitend te vertrouwen op weight updates.