LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection

Basierend auf dem bereitgestellten Paper folgt hier eine detaillierte technische Zusammenfassung von LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection.

Problemdefinition

Das Post-Training mittels Reinforcement Learning (RL) hat die visuellen Denkfähigkeiten von multimodalen großen Reasoning-Modellen (MLRMs) erheblich verbessert, indem es sie befähigt, vor der Antwort explizite „Chain of Thought“ (CoT) zu generieren. Diese Fähigkeit führt jedoch zu einer distinkten Datenschutz-Schwachstelle: Während bestehende Machine-Unlearning-Methoden erfolgreich sensible Fakten aus der endgültigen Antwort eines Modells entfernen können, scheitern sie oft daran, das Modell daran zu hindern, dieselben Fakten innerhalb seines internen Reasoning-Trace (Denkprozess) zu rezitieren.

Die Autoren identifizieren, dass dieses „Reasoning-Trace-Leakage“ (Leckage im Denkprozess) in RL-trainierten MLRMs wesentlich ausgeprägter ist als in deren nicht-reasoning-basierten Basismodellen. Bestehende Unlearning-Ansätze, die sich typischerweise auf die Feinabstimmung von Gewichten oder die Intervention auf der Ebene der finalen Antwort konzentrieren, sind nicht dazu in der Lage, dies zu handhaben. Sie versagen entweder dabei, die durch RL induzierten vielfältigen, explorativen Trajektorien zu überwachen, oder sie verschlechtern die Denkfähigkeiten des Modells, wenn sie versuchen, den Trace zu perturbieren (stören).

Kernbeobachtung: Die Entropie-Signatur

Die zentrale Erkenntnis, die diese Arbeit antreibt, ist die Entdeckung einer distinkten Token-Ebene-Entropie-Signatur, die mit der Rezitation von memorisierten sensiblen Inhalten in RL-trainierten Modellen assoziiert ist.

• Zweistufiges Muster: Wenn ein RL-trainiertes Modell ein sensibles Attribut abruft, zeigt es ein charakteristisches Anstiegs-und-Kollaps-Muster in der Token-Ebene-Entropie ($H_t(v)$).
  1. Deliberationsphase (Abwägung): Das Modell zögert zwischen Kandidatenwerten, was die Entropie ansteigen lässt, da mehrere Kandidaten miteinander konkurrieren.
  2. Commitment-Phase (Festlegung): Sobald das Modell sich auf den memorisierten Bereich festlegt, kollabiert die Entropie auf nahezu Null, während es das Attribut deterministisch rezitiert.
• Diese Signatur ist in nicht-reasoning-basierten Basismodellen weitgehend abwesend, wo die Entropieverteilungen chaotischer sind. Diese Dynamik bietet ein zuverlässiges, trainingsfreies Signal, um zu erkennen, wann das sensible Denken beginnt und endet.

Methodik: LEMUR

LEMUR ist ein vollständig trainingsfreies, Inference-Time-Unlearning-Framework, das speziell für nativ RL-trainierte multimodale Modelle entwickelt wurde. Es arbeitet durch die Überwachung des Dekodierungsprozesses und interveniert nur dann, wenn sensible Inhalte erkannt werden. Die Methode besteht aus drei primären Komponenten:

1. Entropie-erweiterte Sensitivitäts-Umschaltung (Sensitivity Switching):

   • LEMUR kombiniert eine lexikalische Prüfung (verbotene Token-Sets) mit der Entropie-Signatur, um einen „sensiblen Modus“ auszulösen.
   • Die Trigger-Bedingung ($g_t$) wird aktiviert, wenn entweder eine hohe Masse an verbotenen Tokens detektiert wird (festgelegtes Rezitieren) ODER wenn eine hohe Entropie zusammen mit einer niedrigeren Schwelle an verbotener Masse detektiert wird (Deliberationsphase). Dies stellt sicher, dass die Intervention bereits zu Beginn des sensiblen Bereichs startet und nicht erst, nachdem das Modell sich für die falsche Antwort entschieden hat.

2. Entropie-bewusste visuelle Anker-Injektion (Visual Anchor Injection):

   • Sobald der sensible Modus aktiv ist, wechselt LEMUR von der Standard-autoregressiven Dekodierung zu einem latenten Dekodierungsregime.
   • Anstatt ein diskretes Token zurückzugeben, erhält das Modell ein kontinuierliches Embedding, das mittels Constrained Latent Feedback (Renormierung der Verteilung, um verbotene Tokens auszuschließen) und Visual Redirection Anchors konstruiert wird.
   • Die Anker bestehen aus einem Visual Anchor (dem gemittelten Embedding visueller Spezial-Tokens, um das Reasoning wieder im Bild zu verankern) und einem Safe-Answer Anchor (Embeddings von Verweigerungs-/Unsicherheits-Templates).
   • Entropie-gesteuerte Injektion: Die Stärke der Injektion dieser Anker ($\gamma_t$) wird dynamisch durch die aktuelle Token-Entropie moduliert. Hohe Entropie (Abwägung) erhält eine starke Steuerung; niedrige Entropie (festgelegter Text) erhält eine schwächere Steuerung, um die Fluenz zu bewahren.

3. Dynamische entropie-gesteuerte Phasendauer:

   • Um zu verhindern, dass die Intervention zu lange anhält (was die Fluenz verschlechtert) oder zu früh endet (was eine Leckage ermöglicht), nutzt LEMUR einen adaptiven Exit-Mechanismus.
   • Es verfolgt die Baseline-Entropie des Modells auf normalem Text und beendet die latente Phase erst, wenn die Entropie über einen adaptiven Schwellenwert ($\kappa \bar{H}_t$) steigt und die Menge an verbotenen Tokens bereinigt ist.
   • Eine „Refraktär-Abkühlphase“ (refractory cooldown) verhindert ein schnelles Oszillieren zwischen diskreten und latenten Modi, um die Kohärenz des umgebenden Reasonings zu gewährleisten.

Experimentelle Ergebnisse

Die Autoren evaluierten LEMUR auf RL-trainierten MLRMs (R1-Onevision-7B und Vision-R1-7B) unter Verwendung eines rekonstruierten Datensatzes basierend auf MLLMU-Bench, der fiktive Subjekte mit privaten Attributen enthält.

• Unterdrückung der Leckage: LEMUR übertraf sowohl die trainingsbasierten Baselines (z. B. Gradient Ascent, NPO) als auch die trainingsfreien Baselines (z. B. R-MUSE) signifikant. Es erreichte die niedrigste Subject-Level Reasoning Leakage (SRL) und löschte sensible Fakten effektiv sowohl aus dem Reasoning-Trace als auch aus der finalen Antwort.
• Nutzererhalt (Utility Preservation): Im Gegensatz zu trainingsbasierten Methoden, die oft die allgemeinen Fähigkeiten beeinträchtigen, bewahrte LEMUR die Leistung bei Nicht-Vergessen-Daten (Retain- und Celebrity-Splits) über Klassifizierungs-, Fill-in-the-blank- und Generierungsaufgaben hinweg.
• Fluenz: Die Metrik Reasoning Retention Ability (RRA) zeigte, dass LEMUR fluentes, gut geformtes Reasoning beibehielt, während aggressive Baselines oft dazu führten, dass das Modell in repetitive oder degenerative Texte kollabierte.
• Generalisierung: Die Methode wurde auch an Nicht-RL-Modellen (Qwen2.5-VL) und allgemeinen visuellen Reasoning-Korpora (VQAv2) getestet, was demonstrierte, dass das Framework, obwohl das Entropie-Signal in RL-Modellen am stärksten ist, dennoch effektiv und transferierbar bleibt.

Bedeutung und Ansprüche

Das Paper beansprucht, die erste Unlearning-Methode zu sein, die speziell für nativ RL-trainierte multimodale Reasoning-Modelle entwickelt wurde. Die primären Beiträge sind:

1. Identifizierung eines Datenschutzrisikos: Aufzeigen, dass durch RL induzierte Exploration eine einzigartige Datenschutz-Schwachstelle schafft, bei der Reasoning-Traces sensible Daten leaken können, selbst wenn die Antworten sauber sind.
2. Ausnutzung der Entropie-Dynamik: Nachweis, dass die Token-Ebene-Entropie-Signatur der memorierten Rezitation ein zuverlässiges, trainingsfreies Signal zur Erkennung und zum Abfangen von Leckagen während der Dekodierung liefert.
3. Effektives trainingsfreies Unlearning: Vorschlag von LEMUR, das eine State-of-the-Art Unlearning-Performance ohne Retraining erreicht, indem es die Dekodierungs-Trajektorie durch entropie-modulierte visuelle Verankerung steuert.

Die Autoren kommen zu dem Schluss, dass die Entropie-Dynamik zur Dekodierungszeit eine vielversprechende Grundlage für die Datenschutzkontrolle in Reasoning-fähigen Modellen bietet, was darauf hindeutet, dass zukünftige Sicherheitsziele durch die Ausnutzung dieser internen Signale statt ausschließlich durch Weight-Updates adressiert werden könnten.