Technische Samenvatting: Herbeziening van Fundamentele Leerfalen in LVLM-Vergeten-Benchmarks

1. Probleemstelling

Grote Visueel-Taalmodellen (LVLM's) vormen aanzienlijke privacyrisico's door onbedoeld gevoelige persoonlijke informatie uit hun trainingsdata te memoriseren. Hoewel Machine Unlearning (MU) is opgekomen als oplossing om deze data te verwijderen zonder volledige hertraining, lijden huidige evaluatiebenchmarks voor LVLM-vergeten aan een kritieke Stadium 1-fout.

Bestaande benchmarks (bijv. FIUBench, MLLMU-bench) vertrouwen op fictieve identiteiten om de effectiviteit van vergeten te testen. Deze paper toont echter aan dat deze benchmarks er niet in slagen om te waarborgen dat het model de doelinformatie effectief memoriseert tijdens de initiële fine-tuning-fase. Bijgevolg zijn daaropvolgende vergeten-evaluaties onbetrouwbaar, omdat het model wordt gevraagd informatie te "vergeten" die het nooit succesvol heeft gecodeerd. De auteurs identificeren twee oorzaken voor dit onder-memoriseren:

1. Onvoldoende Dataherhaling: Bestaande benchmarks bieden te weinig vraag-antwoord (QA)-paren per identiteit.
2. De Multi-hop Vloek: Benchmarks vertrouwen sterk op complexe multi-hop redeneervragen zonder de noodzakelijke single-hop fundamentele stappen te bieden, waardoor modellen worstelen met compositief leren.

2. Methodologie en Diagnose

Om deze fout te diagnosticeren, voerden de auteurs een analyse van interne toestanden uit waarbij modellen die waren gefinetuned op bestaande benchmarks werden vergeleken met een "Real Set" van publieke figuren (die het basismodel succesvol had gememoriseerd).

• Probabilistische Memoriseringskenmerken: Met behulp van Inverse Perplexity (1/PPL) en Min-k% Probability vonden de auteurs dat modellen fictieve identiteiten uit bestaande benchmarks behandelden als lage-probabiliteit staartgebeurtenissen, in tegenstelling tot de hoge-zekerheidsherwinning die werd waargenomen bij echte publieke figuren.
• Causale Tracing: Door subject-tokens te corrumperen en verborgen toestanden te herstellen, maten de auteurs het Indirect Estimation Effect (IE). Modellen die waren getraind op bestaande benchmarks vertoonden verwaarloosbare of verspreide IE-waarden, wat wijst op een gebrek aan functionele memoriseringskringen in het parametrische geheugen.
• Oorzaakanalyse:
  • Data Scaling: Experimenten met variërende QA-steekproeftellingen (20 tot 200) onthulden een sterke correlatie tussen steekproefhoeveelheid en memoriseringsprestaties (gemeten aan de hand van EM en ROUGE).
  • QA-samenstelling: Experimenten met variërende verhoudingen van single-hop tot multi-hop-vragen toonden aan dat een strategische mix (specifiek 70% single-hop) vereist is om complex redeneren te scaffolden en robuuste memorisering te bereiken.

3. Voorgestelde Oplossing: ReMem

De auteurs introduceren ReMem (Reliable Multi-hop and Multi-image Memorization Benchmark), een nieuw kader dat is ontworpen om een geldige basis te leggen voor LVLM-vergeten.

• Datasetconstructie:
  • Schaal: Elke fictieve identiteit is gekoppeld aan 100 QA-paren en 100 afbeeldingen (in vergelijking met 1–20 in bestaande benchmarks).
  • Redeneerstructuur: Een verhouding van 70:30 van single-hop tot multi-hop-vragen zorgt ervoor dat fundamentele stappen worden geleerd voordat complex redeneren plaatsvindt.
  • Visuele Diversiteit: Multi-view synthese genereert diverse afbeeldingen (variërende houding, kleding, achtergrond) voor elke identiteit om overfitting op een enkel visueel voorbeeld te voorkomen en generalisatie te waarborgen.
  • Kwaliteitscontrole: Een strenge handmatige review zorgt voor cross-modale uitlijning, consistentie van het personage en ethische veiligheid.
• Evaluatiemetrics:
  • Standaardmetrics: ROUGE-L, GPT-Score (LLM-as-a-Judge) en Exact Match (EM) voor zowel retentie als vergeten.
  • Nieuwe Metric (Exposure): Een nieuwe metric die de diepte van informatie-uitwissing kwantificeert op basis van de rang van het doelantwoord binnen de waarschijnlijkheidsverdeling van een kandidaatset. Het meet of het model de laagste waarschijnlijkheid toekent aan het vergeten attribuut.

4. Experimentele Resultaten

De auteurs evalueerden vijf vergetenalgoritmen (Gradient Ascent, Gradient Difference, KL Minimization, DPO, NPO) op LLaVA-1.5 (7B en 13B) modellen met behulp van ReMem.

• Stadium 1 Validatie: Modellen die op ReMem waren gefinetuned, codeerden succesvol zowel contextuele verhalen als specifieke Persoonlijk Identificeerbare Informatie (PII), en behaalden hoge EM- en ROUGE-scores op zowel trainings- als vastgehouden testsets, wat robuust fundamenteel leren bevestigt.
• Stadium 2 (Vergeten) Bevindingen:
  • Utility-Forget Trade-off: Er bestaat een duidelijke inverse correlatie tussen het behoud van algemene modelnut en het effectief uitwissen van doelinformatie. Methoden zoals Gradient Difference (GD) behouden nut goed maar falen in effectief vergeten, terwijl NPO goed vergeet maar het nut aanzienlijk degradeert.
  • Redeneerdispariteit: Vergetenmethoden degraderen multi-hop redeneercapaciteiten consequent ernstiger dan single-hop taken, wat suggereert dat huidige methoden complexe redeneerpaden als collaterale schade verstoren in plaats van specifieke herwinningspaden precies te doorbreken.
  • Model Scaling: Grotere modellen (13B) behouden informatie sterker, waardoor ze moeilijker effectief te vergeten zijn in vergelijking met kleinere modellen (7B), hoewel ze ook veerkrachtiger zijn tegen de degradatie van algemene multimodale capaciteiten.

5. Betekenis en Claims

De paper beweert dat ReMem een rigoureus en betrouwbaar kader biedt voor het diagnosticeren van zowel leer- als vergetengedrag in LVLM's. Door de fundamentele fout van onder-memoriseren aan te pakken, zorgt ReMem ervoor dat vergeten-evaluaties het verwijderen van daadwerkelijk geleerde informatie beoordelen in plaats van artefacten van slechte training.

Het werk benadrukt dat eerdere benchmarks mogelijk misleidende conclusies hebben opgeleverd over de effectiviteit van vergeten vanwege deze Stadium 1-fout. De auteurs positioneren ReMem niet als een definitieve oplossing voor alle uitdagingen van vergeten, maar als een noodzakelijke voorwaarde voor betrouwbare evaluatie. Zij wijzen expliciet op beperkingen en erkennen dat de huidige benchmark zich richt op geïsoleerde, enkele identiteiten en nog geen complexe scenario's aanpakt waarbij meerdere individuen binnen één visuele invoer voorkomen.

De dataset en de code zijn publiek beschikbaar om verder onderzoek naar betrouwbaar LVLM-vergeten te faciliteren.