💻 computer science

Object Hallucination-Free Reinforcement Unlearning for Vision-Language Models

Dit artikel stelt HFRU voor, een reinforcement unlearning-framework dat werkt op de visuele encoder met een op GRPO gebaseerde optimalisatie en abstractiebeloning om diepe semantische vergetelheid van gevoelige kennis in vision-language-modellen te bereiken terwijl objecthallucinaties effectief worden voorkomen.

Oorspronkelijke auteurs: Kaidi Jia, Yujie Lin, Chengyi Yang, Jiayao Ma, Jinsong Su

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kaidi Jia, Yujie Lin, Chengyi Yang, Jiayao Ma, Jinsong Su

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Vision-Language Model (VLM) voor als een superintelligente, meertalige bibliothecaris die elk boek heeft gelezen en elke afbeelding op internet heeft bekeken. Deze bibliothecaris is ongelooflijk behulpzaam, maar soms herinnert ze zich dingen die ze niet zou moeten onthouden—zoals het gezicht van een specifieke beroemdheid, een privéfoto of een auteursrechtelijk beschermd beeld.

Wanneer we de bibliothecaris vragen deze specifieke dingen te "vergeten", gedragen huidige methoden zich vaak als een onhandige redacteur. Ze strepen gewoon de namen door in het notitieboek van de bibliothecaris (de tekstoutput), maar laten het daadwerkelijke mentale beeld van die persoon of dat object intact in het brein van de bibliothecaris. Als je een lastige vraag stelt zoals: "Is deze persoon op de foto?", herkent de bibliothecaris ze misschien nog steeds, zelfs als ze beloofd heeft hun naam niet te noemen. Erger nog, wanneer ze gedwongen wordt te vergeten, kan de bibliothecaris beginnen dingen te verzinnen, met vertrouwen een kat beschrijven terwijl de foto eigenlijk een hond toont, gewoon om het stilte te vullen.

Het artikel introduceert een nieuwe methode genaamd HFRU (Hallucination-Free Reinforcement Unlearning) om dit op te lossen. Hieronder wordt uitgelegd hoe het werkt, met gebruik van eenvoudige analogieën:

1. Het probleem: "Oppervlakkige amnesie"

De meeste huidige methoden proberen de bibliothecaris te laten vergeten door alleen haar spraak te bewerken (de taaldecoder).

De analogie: Stel je voor dat je een student zegt: "Noem het woord 'appel' niet." De student stopt met het zeggen van "appel", maar heeft nog steeds een perfect mentaal beeld van een appel in zijn hoofd. Als je hem een foto toont en vraagt: "Welk fruit is dit?", weet hij misschien nog steeds dat het een appel is, of hij raakt in paniek en raadt "banaan" om maar niet "appel" te zeggen. Dit heet hallucinatie—het verzinnen van feiten die er niet zijn.

2. De oplossing: De "ogen" opnieuw bedraden

HFRU kiest een andere aanpak. In plaats van alleen de spraak te bewerken, gaat het direct naar het deel van het brein van de bibliothecaris dat afbeeldingen ziet en herkent (de visuele encoder).

De analogie: In plaats van de student alleen te vertellen niet "appel" te zeggen, maakt HFRU het mentale beeld van de appel in het hoofd van de student zachtjes wazig. Het herschikt hoe het brein dat specifieke visuele patroon verwerkt, zodat het niet meer op een appel lijkt.

3. Het tweestapsproces

HFRU gebruikt een trainingsproces in twee fasen om dit veilig te doen:

Fase 1: De "verwarring"-fase (koude start)
Het systeem toont de bibliothecaris afbeeldingen van de dingen die vergeten moeten worden (bijvoorbeeld een specifieke hond), maar vertelt haar ze als iets anders te beschrijven (bijvoorbeeld: "Dit is een konijn").
- Doel: Dit breekt de sterke link tussen de afbeelding en haar oorspronkelijke naam. Het is alsof je de bibliothecaris leert dat wanneer ze deze specifieke hond ziet, ze aan "konijn" moet denken in plaats van aan "hond". Dit verzwakt het geheugen voordat het echte werk begint.
Fase 2: De "slimme beloning"-fase (versterkend leren)
Het systeem gebruikt een spelachtig scoresysteem (genaamd GRPO) om de bibliothecaris te trainen.
- De straf: Als de bibliothecaris de verboden naam noemt (bijvoorbeeld "hond"), verliest ze punten.
- De abstractiebeloning (het geheimzinnige ingrediënt): Dit is de grote innovatie van het artikel. Als de bibliothecaris gedwongen wordt "hond" te vergeten, kan ze de neiging krijgen "kat" te raden (hallucinatie). HFRU geeft een bonus als de bibliothecaris in plaats daarvan een veilig, algemeen woord gebruikt zoals "dier".
- De analogie: Stel je voor dat een leraar een student zegt: "Zeg 'hond' niet." Als de student "kat" zegt, krijgt hij een slechte cijfer (hallucinatie). Maar als hij "dier" zegt, krijgt hij een gouden ster. Dit leert de student om vaag en veilig te zijn in plaats van een verkeerd specifiek antwoord te verzinnen.

4. De resultaten

Het artikel testte dit op twee soorten taken: het herkennen van objecten (zoals honden en olifanten) en het herkennen van gezichten (zoals specifieke beroemde mensen).

Vergeten: HFRU slaagde er 98-99% van de tijd in om de bibliothecaris de specifieke doelen te laten vergeten.
Onthouden: Het behield de vaardigheid van de bibliothecaris om alles anders te herkennen (zoals katten of andere mensen) bijna perfect.
Geen hallucinaties: Cruciaal, in tegenstelling tot andere methoden die de bibliothecaris wilden laten raden, maakte HFRU bijna nooit valse objecten uit. De bibliothecaris zou ofwel zeggen "Ik weet het niet" of een veilig algemeen woord gebruiken zoals "dier".

Samenvatting

Beschouw HFRU als een gespecialiseerde geheugenchirurgie. In plaats van de bibliothecaris alleen een muilkorf op te leggen om te voorkomen dat ze bepaalde woorden spreekt, herschakelt het zorgvuldig haar visuele herkenningscentrum. Het leert haar specifieke, gevoelige herinneringen te vervangen door veilige, algemene concepten, zodat ze niet per ongeluk dingen verzint wanneer ze probeert te vergeten. Het resultaat is een model dat echt vergeet wat het moet vergeten, zonder zijn verstand te verliezen of leugens te verzinnen.

Technische Samenvatting: Hallucinatievrije Versterkende Vergeting voor Visueel-Talige Modellen

Probleemdefinitie

Visueel-Talige Modellen (VLM's) vormen aanzienlijke risico's op het gebied van privacy, auteursrecht en bias, wat machine-unlearning noodzakelijk maakt om specifieke gevoelige kennis te verwijderen. Echter, bestaande unlearning-methoden vertrouwen voornamelijk op het fijnafstemmen van de taaldecoder. De auteurs identificeren een kritieke beperking in deze aanpak: het leidt tot oppervlakkig vergeten. Hoewel het model de generatie van specifieke sleutelwoorden in open teksten kan onderdrukken, behoudt het de onderliggende visuele representaties van het doelconcept binnen de visuele encoder. Bijgevolg kan het model het vergeten concept nog steeds herkennen of erover redeneren wanneer het discratief wordt geprompt (bijvoorbeeld: "Is deze persoon X?").

Bovendien benadrukt het artikel een eerder over het hoofd gezien faalmodus: objecthallucinaties. Wanneer een model wordt gedwongen een concept te onderdrukken zonder een semantische fallback, kan het willekeurig waarschijnlijkheidsmassa herverdelen naar niet-gerelateerde objecten die niet zijn verankerd in de visuele input. Het artikel definieert formeel het doel van Hallucinatievrije VLM-Unlearning, wat vereist:

Effectief Vergeten: Het elimineren van de invloed van het doelconcept over zowel generatieve als discriminatieve taken.
Behoud van Nut: Handhaving van de prestaties op niet-doel (behoud) data en algemene benchmarks.
Hallucinatievrije Generatie: Zorgen dat wanneer het model een doelconcept niet kan identificeren, het niet zelfverzekerd de aanwezigheid van niet-gerelateerde objecten bevestigt. In plaats daarvan moet het onzekerheid uiten of semantisch geldige hyperoniemen gebruiken (bijvoorbeeld: "een dier" in plaats van een specifieke "hond" of een willekeurige "kat").

Methodologie: HFRU Framework

De auteurs stellen HFRU (Hallucinatievrije Versterkende Vergeting) voor, een tweefasig framework dat direct werkt op de visuele encoder in plaats van de taaldecoder. Dit zorgt voor diepe semantische verwijdering op het representatieniveau.

Fase 1: Onderbreking van Koude Start-Alignement

De eerste fase maakt gebruik van Supervised Fine-Tuning (SFT) om de alignement tussen visuele kenmerken in de vergeetset en hun oorspronkelijke semantische labels te verstoren.

Proces: Het model genereert een bijschrift voor een afbeelding in de vergeetset. Sleutelwoorden gerelateerd aan het doelconcept worden willekeurig vervangen door tokens uit de behoudset (bijvoorbeeld: het vervangen van "hond" door "konijn").
Doel: De visuele encoder wordt getraind om de visuele input te associëren met de gewijzigde, mismatchende tekst. Dit verzwakt de afhankelijkheid van het model van het doelconcept en initialiseert de encoder in een staat waarin de oorspronkelijke associatie aanzienlijk is verstoord.

Fase 2: Encoder-Only Versterkende Vergeting

De tweede fase maakt gebruik van Group Relative Policy Optimization (GRPO) om de parameters van de visuele encoder te verfijnen terwijl de taaldecoder bevroren blijft.

Samengestelde Beloningsstructuur: De kerninnovatie is een beloningsfunctie die doelconcepten bestraft terwijl het semantisch geldige abstracties aanmoedigt.
- Strafbeloning ( $R_{pen}$ ): Bestraft de generatie van doel-sleutelwoorden en hun synoniemen.
- Abstractiebeloning ( $R_{abs}$ ): Beloont de generatie van hyperoniemen (bijvoorbeeld: "dier" voor "hond") in plaats van niet-gerelateerde objecten. Dit fungeert als een "veilige semantische fallback", waarbij het model wordt geleid om vergeten concepten te vervangen door geldige hogere categorieën.
- Behoudbeloning ( $R_{retain}$ ): Zorgt ervoor dat het model kennis van niet-doelconcepten behoudt.
Optimalisatie: GRPO berekent relatieve voordelen binnen een groep van bemonsterde antwoorden om training te stabiliseren. De doelfunctie maximaliseert de beloning voor de vergeetset (het bestraffen van doelen, het belonen van hyperoniemen) en de behoudset (het belonen van behoud), waardoor de latente representatieruimte effectief wordt herschikt.

Theoretisch Bewijs

Het artikel levert een theoretisch bewijs (Lemma 1) dat aantoont dat de opname van de abstractiebeloning ( $R_{abs}$ ) systematisch de verwachte hallucinatiefrequentie verlaagt in vergelijking met het gebruik van een alleen-strafbeloning. Door een geldig semantisch pad (hyperoniemen) te bieden voor de waarschijnlijkheidsmassa die uit het doelconcept wordt verwijderd, is het model minder geneigd om ongegronde, gehallucineerde objecten te genereren.

Belangrijkste Bijdragen

Probleemdefinitie: De auteurs definiëren formeel het nieuwe probleem van hallucinatievrije VLM-unlearning, waarbij de faalmodus wordt aangepakt waarbij het verwijderen van concepten het genereren van ongegronde inhoud triggert.
HFRU Framework: Zij stellen een tweefasig framework voor dat gericht is op de visuele encoder. Dit zorgt voor diepe semantische verwijdering in plaats van oppervlakkige lexicaal filtering. Theoretisch vermindert dit mechanisme hallucinaties op de vergeetset.
Nieuwe Visualisatie: De auteurs ontwikkelen een methode om interne perceptie te reconstrueren uit verborgen staten met behulp van een mapping-netwerk en een op diffusie gebaseerde IP-Adapter, waardoor directe observatie mogelijk is van hoe visuele kenmerken veranderen tijdens unlearning.
Uitgebreide Evaluatie: Uitgebreide experimenten op objectherkenning (PACS) en gezichtidentiteit (VGGFace2) taken demonstreren de effectiviteit van het framework.

Experimentele Resultaten

De auteurs evalueerden HFRU op de PACS- en VGGFace2-datasets, waarbij ze het vergeleken met baselines waaronder Gradient Ascent (GA), Gradient Difference (GD), NPO, RMU, SAUCE en SLUG.

Vergeten en Behoud: HFRU behaalde een gemiddelde vergetenrate en behoudprestatie van meer dan 98% over verschillende promptformaten (Origineel, Parafrase en Discriminatief).
Mitigatie van Hallucinaties: In tegenstelling tot baselines die vaak vergeten ruilen voor hallucinaties (bijvoorbeeld: SAUCE toonde een hoge vergetenrate maar een hallucinatiefrequentie van 20,67% op VGGFace2), introduceerde HFRU verwaarloosbare objecthallucinaties (0,25% op PACS, 1,34% op VGGFace2).
Algemeen Nut: HFRU behield algemene visueel-talige capaciteiten die vergelijkbaar waren met het basismodel, terwijl veel baselines aanzienlijke degradatie leden op algemene benchmarks (MMStar, OCRBench, MMMU, RealWorldQA).
Ablatiestudies: Het verwijderen van de abstractiebeloning leidde tot een enorme piek in hallucinaties (tot 99,67% op VGGFace2), wat zijn kritieke rol bevestigt. Het beperken van updates tot de visuele encoder bleek superieur te zijn ten opzichte van full-parameter fijnafstemming, wat vaak resulteerde in oppervlakkige onderdrukking op token-niveau.

Betekenis en Claims

Het artikel beweert dat HFRU een nieuwe state-of-the-art vestigt voor VLM-unlearning door de dubbele uitdaging van effectieve conceptverwijdering en hallucinatiepreventie op te lossen. De betekenis ligt in:

Verschuiving in Focus: Het verplaatsen van unlearning van de taaldecoder naar de visuele encoder om ware semantische uitwissing te bereiken.
Veiligheid en Betrouwbaarheid: Het bieden van een mechanisme dat voorkomt dat modellen "hallucineren" nieuwe, potentieel schadelijke of onjuiste feiten wanneer ze worden gedwongen specifieke data te vergeten.
Robuustheid: Het aantonen dat de methode generaliseert naar out-of-distribution (OOD) settings (bijvoorbeeld: het Sketch-domein in PACS) zonder over te fitten op de trainingsverdeling.

De auteurs concluderen dat hun werk de noodzaak benadrukt van ingrepen op encoder-niveau en gestructureerd beloningsontwerp voor betrouwbare multimodale unlearning, en een praktische aanpak biedt voor veiligere, betrouwbaardere AI-systemen.