Technische Samenvatting: SENTINEL

Probleemstelling

Multimodale Grootte Taalmodellen (MLLM's) hebben de kruismodale begrijpelijkheid verbeterd, maar lijden aan objecthallucinaties, waarbij modellen tekst genereren die semantisch coherent is maar feitelijk inconsistent met de visuele invoer. Bestaande mitigeringsstrategieën ondervinden aanzienlijke beperkingen:

• Decodingsgebaseerde methoden (bijv. contrastieve decoding) brengen vaak verbodsfrequente rekenkosten en verhoogde inferentielatentie met zich mee.
• Voorkeursuitlijningsmethoden vertrouwen vaak op dure externe bronnen, zoals propriëtaire Grootte Taalmodellen (LLM's) voor herschrijven of menselijke annotatoren voor datacuratie. Bovendien introduceren deze methoden vaak distributiemismatches tussen de trainingsdata (herschreven door externe modellen) en de oorspronkelijke outputdistributie van het doelmodel, wat de generalisatiecapaciteiten kan schaden.

Methodologie: SENTINEL

De auteurs stellen SENTINEL (Sentence-level Early iNtervention Through IN-domain prEference Learning) voor, een raamwerk ontworpen om hallucinaties te mitigeren door in te grijpen op het vroegste stadium van hun optreden, zonder te vertrouwen op extern herschrijven of menselijke annotatie. De methode werkt via zes sleutelstappen:

1. In-domein Kandidaat-Bootstrapping:

   • Het huidige MLLM genereert meerdere kandidaatantwoorden via sampling.
   • Objecten die in deze outputs worden genoemd, worden geëxtraheerd met een Scene-GraphParser.
   • Kruisvalidatie: Twee open-vocabulary objectdetectoren (GroundingDINO en YOLO World) worden gebruikt om het bestaan van deze objecten in de invoerafbeelding te cross-checken.
   • Objecten worden geclassificeerd als feitelijk (beide detectoren bevestigen aanwezigheid), gehallucineerd (beide bevestigen afwezigheid) of onzeker. Zinnen die gehallucineerde objecten bevatten, worden gemarkeerd als negatieve steekproeven; die met alleen feitelijke objecten zijn positieve steekproeven. Onzekere objecten worden genegeerd om de datakwaliteit te waarborgen.

2. Contextbewuste Voorkeursdata-Generatie:

   • Het raamwerk construeert voorkeursparen $(y_w^+, y_l)$ waarbij $y_w^+$ een niet-gehallucineerde zin is en $y_l$ een gehallucineerde.
   • Cruciaal is dat de positieve steekproef $y_w^+$ wordt geselecteerd om context-coherent te zijn, wat betekent dat de objecten die in de zin worden beschreven expliciet worden verwezen naar of logisch verbonden zijn met de voorgaande context. Dit staat in contrast met context-agnostische steekproeven, die de auteurs minder effectief vinden voor generalisatie.

3. Iteratieve Contextuele Bootstrapping (ICB):

   • Om de robuustheid over diverse scenario's te verbeteren, breidt het raamwerk de generatiecontext iteratief uit. Na het identificeren van een niet-gehallucineerde positieve steekproef, wordt deze toegevoegd aan de context $c$ voor de volgende iteratie. Dit stelt het model in staat om te leren van progressief complexe en gevarieerde contexten, terwijl het een hallucinatievrije basis behoudt.

4. Contextbewuste Voorkeurslering (C-DPO):

   • Het model wordt getraind met een gemodificeerde Direct Preference Optimization (DPO) loss, genaamd C-DPO.
   • De invoer voor het beleidsmodel wordt verrijkt met de context $c$: $x' = [v, q, c]$.
   • De lossfunctie maximaliseert de waarschijnlijkheid van het genereren van de context-coherente positieve steekproef $y_w^+$ terwijl de gehallucineerde negatieve steekproef $y_l$ wordt geminimaliseerd.
   • Belangrijk Ontwerp: De context $c$ wordt uitgesloten van de lossberekening (gemaskeerd). Gradienten worden uitsluitend afgeleid uit de discriminatie tussen $y_w^+$ en $y_l$, zodat het model leert om hallucinaties op zinsniveau te onderscheiden zonder te worden beïnvloed door de contexttokens tijdens de optimalisatie.

Belangrijkste Bijdragen

1. Inzicht in Vroege Interventie: De auteurs demonstreren via analyse dat de intensiteit van hallucinaties toeneemt met de tekstlengte en dat ingrijpen bij de eerste voorkoming van een hallucinatie de verspreiding ervan in daaropvolgende outputs aanzienlijk voorkomt.
2. Efficiënt, In-domein Raamwerk: SENTINEL elimineert de afhankelijkheid van externe propriëtaire modellen of menselijke annotatoren. Door gebruik te maken van de eigen outputs van het model en lichtgewicht open-vocabulary detectoren, construeert het hoogwaardige, stijl-consistente voorkeursdata.
3. Model-Agnostische Prestaties: De methode bereikt state-of-the-art resultaten op hallucinatie-benchmarks terwijl algemene capaciteiten worden behouden of verbeterd, wat aantoont dat in-domein voorkeurslering superieur is aan op herschrijven gebaseerde benaderingen.

Experimentele Resultaten

Experimenten werden uitgevoerd op LLaVA-v1.5 (7B en 13B) modellen over meerdere benchmarks:

• Hallucinatie-Mitigatie:

  • Op Object HalBench verlaagde SENTINEL het hallucinatiepercentage op antwoordniveau van 52,7% (baseline) naar 4,3% voor het 7B-model, wat de vorige SOTA (TPO) met een aanzienlijke marge overtreft.
  • Op AMBER werden hallucinaties met ongeveer 92% (Object HalBench) en 65% (AMBER) gereduceerd in vergelijking met het oorspronkelijke model.
  • De methode reduceerde effectief hallucinaties over alle zes categorieën (Bestaan, Attribuut, Staat, Relatie, Actie, Aantal).

• Algemene Capaciteiten:

  • In tegenstelling tot veel mitigeringsmethoden die de algemene prestaties verslechteren, behield SENTINEL de scores op VQAv2, TextVQA, ScienceQA en MM-Vet of verbeterde deze.
  • Bijvoorbeeld, op MM-Vet verbeterde het 7B-model van 31,0 naar 32,6, en het 13B-model verbeterde van 36,0 naar 36,2.

• Ablatiestudies:

  • Herschrijven vs. In-domein: Training op herschreven data (via GPT-4) resulteerde in prestatiedegradatie, wat het belang bevestigt van het behoud van de intrinsieke distributie van het model.
  • Context Coherentie: Het gebruik van context-coherente positieve steekproeven ($y_w^+$) leverde betere resultaten op dan context-agnostische steekproeven.
  • Cross-checking: Het gebruik van twee detectoren voor validatie presteerde aanzienlijk beter dan benaderingen met één detector.
  • Schaalbaarheid: De prestaties verbeterden naarmate de schaal van de trainingsdata toenam, wat de efficiëntie van de methode aantoont bij het benutten van grotere datasets zonder kostbare annotatie.

Betekenis en Claims

Het artikel claimt dat SENTINEL een schaalbare, efficiënte en model-agnostische oplossing biedt voor het verbeteren van de betrouwbaarheid van MLLM's. De primaire betekenis ligt in het verschuiven van het paradigma van dure, distributie-verschuivende externe interventies naar in-domein, zinsniveau vroege interventie. Door te focussen op het precieze moment waarop hallucinaties ontstaan en gebruik te maken van de eigen distributie van het model, lukt het SENTINEL de verspreiding van fouten te beteugelen zonder de algemene redeneer- of taalgeneratiecapaciteiten van het model te compromitteren.

De auteurs merken een beperking op: het huidige raamwerk mist ruimtelijk-temporele redeneercapaciteiten, wat betekent dat het hallucinatieproblemen in op video gebaseerde MLLM's die langetermijnredenering vereisen, mogelijk niet volledig aanpakt. Voor statische afbeeldingsbegrip vestigt het echter een nieuwe standaard voor efficiënte hallucinatie-mitigatie.