3D-VCD: Hallucination Mitigation in 3D-LLM Embodied Agents through Visual Contrastive Decoding

Dit paper introduceert 3D-VCD, het eerste framework voor visuele contrastieve decoding dat hallucinaties in 3D-embodied agents effectief onderdrukt door voorspellingen te vergelijken tussen originele en verstoord 3D-scènevoorstellingen, zonder dat hertraining nodig is.

De kern

3D-VCD: De "Twijfel-Check" voor Robothersenen

Stel je voor dat je een robot hebt die door je huis loopt om taken uit te voeren, zoals "Haal de melk uit de koelkast" of "Veeg de kruimels van de tafel". Deze robot gebruikt een superintelligente computerhersenen (een AI) om te begrijpen wat hij ziet. Maar er is een groot probleem: deze AI is soms te zeker van zichzelf.

Soms zegt de robot: "Ja, er staat een koelkast in de kamer!", terwijl er eigenlijk geen koelkast is. Of hij denkt dat er een bank is, terwijl er alleen maar een stoel staat. In de wereld van AI noemen we dit hallucineren. Het is alsof de robot droomt terwijl hij wakker is. Dit is gevaarlijk; als een robot denkt dat er een muur is waar geen muur is, kan hij tegen de muur aanrijden of een taak verkeerd uitvoeren.

De meeste bestaande manieren om dit op te lossen werken alleen voor platte foto's (2D). Maar een robot beweegt in een echte, driedimensionale wereld (3D). Daar gaat het mis niet omdat een foto wazig is, maar omdat de robot de ruimte, de afstand en de objecten verkeerd begrijpt.

De Oplossing: 3D-VCD (De "Wat als?"-test)

De onderzoekers van dit paper hebben een slimme truc bedacht die 3D-VCD heet. Ze hoeven de robot niet opnieuw te leren (wat jaren duurt en veel geld kost). In plaats daarvan geven ze de robot een nieuwe manier van nadenken terwijl hij een opdracht uitvoert.

Hier is hoe het werkt, met een simpele analogie:

De Analogie: De Twee Spiegels

Stel je voor dat de robot een vraag krijgt: "Is er een televisie in de kamer?"

1. De Eerste Spiegel (De Gewone Wereld): De robot kijkt naar de kamer en zegt: "Ja, ik denk van wel." (Misschien hallucineert hij, omdat hij vaak televisies ziet in zijn training).
2. De Tweede Spiegel (De "Vervormde" Wereld): Nu doet de robot iets vreemds. Hij maakt in zijn hoofd een vervormde versie van de kamer.
   • Hij doet alsof de stoel een koelkast is (semantische verstoring).
   • Hij doet alsof de tafel zweeft in de lucht of op de verkeerde plek staat (geometrische verstoring).
3. De Vergelijking: De robot stelt zich nu de vraag opnieuw: "Is er een televisie in deze vervormde, rare kamer?"
   • Als de robot nu nog steeds zegt: "Ja, er is een televisie!", dan weet hij: "Wacht, ik zie de televisie niet echt, ik zeg het gewoon omdat ik het in mijn hoofd heb."
   • Als de robot zegt: "Nee, in deze rare kamer zie ik geen televisie," dan is zijn antwoord betrouwbaar.

De "Contrastieve Decoding" (Het Slimme Filter)

De AI vergelijkt nu de twee antwoorden.

• Als het antwoord in de normale wereld en de vervormde wereld hetzelfde is (bijvoorbeeld "Ja" in beide gevallen), dan is het antwoord waarschijnlijk een hallucinatie. De robot is te afhankelijk van zijn eigen fantasie en niet van wat hij echt ziet.
• De 3D-VCD methode zegt dan: "Hé, dit antwoord is niet gebaseerd op de werkelijkheid. Laten we die kans verkleinen."

Het is alsof je een detective bent die een getuige ondervraagt. Als de getuige hetzelfde verhaal vertelt, ongeacht of je de kamer een beetje op zijn kop zet of de meubels verplaatst, dan is de getuige waarschijnlijk aan het liegen (of dromen). De detective (de AI) pakt dan het verhaal dat het beste past bij de feiten.

Waarom is dit zo cool?

• Geen Opleiding Nodig: Je hoeft de robot niet maandenlang te laten studeren. Je geeft hem gewoon een nieuwe "denk-techniek" die hij direct kan toepassen.
• Veiligheid: Robots worden veiliger omdat ze niet meer doen alsof er objecten zijn die er niet zijn.
• Snelheid: Het kost de robot maar een heel klein beetje extra tijd om deze "dubbele check" te doen, net als wanneer jij even twijfelt voordat je een antwoord geeft.

Kortom:
3D-VCD is als een realiteitscheck voor robots. Het dwingt de robot om niet alleen te vertrouwen op wat hij "weet" (zijn geheugen), maar vooral op wat hij "ziet" (de echte 3D-ruimte). Door in zijn hoofd even een vervormde versie van de wereld te creëren, kan hij zien of hij echt iets ziet of dat hij gewoon aan het dromen is. Hierdoor worden robots betrouwbaarder en minder geneigd om dingen te verzinnen.

Technische samenvatting

Probleemstelling

Grote Multimodale Modellen (MLLMs) worden steeds vaker gebruikt als de redeneringskern voor geëmbodimenterde agenten in 3D-omgevingen. Ondanks hun kracht zijn deze modellen echter vatbaar voor hallucinaties: ze genereren tekstueel plausibele antwoorden die niet overeenkomen met de waargenomen 3D-scène (bijvoorbeeld het bevestigen van het bestaan van objecten die er niet zijn).

Bestaande methoden voor het mitigeren van hallucinaties tijdens de inferentie (zoals Visual Contrastive Decoding of VCD) zijn voornamelijk ontworpen voor 2D-vision-language taken (zoals beeldbeschrijving). Deze methoden werken door pixelruimtestoestanden te verstoren (bijv. vervaging of maskering). Dit is echter ontoereikend voor geëmbodimenterde agenten, omdat hallucinaties in 3D niet voortkomen uit pixel-inconsistenties, maar uit fouten in 3D-redenering, objectaanwezigheid, ruimtelijke lay-out en geometrische gronding. Pixelverstorende technieken kunnen geen tegenstrijdige 3D-bewijzen genereren om te testen of een model echt op ruimtelijke structuur vertrouwt.

Methodologie: 3D-VCD

De auteurs introduceren 3D-VCD, het eerste framework voor inferentie-tijdige visuele contrastieve decoding specifiek voor 3D-geëmbodimenterde agenten. Het is een trainingsvrije methode die geen wijzigingen vereist in de modelarchitectuur of hertraining.

Kernprincipes:

1. Gestructureerde 3D Scene Graphs: In plaats van pixels, werkt 3D-VCD met gestructureerde 3D-scene graphs die objecten coderen met semantische labels (categorie) en geometrische attributen (centroïde $x,y,z$ en uitbreiding $w,h,d$).
2. Contrastieve Contexten: Het systeem creëert twee contexten voor dezelfde vraag:
   • Originele Context ($G_t$): De authentieke 3D-scene graph.
   • Verstoorde Context ($\hat{G}_t$): Een "negatieve" context die wordt gegenereerd door gecontroleerde perturbaties toe te passen op de scene graph via een operator $\mathcal{D}$.
3. Perturbatie-Strategieën:
   • Semantische perturbatie: Vervanging van objectcategorieën door incorrecte labels (bijv. "stoel" $\to$ "tafel") of het verwijderen van beschrijvende modifiers.
   • Geometrische perturbatie: Toevoegen van ruis (Gaussisch) aan de 3D-coördinaten (centroïde) en afmetingen (extent) om de ruimtelijke gronding te verstoren.
   • Adversariële taken: Voor benchmarks zoals HEAL worden de perturbaties geïntroduceerd via tegenstrijdige taakbeschrijvingen in plaats van directe grafische wijzigingen.
4. Dual-Context Logit Fusie: Het model voert een inferentie uit op zowel de originele als de verstoorde graph. De uiteindelijke logits ($z^{vcd}$) worden berekend door de logits van de originele context te combineren met een strafterm gebaseerd op de verstoorde context:
   $$z^{vcd}_t = (1 + \alpha) z^{(o)}_t - \alpha z^{(d)}_t$$
   Waarbij $\alpha$ de sterkte van de contrastieve straf bepaalt. Tokens die ook in de verstoorde context een hoge waarschijnlijkheid behouden (onafhankelijk van de 3D-bewijzen) worden onderdrukt, omdat deze waarschijnlijk gedreven worden door taalkundige prioren in plaats van visuele gronding.

Efficiëntie:
Om de rekentijd te minimaliseren, gebruikt 3D-VCD batched dual forward passes (beide contexten in één batch) en Key-Value caching (hergebruik van attention states), wat leidt tot een minimale overhead (ongeveer 0,5s extra per query).

Belangrijkste Bijdragen

1. Eerste trainingsvrije 3D-methode: 3D-VCD is het eerste framework dat hallucinaties in 3D-geëmbodimenterde agenten aanpakt zonder hertraining, specifiek gericht op structurele 3D-representaties in plaats van pixels.
2. Nieuwe Counterfactual Grounding: De auteurs stellen een mechanisme voor dat "negatieve" 3D-contexten construeert via semantische en geometrische vervormingen om de afhankelijkheid van het model van feitelijke scene-bewijzen te testen.
3. Universele Toepasbaarheid: De methode werkt op zowel geometrie-gerichte benchmarks (3D-POPE) als op hogere-niveau redeneringsbenchmarks (HEAL) en is model-onafhankelijk.

Resultaten

De methode werd geëvalueerd op twee benchmarks: 3D-POPE (object-aanwezigheid) en HEAL (geëmbodimenterde hallucinatie-probing).

• 3D-POPE: 3D-VCD verbeterde consistent de prestaties op alle splits (Random, Popular, Adversarial).
  • De Precision steeg met tot +10% ten opzichte van de beste baselines (zoals 3D-LLM en 3D-VisTA).
  • De Yes-rate (een maatstaf voor over-verzekerde hallucinaties) daalde aanzienlijk (bijv. van 99,81% naar 75,15% in de Random split), wat aantoont dat het model minder snel "ja" zegt voor objecten die er niet zijn.
  • De F1-score en Accuracy verbeterden significant zonder verlies van recall.
• HEAL: Op de HEAL-benchmark, die specifiek is ontworpen om hallucinaties op te wekken via afleidingen en tegenstrijdigheden, reduceerde 3D-VCD de hallucinatiepercentages aanzienlijk.
  • Voor het Qwen-14B-model daalde de state-hallucinatie (CHAIR-CS) van 16,45% naar 5,00% (een reductie van 3,3x).
  • Object-hallucinaties (CHAIR-CO) namen eveneens af.
• Ablatie-studies: De studie toonde aan dat matige geometrische ruis (bijv. $\sigma=0.05$m) het meest effectief is. Te weinig ruis biedt geen voldoende contrast, terwijl te veel ruis de nodige ruimtelijke informatie vernietigt.

Betekenis en Impact

3D-VCD biedt een praktische en efficiënte route naar betrouwbaardere geëmbodimenterde intelligentie.

• Betrouwbaarheid: Het lost een fundamenteel veiligheidsprobleem op: het voorkomen van onveilig gedrag veroorzaakt door hallucinaties (bijv. een robot die probeert een object op te pakken dat er niet is).
• Efficiëntie: Omdat het trainingsvrij is en geen extra parameters vereist, kan het direct worden toegepast op bestaande 3D-MLLM's zonder de kosten van datacollectie of hertraining.
• Toekomstperspectief: Het werk benadrukt dat contrastieve redenering op gestructureerde representaties een krachtig mechanisme is om perceptie in dynamische omgevingen te verbeteren, en opent de deur voor toekomstig onderzoek naar temporale redenering in dynamische 3D-scènes.

Kortom, 3D-VCD bewijst dat het actief onderdrukken van tokens die niet gevoelig zijn voor 3D-gronding, leidt tot significante verbeteringen in de nauwkeurigheid en veiligheid van robotica-agenten.