GroundCount: Grounding Vision-Language Models with Object Detection for Mitigating Counting Hallucinations

Het paper introduceert GroundCount, een framework dat Vision-Language-modellen verrijkt met objectdetectie-gebaseerde ruimtelijke grounding om hallucinaties bij het tellen van objecten te verminderen en de nauwkeurigheid aanzienlijk te verbeteren.

De kern

Titel: Hoe we VLM's hebben geholpen om te tellen zonder te hallucineren

Stel je voor dat je een zeer intelligente, maar soms wat dromerige kunstenaar hebt. Deze kunstenaar (een Vision-Language Model of VLM) kan prachtige verhalen vertellen over foto's die je hem laat zien. Hij kan beschrijven wat hij ziet, de sfeer van een scène vangen en zelfs redeneren. Maar er is één ding waar hij vreselijk slecht in is: tellen.

Als je hem vraagt: "Hoeveel mensen zie je op deze foto?", kan hij in plaats van een simpel getal te geven, gaan fantaseren. Hij ziet misschien drie mensen, maar door zijn dromerige aard zegt hij er vier, of hij begint te twijfelen en gaat eindeloos door zijn gedachten heen ("Misschien is die persoon achter de boom wel een vijfde persoon?"). Dit noemen we hallucinaties.

In dit paper, getiteld GroundCount, hebben de onderzoekers een oplossing bedacht om deze dromerige kunstenaar te helpen tellen, door hem een tandarts te geven die precies weet waar de objecten staan.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De Dromerige Kunstenaar

De onderzoekers hebben gekeken naar de slimste AI-modellen van vandaag. Ze ontdekten dat deze modellen goed zijn in het herkennen van objecten (bijv. "Dat is een hond") of het beschrijven van eigenschappen (bijv. "De hond is bruin"), maar dat ze stelselmatig falen als het om tellen gaat. Zelfs de slimste modellen die kunnen "nadenken" en redeneren, blijven hierin steken.

Het is alsof je iemand vraagt om het aantal bomen in een bos te tellen, terwijl die persoon alleen naar de lucht kijkt en fantaseert over wat er misschien in het bos staat, in plaats van echt te kijken.

2. De Oplossing: De Tandarts (Object Detection)

Gelukkig bestaat er een andere soort AI, genaamd Object Detection Models (zoals YOLO). Deze modellen zijn niet dromerig; ze zijn als een tandarts of een bouwkundige inspecteur. Ze zijn niet zo creatief, maar ze zijn extreem goed in één ding: ze zien precies waar iets is, hoe groot het is en ze kunnen het tellen zonder te twijfelen.

De onderzoekers hebben een slimme manier bedacht om de dromerige kunstenaar (de VLM) te laten samenwerken met de nuchtere tandarts (de Object Detector).

3. De Drie Strategieën (Hoe ze samenwerken)

De onderzoekers hebben drie manieren getest om deze twee samen te laten werken:

• Strategie A: De "Stukje Papier" methode (Prompt Augmentation)
  Dit is de beste en snelste methode. De tandarts kijkt eerst naar de foto en schrijft een kort lijstje op een papiertje: "Ik zie 1 persoon links onder, 2 personen rechts boven...".
  Dit lijstje wordt dan aan de kunstenaar gegeven als een extra instructie: "Kijk, hier is een lijstje van de tandarts. Tel nu op basis daarvan."

  • Resultaat: De kunstenaar stopt met fantaseren. Hij kijkt naar het lijstje, telt de namen en geeft het juiste antwoord. Het werkt zo goed dat de kunstenaar zelfs sneller is dan voorheen, omdat hij niet meer eindeloos hoeft na te denken over wat er misschien wel of niet is.

• Strategie B: De "Hersentransplantatie" (Feature Fusion)
  Hier proberen ze de hersenen van de tandarts en de kunstenaar fysiek met elkaar te verbinden. Ze laten de kunstenaar direct kijken naar de "geheime code" (de data) van de tandarts, zonder woorden.

  • Resultaat: Dit werkt minder goed. Het is alsof je probeert twee mensen die heel verschillend denken, direct in één brein te laten werken. Het wordt verwarrend en de kunstenaar raakt in de war.

• Strategie C: De "Combinatie"
  Ze proberen zowel het lijstje (Strategie A) als de hersentransplantatie (Strategie B) tegelijk te doen.

  • Resultaat: Dit helpt niet echt meer dan alleen het lijstje. Soms maakt het zelfs meer ruis.

4. Wat hebben ze geleerd? (De Belangrijkste Lessen)

• Tellen is een ruimtelijk probleem: De kunstenaar faalt niet omdat hij niet slim is, maar omdat hij moeite heeft om de ruimte in de foto te koppelen aan de woorden. De tandarts lost dit op door de ruimte (de posities) expliciet te benoemen.
• Simpel is beter: Het geven van een duidelijk, gestructureerd lijstje (Strategie A) werkt veel beter dan proberen de AI-modellen op een dieper, technisch niveau te laten samensmelten.
• Niet elke kunstenaar is hetzelfde: Voor de meeste modellen werkte deze methode wonderbaarlijk goed (een verbetering van 6 tot 7 procentpunten). Maar voor één specifiek model (InternVL) werkte het lijstje juist verwarrend. Dit betekent dat je de oplossing moet afstemmen op de persoon (of het model) die je helpt.
• Snelheid: Door de kunstenaar te helpen met het lijstje, hoeft hij niet meer in een cirkel van twijfel te draaien. Hij geeft sneller het juiste antwoord.

Conclusie

Deze studie laat zien dat we AI niet hoeven te "herprogrammeren" om beter te tellen. We hoeven haar alleen maar een hulpje te geven dat goed kan zien waar dingen staan. Door de dromerige AI te koppelen aan de nuchtere "tandarts", krijgen we een systeem dat niet alleen creatief is, maar ook betrouwbaar als het gaat om het tellen van objecten.

Dit is een grote stap voorwaarts voor toepassingen waar precisie belangrijk is, zoals het tellen van voorraad in magazijnen, het controleren van veiligheidscamera's of het helpen van mensen met een visuele beperking om hun omgeving te begrijpen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "GroundCount: Grounding Vision-Language Models with Object Detection for Mitigating Counting Hallucinations", vertaald en samengevat in het Nederlands.

Probleemstelling

Vision-Language Models (VLMs) vertonen aanhoudende hallucinaties bij het tellen van objecten in afbeeldingen. Ondanks de recente vooruitgang in redeneervermogen en multimodale prestaties, blijft het tellen de taak met de laagste nauwkeurigheid onder alle visuele redeneertaken (met uitzondering van sentimentanalyse, wat subjectiever is).

• De oorzaak: De auteurs stellen dat dit niet alleen een tekortkoming in het redeneervermogen is, maar een fundamenteel probleem van de integratie van ruimtelijke en semantische informatie. VLMs neigen om te veel te vertrouwen op tekstuele priors en te weinig op visuele tokens, wat leidt tot inconsistenties in het tellen van objecten.
• De uitdaging: Bestaande methoden om hallucinaties te bestrijden (zoals attentiesturing of decoding-aanpassingen) werken minder goed bij moderne VLMs met iteratieve redeneermechanismen, omdat er geen enkel "correct" token is waarheen gestuurd kan worden tijdens meervoudige redeneerstappen.
• Contrast: Objectdetectiemodellen (ODMs) zoals YOLO zijn daarentegen uiterst efficiënt en nauwkeurig in het lokaliseren en tellen van objecten, maar missen het semantische redeneervermogen van VLMs.

Methodologie: GroundCount Framework

Het paper introduceert GroundCount, een framework dat VLMs verrijkt met expliciete ruimtelijke grounding afkomstig van gespecialiseerde objectdetectiemodellen (ODMs). Er worden drie strategieën gepresenteerd:

1. GroundCount A (Prompt-based Augmentation):

   • Werking: Een ODM (YOLOv13x) analyseert de afbeelding eerst. De detecties (objectklasse, bounding box-coördinaten, betrouwbaarheidsscore) worden omgezet in gestructureerde natuurlijke taal en toegevoegd aan de prompt van de VLM.
   • Spatial Encoding: De afbeelding wordt opgedeeld in een 3x3 rooster (bijv. "links-boven", "midden-rechts") om de positie van objecten te beschrijven.
   • Voordeel: Geen architecturale wijzigingen of training nodig ("plug-and-play"). Het vermindert hallucinaties door de VLM expliciete feitelijke informatie te geven.

2. GroundCount B (Feature-Level Fusion):

   • Werking: Een fusie-netwerk integreert de visuele features van de ODM (CNN-features) direct met de patch-tokens van de VLM (ViT-features) op feature-niveau.
   • Architectuur: Gebruikt een dual-branch ontwerp:
     • Branch A: FiLM (Feature-wise Linear Modulation) om CNN-features te gebruiken voor het moduleren van ViT-features.
     • Branch B: Cross-attention om ViT-patches selectief te laten vragen naar relevante CNN-features.
   • Training: Vereist fijnafstemming (fine-tuning) van het fusie-netwerk, en optioneel van de VLM en ODM.

3. GroundCount C (Gecombineerde Strategie):

   • Combineert zowel de prompt-augmentatie (Plan A) als de feature-level fusie (Plan B) om zowel expliciete symbolische grounding als impliciete feature-integratie te benutten.

Belangrijkste Bijdragen

• Analyse van Hallucinaties: Een grondige analyse toont aan dat tellen systematisch de zwakste schakel blijft voor state-of-the-art VLMs, zelfs bij modellen met geavanceerde redeneercapaciteiten.
• GroundCount Framework: Een nieuwe aanpak die ODM-outputs gebruikt om VLMs te versterken, wat leidt tot significante verbeteringen in nauwkeurigheid en een reductie van de inferentietijd.
• Ablatiestudies: Het paper onthult cruciale inzichten over welke componenten van ODM-outputs essentieel zijn:
  • Positie-encoding: Essentieel voor sterke modellen, maar schadelijk voor zwakkere modellen.
  • Betrouwbaarheidsscores (Confidence): Voegen vaak ruis toe; het verwijderen ervan verbetert de prestaties bij de meeste modellen.
  • Detectiedrempel: Precisie is belangrijker dan recall; het verlagen van de drempel (meer valse positieven) schaadt de prestaties aanzienlijk.
• Vergelijking Fusie vs. Prompt: Het paper toont aan dat expliciete symbolische grounding via prompts effectiever is dan complexe feature-level fusie voor het tellen van objecten.

Resultaten

De evaluatie is uitgevoerd op de PhD-benchmark met vijf verschillende state-of-the-art VLMs (o.a. Ovis2.5-2B, Molmo2-4B, InternVL3.5-1B).

• Nauwkeurigheid:

  • De baseline VLMs haalden een nauwkeurigheid van 64,0% tot 74,7% bij het tellen.
  • GroundCount A (Prompt) bereikte de beste resultaten: 81,3% nauwkeurigheid op het beste model (Ovis2.5-2B), een verbetering van 6,6 procentpunten (pp).
  • Drie van de vijf modellen lieten consistent verbeteringen zien (6,2–7,5 pp).
  • Uitzondering: InternVL3.5-1B presteerde slechter met volledige grounding, wat suggereert dat hun iteratieve reflectiemechanismen incompatibel zijn met gestructureerde prompts.

• Inferentietijd:

  • Een verrassend resultaat is dat GroundCount A de inferentietijd met 22% verkortte (van 10,0s naar 7,8s voor Ovis2.5-2B).
  • Reden: Met expliciete grounding hoeven VLMs minder tokens te genereren en vermijden ze eindeloze "redeneer-lussen" (hallucinatierondes) om te proberen objecten te vinden.

• Fusie vs. Prompt:

  • Feature-level fusie (Plan B) leverde lagere nauwkeurigheid op dan prompt-augmentatie, ondanks de complexiteit van de cross-attention mechanismen.
  • De gecombineerde aanpak (Plan C) was de snelste (4,8s), maar niet de meest nauwkeurige.

Betekenis en Conclusie

Het paper concludeert dat fouten bij het tellen in VLMs voortkomen uit fundamentele beperkingen in de integratie van ruimtelijke en semantische informatie, en niet noodzakelijk uit specifieke architectuurdefecten.

• Praktische Impact: De methode biedt een efficiënte, trainingsvrije oplossing om de betrouwbaarheid van VLMs te verhogen voor toepassingen zoals voorraadsystemen, toegankelijkheidstools en educatieve technologie.
• Inzicht: Het succes van prompt-based grounding suggereert dat VLMs beter zijn in het verwerken van gestructureerde symbolische representaties dan in het leren van impliciete kruis-modale uitlijning.
• Toekomst: De auteurs wijzen op de noodzaak van architecturale compatibiliteit; niet alle VLMs reageren even goed op expliciete grounding, wat maatwerk vereist voor toekomstige augmentatiestrategieën.