🤖 AI

SITUATE -- Synthetic Object Counting Dataset for VLM training

Het artikel introduceert SITUATE, een nieuwe synthetische dataset die is ontworpen om Vision Language Models te trainen op ruimtelijk beperkte teltaken, waarbij wordt aangetoond dat het finetunen op deze gecontroleerde data de generalisatie op out-of-distribution benchmarks aanzienlijk verbetert in vergelijking met bestaande real-world datasets.

Oorspronkelijke auteurs: René Peinl, Vincent Tischler, Patrick Schröder, Christian Groth

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: René Peinl, Vincent Tischler, Patrick Schröder, Christian Groth

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotassistent hebt die erg goed is in het beschrijven van foto's. Als je hem een foto van een zonsondergang laat zien, kan hij praten over de oranje lucht en de wolken. Maar als je hem vraagt: "Hoeveel vogels zijn er in die lucht?", begint hij vaak te gokken, krijgt hij het aantal fout, of verzint hij feiten. Het is als een student die geweldig is in het schrijven van essays, maar verschrikkelijk is in basismathen.

Dit artikel introduceert een nieuwe trainingsmethode genaamd SITUATE om deze robots beter te laten worden in tellen, vooral wanneer objecten verborgen zijn, een andere kleur hebben of op specifieke plekken staan.

Hier is de onderverdeling van hun werk met behulp van eenvoudige analogieën:

Het Probleem: Robots Kunnen Niet Goed Tellen

Huidige AI-modellen zijn als mensen die een gezicht direct herkennen, maar moeite hebben met het tellen van een menigte.

De "Patroon"-valstrik: Sommige bestaande trainingsdata zijn als een strikvraag. Als een afbeelding altijd negen items in een specifieke vorm laat zien, leert de robot de vorm van "negen" herkennen in plaats van daadwerkelijk de items te tellen. Het is alsof een student het antwoordmodel uit het hoofd leert in plaats van de wiskunde te begrijpen.
De "Echte Wereld" Chaos: Andere datasets gebruiken echte foto's, maar die zijn te rommelig. Objecten zijn verborgen achter anderen (occlusie), of de vragen zijn vaag. Het is alsof je iemand vraagt om de appels in een fruitmand te tellen terwijl iemand anders ze constant verplaatst.
Het Resultaat: De robots gokken. Ze kunnen zeggen dat een hen drie poten heeft omdat ze zich een keer een vreemde hen "herinneren", of ze falen bij het tellen van groene bessen als de foto iets wazig is.

De Oplossing: Een "Trainingsgym" Genoemd SITUATE

De auteurs hebben een nieuwe dataset gebouwd genaamd SITUATE (Synthetic Object Counting Dataset). Denk aan dit als een virtuele trainingsgym, gebouwd in een 3D-computerprogramma (Blender).

In plaats van rommelige echte foto's, hebben ze perfecte, schone 3D-scènes gecreëerd:

De Opstelling: Stel je een kamer voor met een tafel in het midden.
De Objecten: Ze plaatsen geometrische vormen (kubussen, bollen, kegels) op, onder of rond de tafel.
De Regels: Ze controleren alles. Ze weten precies hoeveel rode kegels er links staan, hoeveel blauwe bollen er onder de tafel liggen, en ze zorgen ervoor dat de objecten niet te veel verborgen zijn.
De Vragen: Ze stellen de robot specifieke vragen zoals: "Hoeveel groene kegels staan er op de vloer rechts van de tafel?"

Dit is als het geven van een wiskundewerkboek aan een student waarin de problemen perfect duidelijk zijn, zodat ze daadwerkelijk het concept van tellen kunnen leren in plaats van alleen plaatjes te memoriseren.

Het Experiment: De Robot Leren

De onderzoekers namen een populair AI-model (Qwen 2.5 VL) en gaven het een "crashcursus" met hun nieuwe SITUATE-gym. Ze probeerden verschillende onderwijsstijlen uit:

De "Verbose" Stijl: De robot werd geleerd om stap voor stap door zijn denken te praten (bijv. "Ik zie hier twee kegels, daar drie...").
De "Non-Verbose" Stijl: De robot werd geleerd om alleen het uiteindelijke getal te geven.
De "Mixed" Stijl: Een combinatie van hun nieuwe gym en een bestaande dataset (Pixmo).

De Resultaten: Wat Werkte?

De "Verbose" Stijl was een tweesnijdend zwaard: Wanneer de robot gevraagd werd om grote aantallen te tellen (5 of meer), hielp het doorlopen van de stappen om het juiste antwoord te krijgen. Echter, voor kleine aantallen begon de robot te "hallucineren" (dingen te verzinnen) om de gaten op te vullen. Het was als een student die zo hard probeert zijn werk uit te leggen dat hij per ongeluk extra getallen verzint.
De "Mixed" Aanpak Won: Het beste resultaat kwam voort uit het combineren van de nieuwe SITUATE-gym met de bestaande Pixmo-dataset. Dit creëerde een robot die zowel eenvoudige als complexe teltaken beter kon aan dan voorheen.
Generalisatie: De belangrijkste bevinding is dat trainen op deze schone, synthetische gym de robot ook beter maakte in het tellen in rommelige, echte foto's (zoals de TallyQA-dataset). Het is also kind dat traint met een perfecte basketbalring in een sportschool en dan plotseling beter wordt in het gooien van een bal in een winderig park.

De Conclusie

Het artikel betoogt dat om robots nauwkeurig te leren tellen, we een middenweg nodig hebben tussen "te simpel" (2D-cartoons) en "te rommelig" (echte foto's). De SITUATE-dataset biedt die middenweg.

Door te trainen op deze gecontroleerde 3D-scènes, leerden de robots daadwerkelijk te tellen in plaats van alleen te gokken op basis van patronen. De auteurs zijn van plan de gym in de toekomst nog realistischer te maken door objecten zoals kopjes, ballen en kaarsen toe te voegen, om de kloof tussen hun perfecte 3D-wereld en de echte wereld nog verder te overbruggen.

Kortom: Ze bouwden een schone, gecontroleerde 3D-speeltuin om AI te leren hoe ze goed moeten tellen, en het bleek dat oefenen in deze speeltuin de AI ook slimmer maakte in het tellen in de echte wereld.

Technische Samenvatting: SITUATE - Synthetische dataset voor het tellen van objecten voor VLM-training

Probleemstelling

Vision-Language Models (VLM's) hebben aanzienlijk succes geboekt in beeldbeschrijving en visuele vraagbeantwoording, maar blijven worstelen met precieze kwantitatieve redenering, specifiek het tellen van objecten en het begrijpen van ruimtelijke relaties. Huidige modellen falen vaak in het vertalen van visuele herkenning naar accurate aantallen, vooral wanneer de aantallen vijf overschrijden of wanneer objecten worden geoccludeerd (afgedekt). Bestaande datasets presenteren een dichotomie: eenvoudige 2D-benchmarks zoals CountBench laten modellen visuele patronen leren in plaats van echt tellen (bijv. het herkennen van een specifiek patroon voor het getal negen), terwijl real-world datasets zoals TallyQA en Pixmo count lijden onder ambiguïteit, zware occlusie en een gebrek aan controle over de ruimtelijke compositie. Bovendien vertonen modellen die op deze datasets zijn getraind vaak biases, waarbij ze niet generaliseren wanneer objectaantallen afwijken van de trainingsdistributies of wanneer specifieke attributen (zoals kleur) worden bevraagd. Er is momenteel geen uniforme aanpak die tellen en ruimtelijk begrip tegelijkertijd aanpakt in een gecontroleerde maar uitdagende omgeving.

Methodologie

Dataset Constructie (SITUATE)

De auteurs introduceren SITUATE, een nieuwe synthetische dataset die ontworpen is om de kloof tussen kunstmatige 2D-graphics en ongecontroleerde real-world foto's te overbruggen.

Generatie Pipeline: De dataset werd gegenereerd met behulp van Blender en BlenderProc, waarbij gebruik is gemaakt van een Python API voor procedurele generatie.
Scène Compositie: Scènes bestaan uit een tafel in een kamer met variërende achtergronden en vloertexturen. Objecten (kubussen, sferen, kegels, cilinders) worden geplaatst op, onder, voor, of links/rechts van de tafel.
Gecontroleerde Complexiteit: Om een helder visueel begrip te garanderen terwijl de uitdaging behouden blijft, wordt de horizontale omvang van de tafel verdeeld in bins om overlap en excessieve occlusie van objecten te voorkomen.
Kwaliteitscontrole: Een validatieproces zorgt voor voldoende contrast tussen objecten en achtergronden met behulp van de $\Delta E$ kleurverschilmetriek in de Lab-kleurenruimte. Afbeeldingen met $\Delta E < 12,5$ worden opnieuw gerenderd.
Data Schaal: De dataset bevat 23.252 beeld-vraag-antwoord triplets (afgeleid van 6.875 unieke afbeeldingen gerenderd vanuit 5 cameraperspectieven). Het richt zich op objectaantallen variërend van 0 tot 15, met een specifieke nadruk op het bereik 5–15.
Vraagtypen: Zes vraagtypen worden per afbeelding gegenereerd: kleur, vorm, locatie, object, composiet, en adversarieel (vragen naar niet-bestaande objecten).
Ground Truth: Drie ground truth formaten worden geleverd: numeriek, kort, en uitgebreid (stapsgewijze redenering).

Experimentele Opstelling

Om de effectiviteit van de dataset te evalueren, hebben de auteurs het Qwen 2.5 VL 7B model gefinetuned met LoRA (Low-Rank Adaptation) via het UnSloth framework.

Trainingsvarianten: Vier varianten zijn gemaakt:
1. Verbose: Getraind op SITUATE met uitgebreide (verbose) ground truths.
2. Non-verbose: Getraind op SITUATE met korte ground truths.
3. Pixmo: Getraind op een subset van de Pixmo count dataset (gekoppeld op basis van de ground truth distributie).
4. Mixed: Een combinatie van SITUATE (verbose) en Pixmo.
Trainingsparameters: Modellen werden getraind voor één epoch op 23.252 items met een batchgrootte van 4, gebruikmakend van de AdamW 8-bit optimizer, een leersnelheid van 1e-4, en een warmup van 300 stappen.
Evaluatie: Modellen werden getest op de uitgesloten (held-out) SITUATE data, Pixmo count, CountBench, en een gefilterde subset van TallyQA (gericht op aantallen 5–15).

Belangrijkste Resultaten

Prestaties op SITUATE

Baseline: Het ongetrainde Qwen 2.5 VL 7B behaalde 36,3% accuratesse op de SITUATE testset.
Impact van Fine-tuning:
- Verbose SITUATE: Verbeterde de accuratesse naar 50,3%.
- Mixed (SITUATE + Pixmo): Behaalde de hoogste accuratesse van 52,7%.
- Non-verbose & Pixmo-only: Beide varianten resulteerden in een lagere accuratesse op SITUATE (29,5% en 27,3%, respectievelijk) vergeleken met de baseline, wat suggereert dat trainen uitsluitend op real-world data of niet-verbose synthetische data niet goed overdraagt naar de specifieke ruimtelijke beperkingen van SITUATE.

Generalisatie en Cross-Dataset Prestaties

Pixmo Count: De Mixed variant behaalde 60,0% accuratesse, een significante verbetering ten opzichte van de baseline (51,8%) en de SITUATE-only varianten. Dit geeft aan dat SITUATE-training helpt bij het generaliseren naar real-world data.
CountBench: De baseline presteerde goed (81,9%). De Mixed variant behield deze prestatie (81,9%), terwijl de Pixmo variant het licht verbeterde naar 85,1%.
TallyQA: Alle modellen hadden moeite door de inherente ambiguïteit en occlusie van de dataset. De Mixed variant behaalde 27,5%, een lichte verbetering ten opzichte van de baseline (25,5%).
Vergelijking met andere Modellen:
- Molmo 7B-D: Presteerde uitzonderlijk goed op Pixmo (87,1%) en CountBench (92,7%), maar werd overtroffen door de Qwen 3 VL 32B op SITUATE (79,2% vs. 47,4% voor Molmo).
- Qwen 3 VL 32B: Toonde de beste generalisatiecapaciteiten over alle benchmarks, met name op SITUATE, hoewel dit model niet specifiek is gefinetuned op de datasets die in deze studie werden gebruikt.

Kwalitatieve Observaties

Verbose vs. Non-Verbose: De verbose trainingsstijl verbeterde de prestaties voor aantallen van 5 en hoger, maar leidde tot hallucinaties voor kleinere aantallen (bijv. het verzinnen van objecten om tot een doelgetal te komen).
De "Zes" Anomalie: Het baseline model vertoonde een duidelijke daling in accuratesse voor het getal zes (19%) vergeleken met vijf (39%) en zeven (35%). De Mixed dataset heeft dit succesvol gemitigeerd, waardoor de accuratesse voor zes steeg naar 61%.
Adversariële Vragen: Het non-verbose model overfitte op adversariële vragen en beweerde vaak dat er nul objecten aanwezig waren, terwijl de baseline deze correct afhandelde.

Betekenis en Claims

Het artikel beweert dat SITUATE een kritieke kloof in VLM-training vult door een gecontroleerde omgeving te bieden die ruimtelijk redeneren en precies tellen afdwingt zonder de ambiguïteit van real-world foto's.

Generalisatie: De belangrijkste bevinding is dat het finetunen op SITUATE (specifiek de Mixed variant) de capaciteit van een model verbetert om te generaliseren naar out-of-distribution real-world data (Pixmo count), terwijl het finetunen op Pixmo alleen niet de prestaties op SITUATE verbetert.
Leermechanisme: De studie suggereert dat VLMs effectiever kunnen leren tellen wanneer ze worden getraind op data die objectplaatsing en attributen expliciet scheidt, in plaats van te vertrouwen op statistische biases die in real-world datasets worden gevonden.
Toekomstig Nut: De auteurs stellen dat SITUATE dient als een waardevolle benchmark voor het evalueren van de "echte" telvaardigheden van VLMs, waarbij onderscheid wordt gemaakt tussen patroonherkenning en daadwerkelijk kwantitatief redeneren.

Beperkingen

De auteurs erkennen verschillende beperkingen:

Synthetisch Karakter: De dataset is beperkt tot vier geometrische objectklassen en één scène-layout (tafel in een kamer), hoewel camerastandpunten en texturen variëren.
Model Scope: Experimenten waren beperkt tot het finetunen van een enkel model (Qwen 2.5 VL 7B) voor één epoch; resultaten op andere architecturen of langere trainingsschema's zijn niet expliciet getest.
Menselijke Baseline: Er is geen menselijke baseline vastgesteld, hoewel de auteurs schatten dat de menselijke accuratesse 90–95% zou zijn, gezien de gecontroleerde aard van de afbeeldingen.
Scope van Objecten: De huidige objecten zijn abstract; toekomstig werk beoogt fotorealistische texturen en complexere objectrelaties (bijv. kopjes, ballen) te introduceren.