🤖 machine learning

The MixCount Dataset: Bridging the Data Gap for Open-Vocabulary Object Counting

Het artikel introduceert MixCount, een groot dataset en benchmark voor het tellen van gemengde objecten, gegenereerd via een automatisch proces dat diverse afbeeldingen synthetiseert met pixelperfecte annotaties, en toont aan dat training op deze synthetische data de prestaties van de state-of-the-art-modellen op echte teltaken aanzienlijk verbetert door de beperkingen van bestaande ruwe of schaarse datasets aan te pakken.

Oorspronkelijke auteurs: Corentin Dumery, Niki Amini-Naieni, Shervin Naini, Pascal Fua

Gepubliceerd 2026-05-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Corentin Dumery, Niki Amini-Naieni, Shervin Naini, Pascal Fua

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert items te tellen in een rommelige kamer. Als je de robot alleen foto's laat zien van één type item—zoals een kom vol identieke rode appels—leert hij appels zeer goed te tellen. Maar zodra je een mix van rode appels, groene peren en gele citroenen door elkaar gooit, raakt de robot in de war. Hij kan de peren als appels tellen, of afgeleid worden door het patroon op het tafelkleed en in plaats van het fruit het tafelkleed gaan tellen.

Dit is het probleem dat het MixCount-artikel aanpakt. De auteurs stellen dat huidige "tellerobots" (AI-modellen) falen in realistische scenario's omdat ze niet zijn getraind op het juiste soort rommelige, door elkaar gehusselde data.

Hieronder volgt een uiteenzetting van hun oplossing, met gebruikmaking van eenvoudige analogieën:

1. Het Probleem: De "Speelgoeddoos" versus de "Reële Wereld"

Jarenlang trainden onderzoekers deze AI-modellen met datasets die leken op perfect georganiseerde speelgoeddozen.

Realistische data is duur en ruisig: Foto's maken van echte fabrieken of markten en mensen elke afzonderlijk item laten tellen is traag, duur en mensen maken fouten (zoals een verborgen item missen).
Oude synthetische data was te simpel: Eerdere pogingen om nepdata te creëren, leken op het tekenen van simpele stokfiguren. Ze misten de complexiteit, belichting en rommel van de echte wereld.

Hierdoor zijn de AI-modellen als studenten die alleen hebben geoefend voor een toets met één oefenblad. Wanneer het daadwerkelijke examen (de reële wereld) een mix van vragen bevat, zakken ze.

2. De Oplossing: De "Oneindige Simulator"

De auteurs bouwden een digitale fabriek (een datagenerator) die fungeert als een hyperrealistische videogame-engine. In plaats van foto's te maken, bouwen ze 3D-scènes op een computer.

De Ingrediënten: Ze gebruiken echte 3D-scans van objecten (zoals een specifieke theepot of een speelgoeddinosaurus) en echte texturen (zoals houtnerf of metaal).
Het Proces: Ze laten deze objecten in een virtuele kamer vallen, zetten realistisch licht aan en laten de fysica simuleren hoe ze vallen, rollen en op elkaar stapelen. Sommige objecten kunnen gedeeltelijk verborgen zijn achter andere, net als in het echte leven.
De Magie: Omdat het een computersimulatie is, weten ze exact hoeveel objecten er in de scène zitten, waar ze zijn en hoe ze eruitzien. Er zijn geen menselijke telfouten. Ze kunnen automatisch 58.000 unieke scènes genereren met 4 miljoen objecten.

Denk hierbij aan een chef-kok die direct 50.000 verschillende variaties van een complexe stoofpot kan koken, wetende precies hoeveel zout en peper er in elke enkele kom zit, zonder ooit een lepel te hoeven proeven.

3. De "MixCount"-Dataset

Het resultaat van deze fabriek is de MixCount-dataset. Het is een enorme bibliotheek van afbeeldingen waar:

Alles gemengd is: Je ziet verschillende soorten objecten samen (bijvoorbeeld theepotten naast marbles).
Het lastig is: Er zijn repetitieve achtergronden (zoals een gestreept tapijt) die de AI proberen te misleiden.
Het "spiekbriefjes" bevat: Voor elk object biedt de dataset:
- Tekstbeschrijvingen: Variërend van kort ("blauwe theepot") tot zeer gedetailleerd ("glanzende blauwe gietijzeren theepot met een gebogen handvat").
- Visuele voorbeelden: Een foto van het object om de AI precies te laten zien waar hij naar moet kijken.

4. De Resultaten: De Robot Trainen

De auteurs testten dit door de beste bestaande tellerobots een crashcursus te geven met MixCount.

Voor training: De robots hadden moeite om het verschil te zien tussen gelijkende items of negeerden de rommel op de achtergrond.
Na training: De robots werden aanzienlijk slimmer.
- Bij een standaardtest voor het tellen van zonnebrillen daalde het foutpercentage met 18%.
- Bij een test voor het tellen van diverse huishoudelijke artikelen daalde het foutpercentage met 20%.

Kortom, door te trainen op deze "perfect gelabelde, oneindig diverse" synthetische data, werden de robots veel beter in het hanteren van de rommelige, door elkaar gehusselde realiteit van de echte wereld.

Samenvatting

Het artikel stelt dat de grootste bottleneck bij het leren van computers om gemengde objecten te tellen, niet het algoritme zelf is, maar het ontbreken van goede trainingsdata. Door een machine te bouwen die onbeperkte, perfect accurate en fotorealistische "rommelige" scènes kan genereren, konden ze bestaande AI-modellen leren veel nauwkeuriger te tellen dan ooit tevoren. Ze noemen deze nieuwe dataset MixCount.

Technische Samenvatting: De MixCount Dataset

Probleemstelling

Ondanks meer dan een decennium aan onderzoek, falen state-of-the-art modellen voor het tellen van visuele objecten systematisch in gemengde-object scenario's, een situatie die dominant is in real-world toepassingen zoals industriële inspectie en productsortering. Huidige modellen worstelen met het onderscheiden van visueel vergelijkbare objecten, het identificeren van zelfgelijkende componenten als enkele entiteiten, of het negeren van repetitieve achtergrondpatronen.

De auteurs schrijven deze prestatiekloof voornamelijk toe aan beperkingen in bestaande trainings- en evaluatiegegevens:

Real-world datasets (bijv. FSC-147, PairTally) zijn verboden duur om te annoteren, lijden onder labelruis en missen vaak afbeeldingen met meerdere objecttypes die gelijktijdig zijn geannoteerd.
Bestaande synthetische datasets (bijv. MCAC, SITUATE) missen diversiteit en fotorealisme, wat een aanzienlijke domeinkloof creëert tussen trainingsstalen en real-world afbeeldingen.
Generatie op basis van diffusie is inefficiënt voor telopdrachten vanwege het onvermogen om afbeeldingen te synthetiseren met een gecontroleerd, precies aantal objecten.

Methodologie

Om deze datakloof te overbruggen, introduceren de auteurs MixCount, een grootschalige, fotorealistische dataset en een bijbehorende automatische data-generatiepijplijn.

De Data-Generatiepijplijn

De pijplijn synthetiseert trainingsstalen door real-world opnames te combineren met fysisch gebaseerde rendering (PBR) in Blender. Belangrijke componenten zijn:

Assets: Objecten worden gesampled uit de Digital Twin Catalog (DTC), een dataset van hoogwaardige real-world 3D-opnames.
Scèneconstructie: Het systeem genereert scènes procedurally door 2–4 objectklassen per scène te sample. Objecten worden gegenereerd op willekeurige 3D-posities met lichte schaalmodificatoren om visuele gelijkenis binnen klassen te waarborgen, maar onderscheid tussen instanties.
Fysische simulatie: Objecten worden gesimuleerd met behulp van starre-lichaamsdynamica om natuurlijk realistische scènes te vormen met aanrakingen en gedeeltelijke occlusies.
Zichtbaarheidsfiltering: In tegenstelling tot eerdere synthetische datasets, meet MixCount expliciet de zichtbaarheid van objecten. Het rendert zowel geoccludeerde als niet-geoccludeerde maskers om een zichtbaarheidsratio ( $v_i$ ) te berekenen. Scènes met objecten die onder een zichtbaarheidsthorshoud ( $v_t$ ) vallen, worden afgewezen, waardoor pixel-perfecte ground truth wordt gewaarborgd waarbij alle getelde objecten zichtbaar zijn.
Omgeving & Verlichting: De pijplijn gebruikt real-world omgevingskaarten (van LavalIndoor en Polyhaven) en PBR-materialen om complexe verlichting en repetitieve texturen te creëren die telmodellen uitdagen. Distractor-objecten worden toegevoegd om de scènecomplexiteit te verhogen.
Prompts & Annotaties:
- Tekst: Elk object is geannoteerd met drie niveaus van tekstbeschrijvingen (kort, beknopt, gedetailleerd) gegenereerd door een LLM (Gemini 2.5), wat unieke identificatoren garandeert.
- Exemplaren: De dataset biedt zowel interne exemplaren (bboxes binnen de afbeelding) als externe exemplaren (canonieke weergaven op witte achtergronden). Interne exemplaren krijgen een zichtbaarheids-/groottescore toegewezen.
- Dichte Ground Truth: Annotaties omvatten bounding boxes (COCO-formaat), instance- en klassensegmentatiemaskers, dieptekaarten en normaal-kaarten.

De MixCount Dataset

De vrijgegeven dataset bevat 58.000 afbeeldingen met ongeveer 4 miljoen objecten om te tellen.

Schaal & Diversiteit: Het bevat 1.522 verschillende objectklassen die diverse categorieën bestrijken.
Compositie: Gemiddeld bevatten scènes 68 objecten uit 2–4 verschillende klassen.
Verdelingen: De dataset is verdeeld in trainings- (56.000), validatie- (1.000) en test- (1.000) sets. Cruciaal is dat objectklassen zo zijn verdeeld dat geen enkel object in de testset voorkomt in de trainingsset, wat een rigoureuze evaluatie van generalisatie garandeert.

Belangrijkste Bijdragen

MixCount Dataset: De eerste grootschalige, fotorealistische en diverse synthetische dataset die specifiek is ontworpen voor het trainen en benchmarken van open-vocabulary, gemengde-object telmodellen.
Data-Generatiekader: Een volledig geautomatiseerde pijplijn die effectief onbeperkte, pixel-perfect gelabelde data synthetiseert, en die kan worden aangepast aan specifieke toepassingen (bijv. industriële inspectie) door 3D-assets te vervangen.
Rigoureus Benchmarken: Een uitgebreide evaluatie van state-of-the-art modellen (CountSE, CountGD, CountGD++) op de MixCount-testset, waarbij ernstige prestatiedegradatie in gemengde-object scenario's aan het licht komt.

Resultaten

De auteurs hebben de bruikbaarheid van MixCount getoetst via twee primaire experimenten:

1. Trainingswaarde (Transfer naar Real Data)

Het trainen van state-of-the-art modellen op MixCount verbeterde de prestaties op real-world benchmarks aanzienlijk:

FSC-147: Training met MixCount verlaagde de Mean Absolute Error (MAE) met 20,14%.
PairTally: Training met MixCount verlaagde de MAE met 18,3%.
De auteurs merken op dat zelfs het toevoegen van een klein aantal MixCount-afbeeldingen (1.000) aan de trainingsset aanzienlijke voordelen opleverde, wat de kwaliteit van de synthetische supervisie benadrukt.

2. Benchmarken (Prestaties op MixCount)

Wanneer geëvalueerd op de MixCount-testset, presteerden bestaande modellen die uitsluitend op FSC-147 waren getraind slecht, waarbij de beste baseline (CountGD++) een Accuracy binnen 10% (Acc10%) van slechts 0,33 behaalde.

Modellen getraind op MixCount lieten een aanzienlijke verbetering zien, waarbij CountGD++ (+ MixCount) een Acc10% van 0,69 behaalde en de Normalized Absolute Error (NAE) verlaagde naar 0,14.
De resultaten benadrukken dat huidige modellen worstelen zonder gerichte trainingsdata voor gemengde-object scenario's.

Sensitiviteitsanalyse

Het paper analyseert ook de modelgevoeligheid voor prompttypes:

Exemplaren: De prestaties dalen aanzienlijk bij overschakeling van interne exemplaren (contextbewust) naar externe exemplaren (contextonafhankelijk).
Tekstprompts: Modellen presteerden het beste met "beknopte" prompts, wat suggereert dat overdreven gedetailleerde beschrijvingen afwijken van trainingsdistributies of dat "korte" prompts het primaire trainingssignaal waren.

Betekenis en Claims

Het paper positioneert MixCount als een oplossing voor een langdurige bottleneck in visueel tellen: het gebrek aan schaalbare, hoogwaardige, gemengde-object trainingsdata.

Het Overbruggen van de Kloof: De auteurs claimen dat MixCount effectief de kloof overbrugt tussen synthetische schaalbaarheid en real-world complexiteit, waardoor modellen fijne onderscheidingen kunnen leren die eerder onmogelijk waren om in schaal te onderwijzen.
Toekomstige Bruikbaarheid: De dataset wordt niet alleen gepresenteerd als een benchmark, maar als een trainingsresource die onderzoekers in staat stelt om promptgevoeligheid, exemplaar-robustheid en fijne telcapaciteiten te verkennen.
Toegankelijkheid: Door het verstrekken van een generator die "effectief onbeperkte" gelabelde data kan produceren, heeft het werk tot doel de drempel te verlagen voor het ontwikkelen van robuuste telsystemen voor specifieke, data-schaarse domeinen zoals industriële inspectie.

De auteurs concluderen dat hoewel synthetische data distributieverschillen vertoont ten opzichte van real data, de MixCount-pijplijn succesvol de specifieke faalmodi van huidige modellen aanpakt, wat leidt tot meetbare winsten in real-world prestaties.