💻 computer science

Boosting Quantitive and Spatial Awareness for Zero-Shot Object Counting

Dit paper introduceert QICA, een nieuw framework dat kwantiteitsperceptie en ruimtelijke aggregatie combineert via synergistische prompting en een cost aggregation decoder om de prestaties en generalisatie van zero-shot objecttelling te verbeteren.

Oorspronkelijke auteurs: Da Zhang, Bingyu Li, Feiyu Wang, Zhiyuan Zhao, Junyu Gao

Gepubliceerd 2026-03-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Da Zhang, Bingyu Li, Feiyu Wang, Zhiyuan Zhao, Junyu Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een foto krijgt van een drukke markt en iemand vraagt: "Hoeveel aardbeien zie je hier?" of "Tel maar de auto's op de parkeerplaats." Voor een mens is dit lastig, maar voor een computer is het vaak nog moeilijker, vooral als de computer die specifieke objecten nooit eerder heeft gezien in de training.

Dit is het probleem dat QICA (de naam van deze nieuwe technologie) probeert op te lossen. Laten we het uitleggen alsof we het hebben over een slimme, nieuwsgierige assistent.

Het Probleem: De "Blinde" Teller

Tot nu toe waren computers die objecten moeten tellen vaak als een blinde teller. Ze konden goed zien wat er op de foto was (bijvoorbeeld: "dat is een aardbei"), maar ze hadden geen idee hoeveel er waren.

De oude manier: De computer leerde: "Dit is een aardbei." Maar als je vroeg "Hoeveel?", gaf hij een gokje. Hij zag het verschil tussen 10 en 100 aardbeien niet goed, omdat hij nooit geoefend had met het aantal.
Het gevolg: Als je de computer op een heel nieuwe situatie zette (bijvoorbeeld een foto van een parkeerplaats die hij nooit had gezien), raakte hij in de war en telde hij verkeerd.

De Oplossing: QICA – De Slimme Teller

QICA is als het opleiden van die assistent met een heel nieuwe methode. In plaats van alleen te zeggen "dit is een aardbei", leert QICA de computer om te denken in aantallen.

Hier zijn de drie belangrijkste trucjes die QICA gebruikt, vertaald naar alledaagse metaforen:

1. De "Tandem-Training" (Synergistic Prompting)

Stel je voor dat je twee mensen hebt: een Fotograaf (die naar de afbeelding kijkt) en een Schrijver (die de tekst leest).

Vroeger: Deze twee werkten apart. De fotograaf zag de aardbeien, de schrijver las het woord "aardbei", maar ze praatten niet met elkaar over het aantal.
Bij QICA: We koppelen ze aan elkaar met een tandemfiets. We geven de schrijver een opdracht met een specifiek getal: "Schrijf een zin over 16 aardbeien." Tegelijkertijd zeggen we tegen de fotograaf: "Kijk naar de foto alsof er 16 aardbeien zijn."
Het effect: Omdat ze samenwerken, leren ze dat het beeld van 16 aardbeien er anders uitziet dan dat van 13. Ze leren het gevoel van een getal te koppelen aan de visuele details. Als ze later alleen het woord "aardbei" krijgen, weten ze door die training al precies hoe ze naar de foto moeten kijken om het juiste aantal te vinden.

2. De "Scheidsrechter" die niet verandert (Cost Aggregation Decoder)

Vaak raakt een computer in de war als je hem te veel laat oefenen op één specifieke taak; hij vergeet dan zijn algemene kennis.

Het probleem: Als je een computer te hard laat oefenen op het tellen van aardbeien, kan hij vergeten hoe hij andere dingen moet zien. Hij wordt "overgevoelig" en maakt fouten bij nieuwe dingen.
De QICA-methode: In plaats van de hele hersenen van de computer te herschrijven, gebruiken we een scheidsrechter die direct naar de "match" kijkt tussen de foto en de tekst.
- De computer maakt eerst een ruwe kaart van waar de aardbeien zouden kunnen zijn.
- De scheidsrechter (de decoder) pakt die kaart en maakt hem scherp, zonder de oorspronkelijke kennis van de computer te beschadigen. Het is alsof je een onscherpe foto in Photoshop scherpstelt zonder de originele foto te vervormen. Hierdoor blijft de computer slim voor elk nieuw object, niet alleen voor aardbeien.

3. De "Punten voor Ordening" (Multi-level Quantity Alignment)

Stel je voor dat je een leerling test.

Vroeger: De leraar vroeg: "Hoeveel aardbeien zijn er?" en de leerling gaf een antwoord. Als het fout was, kreeg hij een streepje.
Bij QICA: De leraar zegt: "Kijk eens naar deze drie opties: 13, 16 en 19 aardbeien. Welke past het beste bij de foto?"
- De computer moet niet alleen het juiste antwoord geven, maar ook begrijpen dat 16 dichter bij het juiste antwoord ligt dan 13 of 19.
- Door deze oefening te herhalen met verschillende getallen, leert de computer de rangorde van aantallen. Hij leert dat de wereld niet zwart-wit is, maar dat er een fijnmazig verschil is tussen "veel" en "nog meer".

Waarom is dit zo cool?

De testresultaten zijn indrukwekkend:

Alles in één keer: QICA kan tellen op foto's van bomen, auto's, mensenmassa's en zelfs aardbeien, zonder dat hij daarvoor specifiek voor die categorie is getraind.
Snel en slim: Hij is niet alleen nauwkeurig, maar ook heel efficiënt. Hij gebruikt minder rekenkracht dan de zware, trage systemen van vroeger.
Nieuwe werelden: Als je QICA een foto geeft van een parkeerplaats die hij nog nooit heeft gezien, telt hij de auto's bijna perfect. Dat is de echte "zero-shot" kracht: hij kan het direct, zonder extra oefening.

Samenvatting

Kortom, QICA is als het geven van een superkracht aan een computer. In plaats van alleen te leren wat een object is, leert het ook hoeveel er zijn, door slimme samenwerking tussen tekst en beeld. Het is alsof we de computer niet alleen een woordenboek geven, maar ook een rekenmachine en een scherpe blik, zodat hij de wereld niet alleen herkent, maar ook precies begrijpt.

Titel: Boosting Quantitive and Spatial Awareness for Zero-Shot Object Counting

Auteurs: Da Zhang, Bingyu Li, Feiyu Wang, Zhiyuan Zhao, Junyu Gao
Instituut: Northwestern Polytechnical University, TeleAI (China Telecom), USTC, Fudan University

1. Het Probleem

Zero-Shot Object Counting (ZSOC) heeft als doel objecten van willekeurige categorieën te tellen die worden gespecificeerd door tekstbeschrijvingen, zonder dat er visuele voorbeelden (exemplaren) of specifieke trainingsdata voor die categorie nodig zijn.

Bestaande methoden kampen echter met twee fundamentele beperkingen:

Gebrek aan fijnmazig kwantiteitsbewustzijn: Huidige methoden behandelen telling vaak als een ruwe zoekopdracht. Hoewel tekstprompts de categorie van objecten goed specificeren, ontbreekt het aan supervisie voor de hoeveelheid. Modellen leren wat een object is, maar niet hoe verschillende aantallen visueel worden onderscheiden. Dit leidt tot "kwantiteitsblindheid", vooral in dichte scenario's.
Ruimtelijke ongevoeligheid en vertekening: Bij het aanpassen (fine-tunen) van grote Vision-Language Models (VLMs) voor teltaken, ontstaat er vaak een vervorming van de vooraf getrainde feature-ruimte. Dit leidt tot overfitting op trainingscategorieën en een verminderde generalisatie naar onbekende objecten. Bovendien negeren bestaande aggregatiemechanismen vaak fijne ruimtelijke details, wat resulteert in onnauwkeurige dichtheidskaarten.

2. Methodologie: Het QICA Framework

De auteurs introduceren QICA (Quantity-aware Synergistic Prompting and Cost Aggregation), een nieuw framework dat kwantiteitsperceptie combineert met robuuste ruimtelijke aggregatie. De architectuur bestaat uit drie kerncomponenten:

A. Synergistic Prompting Strategy (SPS)

Om kwantiteitsbewustzijn in te bouwen, past QICA zowel de visuele als de taal-encoder aan via leerbare prompts die expliciet gekoppeld zijn aan numerieke informatie.

Numerieke Conditionering: Discrete waarden (aantallen) worden omgezet in continue embeddings. Tijdens het trainen worden zowel feitelijke aantallen als tegenstrijdige (counterfactual) aantallen gegenereerd.
Synergie en Koppeling: In tegenstelling tot eerdere methoden die takken onafhankelijk behandelen, gebruikt SPS een koppelingsfunctie ( $\Phi$ ) die taal-prompts omzet in visuele prompts. Dit zorgt voor een bidirectionele gradiëntstroom, waardoor beide encoders gezamenlijk leren om kwantiteitsgevoelige features te extraheren.
Consistentie: Tijdens training worden prompts met numerieke informatie gebruikt, maar tijdens inferentie (zero-shot) worden alleen categorie-informatie gebruikt. De architectuur zorgt ervoor dat de semantische output voor de decoder in beide fasen consistent blijft.

B. Cost Aggregation Decoder (CAD)

Om ruimtelijke ongevoeligheid en feature-vervorming te voorkomen, werkt de decoder niet op ruwe features, maar direct op visueel-tekst gelijkeniskaarten (similarity maps).

Werking: De decoder berekent de cosine-afstand tussen de dichte visuele features en de categorie-embeddings (zonder numerieke invloed).
Ruimtelijke Aggregatie: Deze gelijkeniskaarten worden verfijnd met behulp van Swin Transformer-blokken. Dit moduleer de kaart door lokale ruimtelijke coherentie te benutten, wat ruis onderdrukt en geïsoleerde acties suppressieert, terwijl echte objecten worden versterkt.
Voordeel: Door op de gelijkeniskaarten te werken in plaats van op de features zelf, blijft de integriteit van de vooraf getrainde embedding-ruimte behouden, wat overfitting voorkomt en generalisatie verbetert.

C. Multi-level Quantity Alignment Loss (LMQA)

Om numerieke consistentie over het hele proces af te dwingen, introduceert de auteurs een nieuwe loss-functie met twee niveaus:

Encoder-niveau: Een rangschikkingsconstraint (ranking constraint) die ervoor zorgt dat de visuele features van een afbeelding het hoogst overeenkomen met de tekst-prompt die het juiste aantal bevat, en minder met prompts met verkeerde aantallen.
Decoder-niveau: Een loss die de voorspelde aantallen (integraal van de dichtheidskaart) afstemt op de gebruikte hypothese-aantallen tijdens training.
Dit zorgt ervoor dat het model niet alleen leert waar objecten zijn, maar ook hoeveel er zijn, zelfs zonder expliciete numerieke input tijdens de inferentie.

3. Belangrijkste Bijdragen

SPS (Synergistic Prompting Strategy): Een innovatieve aanpak die visuele en taal-encoders gezamenlijk aanpast door expliciete numerieke conditionering en bidirectionele gradiëntkoppeling, wat fijnmazig kwantiteitsbewustzijn creëert.
CAD (Cost Aggregation Decoder): Een decoder die direct op gelijkeniskaarten werkt via ruimtelijke aggregatie. Dit lost het probleem van feature-vervorming op en verbetert de ruimtelijke precisie zonder de generalisatie van zero-shot learning te schaden.
LMQA (Multi-level Quantity Alignment Loss): Een loss-functie die strikte numerieke consistentie afdwingt via rangschikkingsconstraints en auxiliaire supervisie op zowel encoder- als decoder-niveau.
State-of-the-Art Resultaten: Uitgebreide experimenten tonen aan dat QICA concurrentieel presteert op standaard benchmarks en superieure generalisatie toont naar onbekende domeinen.

4. Resultaten en Evaluatie

De methode is getest op drie datasets: FSC-147 (standaard benchmark), CARPK (parkeergarages/drones) en ShanghaiTech-A (dichte menigten).

FSC-147: QICA bereikte een MAE van 12,41 (met ViT-L/14 backbone) op de testset. Dit is een significante verbetering ten opzichte van bestaande tekst-gedreven methoden (bijv. +27% verbetering t.o.v. VL-Counter) en concurreert met methoden die visuele voorbeelden gebruiken.
Cross-Dataset Generalisatie (Zero-Shot):
- Op CARPK (zonder fine-tuning) behaalde QICA een MAE van 6,07, wat een verbetering van 51% vertegenwoordigt ten opzichte van prestaties op de trainingsdataset, wat sterke domeinadaptatie aantoont.
- Op ShanghaiTech-A (extreme menigtedichtheid) behaalde QICA een MAE van 140,7, wat een nieuwe state-of-the-art is voor open-set methoden, zelfs beter dan methoden die gespecialiseerde grounding gebruiken.
Efficiëntie: QICA is uiterst parameter-efficiënt. Met slechts 18,5M - 19,7M leerbare parameters (de encoders zijn bevroren) presteert het beter dan zware modellen met 25M-170M parameters, terwijl het een hoge framesnelheid (FPS) behoudt.

5. Betekenis en Conclusie

Het paper "Boosting Quantitive and Spatial Awareness for Zero-Shot Object Counting" biedt een doorbraak in het veld van objecttelling. De belangrijkste doorbraken zijn:

Overbrugging van de kloof tussen semantiek en kwantiteit: Het bewijst dat VLMs niet alleen objecten kunnen herkennen, maar ook kwantiteit kunnen "begrijpen" door middel van slimme prompt-engineering en verliesfuncties.
Robuuste aanpassing zonder overfitting: De CAD-methode toont aan dat het mogelijk is om krachtige vooraf getrainde modellen aan te passen voor specifieke taken (zoals tellen) zonder de universele kennis van het model te vernietigen.
Praktische toepasbaarheid: Vanwege de hoge efficiëntie en sterke zero-shot generalisatie is QICA zeer geschikt voor dynamische scenario's zoals stedelijke bewaking, ecologisch monitoring en voorraadbeheer, waar het tellen van nieuwe objectcategorieën zonder extra training vereist is.

De auteurs erkennen wel dat de huidige methode beperkt is tot discrete aantallen en single-category telling, en plannen voor de toekomst om door te gaan naar continue kwantiteitsrepresentaties en multi-category telling.