CountFormer: A Transformer Framework for Learning Visual Repetition and Structure in Class-Agnostic Object Counting

Dit paper introduceert CountFormer, een exemplaarvrij framework dat de DINOv2-vision foundation model gebruikt om visuele herhaling en structuur te leren voor objecttelling, en toont aan dat representatiekwaliteit cruciaal is voor het verminderen van overtellingen bij complexe objecten, hoewel de prestaties op de FSC-147-benchmark vergelijkbaar blijven met eerdere methoden.

De kern

Stel je voor dat je naar een drukke markt kijkt. Je ziet honderden appels, maar je weet niet hoe ze heten in het Frans of het Chinees. Toch kun je ze tellen. Hoe? Je ziet niet alleen de vorm, maar je ziet ook hoe ze in groepjes liggen, hoe ze op elkaar lijken en hoe ze samen een geheel vormen.

Mensen doen dit heel natuurlijk. Computers daarentegen? Die hebben het vaak moeilijk. Als je een computer vraagt om een bril te tellen, kan hij verward raken. Hij ziet twee glazen en denkt: "Aha, dat zijn twee verschillende objecten!" terwijl het eigenlijk één object is. Of hij telt elke poot van een stoel apart, in plaats van de hele stoel.

Dit is het probleem dat de onderzoekers van de universiteit van Rajshahi in Bangladesh wilden oplossen met hun nieuwe model, CountFormer.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. De "Super-Oog" (DINOv2)

Stel je voor dat je een computer een boek leert lezen voordat je hem vraagt om te tellen. De onderzoekers hebben CountFormer een "super-oog" gegeven, genaamd DINOv2.

• Hoe werkt het? Dit is een slimme computer die zichzelf heeft geleerd om naar duizenden foto's te kijken zonder dat iemand hem vertelde wat erop staat. Hij heeft geleerd om patronen te zien, net als een kind dat leert dat een hond eruitziet als een hond, of dat een bril twee glazen heeft die bij elkaar horen.
• Het verschil: Andere modellen kijken vaak alleen naar "wat" er is (bijvoorbeeld: "dat is een lens"). CountFormer kijkt ook naar "hoe" het eruitziet en hoe de onderdelen bij elkaar horen. Het begrijpt dat de twee glazen van een bril samen één bril vormen.

2. De "Kruisjes op de kaart" (De Positieve Embeddings)

Soms vergeten slimme computers waar iets precies staat. Ze zien een vorm, maar weten niet of die vorm links of rechts is.

• De oplossing: De onderzoekers hebben een trucje toegevoegd: ze plakken een onzichtbaar rooster (een soort GPS-kaart) op de foto. Dit zorgt ervoor dat het model niet alleen ziet wat er is, maar ook precies waar het zit. Het helpt het model om de onderdelen van een object niet als losse stukjes te zien, maar als één geheel op de juiste plek.

3. De "Druktekaart" (De Density Map)

In plaats van één voor één objecten te zoeken (wat lastig is als er duizenden zijn), maakt CountFormer een soort "hittekaart" of "druktekaart" van de foto.

• Hoe werkt het? Waar er veel objecten zijn, wordt de kaart rood. Waar er weinig zijn, is hij blauw.
• De telling: Om het totale aantal te krijgen, telt de computer gewoon hoeveel "rood" er op de kaart zit. Het is alsof je de hoeveelheid regen in een emmer meet in plaats van elke regendruppel apart te tellen.

Wat hebben ze ontdekt?

De onderzoekers hebben hun model getest op een moeilijke verzameling foto's met allerlei rare objecten (van Lego-stukjes tot vogels).

• Het goede nieuws: CountFormer is veel beter in het tellen van complexe dingen. Als je een bril ziet, telt hij die als één object, in plaats van twee glazen. Hij maakt minder fouten bij dingen die uit meerdere onderdelen bestaan.
• Het minder goede nieuws: Als een foto extreem vol zit (bijvoorbeeld een doos vol met duizenden kleine Lego-stukjes die perfect op elkaar liggen), raakt het model nog steeds in de war. Het kan dan niet goed zien waar het ene stukje eindigt en het andere begint.
• De verrassing: De onderzoekers merkten iets interessants op: de "gemiddelde fout" van hun model zag er niet zo geweldig uit. Maar dat kwam vooral door een paar foto's met extreem veel objecten. Als je die paar extreme foto's even buiten beschouwing laat, presteert het model eigenlijk heel goed! Dit laat zien dat de "gemiddelde score" soms niet eerlijk is als er een paar heel moeilijke uitzonderingen zijn.

Waarom is dit belangrijk?

Vroeger moesten computers altijd een voorbeeldfoto krijgen van wat ze moesten tellen (bijvoorbeeld: "kijk, dit is een appel, zoek nu alle appels"). CountFormer doet dit zonder voorbeelden. Het kan naar een foto kijken van iets dat het nog nooit heeft gezien (bijvoorbeeld een vreemd soort bloem) en toch een redelijke schatting maken, puur omdat het begrijpt hoe de onderdelen bij elkaar horen.

Kortom: CountFormer is als een slimme waarnemer die niet alleen naar de vorm kijkt, maar ook begrijpt hoe de onderdelen van een object samenwerken. Het is een stap dichter bij het menselijke vermogen om dingen te tellen, zelfs als we niet weten hoe ze heten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CountFormer: A Transformer Framework for Learning Visual Repetition and Structure in Class-Agnostic Object Counting" in het Nederlands.

Probleemstelling

Bestaande methoden voor objecttelling in computer vision zijn vaak sterk gespecialiseerd in specifieke objectklassen (bijv. mensen of voertuigen) of afhankelijk van voorbeeldpatches (exemplars) die tijdens het testen worden meegegeven. Wanneer modellen worden geconfronteerd met onbekende objectklassen zonder voorbeelden (exemplar-free of zero-shot), worstelen ze vaak met de structurele samenhang van objecten.

Een specifiek probleem is dat modellen de delen van een samengesteld object (bijvoorbeeld de twee lenzen van een bril) vaak tellen als afzonderlijke objecten in plaats van het geheel. Dit leidt tot "part-level overcounting" (overtelling van onderdelen). Bestaande zero-shot benaderingen, zoals die gebaseerd op CLIP of tekst-prompten, focussen vaak te veel op semantische identiteit en negeren de ruimtelijke structuur en de manier waarop onderdelen een geheel vormen.

Methodologie: CountFormer

De auteurs introduceren CountFormer, een framework dat geen volledig nieuwe architectuur of verliesfunctie (loss function) introduceert, maar een gecontroleerde aanpassing is van een bestaande dichtheidsregressie-framework (geïnspireerd op CounTR). Het doel is om te onderzoeken of self-supervised foundation-modellen de structurele consistentie kunnen verbeteren.

De kerncomponenten zijn:

1. Visual Encoder (DINOv2):
   In plaats van een standaard CNN of een CLIP-encoder, gebruiken de auteurs DINOv2, een self-supervised vision foundation model. DINOv2 is getraind zonder menselijke labels en leert direct uit visuele informatie, waardoor het zowel semantische betekenis als ruimtelijke structuur (spatial coherence) beter encodeert dan CLIP.
2. Positieve Embeddings:
   Om de ruimtelijke relaties tussen tokens te behouden, worden expliciete tweedimensionale positie-embeddings toegevoegd aan de features die uit DINOv2 worden gehaald. Dit zorgt voor een expliciete ruimtelijke gronding (spatial grounding) voordat de decoding plaatsvindt.
3. Decoder:
   De gefuseerde features worden verwerkt door een lichtgewicht ConvNet-decoder (met vier up-sampling stadia) die een continue dichtheidskaart (density map) genereert. Het totale aantal objecten wordt verkregen door de waarden in deze kaart op te tellen (integratie).
4. Inferentie:
   Het model werkt volledig exemplar-vrij (zonder voorbeeldpatches of tekst-prompten) tijdens het testen. Het wordt getraind op de FSC-147 dataset en getest volgens het officiële protocol.

Belangrijkste Bijdragen

1. Gecontroleerde Integratie: De auteurs integreren DINOv2 in een bestaand exemplar-vrij framework om specifiek het effect van foundation-features op structurele robuustheid te isoleren, zonder de loss-formulering te wijzigen.
2. Ruimtelijke Gronding: Het toevoegen van 2D-positie-embeddings aan transformer-tokens zorgt ervoor dat het model de ruimtelijke samenhang van objectonderdelen beter begrijpt.
3. Kwalitatieve Analyse & Sensitiviteit: Naast standaard metrics (MAE, RMSE) bieden de auteurs een kwalitatieve analyse die aantoont dat het model minder fouten maakt bij het tellen van complexe, samengestelde objecten (zoals brillen). Ze voeren bovendien een diagnostische analyse uit op uitzonderlijk dichte scènes.
4. Identificatie van Evaluatie-Beperkingen: Ze tonen aan dat de evaluatiemetrics sterk beïnvloed worden door een klein aantal uiterst dichte scènes, wat de RMSE kunstmatig opblaast.

Resultaten

• Kwantitatieve Prestaties: Op de FSC-147 dataset bereikt CountFormer een MAE van 19,06 en een RMSE van 118,45 op de testset. Hoewel dit iets hoger is dan sommige state-of-the-art methoden (zoals CounTR en RCC), is de prestatie concurrerend binnen de categorie exemplar-vrije methoden.
• Kwalitatieve Verbetering: Het model toont een duidelijke verbetering in het vermijden van overtelling bij samengestelde objecten. Bijvoorbeeld, bij een afbeelding van brillen (waarbij de grondwahrheid 96 is), telt een concurrent (CounTX) 185 (door de lenzen apart te tellen), terwijl CountFormer 98 telt, wat veel dichter bij de realiteit ligt.
• Diagnostische Analyse: Wanneer vier uiterst dichte scènes (met duizenden objecten en vage grenzen) uit de analyse worden verwijderd, daalt de test-MAE naar 13,14 en de RMSE naar 33,05. Dit bevestigt dat de hoge RMSE voornamelijk wordt veroorzaakt door een paar extreme gevallen en niet noodzakelijk door een fundamenteel tekortkoming in het model voor de meeste scènes.
• Beperkingen: Het model faalt nog steeds bij extreem dichte scènes met kleine, visueel identieke objecten zonder duidelijke grenzen (bijv. losse Lego-stukjes), wat leidt tot onderschatting.

Betekenis en Conclusie

Het paper benadrukt dat de kwaliteit van de representatie (representation quality) cruciaal is voor structurele consistentie in objecttelling. Door over te schakelen van semantisch zware modellen (zoals CLIP) naar structureel bewuste foundation-modellen (DINOv2), kan een model beter begrijpen hoe onderdelen een geheel vormen, zelfs zonder voorbeelden.

CountFormer demonstreert dat zelfs zonder het wijzigen van de architectuur of het trainingsdoel, het gebruik van self-supervised foundation-features leidt tot een robuuster tellen van complexe objecten. Dit biedt een nieuwe richting voor future research: het gebruik van visuele foundation-modellen om de kloof tussen "wat een object is" en "hoe een object eruitziet" te overbruggen in zero-shot scenario's.