Getting the Numbers Right$\unicode{x2014}$Modelling Multi-Class Object Counting in Dense and Varied Scenes

Probleemstelling

Het tellen van objecten in computer vision is een fundamentele taak met toepassingen in stadsplanning, biodiversiteitsmonitoring en geneeskunde. Bestaande methoden hebben echter moeite met dichte en sterk verduisterde scènes:

• Detectie-gebaseerde methoden (zoals YOLO) falen vaak in overvolle scènes omdat objecten elkaar overlappen en moeilijk te lokaliseren zijn.
• Bestaande multi-class dichtheidschatting (density estimation) werkt goed in dichte omgevingen, maar degradeert vaak in minder dichte scènes. Bovendien missen bestaande methoden vaak een robuuste "class awareness" (kennis van objectklassen) in visueel ambiguïe contexten.
• Er is een kloof tussen methoden die goed zijn voor lage dichtheid (detectie) en hoge dichtheid (dichtheidskaarten), vooral wanneer meerdere objectklassen tegelijkertijd moeten worden geteld in diverse omgevingen (van stedelijke verkeer tot biodiversiteit).

Methodologie

De auteurs stellen een nieuw kader voor voor multi-class dichtheidschatting dat volledig gebaseerd is op Vision Transformers (ViT). Het model is ontworpen om continu dichtheidskaarten te voorspellen voor een vaste set objectklassen.

1. Architectuur:

• Backbone: Het model gebruikt de Twins-SVT (Spatial Vision Transformer) als pyramidale backbone. In tegenstelling tot vlakke transformers, stelt deze architectie het model in staat om multi-scale features te extraheren, wat essentieel is voor het omgaan met schaalvariaties in objecten.
• Decoder: Een multiscale CNN-decoder verwerkt de features van de transformer. Deze decoder gebruikt hiërarchische features voor robuust tellen over een breed scala aan dichtheden.
• Activeringsfunctie: De outputlaag maakt gebruik van de softplus-functie ($\text{softplus}(x) = \frac{\log(1 + e^{\beta x})}{\beta}$). Dit garandeert dat de voorspellingen positief zijn (nodig voor tellingen) en numeriek stabiel, zonder de gradiënten te verstoren zoals ReLU dat zou doen bij negatieve waarden.

2. Category Focus Module (CFM):

• Dit is een nieuw, lichtgewicht hulpmodule die als auxiliaire taak dient tijdens het trainen.
• De CFM voert een segmentatietak uit (maskering) om inter-klassale interferentie te onderdrukken.
• Cruciaal verschil: In tegenstelling tot eerdere methoden (zoals DSACA) die deze segmentatietaak ook tijdens de inferentie toepassen (wat aannames vereist over objectaanwezigheid), wordt de CFM alleen gebruikt tijdens het trainen. De kennis wordt overgedragen naar de dichtheidshead, maar de module zelf wordt niet gebruikt bij het maken van voorspellingen. Dit voorkomt de beperkingen van detectie- of segmentatie-aanvullingen in dichte scènes.

3. Verliesfuncties:

• Dichtheidsverlies: L2-verlies (MSE) over de pixelwaarden van de dichtheidskaarten.
• Masker-verlies: Cross-entropy verlies voor de auxiliaire segmentatietak.
• Deze worden gecombineerd in één backpropagatie-stap, waardoor de parameters van de gedeelde backbone en de specifieke heads gezamenlijk worden geoptimaliseerd.

Belangrijkste Bijdragen

1. Eerste ViT-gebaseerde multi-class methode: Het is het eerste werk dat een Vision Transformer (Twins-SVT) toepast op multi-class dichtheidschatting, wat resulteert in een aanzienlijke prestatieverbetering ten opzichte van de state-of-the-art (SOTA).
2. Robuustheid over dichtheidsniveaus: Het model presteert niet alleen goed in dichte scènes, maar slaagt er ook in om beter te presteren dan detectiemodellen (YOLO11) in minder dichte scènes, wat een historisch zwak punt was voor dichtheidsmethoden.
3. Innovatieve CFM: De Category Focus Module verbetert de class-awareness zonder de inferentie te belasten met extra aannames of maskering. Het is de eerste methode die de taak volledig als continue dichtheidschatting behandelt tijdens de inferentie.
4. Breed scala aan datasets: Het model is getest op stedelijke datasets (VisDrone, iSAID) en een biodiversiteitsdataset (Hicks), wat aantoont dat het werkt in zeer verschillende domeinen.

Resultaten

De methode is geëvalueerd op drie benchmarks: VisDrone-DET, iSAID en Hicks.

• Prestatieverbetering:
  • Er werd een 33% tot 64% reductie in Mean Absolute Error (MAE) bereikt ten opzichte van de vorige SOTA-methoden (zoals DSACA en Michel et al.).
  • In de meest drukke teststalen (hoge dichtheid) overtrof het model YOLO11 met een orde van grootte.
  • Op de VisDrone-dataset (8 klassen) werd een gemiddelde MAE-reductie van 46,7% behaald.
• Vergelijking met YOLO11:
  • YOLO11 presteerde matig in zeer dichte scènes (50-1000 objecten), terwijl het nieuwe model hier uitstekend presteerde.
  • Het nieuwe model bleek ook superieur in minder drukke scènes, wat aantoont dat het niet alleen een "dichte-scène-oplossing" is, maar een robuuste algemene teller.
• Ablatiestudies:
  • Het verwijderen van de CFM leidde tot een daling in prestaties, vooral bij lage aantallen.
  • Het gebruik van softplus bleek cruciaal; het gebruik van Leaky ReLU leidde tot negatieve voorspellingen en een sterke daling in prestaties bij lage aantallen.

Betekenis en Impact

Dit werk sluit een belangrijke kloof in het veld van objecttelling. Het bewijst dat Vision Transformers, in combinatie met een slimme CNN-decoder en een auxiliaire trainingsstrategie (CFM), superieur zijn aan zowel traditionele CNN-architecturen als pure detectiemodellen voor multi-class telling.

De methode is niet beperkt tot stedelijke omgevingen; het succes op de biodiversiteitsdataset (Hicks) toont het potentieel aan voor ecologische monitoring en andere domeinen waar objecten zeldzaam kunnen zijn of in complexe natuurlijke omgevingen voorkomen. De openbaarmaking van code en gewichten bevordert verdere innovatie in schaalbare, klasse-bewuste dichtheidschattingssystemen.