💻 computer science

PPSNet: Perceptual Prior Similarity-guided Network for Class-agnostic Counting

Dit artikel introduceert PPSNet, een nieuw klasse-agnostisch telraamwerk dat het Extract-and-Match-paradigma theoretisch valideert en de beperkingen van op bounding boxes gebaseerde visuele exemplaren aanpakt door een Perceptual Prior Construction Module te gebruiken om de schaalverdeling te verfijnen en een Similarity-guided Weighting Module om de kenmerkovereenkomst te verbeteren, waardoor superieure prestaties worden bereikt in visuele, tekstuele en zero-shot prompting-scenario's.

Oorspronkelijke auteurs: Shengwei Jia, Junhui Liu, Jiahao Wang, Yongqiang Cui, Shihui Zhang

Gepubliceerd 2026-08-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shengwei Jia, Junhui Liu, Jiahao Wang, Yongqiang Cui, Shihui Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen in een drukke kamer. Je taak is om te tellen hoeveel mensen een rode hoed dragen. In de oude dagen, als je blauwe hoeden wilde tellen, moest je een heel nieuw team detectives inhuren die alleen wisten hoe ze blauw moesten herkennen. Maar wat als je één detective kon leren om elk soort hoed te tellen, simpelweg door hem één enkel voorbeeld te laten zien? Dit is de wereld van "class-agnostic counting" (klasse-onafhankelijk tellen), een tak van computer vision waar machines leren om objecten van elke soort te tellen—vogels, auto's of koekjes—zonder dat ze voor elk nieuw type een specifiek trainingshandboek nodig hebben.

Om dit te doen, heeft de detective meestal een "prompt" nodig, een klein hintje om hen te vertellen waar ze naar moeten kijken. Soms is die hint een zin als "tel de meeuwen," of soms raadt de machine het zelf in. Maar de meest nauwkeurige methode tot nu toe is "vision-guided" (visueel gestuurde) telling: het computerprogramma een paar kleine foto's (exemplaren) van het object laten zien dat je wilt tellen, meestal getekend binnen een vierkant kader. Zie het er zo uit als het overhandigen van een foto van een meeuw aan de detective en zeggen: "Vind iedereen die er zo uitziet als deze." Het probleem is dat het vierkante kader een beetje onhandig is. Het grijpt vaak een stuk van de oceaan of de lucht mee samen met de vogel. Naarmate de computer dieper in zijn denkproces komt, begint hij in de war te raken door die extra achtergrondruis, waarbij hij denkt dat het water deel uitmaakt van de vogel, wat leidt tot een foutieve telling.

Dit artikel introduceert een nieuw detective-team genaamd PPSNet (Perceptual Prior Similarity-guided Network) dat deze onhandige fouten oplost. De onderzoekers stellen dat de oude manier van werken—waarbij de computer eerst de foto en het voorbeeld apart bestudeert en ze dan probeert te matchen—is als het proberen op te lossen van een puzzel door naar de stukjes in de ene hand te kijken en naar de afbeelding in de andere hand, zonder dat de handen ooit elkaar raken. Ze stellen een nieuwe manier voor waarbij de computer naar de foto en het voorbeeld samen kijkt vanaf het allereerste begin, waardoor ze direct met elkaar kunnen communiceren en hun begrip kunnen verfijnen.

Maar PPSNet verandert niet alleen hoe ze kijken; het verandert ook wat ze zien. Het team merkte op dat de vierkante kaders die voorheen werden gebruikt om de exemplaren te pakken, te rommelig waren. Dus hebben ze een speciaal hulpmiddel gebouwd genaamd de Perceptual Prior Construction Module. Stel je voor dat je, in plaats van de detective alleen een wazige, uitgerekte foto van een vogel te geven, hem ook een mentale kaart geeft—een gloeiende "heatmap"—die precies laat zien waar de vogel zich binnen dat rommelige kader bevindt en waar de oceaan begint. Deze kaart vertelt de computer: "Negeer het water; focus op de vogel." Dit voorkomt dat de computer wordt afgeleid door de achtergrondruis die hem normaal gesproken in de war brengt.

Bovendien heeft het team een Similarity-guided Weighting Module toegevoegd. Dit werkt als een spotlight. Zodra de computer een plek in de grote foto vindt die lijkt op het voorbeeld, draait deze module de helderheid op die plek op en dimt de rest. Het is also eigenlijk dat de detective zegt: "Aha! Dit lijkt precies op de vogel die ik te zien kreeg!" en de rest van de kamer negeert. Ze hebben ook bewezen dat deze "spotlight" het beste werkt wanneer ze de computer trainen om op te letten naar het verschil tussen de vogel en de achtergrond, met een techniek die vergelijkbaar is met hoe mensen leren om dingen van elkaar te onderscheiden door ze te vergelijken.

De resultaten zijn indrukwekkend. Bij tests op enorme datasets met duizenden afbeeldingen van alles, van parkeerplaatsen tot menigten mensen, maakte PPSNet minder fouten dan welke eerdere methode dan ook. Bijvoorbeeld, op een testset van 6.135 afbeeldingen verminderde de nieuwe methode de gemiddelde tel-fout aanzienlijk ten opzichte van de vorige beste methode. Het werkte zelfs wanneer de onderzoekers de visuele exemplaren volledig verwijderden, waardoor de computer alleen op basis van een tekstuele beschrijving of zonder enige hint kon tellen, hoewel het nog steeds het beste presteerde wanneer het een paar voorbeelden kon zien.

De auteurs merken voorzichtig op dat hoewel hun methep een grote stap voorwaarts is, het geen magie is; het vertrouwt nog steeds op het feit dat de computer de afbeelding en het voorbeeld ziet. Ze wijzen er ook op dat de oude methode van het gebruik van vierkante kaders om exemplaren te pakken inherent gebrekkig is, omdat het onregelmatige vormen in een rigide kader dwingt, waardoor belangrijke details verloren gaan. PPSNet fixt niet alleen dit gat; het bouwt een nieuw fundament dat de vorm en distributie van het object beter begrijpt dan het kader ooit zou kunnen. Door een "mentale kaart" van de locatie van het object te combineren met een "spotlight" die overeenkomsten accentueert, helpt dit nieuwe netwerk computers om de wereld met een precisie te tellen die voorheen onbereikbaar was.

Technische Samenvatting: PPSNet voor Class-Agnostic Counting

Probleemstelling
Class-agnostic counting (CAC) beoogt het aantal objecten van willekeurige klassen te schatten met behulp van een enkel voorgetraind model met minimale of geen prompts. Hoewel visueel gestuurde exemplar counting (het gebruik van bounding boxes om doelexemplaren te selecteren) momenteel de hoogste nauwkeurigheid biedt, lijdt dit aan twee kritieke beperkingen die inherent zijn aan het standaard "Extract-then-Match"-paradigma en het gebruik van bounding boxes:

Pseudo-activatie door achtergrondruis: Bounding boxes bevatten onvermijdelijk achtergrondregio's vanwege geometrische beperkingen. Naarmate de netwerkdiepte toeneemt, wordt deze achtergrondruis progressief geactiveerd tijdens de feature extractie, wat leidt tot foutieve matching tussen visuele exemplaren en de query-afbeelding.
Verlies van schaalinformatie: Om exemplaren in netwerken met een vaste grootte te voeden, herschalen huidige methoden exemplaren naar een uniforme dimensie. Deze operatie verstoort de aspectratio's van langwerpige objecten, wat leidt tot een verlies van intrinsieke schaal- en structurele informatie.
Gebrek aan bidirectionele interactie: Het dominante "Extract-then-Match"-paradigma extraheert features van query-afbeeldingen en exemplaren onafhankelijk voordat ze gematcht worden. Dit verwaarloost de bidirectionele interactie tussen query- en exemplar-features tijdens de extractiefase, wat resulteert in query-features die een gebrek aan doelbewustzijn vertonen en gevoelig zijn voor achtergrondinterferentie.

Methodologie
De auteurs stellen PPSNet (Perceptual Prior Similarity-guided Network) voor, dat het Extract-and-Match-paradigma adopteert. In tegenstelling tot Extract-then-Match, concateneert deze aanpak query- en exemplar-tokens in de inputfase, waardoor gezamenlijke feature extractie en similarity modeling via self-attention mogelijk is. Dit maakt een ware bidirectionele informatiestroom mogelijk, waarbij query-features vanaf de eerste lagen worden bijgewerkt met exemplar-informatie, wat de doelbewustheid (target awareness) versterkt.

PPSNet integreert twee kernmodules om de specifieke beperkingen van bounding box-gebaseerde prompts aan te pakken:

Perceptual Prior Construction Module (PPCM):
- Doel: Om de distributie van visuele exemplaren binnen bounding boxes te karakteriseren en de effecten van herschaling en achtergrondruis te mitigeren.
- Mechanisme: PPCM construeert een Gaussische prior op basis van de originele dimensies van de visuele exemplaren vóór het herschalen. Het berekent de relatieve verplaatsing van pixels ten opzichte van het centrum en moduleert de sterkte van de prior met behulp van een gebiedscoëfficiënt (invers aan de grootte van het exemplar).
- Effect: Deze prior wordt geconcateneerd met de exemplar-afbeeldingen. Het codeert impliciet de originele aspectratio (ter compensatie van de geometrische distortie door herschaling) en benadrukt de centrale distributie van het doelwit binnen de bounding box, waardoor de activatie van achtergrondruis tijdens de feature extractie wordt verminderd.
Similarity-guided Weighting Module (SWM):
- Doel: Om de gelijkenis (similarity) tussen query- en exemplar-features expliciet te superviseren en de feature-responses in doelregio's te versterken.
- Mechanisme: SWM berekent een cosine similarity map tussen de query-features en de visuele exemplar-features. Het construeert een patch-level foreground mask op basis van de ground truth density map om deze similarity map te superviseren met behulp van een contrastieve learning loss ( $L_{sim}$ ).
- Effect: De resulterende similarity map wordt gebruikt om de query-features te wegen. Dit proces versterkt de respons van query-features in regio's die semantisch overeenkomen met de visuele exemplaren, terwijl de respons van de achtergrond wordt onderdrukt.

De uiteindelijke doelfunctie combineert de standaard counting loss ( $L_{count}$ ) en de similarity loss ( $L_{sim}$ ), gebalanceerd door een factor $\lambda$ .

Belangrijkste Bijdragen

Theoretische Analyse: Het artikel biedt een theoretische analyse die de voordelen van het Extract-and-Match-paradigma boven Extract-then-Match aantoont. Het demonstreert hoe gezamenlijke codering het gebrek aan bidirectionele informatiestroom-begeleiding in Extract-then-Match overwint, waardoor query-features vanaf het begin worden voorzien van doelbewustzijn, iets wat Extract-then-Match niet kan bereiken vanwege de sequentiële aard.
Aanpak van Achtergrondruis: De auteurs identificeren en adresseren het probleem van "background noise pseudo-activation" veroorzaakt door de geometrische beperkingen van bounding boxes. Zij stellen de PPCM voor als het eerste werk dat expliciet de distributie van exemplaren binnen bounding boxes modelleert om dit probleem te mitigeren en de schaalinformatie-verlies tijdens herschaling te compenseren.
Nieuw Wegingsmechanisme: De SWM introduceert patch-level supervisie voor similarity maps met behulp van contrastive learning. Dit stelt het netwerk in staat om expliciet te leren onderscheid te maken tussen doelregio's en de achtergrond, en deze kennis te gebruiken om query-features te wegen, wat de discriminabiliteit verhoogt.
Generalisatie: Het framework wordt uitgebreid om guidance-less counting (met behulp van learnable tokens) en text-guided counting (met behulp van CLIP tekst-embeddings) te ondersteunen, wat de veelzijdigheid buiten visuele prompts aantoont.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op de FSC-147, CARPK en COCO datasets.

FSC-147 (Visueel gestuurd): PPSNet behaalde state-of-the-art prestaties. In de single-exemplar setting verminderde het de MAE naar 11.12 en de RMSE naar 81.17 op de testset. In de drie-exemplar setting behaalde het een MAE van 9.29 en een RMSE van 61.83, waarmee het de vorige beste (RCFNet) en de Extract-then-Match baseline (CounTR) met aanzienlijke marges versloeg (bijv. 22.26% MAE verbetering ten opzichte van CounTR).
Guidance-less & Text-guided: Wanneer aangepast aan de guidance-less en text-guided paradigma's, behaalde PPSNet eveneens state-of-the-art resultaten, waarbij het methoden zoals GCA-SUN en T2ICount overtrof.
Cross-Dataset Generalisatie: Op de CARPK dataset (zonder fine-tuning) presteerde PPSNet beter dan BMNet+ en CounTR. Op Val-COCO en Test-COCO overtrof het zowel regressie-gebaseerde counting methoden als object detectie baselines (Faster R-CNN, RetinaNet).
Ablatie-studies: Het verwijderen van ofwel PPCM of SWM leidde tot prestatievermindering, wat de wederzijdse versterking van beide modules bevestigt. De studie bepaalde ook dat 3 visuele exemplaren optimale prestaties opleveren, terwijl 2 learnable tokens optimaal zijn voor guidance-less counting.

Betekenis en Claims
Het artikel claimt dat PPSNet een significante vooruitgang vormt in class-agnostic counting door het Extract-and-Match-paradigma theoretisch te analyseren en het langlopende probleem van achtergrondruis-interferentie in bounding box-gebaseerde prompts praktisch op te lossen. De auteurs benadrukken dat dit het eerste werk is dat de niet-verwaarloosbare impact van de geometrische beperkingen van bounding boxes op de nauwkeurigheid van counting aanpakt via perceptuele priors en similarity-guided weighting. De resultaten tonen aan dat door het vergroten van de doelbewustheid en het onderdrukken van achtergrondruis, het model superieure nauwkeurigheid en generalisatie bereikt over diverse scenario's en prompttypen (visueel, tekst en geen).

Meer zoals dit