CountEx: Fine-Grained Counting via Exemplars and Exclusion

Dit paper introduceert CountEx, een discriminatief visueel telframe dat multimodale prompts voor zowel inclusie als uitsluiting gebruikt om verwarrende objecten in rommelige scènes te onderscheiden, ondersteund door een nieuw benchmark genaamd CoCount.

De kern

Titel: CountEx: De Slimme Teller die Wél Luistert naar wat je Niet wilt tellen

Stel je voor dat je een grote, rommelige kamer binnenstapt. Overal liggen voorwerpen: rode en blauwe pennen, grote en kleine schroeven, en verschillende soorten pasta. Je vraagt een robot: "Tel de pennen."

De meeste huidige robots zijn een beetje dom. Ze zien "pen" en gaan alles tellen wat eruitziet als een pen. Dus ze tellen de rode én de blauwe pennen, en misschien zelfs de potloden die erop lijken. Het resultaat is een foutief getal.

CountEx is een nieuwe, slimme robot die een stuk beter luistert. Hij kan niet alleen horen wat je wilt tellen, maar ook wat je niet wilt tellen.

Hoe werkt het? (De Analogie van de Dief)

Stel je voor dat je een dief wilt vangen in een drukke markt.

• De oude methode: Je zegt tegen de politie: "Zoek naar de dief." De politie ziet een man in een zwarte jas en grijpt hem. Maar wacht, er staan honderden mensen in zwarte jassen! Ze grijpen de verkeerde.
• De CountEx-methode: Je zegt: "Zoek naar de dief in de zwarte jas, maar negeer de mensen in de zwarte jas die een hoed dragen."

Door dat extra stukje informatie ("negeer de hoed"), kan de politie de echte dief veel sneller en nauwkeuriger vinden, zelfs als de markt vol zit met mensen die er bijna hetzelfde uitzien.

De Drie Magische Ingrediënten van CountEx

De onderzoekers hebben drie dingen bedacht om dit mogelijk te maken:

1. De "Nee-lijst" (Exclusie)
Tot nu toe konden mensen alleen zeggen wat ze wilden zien (bijvoorbeeld: "Tel de witte pokerchips"). CountEx laat je ook zeggen wat je wilt negeren ("...maar niet de blauwe"). Dit is als het hebben van een lijst met "verboden woorden" voor je robot. Als hij iets ziet dat op de lijst staat, schudt hij zijn hoofd en telt het niet mee.

2. De Slimme Filter (De "Discriminative Query Refinement")
Dit is het brein van de operatie. Stel je voor dat de robot twee brillen opzet:

• Bril A (Positief): Kijkt naar alles wat op de "wilde" objecten lijkt.
• Bril B (Negatief): Kijkt naar alles wat op de "niet-wilde" objecten lijkt.

In plaats van gewoon het verschil te rekenen (wat vaak fout gaat), kijkt de robot eerst naar wat beide brillen gemeen hebben (bijvoorbeeld: "het zijn allebei chips"). Dan zoekt hij naar wat alleen in Bril B zit (bijvoorbeeld: "de blauwe kleur"). Vervolgens gebruikt hij deze informatie om de "blauwe" chips uit zijn teller te filteren, terwijl hij de "witte" chips intact laat. Het is alsof je een zeef gebruikt die alleen de kleine steentjes (de ongewenste objecten) eruit haalt, maar de grote stenen (de gewenste objecten) erin houdt.

3. De Nieuwe Speeltuin (CoCount)
Om te bewijzen dat hun robot echt slim is, hebben de onderzoekers een enorme nieuwe speeltuin gebouwd genaamd CoCount.

• In oude speeltuinen lagen vaak alleen maar rode autootjes of alleen maar blauwe autootjes. Dat is saai en niet echt een uitdaging.
• In CoCount liggen 97 verschillende paren van bijna-identieke objecten door elkaar. Denk aan: "Rechte schroeven" versus "Kromme schroeven", of "Groene M&M's" versus "Bruine M&M's".
• Er zijn duizenden foto's en video's van deze rommelige tafels. Dit is de "examenklas" waar de robot moet laten zien dat hij het verschil tussen de twee kan zien, zelfs als ze er bijna hetzelfde uitzien.

Wat levert dit op?

De tests tonen aan dat CountEx veel beter is dan de huidige state-of-the-art methoden.

• Minder fouten: Hij telt veel nauwkeuriger in rommelige situaties.
• Flexibiliteit: Je kunt hem tekst geven ("Tel de lange pennen, niet de korte") of zelfs plaatjes laten zien ("Kijk naar dit voorbeeld, en tel alles wat erop lijkt, maar niet dit andere voorbeeld").
• Nieuwe wereld: Hij werkt zelfs goed op objecten die hij nog nooit eerder heeft gezien, zolang je maar duidelijk maakt wat je wilt en wat je niet wilt.

Conclusie

CountEx is als het geven van een duidelijke instructie aan een assistent. In plaats van te zeggen: "Tel de mensen," zeg je: "Tel de mensen in rode jassen, maar laat de mensen in rode jassen met een hoed staan."

Door deze extra controle te geven, wordt de teller veel slimmer, nauwkeuriger en betrouwbaarder, vooral in de chaotische, rommelige wereld van alledag.

Technische samenvatting

Probleemstelling

Bestaande methoden voor visueel tellen (visual counting), vooral die gebaseerd op prompts (tekst of voorbeelden), hebben een fundamentele beperking: ze kunnen niet expliciet uitsluiten wat niet geteld moet worden. In complexe, rommelige scènes met visueel vergelijkbare objecten (bijvoorbeeld "tellen van penne pasta, maar niet van spiraalvormige pasta") leiden deze methoden vaak tot ambiguïteit en overtelling.
Huidige systemen accepteren meestal alleen positieve intenties ("tel dit"), maar missen de flexibiliteit om negatieve intenties ("niet dit") te integreren. Een naïeve aanpak waarbij men eerst het totaal telt en vervolgens het aantal van de 'verkeerde' objecten aftrekt, werkt niet goed omdat dit de relationele context tussen de objecten negeert en vaak leidt tot suboptimale resultaten.

Methodologie: CountEx

De auteurs stellen CountEx voor, een discriminatief kader voor visueel tellen dat zowel inclusie- als exclusie-intenties verwerkt via multimodale prompts (natuurlijke taal en optionele visuele voorbeelden/exemplaren).

1. Architectuur en Query-Refinement

CountEx bouwt voort op een query-gebaseerd detectiemodel (zoals GroundingDINO of LLMDet). De kerninnovatie is de Discriminative Query Refinement (DQR) module, die positieve en negatieve prompts gezamenlijk redeneert in plaats van ze apart te behandelen. Het proces verloopt in drie fasen:

• Prompt-geconditioneerde Query Encoding:
  Het model genereert twee aparte query-sets uit dezelfde afbeelding:

  • $Q_{pos}$: Gebaseerd op de positieve prompt (wat geteld moet worden).
  • $Q_{neg}$: Gebaseerd op de negatieve prompt (wat genegeerd moet worden).
    Dit creëert twee complementaire representaties van de scène.

• Discriminative Query Refinement (DQR):
  Deze module verwerkt de querys in drie stappen om distractoren te onderdrukken zonder de doelobjecten te beschadigen:

  1. Gedeelde Feature Identificatie: Het model leert prototypes ($C$) die visuele kenmerken identificeren die gemeenschappelijk zijn voor zowel positieve als negatieve queries (bijv. het algemene vorm van "pasta"). Dit wordt gedaan via cross-attention en twee auxiliary losses (shareability en diversity loss) om te voorkomen dat prototypes instorten.
  2. Exclusieve Feature Extractie: Het model projecteert de negatieve queries op de gedeelde ruimte en isoleert de residuen. Deze residuen vertegenwoordigen kenmerken die uniek zijn voor de negatieve klasse (bijv. de specifieke vorm van "spiraalvormige pasta" versus "penne").
  3. Selectieve Query Refinement: De positieve queries ($Q_{pos}$) worden verfijnd door cross-attention met de geïsoleerde negatieve patronen. Een geleerde gating-mechanisme onderdrukt selectief de onderdelen van de positieve query die overeenkomen met de negatieve patronen, terwijl de unieke kenmerken van het doelobject behouden blijven.

• Training: Het model wordt getraind met een multi-component verliesfunctie die classificatie, lokalisatie, dichtheidsvoorspelling (dense supervision) en de prototype-leerloss combineert.

CoCount Dataset

Om deze taak systematisch te evalueren, stellen de auteurs CoCount voor, een nieuw benchmark-dataset.

• Omvang: 1.780 video's en 10.086 geannoteerde frames.
• Structuur: 97 paren van categorieën, verdeeld over 5 supercategorieën (Voedsel, Spellen, Huis, Bureau, Divers).
• Type Paren:
  • Inter-categorie: Verschillende objecten binnen een supercategorie (bijv. pasta vs. peperkorrels).
  • Intra-categorie: Variaties binnen dezelfde categorie (bijv. zwarte vs. witte peperkorrels, AA vs. AAA batterijen).
• Design: De dataset bevat expliciete negatieve voorbeelden en distractor-objecten, wat essentieel is voor het trainen van modellen die fijne onderscheidingen moeten maken.

Resultaten

Experimenten tonen aan dat CountEx aanzienlijke verbeteringen boekt ten opzichte van state-of-the-art methoden (zoals LLMDet, CountGD, GroundingREC).

• Op CoCount:
  • Novel-Category Setting (NC): CountEx bereikt een MAE van 26,61 (tegenover 33,22 voor de beste baseline), wat een foutreductie van bijna 20% betekent.
  • Known-Category Setting (KC): CountEx bereikt een MAE van 12,72 (tegenover 15,55 voor de baseline), een verbetering van 18%.
• Generalisatie:
  • Op de LOOKALIKES benchmark (zero-shot transfer) behaalt CountEx een MAE van 18,53, wat een nieuw state-of-the-art is voor zero-shot methoden, zonder synthetische data of per-categorie aanpassing.
  • Op PairTally en FSC-147 presteert het model eveneens superieur, zelfs in vergelijking met gespecialiseerde tellers.

Belangrijkste Bijdragen

1. Taakformulering: De eerste formulering van visueel tellen met expliciete uitsluitingshints (negatieve prompts), wat de ambiguïteit in complexe scènes oplost.
2. CountEx Architectuur: Een nieuw kader met een Discriminative Query Refinement module die gezamenlijk redeneert over inclusie en uitsluiting, in plaats van ze na te trekken.
3. CoCount Benchmark: Een uitgebreid dataset met 97 fijne categorieparen en dichte annotaties, ontworpen om methoden te evalueren die zowel positieve als negatieve intenties moeten begrijpen.

Significantie

Dit werk is significant omdat het een brug slaat tussen de beperkingen van huidige "tellen via prompts" systemen en de realiteit van visueel vergelijkbare objecten. Door expliciete uitsluiting mogelijk te maken, verhoogt CountEx de bruikbaarheid van visuele tellingssystemen in praktische toepassingen zoals voorraadbeheer, medische beeldvorming en menigtebewaking, waar het onderscheid tussen zeer gelijkaardige objecten cruciaal is. Het introduceert bovendien een nieuwe standaard voor evaluatie (CoCount) die de community dwingt om na te denken over negatieve voorbeelden in plaats van alleen positieve.