💻 computer science

CoDi -- an exemplar-conditioned diffusion model for low-shot counting

Het artikel introduceert CoDi, een nieuw exemplar-geconditioneerd latent diffusiemodel dat de bestaande state-of-the-art methoden op het gebied van low-shot object counting aanzienlijk overtreft door effectief uitdagingen in dichte regio's met kleine objecten aan te pakken via een gespecialiseerde conditioneringsmodule die hoogwaardige dichtheidskaarten genereert voor precieze lokalisatie.

Oorspronkelijke auteurs: Grega Šuštar, Jer Pelhan, Alan Lukežič, Matej Kristan

Gepubliceerd 2026-07-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Grega Šuštar, Jer Pelhan, Alan Lukežič, Matej Kristan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je elk afzonderlijk zandkorreltje op een strand probeert te tellen, of elke kleine ster in een drukke nachthemel. Als je alleen naar het totaalplaatje kijkt, is het een waas. Als je probeert ze één voor één te tellen met een vergrootglas, mis je er misschien een paar of tel je dezelfde twee keer. Dit is de dagelijkse strijd voor computers die dingen in afbeeldingen proberen te "tellen", een taak die bekend staat als objectcounting. Lange tijd hadden computers twee hoofdwijzen om dit te doen. De eerste was als het gieten van water over het zand: ze creëerden een "densiteitskaart", een zachte heuvel waarbij de hoogte vertegenwoordigde hoeveel dingen er waren. Het was goed in het krijgen van een ruwe schatting, maar verschrikkelijk in het aangeven van de exacte locatie van elk korreltje. De tweede manier was als het gebruiken van een laserpointer om elke ster te markeren. Dit was geweldig voor het vinden van locaties, maar als de sterren te dicht op elkaar stonden, raakte de computer in de war, raakte de "pointers" kwijt die hij moest gebruiken, en begon hij dingen te missen of in een loop te raken.

Stel je nu een nieuw soort kunstenaar voor die niet alleen een wazige heuvel schildert of een beperkt aantal laserpointers gebruikt. In plaats daarvan begint deze kunstenaar met een canvas vol statische ruis — zoals een tv-scherm zonder signaal — en maakt stap voor stap de ruis weg om een perfect, scherp beeld te onthullen van precies waar elk object zich bevindt. Dit is de kern van een nieuwe methode genaamd CoDi (Counting by Diffusion). De onderzoekers achter dit paper, Grega Šuštar en zijn team, hebben een systeem gebouwd dat een "diffusiemodel" gebruikt — een type AI die beroemd is om het genereren van afbeeldingen — om het telprobleem op te lossen. In plaats van een getal te raden of een kader te tekenen, leert CoDi om een leeg canvas te "ontruisen" (denoise) totdat er een perfect beeld van kleine, duidelijke puntjes uit tevoorschijn komt, waarbij elk puntje één object vertegenwoordigt. De magische truc is dat het dit kan, zelfs als je het slechts één of twee voorbeelden laat zien van waar het naar moet zoeken, of zelfs als je helemaal geen voorbeelden geeft. Het is alsoals een vriend een enkele foto van een specifiek type paddenstoel laten zien en hem vragen om elke enkele paddenstoel in een bos te vinden; CoDi raadt niet alleen het totaal aantal, maar wijst ook de exacte plek aan van elke enkele paddenstoel, zelfs in de dichtstbevolkte delen van het bos.

Het Probleem: Het "Drukke Kamer"-dilemma

Iets in een foto tellen is makkelijk wanneer de objecten verspreid zijn. Maar wat gebeurt er als je een foto hebt van een zwerm bijen, een stapel druiven of een menigte mensen? Dit is waar oude methoden tegen een muur aanlopen.

De "densiteits"-methoden zijn als het proberen te tellen van een menigte door de hoogte van de "hitte" van de menigte te meten. Als de menigte dicht is, is de hitte hoog, en weet de computer dat er veel mensen zijn. Maar het kan je niet vertellen wie waar is. Als je probeert individuele mensen te vinden door te zoeken naar de hoogste pieken in die hittekaart, ga je er vaak naast omdat de hitte in elkaar overvloeit.

De "detectie"-methoden zijn als een beveiliger met een beperkt aantal portofoons. De beveiliger kan naar specifieke mensen wijzen, maar als er te veel mensen zijn (meer dan het aantal portofoons), moet de beveiliger de menigte opdelen in kleinere groepen, ze apart tellen en proberen de antwoorden weer aan elkaar te naaien. Dit is traag, rommelig en leidt vaak tot het twee keer tellen van dezelfde persoon of het volledig missen van iemand.

De Oplossing: CoDi's "Magische Ruis"

De auteurs stellen CoDi voor, een systeem dat tellen behandelt als een spel van "het opruimen van statische ruis".

Zo werkt het, stap voor stap:

Het Startpunt: Stel je een leeg, ruisachtig tv-scherm voor. Dit is het startpunt voor CoDi. Het weet nog niet waar de objecten zich bevinden.
De "Exemplar" Aanwijzing: Als je appels wilt tellen, laat je de computer een paar foto's van appels zien (de zogenaamde "exemplars"). CoDi heeft een speciale "conditioning module" die werkt als een superintelligent filter. Het bekijkt je voorbeeldfoto's van appels en zegt: "Oké, ik moet dingen vinden die precies lijken op deze, en de rest negeren."
De Denoising Dans: CoDi begint de ruis van het tv-scherm te verwijderen, maar doet dit op een zeer specifieke manier. Het raadt niet zomaar; het verfijnt de afbeelding geleidelijk. Met elke stap verandert de wazige ruis in steeds scherpere puntjes.
Het Resultaat: Aan het einde van het proces is het scherm geen wazige heuvel of een rommelige lijst. Het is een schone kaart met kleine, scherpe pieken. Elke piek is een perfect puntje dat één object vertegenwoordigt. De computer hoeft dan alleen de puntjes te tellen.

Het geheime ingrediënt is dat CoDi leert om deze scherpe puntjes één voor één te genereren in plaats van ze gemiddeld te nemen. Dit betekent dat zelfs in een superdrukke scène waar objecten elkaar raken, CoDi ze kan scheiden en ze nauwkeurig kan tellen.

Wat Ze Vonden: De Beste Verslaan

Het team heeft CoDi getest op enkele zeer moeilijke datasets, waaronder FSC147 (die 147 verschillende soorten objecten bevat) en MCAC (een dataset voor het tellen van meerdere klassen). De resultaten waren indrukwekkend:

Few-Shot Counting: Wanneer het slechts een paar voorbeelden kreeg (zoals 3 afbeeldingen van het doelobject), versloeg CoDi de huidige beste methoden met 15% in termen van nauwkeurigheid (Mean Absolute Error, of MAE).
One-Shot Counting: Zelfs wanneer het slechts één voorbeeld kreeg, was CoDi nog steeds de beste, waarmee het de vorige topmethode met 13% versloeg.
Geen Voorbeelden (Reference-less): Wanneer het geen voorbeelden kreeg en werd gevraagd om het meest voorkomende object in de afbeelding te tellen, presteerde CoDi nog steeds beter dan de beste bestaande methoden met 10%.
De Multi-Class Uitdaging: Op de MCAC-dataset, waar een afbeelding bijvoorbeeld appels, sinaasappels en bananen door elkaar kan bevatten, verpletterde CoDi de concurrentie en versloeg de topmethode met een enorme 38%.

Waarom Dit Er Toe Doet

Het paper sluit expliciet de gedachte uit dat je een enorm aantal vooraf getrainde "pointers" (zoals de oude detectiemethoden) nodig hebt om grote menigten te tellen. Ze lieten zien dat het opdelen van afbeeldingen (tiling) een onhandige workaround is die processen vertraagt en fouten veroorzaakt. CoDi bewijst dat je de afbeelding niet in stukken hoeft te snijden; je kunt de hele afbeelding in één keer verwerken en toch perfecte resultaten krijgen.

Ze toonden ook aan dat CoDi robuust is. Zelfs als de voorbeelden die je het geeft enigszins rommelig zijn of de objecten klein zijn, houdt het stand. Sterker nog, de auteurs vonden dat CoDi zo stabiel is dat als je dezelfde afbeelding twintig keer door het systeem haalt, de telling gemiddeld met minder dan 1% verandert.

De Limieten en de Toekomst

Ho Hoewel CoDi een enorme stap voorwaarts is, zijn de auteurs eerlijk over waar het moeite mee heeft. Het heeft soms problemen met objecten die extreem lang en dun zijn (zoals een rij boeken die op hun kant staan) of wanneer objecten op een zeer vreemde manier overlappen. Ze merken ook op dat hoewel het erg goed is in het vinden van het centrum van een object, het nog niet in staat is om een kader rond het hele object te tekenen (hoewel ze van plan zijn hieraan te werken).

Kortom, CoDi suggereert dat door tellen te behandelen als een proces van "het opruimen van ruis" in plaats van het "raden van een getal", we computers kunnen bouwen die menigten zien zoals mensen dat doen: niet als een waas, maar als een verzameling van duidelijke, telbare individuen. Het is een nieuwe manier van kijken naar de wereld, één puntje tegelijk.

Technische Samenvatting: CoDi – Een Exemplar-geconditioneerd Diffusiemodel voor Low-Shot Counting

1. Probleemdefinitie

Het artikel behandelt low-shot object counting, een taak die het schatten van het aantal objecten uit onbekende categorieën in een afbeelding behelst met behulp van slechts enkele geannoteerde exemplaren (few-shot/one-shot) of zonder exemplaren (referentie-loos).

Hoewel moderne methoden vooruitgang hebben geboekt, worden ze geconfronteerd met aanzienlijke uitdagingen in dichte regio's met kleine objecten:

Dichtheid-gebaseerde tellers (bijv. LOCA, CounTR) schatten aantallen door een geregresseerde dichtheidskaart op te tellen. Deze kaarten missen echter vaak goed uitgedrukte enkelvoudige modi voor individuele objecten, wat leidt tot slechte lokalisatie en fout-positieven wanneer Non-Maxima Suppression (NMS) wordt toegepast.
Detectie-gebaseerde tellers (bijv. CountGD, GeCo) voorspellen bounding boxes of middelpuntpunten. Deze methoden zijn vaak query-gebaseerd (transformer-architecturen) met een vast aantal vooraf getrainde queries. In dichte scènes overstijgt het objectaantal vaak deze capaciteit, wat het gebruik van computationeel dure tiling (het opdelen van afbeeldingen in crops) en complexe post-processing voor grensreconciliatie noodzakelijk maakt. Bovendien produceren regressie-gebaseerde modellen, getraind op ruisende grondwaarheid-centra, vaak wazige kaarten die ongeschikt zijn voor nauwkeurige piek-telling.

2. Methodologie: CoDi

De auteurs stellen CoDi (Counting by Diffusion) voor, de eerste latent-diffusie-gebaseerde low-shot teller die ontworpen is om hoogwaardige, scherpe object-locatiekaarten te produceren.

Kernarchitectuur

CoDi maakt gebruik van een Conditioned Latent Diffusion Model (LDM) om een object-locatiekaart iteratief te verfijnen.

Inputrepresentatie:
- De invoerafbeelding $I$ wordt gecodeerd naar een latente representatie $z_I$ met behulp van een vooraf getrainde AM-RADIO backbone.
- De doelwit object-locatiekaart $L$ wordt geconstrueerd door genormaliseerde Gaussische verdelingen te plaatsen over de grondwaarheid-centra. Deze kaart wordt via een vooraf getrainde VAE geprojecteerd in een latente ruimte $z_0$ .
- Tijdens het voorwaartse diffusieproces wordt ruis toegevoegd aan $z_0$ om een sequentie van ruisende latents $z_t$ te creëren.
Denoising Netwerk:
- Een standaard UNet (drie niveaus) wordt getraind om het diffusieproces om te keren, waarbij de ruis of de snelheidvector ( $v_t$ ) wordt voorspeld om de schone latente kaart te herstellen.
- De input voor de UNet is de concatenatie van de afbeelding-latent $z_I$ en de huidige ruisende locatie-latent $z_t$ .
Exemplar-gebaseerde Conditionering (EC):
- Dit is de kerninnovatie. Om het model tijdens de testtijd te specialiseren voor de doelwit objectcategorie, wordt het netwerk geconditioneerd op door de gebruiker verstrekte exemplar bounding boxes.
- Adaptieve Prototype Extractie: In tegenstelling tot statische conditionering, extraheert CoDi verschijningsprototypes (via RoI-Align op de huidige UNet-features) en vormprototypes (via MLP op box-dimensies) bij elke diffusie-timestep.
- Modulatie: Deze prototypes worden via een Transformer attention layer in de eerste en laatste lagen van de UNet geïnjecteerd. De UNet-features fungeren als queries, terwijl de tijd-specifieke prototypes fungeren als keys en values. Dit stelt het netwerk in staat om zijn begrip van het doelwit object continu aan te passen naarmate het diffusieproces de locatiekaart verfijnt.
Inference:
- Startend vanaf willekeurige Gaussische ruis, voert het netwerk $T$ denoising stappen uit (bijv. $T=25$ ).
- De uiteindelijke latente kaart wordt door de VAE gedecodeerd naar een hoog-resolutie locatiekaart $\tilde{L}$ .
- Objectcentra worden gedetecteerd als lokale maxima in $3\times3$ buurten die een drempelwaarde overschrijden, en het totale aantal is het aantal gedetecteerde pieken.

Referentie-loze Adaptatie

Voor scenario's zonder exemplaren introduceren de auteurs trainbare referentie-loze queries. Deze queries worden omgezet in prototypes door te attenderen op de laag-features, waardoor het model de meerderheidsklasse kan tellen zonder specifieke visuele prompts. Dit vereist alleen het finetunen van de query-parameters terwijl de rest van het netwerk bevroren blijft.

3. Belangrijkste Bijdragen

Eerste Latent Diffusion Low-Shot Teller: CoDi is de eerste methode die latent diffusie specifiek toepast voor low-shot counting, waarmee het probleem van annotatie-ruis averaging van regressie-gebaseerde modellen vermijdt door single-instance voorspellingen te genereren.
Exemplar-gebaseerde Conditioneringsmodule: Een nieuw mechanisme dat objectprototypes dynamisch extraheert en aanpast tijdens het diffusieproces. Dit leidt tot smalle, gescheiden pieken in de locatiekaart, wat nauwkeurige lokalisatie via NMS mogelijk maakt zonder de noodzaak van tiling.
Verenigd Low-Shot Spectrum: CoDi is de eerste diffusie-gebaseerde teller die de scenario's few-shot, one-shot en referentie-loos binnen één enkel framework dekt.
Efficiëntie: Door in de latente ruimte te opereren en de adaptieve tiling te vermijden die vereist is door query-gebaseerde detectoren (zoals CountGD), biedt CoDi een computationeel stabieler inference-proces, vooral voor afbeeldingen met veel kleine objecten.

4. Experimentele Resultaten

Het artikel evalueert CoDi op de FSC147 (few-shot) en MCAC (multi-class) benchmarks.

Few-Shot (FSC147): CoDi presteert beter dan de state-of-the-art (SOTA) dichtheid-gebaseerde teller (CountDiff) met 38% MAE en 42% RMSE op de testset. Vergeleken met de lokalisatie-gebaseerde SOTA (CountGD), verbetert CoDi de MAE met 15% en de RMSE met 29%.
One-Shot: CoDi bereikt een nieuwe SOTA en presteert beter dan GeCo met 13% MAE en 49% RMSE, wat een robuustheid aantoont, zelfs met een enkel exemplar.
Referentie-loos: CoDi presteert beter dan de beste text-free SOTA (GeCo) met 10% MAE. Hoewel het achterblijft bij text-prompted zero-shot methoden (bijv. CountSE), blijft het competitief zonder afhankelijk te zijn van tekst.
Multi-Class (MCAC): CoDi vestigt een nieuwe SsOTA en presteert beter dan de topmethode (GeCo2) met 38% MAE.
Lokalisatiekwaliteit: CoDi bereikt een hogere recall (0.88 vs 0.81) en F1-scores (0.92 vs 0.87) vergeleken met CountGD op de testset, met een gemiddelde detectieafstand van 8.79 pixels van de grondwaarheid.
Efficiëntie: CoDi vertoont stabiele inference-tijden (~1.1s/afbeelding) met een lage variantie, in tegen tegenstelling tot CountGD wiens runtime aanzienlijk verslechtert op dichte afbeeldingen door tiling. Het gebruikt minder parameters dan GeCo en minder VRAM.

5. Betekenis en Claims

De auteurs beweren dat CoDi een significante verschuiving vertegenwoordigt in low-shot counting door de taak te herformuleren als een generatieprobleem in plaats van een regressie- of detectieprobleem.

Robuustheid tegen Dichtheid: De primaire betekenis ligt in het vermogen van CoDi om dichte regio's met kleine objecten te hanteren waar bestaande methoden falen door query-limieten of wazige dichtheidskaarten. Het diffusieproces produceert van nature "scherpe" pieken die geschikt zijn voor NMS.
Eliminatie van Tiling: Door de vaste query-capaciteitslimiet van transformer-detectoren te vermijden, elimineert CoDi de noodzaak voor computationeel zware tiling en grensreconciliatie.
Aanpasbaarheid: De exemplar-conditioneringsmodule stelt het model in staat om te generaliseren naar onbekende categorieën met minimale data, terwijl de referentie-loze adaptatie dit uitbreidt naar het tellen van de meerderheidsklasse zonder het volledige netwerk opnieuw te trainen.

Het artikel concludeert dat CoDi een nieuwe state-of-the-art vestigt over het gehele low-shot counting spectrum, waarbij een balans wordt geboden tussen hoge nauwkeurigheid, precieze lokalisatie en computationele stabiliteit. Toekomstig werk zou potentieel kunnen zijn om dit uit te breiden naar bounding box voorspelling en het afhandelen van objecten met extreme aspect ratio's.