Counting Through Occlusion: Framework for Open World Amodal Counting

Dit paper introduceert CountOCC, een nieuw framework voor amodale objecttelling dat door middel van hiërarchische multimodale gidsing en een visuele equivalentiedoelstelling de door verduistering veroorzaakte fouten in bestaande methoden oplost en zo state-of-the-art prestaties bereikt op nieuwe, verduisterde datasets.

De kern

Titel: Hoe tellen wat je niet kunt zien? (De "CountOCC" uitvinding)

Stel je voor dat je in een drukke supermarkt staat. Je moet tellen hoeveel flessen limonade er in een stapel staan. Maar er staat een grote, zware krat voor de stapel. Je ziet de bovenste flessen, maar de rest is verborgen.

Het probleem:
De slimste computers van vandaag (kunstmatige intelligentie) zijn geweldig in tellen als ze alles kunnen zien. Maar zodra er iets voor staat, raken ze in paniek. Ze tellen alleen wat ze kunnen zien. Ze denken: "Oh, ik zie drie flessen, dus er zijn er drie." Ze vergeten dat er misschien nog tien onder het krat zitten. Ze zijn als een persoon die alleen telt wat hij met zijn ogen kan zien, en niet wat hij met zijn verstand kan begrijpen.

De oplossing: CountOCC
De onderzoekers van dit papier hebben een nieuwe manier bedacht, genaamd CountOCC. Ze noemen het "amodal tellen". Dat klinkt ingewikkeld, maar het is eigenlijk heel simpel: het is het vermogen om te tellen wat niet zichtbaar is, door te raden wat erachter zit.

Hier is hoe het werkt, met een paar leuke vergelijkingen:

1. De "Duidelijke Foto" vs. De "Vervormde Foto"

Stel je voor dat je een foto maakt van een groep vrienden.

• De oude methode: Als er iemand voor de camera loopt en de helft van de groep verbergt, kijkt de computer naar de foto en zegt: "Ik zie maar drie mensen." De computer is verward door de persoon die voor de camera staat (de "verstorende laag").
• CountOCC: Deze nieuwe methode zegt: "Wacht even. Ik weet dat er meer mensen zijn. Ik ga de foto 'repareren'."

2. De "Reparatie-robot" (Feature Reconstruction)

CountOCC heeft een speciale robot in zijn hoofd die reparaties uitvoert.
Stel je voor dat je een puzzel hebt, maar een stukje mist omdat er een vlek op zit.

• De oude computers kijken naar de vlek en zeggen: "Geen puzzelstukje hier."
• CountOCC kijkt naar de randen van de vlek en de rest van de puzzel. Het gebruikt zijn kennis (geleerd van tekst en andere foto's) om te reconstrueren hoe het ontbrekende stuk eruit zou moeten zien.
• Het is alsof de computer een "spookbeeld" tekent van de objecten die verborgen zijn, zodat ze er weer volledig uitzien op de digitale foto. Dan telt hij die spookbeelden gewoon mee.

3. De "Twee Ogen" (Visueel Equivalentie)

Om zeker te weten dat deze "spookbeelden" echt kloppen, gebruikt CountOCC een slim trucje met twee "ogen" (een leraar en een leerling).

• De Leraar: Kijkt naar de originele, schone foto (waar alles zichtbaar is) en zegt: "Kijk, hier zit een auto."
• De Leerling: Kijkt naar de foto met de vlekken (waar de auto verborgen is).
• De Check: De computer dwingt de leerling om te kijken naar precies dezelfde plekken als de leraar, zelfs als er een vlek is. Als de leerling zegt: "Ik zie daar niets," dan zegt de leraar: "Nee, kijk goed! Kijk naar de randen, daar is de auto!"
• Dit zorgt ervoor dat de computer leert om niet te worden afgeleid door de vlekken, maar om te focussen op wat er echt is.

Waarom is dit belangrijk?

Dit is niet alleen een spelletje. Denk aan deze situaties:

• Parkeergarages: Een drone telt auto's, maar sommige staan achter elkaar. De drone moet weten hoeveel er in totaal zijn, niet alleen hoeveel hij direct ziet.
• Landbouw: Een boer wil weten hoeveel appels er aan een boom zitten, maar veel zitten achter bladeren.
• Magazijnen: Hoeveel dozen zitten er in een stapel als de bovenste dozen de onderste verbergen?

Het resultaat:
De onderzoekers hebben getest of hun methode werkt. Ze hebben een nieuwe "test" bedacht waarbij ze willekeurig dingen voor objecten zetten.

• De oude methoden maakten veel fouten (ze telden te weinig).
• CountOCC deed het fantastisch. Het kon de verborgen objecten "zien" en telden ze correct mee. Het was bijna 50% beter dan de beste oude methoden.

Kort samengevat:
CountOCC is als een slimme teller die niet alleen naar zijn ogen kijkt, maar ook naar zijn hersenen. Als hij iets niet kan zien, gebruikt hij logica en ervaring om te raden wat erachter zit, en telt hij dat ook mee. Hierdoor kan hij in een chaotische wereld met veel obstakels toch het juiste aantal vinden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Counting Through Occlusion: Framework for Open World Amodal Counting" in het Nederlands.

Probleemstelling

Objecttelling (object counting) heeft aanzienlijke vooruitgang geboekt bij het tellen van zichtbare objecten. Echter, state-of-the-art (SOTA) methoden falen dramatisch wanneer objecten occluderen (gedeeltelijk of volledig bedekt zijn door andere objecten of voorgrond).

De kern van dit probleem is een fundamentele architecturale beperking in bestaande modellen:

• Corrupte Feature Representaties: Wanneer een object wordt bedekt, coderen de backbone-netwerken (zoals Swin Transformer) de occluderende oppervlakken in plaats van de kenmerken van het doelobject.
• Gebrek aan Amodal Redenering: Bestaande open-world telp modellen (zoals CountGD, LOCA) tellen alleen wat direct zichtbaar is. Ze missen de mogelijkheid om "amodale" redenering toe te passen, waarbij ze de aanwezigheid van verborgen objecten infereren op basis van beperkte visuele aanwijzingen en context.
• Beperking van Bestaande Benchmarks: Bestaande benchmarks zoals CAPTURe focussen vaak op gestructureerde patronen waar verborgen objecten kunnen worden afgeleid door extrapolatie. Dit werkt niet in ongestructureerde, natuurlijke scènes met willekeurige objectarrangementen.

Methodologie: CountOCC

De auteurs stellen CountOCC voor, het eerste open-world framework dat expliciet occluderende objecten reconstrueert en redeneert over hun aanwezigheid. De architectuur bestaat uit twee complementaire componenten die werken op verschillende niveaus van de feature-pyramide:

1. Feature Reconstruction Module (FRM)

Deze module opereert in de feature-ruimte en is ontworpen om de door occlusie beschadigde features te herstellen.

• Hiërarchische Werking: FRM werkt op meerdere niveaus van de feature-pyramide (multi-scale).
• Scheiding van Zichtbaar/Occluderend: De input-features worden opgesplitst in zichtbare tokens ($Z_{vis}$) en occluderende posities (geïnitieerd als leerbare query tokens $Q_0$).
• Spatial-Semantic Attention Fusion:
  • De occluderende queries ondergaan eerst self-attention om interafhankelijkheden tussen gemaskerde posities te modelleren.
  • Vervolgens ondergaan ze cross-attention met de zichtbare tokens om ruimtelijke context te verzamelen.
  • Tenslotte worden ze gemoduleerd door fused text-visual embeddings (semantische priors) via cross-attention om class-discriminerende features te injecteren.
• Resultaat: De module genereert gereconstrueerde features ($\hat{Z}_{occ}$) die eruitzien alsof het object volledig zichtbaar was, en vervangt de corrupte features in de feature-pyramide.

2. Visual Equivalence (VisEQ) Supervisie

Deze component opereert in de attentie-ruimte en zorgt voor consistentie tussen occluderende en niet-occluderende weergaven.

• Teacher-Student Distillatie: Een bevroren "teacher" netwerk verwerkt het originele, niet-occluderende beeld, terwijl een "student" netwerk het occluderende beeld verwerkt met de gereconstrueerde features.
• Gradient-Based Attention Alignment: Het framework gebruikt Language-Conditioned GradCAM om attentiekaarten te genereren.
• Verliesfuncties:
  • Attention Similarity Loss: Dwingt de attentiekaarten van de student en teacher om ruimtelijk consistent te zijn (via $\ell_2$ en cosine similarity).
  • Region of Interest (RoI) Consistency Loss: Zorgt ervoor dat er hoge activatie is in betrouwbare gebieden en voorkomt triviale oplossingen (zoals uniforme lage waarden).

Belangrijkste Bijdragen

1. CountOCC Framework: Het eerste open-world amodale telp framework dat expliciet occluderende objecten reconstrueert via feature-reconstructie en semantische priors.
2. Nieuwe Loss Functies: Introductie van een Feature Reconstruction Module en een Visual Equivalence objective die samen zorgen voor robuuste prestaties onder occlusie.
3. Nieuwe Benchmarks: De auteurs hebben occlusie-versterkte versies van bestaande datasets gecreëerd om een rigoureuze evaluatie mogelijk te maken:
   • FSC-147-OCC: Een occlusie-versie van het FSC-147 dataset.
   • CARPK-OCC: Een occlusie-versie van het CARPK dataset (parkeergarages).
   • Deze datasets bevatten zowel gestructureerde als ongestructureerde scènes, in tegenstelling tot eerdere benchmarks.
4. State-of-the-Art Resultaten: Het stellen van nieuwe SOTA-prestaties op alle drie de geteste benchmarks (FSC-147-OCC, CARPK-OCC, en CAPTURe-Real).

Resultaten

CountOCC presteert aanzienlijk beter dan bestaande methoden (zoals CountGD, LOCA, CounTR) onder occlusie:

• FSC-147-OCC:
  • Reductie in Mean Absolute Error (MAE) met 26,72% (validatie) en 20,80% (test) ten opzichte van de vorige beste methode (CountGD).
  • Grote verbeteringen ook in RMSE (tot wel 54,71% reductie op de testset).
• CARPK-OCC (Zero-shot Generalisatie):
  • Reductie in MAE met 49,89% ten opzichte van CountGD.
  • Toont uitstekende generalisatie naar ongestructureerde verkeerscènes zonder extra training op deze dataset.
• CAPTURe-Real:
  • Reductie in MAE met 28,79%, wat de robuustheid in gestructureerde omgevingen bevestigt.
• Ablatie Studies:
  • Het gebruik van FRM op alle pyramidale niveaus is cruciaal; een enkel niveau is onvoldoende.
  • De combinatie van FRM en VisEQ levert de grootste winst op, wat aantoont dat zowel feature-reconstructie als attentie-consistentie nodig zijn.
• Visuele Analyse: t-SNE visualisaties tonen aan dat de gereconstrueerde features (blauw) sterk overlappen met de ground-truth features van niet-occluderende beelden (groen), terwijl niet-gereconstrueerde occluderende features (rood) sterk afwijken.

Significantie en Toekomstperspectief

• Doorbraak in Amodale Redenering: CountOCC bewijst dat het mogelijk is om objecten te tellen die volledig verborgen zijn, zolang er maar voldoende context en semantische priors beschikbaar zijn. Dit is een stap voorbij het tellen van alleen zichtbare objecten.
• Praktische Toepassingen: De technologie is direct toepasbaar in scenario's waar occlusie inherent is, zoals:
  • Voorraadbeheer in drukke magazijnen of winkels.
  • Verkeersmanagement en parkeergarage-analyse.
  • Landbouw (oogstschattening onder bladerdak).
  • Robotica in ongestructureerde omgevingen.
• Beperkingen:
  • Het model vereist een occlusiemasker als input om te weten welke regio's gereconstrueerd moeten worden. In de praktijk moeten deze maskers worden gegenereerd door segmentatiemodellen.
  • Het model is geoptimaliseerd voor het tellen van objecten, niet voor de exacte lokalisatie van verborgen objecten. De ruimtelijke verdeling van de gereconstrueerde features binnen een occluderend gebied kan afwijken van de werkelijke positie, hoewel de totale telling accuraat is.

Concluderend biedt CountOCC een robuust kader voor open-world telling in complexe, verwarrende omgevingen en stelt het nieuwe standaarden voor evaluatie en prestatie in het domein van amodale computervisie.