OASIC: Occlusion-Agnostic and Severity-Informed Classification

Probleemstelling

Moderne computer-visionmodellen presteren uitstekend op schone, volledig zichtbare afbeeldingen, maar kampen met aanzienlijke problemen wanneer objecten gedeeltelijk worden bedekt (occlusie). Dit is vooral kritiek voor fijnkorrelige classificatie (fine-grained classification), waarbij subtiele details nodig zijn om klassen te onderscheiden. De auteurs identificeren twee fundamentele oorzaken van prestatieverlies bij occlusie:

1. Verlies van zichtbare informatie: Minder van het object is zichtbaar, wat de beschikbare kenmerken voor classificatie vermindert.
2. Aandachtverstorende patronen: De occluders zelf (zoals bladeren, rook of puin) introduceren complexe texturen die het model kunnen misleiden en de aandacht afleiden van het relevante object.

Bestaande methoden zijn vaak beperkt: data-augmentatie (zoals CutMix) helpt tegen informatieverlies, maar lost niet het probleem van misleidende texturen op. Transformer-modellen (ViTs) zijn robuuster, maar hun prestaties dalen nog steeds sterk bij zware of gestructureerde occlusie. Bovendien ontbreekt er werk dat occlusie op een occlusie-agnostische manier aanpakt zonder voorafgaande kennis van het type occluder.

Methodologie: OASIC

De auteurs introduceren OASIC (Occlusion-Agnostic Severity-Informed Classification), een raamwerk dat beide bovenstaande problemen gelijktijdig aanpakt. De methode bestaat uit vier kerncomponenten:

1. Occlusie-segmentatie en Maskering (Occlusion-Agnostic)

In plaats van te proberen specifieke occluders (zoals "bladeren") te herkennen, behandelt OASIC occlusie als een visuele anomalie ten opzichte van het object van belang.

• Anomalie-detectie: Er wordt gebruikgemaakt van AnomalyDINO om per-pixel waarschijnlijkheidskaarten (anomaly maps) te genereren. Deze kaarten geven aan hoe "onregelmatig" een pixel is ten opzichte van een schone referentie.
• Adaptieve Drempelwaarde: Om een binaire mask te maken, wordt de Otsu-methode gebruikt om de optimale drempelwaarde ($\tau^*$) dynamisch te bepalen op basis van de histogramverdeling van de anomalie-scores. Dit maakt de detectie robuust voor verschillende afbeeldingen.
• Grijze Maskering: De geïdentificeerde occlusiegebieden worden vervangen door een uniforme grijze kleur ($g=127$). Dit verwijdert de verstorende texturen van de occluder, waardoor het model zich kan focussen op de zichtbare objectkenmerken.

2. Schatting van Occlusie-ernst (Severity Estimation)

Naast de segmentatie wordt de ernst van de occlusie ($\hat{s}$) geschat. Dit wordt gedefinieerd als het gemiddelde van de per-pixel anomalie-scores in de afbeelding, wat de fractie van de afbeelding aangeeft die door occlusie wordt beïnvloed.

3. Finetuning voor Robuustheid

Om modellen voor te bereiden op verschillende niveaus van zichtbaarheid, wordt een pool van gespecialiseerde modellen gefinetuned.

• Er worden meerdere instanties van een basismodel (DINOv2 ViT-B/14 + MLP-head) getraind op synthetische datasets met willekeurige grijze maskers.
• Elke model $f_{[0,p]}$ wordt getraind op een dataset waar de occlusie-ernst uniform is verdeeld tussen 0% en een maximum $p$ (bijv. 0-10%, 0-20%, ..., 0-100%).
• Dit zorgt ervoor dat modellen leren omgaan met specifieke niveaus van informatieverlies.

4. Ernst-informeerd Modelselectie

Tijdens de inferentie (testtijd) wordt een adaptieve strategie toegepast:

1. De occlusie-ernst ($\hat{s}$) van de testafbeelding wordt geschat.
2. De occlusie wordt gemaskeerd met grijs (zoals hierboven beschreven).
3. Het meest geschikte model $f^*$ wordt geselecteerd uit de pool van modellen op basis van de geschatte ernst: het model dat is getraind op het bereik dat het dichtst bij de geschatte ernst ligt ($p^* = \arg \min | \hat{s} - p |$).

Belangrijkste Bijdragen

1. Unified Framework: OASIC is het eerste raamwerk dat zowel het verlies van informatie als de visuele afleiding van occluders expliciet aanpakt.
2. Occlusie-Agnostische Segmentatie: Door occlusie te interpreteren als visuele anomalie, kan het systeem willekeurige occluders lokaliseren en maskeren zonder voorafgaande kennis van hun uiterlijk (geen prompts of specifieke training nodig).
3. Ernst-informeerd Modelselectie: Het inzicht dat modellen die zijn geoptimaliseerd voor een specifiek occlusieniveau het beste presteren bij vergelijkbare testniveaus, leidt tot een dynamische modelselectiestrategie die superieur is aan het gebruik van één enkel model voor alle situaties.

Resultaten

De methode is geëvalueerd op de Stanford Cars dataset (196 auto-klassen) met synthetisch gegenereerde occlusies (grijs, vegetatie, rook, puin).

• Prestatieverbetering: OASIC behaalde een AUC$_{occ}$ (Area Under the Curve voor classificatie onder occlusie) van 54.2.
  • Dit is een verbetering van +18.5 ten opzichte van standaard training op occludeerde afbeeldingen.
  • Dit is een verbetering van +23.7 ten opzichte van finetuning op niet-occludeerde (schone) afbeeldingen.
• Vergelijking met Baselines:
  • Maskering vs. Geen Maskering: Het gebruik van grijze maskering (om afleiding te onderdrukken) leverde een aanzienlijke verbetering op ten opzichte van modellen die alleen op occlusie waren getraind zonder maskering.
  • Modelselectie: De combinatie van maskering en adaptieve modelselectie presteerde consistent beter dan het gebruik van één vast model, zelfs voor dat model dat op het breedste bereik was getraind.
  • Segmentatie: AnomalyDINO (occlusie-agnostisch) presteerde significant beter dan OVSeg (prompt-gebaseerd) bij het segmenteren van diverse occluders, vooral bij texturen zoals vegetatie en puin.

Betekenis en Conclusie

OASIC biedt een robuuste en adaptieve oplossing voor real-world computer vision-taken waar objecten vaak onvoorspelbaar worden bedekt. De kerninzichten zijn:

1. Afleiding is cruciaal: Textuurrijke occluders zijn schadelijker dan uniforme grijze blokkades; het verwijderen van deze texturen (via maskering) is essentieel.
2. Geen "one-size-fits-all": Er bestaat geen enkel model dat optimaal presteert over het volledige spectrum van occlusie-ernst. Een dynamische selectie van gespecialiseerde modellen is noodzakelijk.

De methode heeft potentieel voor toepassingen buiten fijnkorrelige classificatie, zoals autonoom rijden, visuele surveillance en medische beeldvorming, waar gedeeltelijke zichtbaarheid een veelvoorkomend probleem is. Toekomstig werk richt zich op het integreren van occlusie-schatting en classificatie in één end-to-end architectuur.