Technische Samenvatting: Delen en Veroveren: Objectco-occurrence helpt de simpliciteitsbias bij OOD-detectie te mitigeren

Probleemstelling

Deep learning-modellen, hoewel ze opmerkelijk succesvol zijn op in-distributie (ID)-data, worstelen met betrouwbaarheid wanneer ze te maken krijgen met distributieveranderingen, met name bij Out-of-Distribution (OOD)-detectie. Bestaande methoden vertrouwen voornamelijk op verstrengelde latente representaties, logit-outputs, of een combinatie daarvan. Hoewel deze benaderingen effectief zijn voor "ver-OOD"-scenario's met drastische distributieveranderingen, falen ze vaak in "nabij-OOD"-situaties waar subtiele semantische afwijkingen bestaan.

De geïdentificeerde kernbeperking is de simpliciteitsbias die inherent is aan diepe netwerken. Bij het verwerken van verstrengelde representaties neigen modellen ertoe om gemakkelijk leerbare lokale aanwijzingen te prioriteren (bijvoorbeeld specifieke objecttexturen of vormen), terwijl ze complexe semantische relaties en contextuele incongruïteiten die cruciaal zijn voor het begrijpen van scènes, over het hoofd zien. Bijvoorbeeld, een model kan een afbeelding met een hond in de oceaan zelfverzekerd classificeren als "hond" (ID), omdat het zich richt op de kenmerken van de hond, en de semantische incompatibiliteit negeert van een hond die samen voorkomt met een haai (OOD) in die setting. Dit leidt tot zelfverzekerde voorspellingen op anomalieën.

Methodologie: OCO-raamwerk

De auteurs stellen OCO (Object-Centric OOD-detectie) voor, een raamwerk dat is ontworpen om de simpliciteitsbias te mitigeren door gebruik te maken van Object Co-occurrence (OCO) patronen. De methode werkt vanuit het uitgangspunt dat menselijke visuele systemen objectrelaties binnen scènes gebruiken om context te begrijpen, en dat machines op vergelijkbare wijze afbeeldingen moeten ontleden in distincte objectcomposities.

1. Objectgerichte representatie via Slot Attention

Het raamwerk maakt gebruik van Slot Attention (SA) om verstrengelde feature maps om te zetten in een set van $K$ ontwarde slots. Elke slot is bedoeld om een distinct object of objectdeel vast te leggen.

• Training: Een classifier wordt getraind op deze slots om klasselabels te voorspellen. Om ervoor te zorgen dat de slots betekenisvolle objectkenmerken vastleggen in plaats van willekeurige fragmenten, wordt een aanvullende reconstructieverlies ($L_{aux}$) geïntroduceerd naast de standaard classificatieverlies ($L_{ce}$). Dit dwingt de slots om de oorspronkelijke verstrengelde features te reconstrueren, wat zorgt voor robuuste objectlokalisatie.
• Patroonontdekking: Tijdens training aggregeert het systeem slot-gerelateerde voorspellingen om co-occurrence-configuraties te identificeren. Het onderscheidt tussen configuraties met één categorie (alle slots gaan akkoord met één klasse) en configuraties met meerdere categorieën (meerdere distincte klassen gedetecteerd). Een verzameling van geldige frequentiesets met meerdere categorieën ($F_{train}$) wordt opgebouwd uit de ID-trainingdata om typische scènecontexten te representeren.

2. Delen-en-veroveren-strategie

Tijdens de testfase analyseert het OCO-raamwerk het co-occurrence-patroon van een testmonster ($F_t$) en categoriseert het adaptief in één van drie scenario's, waarbij een specifieke detectiescore wordt toegepast voor elk:

• Scenario 1 (S1): Enkele patronen

  • Voorwaarde: Alle slots voorspellen dezelfde klasse ($|F_t| = 1$).
  • Uitdaging: Hoog risico op zelfverzekerdheid (simpliciteitsbias).
  • Oplossing: Dual-Confidence Calibratie. De score ($S_{single}$) combineert scène-niveau vertrouwen (geaggregeerde voorspelling) met object-niveau vertrouwen (maximale overeenstemming onder slots) om overschatting te mitigeren.

• Scenario 2 (S2): Typische patronen

  • Voorwaarde: Patronen met meerdere objecten komen overeen met die waargenomen tijdens training ($|F_t| \ge 2$ en $F_t \in F_{train}$).
  • Uitdaging: Hoge ambiguïteit, vooral in nabij-OOD-gevallen waar objecten op bekende manieren samen voorkomen maar de specifieke combinatie mogelijk anomalie is.
  • Oplossing: Uncertainty-Aware Scoring (Dempster-Shafer Theorie). De methode berekent geloofscontradicties tussen de dominante categorie en andere voorspelde categorieën. Het onderscheidt tussen "Patroonwaarschijnlijkheid" (verwachte co-occurrence) en "Ambiguïteitsbewijs" (onzekerheid over welke specifieke ID-klasse van toepassing is), en modelleert effectief conflicterend bewijs om subtiele afwijkingen te detecteren.

• Scenario 3 (S3): Atypische patronen

  • Voorwaarde: Patronen met meerdere objecten komen niet overeen met trainingwaarnemingen ($|F_t| \ge 2$ en $F_t \notin F_{train}$).
  • Uitdaging: Ongeziene, onwaarschijnlijke combinaties (bijvoorbeeld een pinguïn en een kameel).
  • Oplossing: Object-niveau vertrouwen. Aangezien het patroon zelf anomalie is, vertrouwt de methode op het hoogste slot-voorspellingvertrouwen ($S_{unrel}$) om de anomalie direct te kwantificeren.

Belangrijkste bijdragen

1. Nieuw raamwerk: Introductie van OCO, een objectgericht raamwerk dat gebruik maakt van object co-occurrence patronen om complexe scène-object semantische correlaties te leren, wat direct de simpliciteitsbias van traditionele modellen aanpakt.
2. Adaptief delen en veroveren: In tegenstelling tot methoden die een uniforme OOD-score gebruiken, categoriseert OCO testmonsters adaptief in drie distincte groepen op basis van hun co-occurrence patronen en kent gepaste detectiescores toe aan elk, erkennend dat verschillende soorten anomalieën verschillende detectiestrategieën vereisen.
3. Robuuste prestaties: Aantonen dat OCO concurrerende prestaties levert ten opzichte van state-of-the-art baselines op zowel uitdagende nabij-OOD-benchmarks als Full-spectrum OOD (FS-OOD)-settings, en effectief omgaat met zowel semantische verschuivingen (nabij-OOD) als covariatenverschuivingen.

Experimentele resultaten

De auteurs evalueerden OCO op de OpenOOD-benchmark met ImageNet-1k als ID-dataset.

• Baselines: Vergelijken met 9 baselines, waaronder Energy, MaxLogit, SHE, OODD en anderen.
• Ruggengraat: Experimenten werden uitgevoerd met zowel supervised ViT als self-supervised DINOv2 ruggengraten.
• Prestaties:
  • OOD-detectie: OCO presteerde consequent beter dan baselines. Op de uitdagende SSB-hard (nabij-OOD) dataset behaalde het significante verbeteringen in AUROC ten opzichte van de tweede (OODD).
  • FS-OOD-detectie: In Full-spectrum evaluaties (inclusief covariatenverschuivingen zoals ImageNet-v2/c/r) toonde OCO superieure generalisatie, met name op de SSB-hard dataset waar andere methoden worstelden.
  • Ablatiestudies: Resultaten bevestigden de noodzaak van het reconstructieverlies ($L_{aux}$) voor effectieve slot-ontwarping en de superioriteit van scenario-specifieke scoring ten opzichte van een uniforme score.
  • Aantal slots: De prestaties piekten bij $K=6$ slots; minder slots leidden tot ondersegmentatie, terwijl te veel slots oversegmentatie en prestatiedegradatie veroorzaakten.

Betekenis en claims

Het artikel claimt dat de kloof tussen menselijke en machineperceptie in OOD-detectie voortkomt uit de neiging van machines om zich te richten op eenvoudige, lokale kenmerken. Door menselijke afhankelijkheid van objectrelaties na te bootsen, mitigeert OCO deze bias succesvol.

De auteurs stellen dat hun aanpak een nieuw paradigma biedt voor OOD-detectie dat verder gaat dan eenvoudige kenmerkscheiding naar semantisch contextueel begrip. De "delen-en-veroveren"-strategie stelt het model in staat om het spectrum van OOD-uitdagingen effectiever aan te pakken dan uniforme benaderingen, variërend van subtiele nabij-OOD semantische verschuivingen tot duidelijke ver-OOD anomalieën. De methode wordt beschreven als eenvoudig, uitbreidbaar en veelbelovend voor real-world toepassingen waar betrouwbaarheid onder distributieveranderingen kritiek is. De auteurs merken ook op dat de statistische alignatie tussen voorspelde co-occurrence patronen en WordNet-hiërarchieën de capaciteit van het model valideert om betekenisvolle semantische relaties te leren.