Riepilogo Tecnico: Divide and Conquer: La Co-occorrenza degli Oggetti Aiuta a Mitigare il Bias di Semplicità nella Rilevazione OOD

Enunciato del Problema

I modelli di deep learning, pur ottenendo risultati straordinari sui dati in distribuzione (ID), faticano in termini di affidabilità quando si trovano di fronte a spostamenti di distribuzione, in particolare nella rilevazione di dati fuori distribuzione (OOD). I metodi esistenti si basano prevalentemente su rappresentazioni latenti intrecciate, output di logit o una combinazione di questi. Sebbene efficaci per scenari "far-OOD" con spostamenti di distribuzione drastici, questi approcci spesso falliscono in contesti "near-OOD" dove esistono deviazioni semantiche sottili.

Il limite fondamentale identificato è il bias di semplicità intrinseco nelle reti profonde. Quando elaborano rappresentazioni intrecciate, i modelli tendono a privilegiare indizi locali facilmente apprendibili (ad esempio, texture o forme specifiche di un oggetto) trascurando relazioni semantiche complesse e incongruenze contestuali cruciali per la comprensione della scena. Ad esempio, un modello potrebbe classificare con sicurezza un'immagine contenente un cane in un oceano come "cane" (ID) perché si concentra sulle caratteristiche del cane, ignorando l'incompatibilità semantica della co-occorrenza di un cane con uno squalo (OOD) in quel contesto. Ciò porta a previsioni eccessivamente confidenti su campioni anomali.

Metodologia: Framework OCO

Gli autori propongono OCO (Object-Centric OOD detection), un framework progettato per mitigare il bias di semplicità sfruttando i pattern di Co-occorrenza degli Oggetti (OCO). Il metodo opera sulla premessa che i sistemi visivi umani utilizzino le relazioni tra oggetti all'interno delle scene per comprendere il contesto, e che le macchine dovrebbero similmente decomporre le immagini in composizioni distinte di oggetti.

1. Rappresentazione Centrata sull'Oggetto tramite Slot Attention

Il framework utilizza Slot Attention (SA) per trasformare mappe di caratteristiche intrecciate in un insieme di $K$ slot disintrecciati. Ogni slot è inteso per catturare un oggetto distinto o una parte di oggetto.

• Addestramento: Un classificatore viene addestrato su questi slot per prevedere le etichette di classe. Per garantire che gli slot catturino caratteristiche significative degli oggetti piuttosto che frammenti arbitrari, viene introdotta una funzione di perdita di ricostruzione ausiliaria ($L_{aux}$) accanto alla classica funzione di perdita di classificazione ($L_{ce}$). Questo costringe gli slot a ricostruire le caratteristiche intrecciate originali, garantendo una localizzazione robusta degli oggetti.
• Scoperta di Pattern: Durante l'addestramento, il sistema aggrega le previsioni a livello di slot per identificare configurazioni di co-occorrenza. Distingue tra configurazioni a categoria singola (tutti gli slot concordano su una classe) e configurazioni a più categorie (rilevate più classi distinte). Viene costruita una raccolta di insiemi di frequenza validi per configurazioni a più categorie ($F_{train}$) dai dati di addestramento ID per rappresentare i contesti tipici delle scene.

2. Strategia Divide-and-Conquer

Al momento del test, il framework OCO analizza il pattern di co-occorrenza di un campione di test ($F_t$) e lo categorizza adattivamente in uno dei tre scenari, applicando un punteggio di rilevazione specifico per ciascuno:

• Scenario 1 (S1): Pattern Singoli

  • Condizione: Tutti gli slot prevedono la stessa classe ($|F_t| = 1$).
  • Sfida: Alto rischio di eccessiva confidenza (bias di semplicità).
  • Soluzione: Calibrazione a Doppia Confidenza. Il punteggio ($S_{single}$) combina la confidenza a livello di scena (previsione aggregata) con la confidenza a livello di oggetto (massimo accordo tra gli slot) per mitigare la sovrastima.

• Scenario 2 (S2): Pattern Tipici

  • Condizione: I pattern multi-oggetto corrispondono a quelli osservati durante l'addestramento ($|F_t| \ge 2$ e $F_t \in F_{train}$).
  • Sfida: Alta ambiguità, specialmente nei casi near-OOD dove gli oggetti co-occorrono in modi noti ma la combinazione specifica potrebbe essere anomala.
  • Soluzione: Punteggio Consapevole dell'Incertezza (Teoria di Dempster-Shafer). Il metodo calcola le contraddizioni di credenza tra la categoria dominante e le altre categorie previste. Distingue tra "Probabilità del Pattern" (co-occorrenza attesa) e "Evidenza Ambigua" (incertezza su quale specifica classe ID si applichi), modellando efficacemente evidenze conflittuali per rilevare deviazioni sottili.

• Scenario 3 (S3): Pattern Atipici

  • Condizione: I pattern multi-oggetto non corrispondono alle osservazioni di addestramento ($|F_t| \ge 2$ e $F_t \notin F_{train}$).
  • Sfida: Combinazioni inedite e implausibili (ad esempio, un pinguino e un cammello).
  • Soluzione: Confidenza a Livello di Oggetto. Poiché il pattern stesso è anomalo, il metodo si affida alla massima confidenza di previsione dello slot ($S_{unrel}$) per quantificare direttamente l'anomalia.

Contributi Chiave

1. Nuovo Framework: Introduzione di OCO, un framework centrato sull'oggetto che sfrutta i pattern di co-occorrenza degli oggetti per apprendere complesse correlazioni semantiche scena-oggetto, affrontando direttamente il bias di semplicità dei modelli tradizionali.
2. Divide-and-Conquer Adattivo: A differenza dei metodi che utilizzano un punteggio OOD unificato, OCO categorizza adattivamente i campioni di test in tre gruppi distinti in base ai loro pattern di co-occorrenza e assegna punteggi di rilevazione personalizzati a ciascuno, riconoscendo che diversi tipi di anomalie richiedono strategie di rilevazione differenti.
3. Prestazioni Robuste: Dimostrazione che OCO ottiene prestazioni competitive rispetto ai baseline all'avanguardia sia su benchmark near-OOD impegnativi che in contesti Full-spectrum OOD (FS-OOD), gestendo efficacemente sia gli spostamenti semantici (near-OOD) che gli spostamenti di covariate.

Risultati Sperimentali

Gli autori hanno valutato OCO sul benchmark OpenOOD utilizzando ImageNet-1k come dataset ID.

• Baseline: Confronto contro 9 baseline inclusi Energy, MaxLogit, SHE, OODD e altri.
• Backbone: Gli esperimenti sono stati condotti utilizzando sia backbone ViT supervisionati che DINOv2 auto-supervisionati.
• Prestazioni:
  • Rilevazione OOD: OCO ha costantemente superato le baseline. Sul dataset impegnativo SSB-hard (near-OOD), ha ottenuto miglioramenti significativi nell'AUROC rispetto al secondo classificato (OODD).
  • Rilevazione FS-OOD: Nelle valutazioni Full-spectrum (inclusi spostamenti di covariate come ImageNet-v2/c/r), OCO ha mostrato una generalizzazione superiore, in particolare sul dataset SSB-hard dove altri metodi faticavano.
  • Studi di Ablazione: I risultati hanno confermato la necessità della funzione di perdita di ricostruzione ($L_{aux}$) per un efficace disintreccio degli slot e la superiorità del punteggio specifico per scenario rispetto a un punteggio unificato.
  • Numero di Slot: Le prestazioni hanno raggiunto il picco con $K=6$ slot; un numero inferiore di slot ha portato a una sotto-segmentazione, mentre un numero eccessivo di slot ha causato una sovrasegmentazione e un degrado delle prestazioni.

Significato e Affermazioni

Il documento afferma che il divario tra percezione umana e macchina nella rilevazione OOD deriva dalla tendenza della macchina a concentrarsi su caratteristiche semplici e locali. Mimando la dipendenza umana dalle relazioni tra oggetti, OCO mitiga con successo questo bias.

Gli autori affermano che il loro approccio fornisce un nuovo paradigma per la rilevazione OOD che va oltre la semplice discriminazione delle caratteristiche per arrivare alla comprensione semantica contestuale. La strategia "divide-and-conquer" permette al modello di gestire lo spettro delle sfide OOD—dalle sottili deviazioni semantiche near-OOD alle ovvie anomalie far-OOD—più efficacemente rispetto agli approcci unificati. Il metodo è descritto come semplice, estendibile e promettente per applicazioni reali dove l'affidabilità in caso di spostamenti di distribuzione è critica. Gli autori notano inoltre che l'allineamento statistico tra i pattern di co-occorrenza previsti e le gerarchie di WordNet convalida la capacità del modello di apprendere relazioni semantiche significative.