OASIC: Occlusion-Agnostic and Severity-Informed Classification

1. Il Problema

La classificazione fine-granulare (fine-grained classification) in computer vision affronta una sfida critica quando gli oggetti sono parzialmente o fortemente occlusi (fino al 90% di copertura). Il lavoro identifica due cause fondamentali del degrado delle prestazioni in queste condizioni:

1. Perdita di informazioni visibili: La riduzione delle parti dell'oggetto visibili limita i dettagli necessari per distinguere classi simili.
2. Pattern distrattivi: Gli occludenti (es. vegetazione, fumo, macerie) introducono texture e pattern complessi che distraggono il modello, portandolo a focalizzarsi sulle aree sbagliate invece che sull'oggetto di interesse.

Esiste un divario significativo tra l'addestramento su immagini pulite e le condizioni reali di occlusione. Inoltre, i dataset annotati con occlusioni sono scarsi e le occlusioni reali sono spesso imprevedibili, rendendo difficile sviluppare modelli robusti senza conoscenza a priori del tipo di occludente.

2. Metodologia: OASIC

Il paper propone OASIC (Occlusion-Agnostic Severity-Informed Classification), un framework unificato che affronta simultaneamente la perdita di informazioni e la distrazione visiva. Il metodo si articola in quattro fasi principali:

A. Segmentazione Agnostica dell'Occlusione

OASIC tratta l'occlusione come un'anomalia visiva rispetto all'oggetto di interesse, senza richiedere conoscenza preventiva del tipo di occludente.

• Rilevamento: Utilizza AnomalyDINO per generare mappe di probabilità di anomalia a livello di pixel. Queste mappe identificano le regioni "irregolari" (occluse) basandosi sulla discrepanza rispetto a un banco di memoria di immagini di riferimento non occluse.
• Soggettivazione (Thresholding): Invece di usare una soglia fissa, viene applicato il metodo di Otsu per determinare dinamicamente la soglia ottimale ($\tau^*$) che massimizza la varianza inter-classe nella mappa di anomalia, adattandosi a ogni singola immagine.
• Mascheratura (Masking): Le regioni identificate come occluse vengono sostituite con un colore grigio uniforme ($g=127$). Questo rimuove le texture distrattive ad alta frequenza, permettendo al modello di concentrarsi esclusivamente sulle caratteristiche visibili dell'oggetto.

B. Stima della Severità dell'Occlusione

Oltre alla segmentazione binaria, il sistema quantifica la severità dell'occlusione ($\hat{s}$), definita come la frazione di pixel dell'immagine affetti da occlusione.

• La severità viene stimata calcolando la media dei punteggi di anomalia a livello di pixel sulla mappa $A$:
  $$\hat{s} = \frac{1}{H \cdot W} \sum_{i=1}^{H} \sum_{j=1}^{W} A_{i,j}$$

C. Addestramento per la Robustezza

Per gestire la variabilità della severità, vengono addestrati diversi modelli specializzati:

• Vengono creati dataset sintetici con occlusioni grigie di severità variabile, campionata uniformemente da un intervallo $[0, p]$.
• Vengono addestrati diversi istanze del modello base (basato su DINOv2 ViT-B/14 con un head MLP) su intervalli di severità diversi, ottenendo una famiglia di modelli $f_{[0,p]}$.
• L'addestramento avviene in tre fasi per prevenire il "catastrophic forgetting": prima solo l'head, poi gli ultimi strati del backbone, infine l'intera rete.

D. Selezione del Modello Informata dalla Severità

Durante l'inferenza (test-time):

1. Si stima la severità $\hat{s}$ dell'immagine di input.
2. Si maschera l'occlusione con il grigio.
3. Si seleziona dinamicamente il modello $f^*$ dalla pool di modelli addestrati che corrisponde meglio alla severità stimata:
   $$p^* = \arg \min_{p \in P} |\hat{s} - p|$$
   Questa strategia garantisce che ogni immagine venga elaborata dal modello ottimizzato per il suo specifico livello di visibilità.

3. Contributi Chiave

1. Framework Unificato OASIC: Una soluzione che combina la rimozione delle distrazioni visive (mascheratura) con l'adattamento dinamico del modello alla severità dell'occlusione.
2. Segmentazione Agnostica: Un approccio che localizza e maschera occlusioni arbitrarie (vegetazione, fumo, ecc.) interpretandole come anomalie visive, senza bisogno di supervisione specifica o prompt per ogni tipo di occludente.
3. Strategia di Selezione del Modello: La scoperta che i modelli ottimizzati per un range specifico di severità performano meglio su test con severità simile, portando a una selezione adattiva che supera qualsiasi modello singolo addestrato su un range fisso o ampio.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset Stanford Cars (196 categorie), utilizzando occlusioni sintetiche realistiche (vegetazione, fumo, macerie) generate tramite Perlin noise e SAM (Segment Anything Model).

• Impatto delle Texture: Le occlusioni testurate (vegetazione, macerie) degradano le prestazioni molto più delle occlusioni grigie uniformi, confermando che le texture distrattive sono un problema maggiore della semplice perdita di pixel.
• Localizzazione: AnomalyDINO ha superato significativamente i metodi basati su prompt (come OVSeg) nella segmentazione di occlusioni non note, dimostrando efficacia su vegetazione, fumo e macerie (mAUROC > 90% per severità basse).
• Prestazioni di Classificazione:
  • OASIC ha ottenuto un miglioramento di +18.5 punti nell'AUC sotto occlusione ($AUC_{occ}$) rispetto all'addestramento standard su immagini occluse.
  • Ha ottenuto un miglioramento di +23.7 punti rispetto al fine-tuning su immagini non occluse.
  • Il metodo completo (mascheratura grigia + selezione del modello) ha mostrato una robustezza strutturale superiore a tutte le configurazioni di base, inclusi modelli addestrati solo su vegetazione o su range di occlusione ampi.

5. Significato e Implicazioni

Il lavoro dimostra che la robustezza all'occlusione non può essere risolta da un singolo modello "universale". L'approccio OASIC introduce un paradigma in cui la gestione dell'occlusione è un processo attivo e adattivo:

• Neutralizzazione del Rumore: Trasformare le occlusioni in grigio elimina il "rumore" semantico che confonde i modelli.
• Adattabilità Dinamica: Riconoscere che diversi livelli di visibilità richiedono diverse strategie di inferenza permette di massimizzare le prestazioni in scenari reali imprevedibili.

Questo framework ha potenziali applicazioni oltre alla classificazione fine-granulare, estendendosi a compiti critici come la navigazione autonoma, la sorveglianza visiva e l'imaging medico, dove la visibilità parziale è la norma e non l'eccezione. Il lavoro suggerisce anche futuri sviluppi verso architetture end-to-end che integrino la stima dell'occlusione e la classificazione in un unico ciclo di apprendimento.