Class Geometry as Supervision for Sample-Efficient Open-World Detection

Sintesi Tecnica: La Geometria delle Classi come Supervisione per il Rilevamento Open-World a Campionamento Efficiente

Problematica
Il rilevamento di oggetti in un mondo aperto (Open-World Object Detection, OWOD) richiede che i modelli rilevino categorie note, rifiutino oggetti sconosciuti e incorporino incrementalmente nuove classi nel tempo. Ciò è particolarmente complesso in regimi con scarsità di dati, come nell'imaging biomedico e scientifico, dove le categorie rare possono avere solo pochi esempi annotati e le classi a grana fine differiscono per sottili caratteristiche morfologiche. Gli esistenti rilevatori basati su prototipi, che rappresentano le classi tramite piccoli set di supporto, tipicamente apprendono i prototipi di classe come ancore indipendenti. Questo approccio ignora la struttura relazionale tra le classi (ad esempio, somiglianze visive o semantiche), portando a spazi di prototipi scarsamente calibrati in cui gli oggetti sconosciuti possono essere classificati erroneamente o le nuove classi non possono essere integrate efficacemente senza un esteso riaddestramento.

Metodologia: Class-Geometry Supervision (CGS)
Gli autori propongono la Class-Geometry Supervision (CGS), un framework che vincola lo spazio appreso dei prototipi o delle rappresentazioni di classe per preservare una geometria target derivata dalle dissimilarità tra le classi.

• Meccanismo Core: Invece di apprendere i prototipi esclusivamente da scarsi esempi etichettati, la CGS introduce un obiettivo di preservazione della dissimilarità. Questo obiettivo allinea le distanze a coppie tra le rappresentazioni di classe apprese ($\hat{G}_{ij}$) con una matrice di geometria di classe target ($\hat{D}_{ij}$) stimata dai dati di addestramento, mantenendo al contempo lo standard task loss ($L_{task}$).
• Geometria Target ($D$): La matrice di dissimilarità target può essere derivata da:
  • Geometria Visiva ($D^{vis}$): Calcolata come la media dell'errore quadratico medio (MSE) a livello di pixel tra le regioni di supporto ritagliate di diverse classi, catturando relazioni morfologiche grossolane.
  • Geometria Semantica/Testuale ($D^{txt}$): Calcolata come $1 - \cos(e_i, e_j)$, dove $e_i$ e $e_j$ sono gli embedding testuali delle descrizioni visive delle classi.
• Funzione di Perdita: La perdita di geometria ($L_{CG}$) minimizza la differenza al quadrato tra le distanze a coppia normalizzate nello spazio dei prototipi appreso e la matrice di dissimilarità target:
  $$L_{CG} = \frac{1}{|E|} \sum_{(i,j) \in E} (\hat{G}_{ij} - \hat{D}_{ij})^2$$
  L'obiettivo totale è $L = L_{task} + \lambda L_{CG}$, dove $\lambda$ controlla la forza della supervisione.
• Garanzie Teoriche: Il documento fornisce proposizioni che dimostrano come la minimizzazione di $L_{CG}$ limiti la distorsione media tra il grafo dei prototipi appreso e il grafo della dissimilarità delle classi target. Inoltre, se la geometria target possiede margini sufficienti tra le classi, una bassa distorsione preserva l'ordine di vicinato, permettendo l'inserimento di nuove classi nello spazio esistente in base alla loro prossimità relazionale piuttosto che come ancore isolate.

Contributi Chiave

1. Formulazione: La CGS è formulata come un meccanismo per il rilevamento di oggetti in un mondo aperto a campionamento efficiente, affrontando la necessità di rilevamento di classi note, scoperta di ignoti e inserimento di nuove classi sotto una limitata disponibilità di dati etichettati.
2. Obiettivo: Un nuovo obiettivo di prototipo che preserva la dissimilarità, allineando le distanze delle rappresentazioni di classe apprese con le strutture di dissimilarità visiva o semantica delle classi, completando i classici loss di matching e rilevamento.
3. Istanziazione: L'obiettivo viene applicato in tre scenari distinti:
   • Riconoscimento di Prototipi: Isolare gli effetti sull'apprendimento di prototipi con dati scarsi (stile ProtoNet).
   • Rilevamento Biomedico: Integrazione in un rilevatore DETR basato su prototipi per uova parassitarie, supportando il rilevamento few-shot, il rilevamento open-set e l'inserimento di nuove classi.
   • Adattamento COCO OWOD: Valutazione sul protocollo standard OWOD sia con adattamento a head congelata che con fine-tuning completo del modello.
4. Analisi Empirica: Valutazione completa che dimostra miglioramenti nel riconoscimento low-shot, nel rilevamento few-shot e nel richiamo degli ignoti (unknown recall), insieme a un'analisi del compromesso tra mAP delle classi note e sensibilità open-world.

Risultati Sperimentali

• Efficienza di Campionamento: La CGS migliora le prestazioni in compiti di riconoscimento e rilevamento, con i guadagni più significativi osservati nei regimi low-shot (ad esempio, 5-shot e 10-shot). Nel riconoscimento dei prototipi, migliora gli F1 score; nel rilevamento delle uova, aumenta costantemente l'mAP rispetto al baseline FSP-DETR.
• Inserimento di Nuove Classi: La CGS produce guadagni sostanziali quando vengono inserite nuove classi. Nel dataset delle uova, l'mAP delle sole nuove classi è aumentato da 0.0629 a 0.1558, e l'mAR da 0.2595 a 0.3728. Ciò indica che i nuovi prototipi occupano posizioni significative nel manifold delle classi piuttosto che essere appresi come ancore isolate.
• Rilevamento Open-World (COCO):
  • Adattamento con Head Congelata: Migliora significativamente l'Unknown Recall (U-Recall) in tutti i task, ma comporta un costo in termini di mAP delle classi note, specialmente nei task successivi.
  • Fine-Tuning Completo: Offre un punto operativo migliore, preservando maggiormente l'mAP delle classi note pur migliorando l'U-Recall, suggerendo che il modello può recuperare la discriminazione delle classi note mantenendo i benefici della geometria.
• Ablazione sulla Fonte della Geometria: La geometria visiva derivata dalla morfologia dei ritagli di supporto fornisce i guadagni più affidabili per il rilevamento few-shot. Una geometria casuale può aiutare a separare le nuove classi ma è meno consistente per il rilevamento few-shot e manca di una struttura interpretabile.

Significatività e Rivendicazioni
Il documento afferma che la geometria relazionale delle classi è un segnale di supervisione efficace per costruire rilevatori open-world calibrati ed estensibili sotto una supervisione limitata. Organizzando lo spazio dei prototipi secondo le relazioni visive o semantiche, la CGS migliora la capacità del modello di rifiutare gli ignoti e di inserire nuove classi senza richiedere nuove architetture di rilevamento o un esteso riaddestramento. Gli autori sottolineano che, sebbene la CGS introduca un compromesso tra mAP delle classi note e richiamo degli ignoti (specialmente nelle impostazioni di head congelata), fornisce un meccanismo controllabile per spostare il comportamento del modello verso la sensibilità open-world. Il lavoro suggerisce che sfruttare le relazioni tra le classi è cruciale per domini a grana fine e con scarsità di dati, dove il normale apprendimento dei prototipi non riesce a catturare la struttura necessaria per decisioni open-world robuste.