Riepilogo Tecnico: Scoperta di Categorie Basata su Riferimento (RefCD)

Enunciato del Problema

I paradigmi esistenti per il rilevamento di oggetti affrontano una dicotomia tra supervisione e generalizzazione. I metodi supervisionati tradizionali si basano pesantemente su annotazioni manuali laboriose e sono confinati a categorie predefinite, limitando la loro scalabilità verso oggetti non visti. Al contrario, i metodi di rilevamento di oggetti non supervisionati (ad esempio, TokenCut, CutLER) localizzano con successo oggetti in primo piano senza etichette, ma mancano di consapevolezza della categoria; trattano tutti gli oggetti rilevati come una singola classe di primo piano, rendendoli incapaci di classificazione o di distinguere tra diversi tipi di oggetti.

Nel frattempo, i metodi di rilevamento one-shot e open-vocabulary tentano di affrontare le nuove categorie, ma richiedono tipicamente etichette di categoria manuali per il fine-tuning o si affidano a grandi modelli visione-linguaggio pre-addestrati con costi computazionali significativi. Rimane un vuoto per un metodo in grado di eseguire il rilevamento consapevole della categoria (identificando tipi specifici di oggetti) in modo completamente non supervisionato, senza alcuna annotazione manuale o liste di categorie predefinite.

Metodologia: Scoperta di Categorie Basata su Riferimento (RefCD)

Gli autori propongono RefCD, un rilevatore non supervisionato che sfrutta immagini di riferimento non etichettate per guidare l'apprendimento di caratteristiche consapevoli della categoria. Il framework opera senza etichette di categoria esplicite, utilizzando invece la similarità delle caratteristiche per associare gli oggetti rilevati alle istanze di riferimento.

1. Panoramica dell'Architettura

RefCD è composto da due componenti principali:

• Codificatore di Riferimento: Un Vision Transformer (ViT, specificamente DINOv2) auto-supervisionato e congelato, utilizzato per estrarre rappresentazioni di caratteristiche sia dalle patch dell'immagine target (scatole pseudo) sia dalle immagini di riferimento fornite dall'utente.
• Rilevatore: Un rilevatore basato su transformer (RT-DETR) addestrato per eseguire due compiti simultaneamente:
  • Rilevamento Agnostico alla Categoria: Localizzare tutti gli oggetti in primo piano utilizzando perdite di classificazione binaria e regressione.
  • Corrispondenza Consapevole della Categoria: Identificare oggetti che condividono la stessa categoria implicita dell'immagine di riferimento tramite similarità delle caratteristiche.

2. Perdita di Similarità delle Caratteristiche (FS)

L'innovazione centrale di RefCD è la perdita di Similarità delle Caratteristiche (FS), che sostituisce le perdite di classificazione tradizionali (ad esempio, cross-entropy) che richiedono etichette di verità fondamentale. La perdita funziona come segue:

• Assegnazione: Invece di abbinare le previsioni alle annotazioni basandosi sulle etichette di categoria, RefCD utilizza l'algoritmo ungherese con una funzione di costo basata sulla similarità delle caratteristiche (similarità coseno tra le caratteristiche della query e le caratteristiche delle scatole pseudo) e la distanza delle scatole delimitatrici.
• Calcolo della Perdita: La perdita FS ($L_{FS}$) vincola il rilevatore a massimizzare la similarità tra una query prevista e un'immagine di riferimento se appartengono alla stessa categoria implicita, e a minimizzarla altrimenti.
  • Per le coppie abbinate in cui la scatola pseudo corrisponde all'immagine di riferimento, la perdita incoraggia la similarità della query con il riferimento a corrispondere alla similarità della scatola pseudo con il riferimento.
  • Per le coppie non abbinate, la perdita penalizza l'alta similarità.
• Strategia di Addestramento: Durante l'addestramento, le scatole pseudo vengono generate dall'immagine target utilizzando metodi non supervisionati esistenti (ad esempio, MaskCut). Una scatola pseudo casuale viene selezionata come "riferimento" per quella iterazione. Il modello impara ad associare altri oggetti nell'immagine a questo riferimento se condividono un'alta similarità delle caratteristiche.

3. Inferenza

All'inferenza, il modello non esegue una classificazione esplicita. Invece, accetta un'immagine di riferimento fornita dall'utente. Il rilevatore restituisce scatole agnostiche alla categoria, e il sistema filtra/identifica gli oggetti abbinando le loro caratteristiche query alle caratteristiche dell'immagine di riferimento. Gli oggetti con alta similarità delle caratteristiche sono considerati corrispondenze. Ciò consente il rilevamento open-set in cui la "categoria" è definita dinamicamente dall'immagine di riferimento piuttosto che da un insieme fisso di etichette.

Contributi Chiave

1. Rilevamento Non Supervisionato Basato su Riferimento: La proposta di RefCD, il primo rilevatore non supervisionato in grado di rilevamento consapevole della categoria senza alcuna annotazione manuale, affidandosi esclusivamente a immagini di riferimento e similarità delle caratteristiche.
2. Perdita di Similarità delle Caratteristiche: L'introduzione di una nuova funzione di perdita che guida l'apprendimento di caratteristiche potenzialmente specifiche della categoria in un paradigma non supervisionato, colmando il divario tra localizzazione agnostica alla categoria e corrispondenza consapevole della categoria.
3. Framework Unificato: RefCD supporta sia il rilevamento agnostico alla categoria (localizzare tutti gli oggetti) sia il rilevamento consapevole della categoria (identificare istanze specifiche) all'interno di un singolo framework, con quest'ultimo che potenzia il primo attraverso un migliore apprendimento delle caratteristiche.

Risultati Sperimentali

Gli autori hanno valutato RefCD su benchmark standard, dimostrando prestazioni all'avanguardia in contesti non supervisionati.

• Rilevamento Consapevole della Categoria (One-Shot):
  • Su COCO NOVEL (20 nuove categorie), RefCD ha raggiunto 15.1% AP, superando il precedente metodo supervisionato all'avanguardia UNICL-SAM (13.2% AP) e superando significativamente altri metodi one-shot supervisionati come Meta R-CNN (1.5% AP).
  • Su GMOT-40 (tracciamento/rilevamento video), RefCD ha raggiunto 31.8% AP50 e 30.2% AR, dimostrando robustezza nel distinguere oggetti della stessa categoria attraverso i frame video.
• Rilevamento Agnostico alla Categoria:
  • Su COCO 20K e val2017, RefCD ha raggiunto rispettivamente 13.3% AP e 12.9% AP. Questo supera i principali metodi non supervisionati come CutLER (10.1% AP) e si avvicina alle prestazioni di CuVLER, nonostante utilizzi la stessa pipeline di generazione delle scatole pseudo.
• Estensioni:
  • Apprendimento Debolmente Supervisionato: Quando addestrato solo con etichette di scatola delimitatrice (nessuna etichetta di categoria) su COCO BASE, RefCD ha raggiunto 24.9% AP su COCO NOVEL, superando i metodi one-shot completamente supervisionati.
  • Tracciamento di Singolo Oggetto (SOT): Applicato al dataset VOT 2018, RefCD ha dimostrato prestazioni competitive nel tracciamento di istanze senza etichette esplicite.

Significato e Affermazioni

Il documento afferma che RefCD elimina con successo la dipendenza dalle annotazioni manuali per il rilevamento consapevole della categoria, una limitazione che ha ostacolato sia i metodi non supervisionati tradizionali sia gli approcci one-shot. Spostando il paradigma dal "prevedere un'etichetta" al "corrispondere a un riferimento tramite caratteristiche", RefCD abilita il rilevamento open-set in cui il sistema può identificare oggetti nuovi semplicemente fornendo un esempio.

Gli autori sottolineano che il loro metodo non richiede liste di categorie predefinite o fine-tuning su dati etichettati. I risultati suggeriscono che l'apprendimento della similarità delle caratteristiche in modo non supervisionato non solo abilita la discriminazione delle categorie, ma migliora implicitamente anche la qualità della localizzazione agnostica alla categoria (regressione della scatola delimitatrice). Il lavoro si posiziona come un framework unificato che colma il divario tra la scoperta di oggetti non supervisionata e il rilevamento basato su riferimento, offrendo una soluzione scalabile per il rilevamento di oggetti in scenari in cui le annotazioni sono indisponibili o impraticabili.