Decoupled Prototype Matching with Vision Foundation Models for Few-Shot Industrial Object Detection

1. Enunciato del Problema

La rilevazione di oggetti industriali affronta sfide significative che differiscono dai compiti di rilevazione generici:

• Scarsità di Dati: La raccolta e l'annotazione di dataset su larga scala sono costose e poco pratiche, specialmente quando gli inventari di prodotti cambiano frequentemente.
• Complessità Visiva: Gli oggetti industriali spesso mancano di texture distintive, possiedono forti similarità geometriche tra le categorie e appaiono in ambienti affollati con forte occlusione.
• Limitazioni dell'FSOD Attuale: I metodi esistenti per la Rilevazione di Oggetti con Pochi Esempi (FSOD) si basano tipicamente su paradigmi di addestramento "base-novel" (pre-addestramento su classi base abbondanti e affinamento su quelle nuove). Questi approcci faticano negli ambienti industriali perché spesso richiedono un re-addestramento, sono sensibili agli iperparametri e si affidano a indizi di aspetto che falliscono quando gli oggetti sono privi di texture o geometricamente simili.
• Dipendenza dai CAD: Molte soluzioni industriali si basano su modelli CAD per il matching di template, il che limita la flessibilità quando i dati CAD non sono disponibili o quando è richiesto un rapido inserimento di nuovi oggetti da immagini.

Il problema centrale affrontato è come rilevare nuovi oggetti industriali con minima supervisione (solo alcune immagini di riferimento), senza re-addestrare il modello e senza fare affidamento su modelli CAD.

2. Metodologia: DPM-VFM

Gli autori propongono DPM-VFM (Decoupled Prototype Matching with Vision Foundation Models), un framework senza addestramento e modulare che disaccoppia la localizzazione degli oggetti dalla classificazione. La pipeline consiste in due fasi principali:

A. Costruzione Offline dei Prototipi (Inserimento)

1. Preparazione del Set di Supporto: Per una nuova classe di oggetti, viene fornito un piccolo insieme di immagini di supporto ($K$ campioni). I pixel di sfondo vengono rimossi (mascherati) in modo che il modello si concentri esclusivamente sull'oggetto.
2. Estrazione delle Caratteristiche: Un Vision Foundation Model (nello specifico DINOv2/v3) estrae gli embedding delle caratteristiche dalle immagini di supporto. La rappresentazione globale viene presa dal token CLS.
3. Generazione del Prototipo: Gli embedding delle caratteristiche normalizzati dei campioni di supporto vengono mediati per creare un singolo prototipo di classe ($p_c$) nello spazio degli embedding. Questo funge da "centroide" per quella classe.
   • Vantaggio Chiave: Nessun parametro del modello viene aggiornato; le nuove classi vengono aggiunte semplicemente calcolando nuovi centroidi.

B. Inferenza Online (Rilevazione della Scena)

1. Generazione di Proposte Agnostiche alla Classe: Un Vision Foundation Model basato sulla segmentazione (SAM - Segment Anything Model) elabora l'immagine della scena di query per generare maschere di oggetti agnostiche alla classe. Queste maschere vengono convertite in bounding box.
   • Perché SAM? Identifica i confini generici degli oggetti senza pregiudizi verso classi di addestramento specifiche, rendendolo robusto agli oggetti non visti.
2. Estrazione delle Caratteristiche: Lo stesso modello DINO estrae gli embedding delle caratteristiche per ogni regione di oggetto proposta (ritagliata dalla scena).
3. Matching Basato sulla Similarità:
   • L'embedding di ogni proposta viene confrontato con tutti i prototipi di classe archiviati utilizzando la Similarità del Coseno.
   • La classe con il punteggio di similarità più alto viene assegnata alla proposta.
4. Fiducia e Filtraggio:
   • Viene calcolato un punteggio di filtraggio combinando la similarità massima ($s_{max}$) e una probabilità softmax ($p_{max}$).
   • Le proposte al di sotto di una soglia $\tau$ vengono scartate.
   • Viene calcolato un punteggio di similarità corretta dalla media per affinare la fiducia basandosi sulla separazione tra la corrispondenza migliore e le altre classi.
   • Viene applicata una Soppressione Non Massima (NMS) per classe per rimuovere rilevazioni duplicate.

3. Contributi Chiave

1. Framework Senza Addestramento: L'approccio DPM-VFM richiede nessun re-addestramento o affinamento per nuove classi di oggetti. I nuovi oggetti vengono inseriti istantaneamente calcolando i prototipi da alcune immagini di riferimento.
2. Architettura Disaccoppiata: Separa la localizzazione (tramite SAM) e l'identificazione (tramite Matching dei Prototipi), evitando il pregiudizio intrinseco nei rilevatori end-to-end che apprendono proposte specifiche per le classi base.
3. Operatività Senza CAD: A differenza di metodi come CNOS o SAM-6D che si basano su template renderizzati CAD, questo metodo funziona direttamente da campioni di immagini reali, rendendolo altamente flessibile per scenari in cui i modelli CAD non sono disponibili.
4. Robustezza alle Sfide Industriali: Il metodo è specificamente progettato per gestire oggetti a bassa texture, forte occlusione e similarità geometriche comuni nel picking binario industriale e nella manifattura.

4. Risultati Sperimentali

Il metodo è stato valutato su tre dataset industriali della track BOP (Benchmark for 6D Object Pose Estimation): ITODD, IPD e XYZ-IBD.

• Prestazioni: DPM-VFM ha raggiunto una Media AP di 44,63 (utilizzando SAMv1 + DINOv3), superando i metodi senza addestramento all'avanguardia come CNOS (30,2 Media AP) e SAM-6D (37,7 Media AP).
• Miglioramento: Ha dimostrato un miglioramento del 6,9% in AP rispetto ai migliori metodi di rilevazione senza addestramento esistenti.
• Specifiche del Dataset:
  • IPD & XYZ-IBD: Il metodo ha mostrato guadagni significativi, in particolare nella gestione di condizioni di illuminazione variabili e forti occlusioni.
  • ITODD: Prestazioni leggermente inferiori rispetto a IPD/XYZ-IBD, attribuite alla difficoltà di distinguere forme geometriche molto simili (ad esempio, diversi tipi di staffe) quando sono parzialmente occluse.
• Studi di Ablazione:
  • Varianti del Modello: I modelli più grandi hanno generalmente performato meglio. La combinazione di SAMv1 (ViT-H) per la segmentazione e DINOv3 (ViT-L/16) per l'estrazione delle caratteristiche ha prodotto i migliori risultati.
  • Iperparametri: Il sistema è risultato robusto a variazioni moderate nelle soglie di filtraggio ($\tau$) e nelle soglie NMS, con prestazioni ottimali a $\tau=0,4$ e NMS=0,5.
  • Analisi dello Spazio delle Caratteristiche: Le visualizzazioni t-SNE hanno confermato che gli embedding del foundation model raggruppano naturalmente gli oggetti per classe e raggruppano anche classi geometricamente simili (ad esempio, diversi tipi di staffe) vicino tra loro, validando la coerenza semantica delle caratteristiche.

5. Significato e Conclusione

Il paper presenta un cambiamento di paradigma per la rilevazione di oggetti industriali sfruttando le capacità di generalizzazione dei Vision Foundation Models.

• Impatto Pratico: La capacità di inserire nuovi oggetti utilizzando solo poche immagini, senza modelli CAD o grandi dataset, rende questo approccio ideale per ambienti manifatturieri dinamici dove le linee di prodotto cambiano frequentemente.
• Scalabilità: La natura disaccoppiata del sistema permette una scalabilità infinita nel numero di classi di oggetti senza degradare le prestazioni del modulo di localizzazione.
• Direzioni Future: Gli autori suggeriscono di estendere il framework per incorporare informazioni di profondità (multi-vista) per una migliore robustezza e integrarlo con compiti a valle come la stima della posa 6D e la manipolazione robotica per creare pipeline complete di percezione-azione.

In sintesi, DPM-VFM colma efficacemente il divario tra la natura affamata di dati del deep learning e la realtà scarsa di dati dell'automazione industriale, offrendo una soluzione robusta, flessibile e ad alte prestazioni per la rilevazione di oggetti con pochi esempi.