Identifying the Unknown: Prompt-Free Open Vocabulary Anomaly Recognition for Robot-Object Interaction

Sintesi Tecnica: AnomNOVIC – Riconoscimento di Anomalie Open-Vocabulary Senza Prompt

Problematica
Gli agenti robotici che operano in ambienti reali e non strutturati affrontano un collo di bottiglia critico: l'incapacità di percepire visivamente e riconoscere oggetti precedentemente non visti in tempo reale. Sebbene i Large Language Models (LLM) abbiano fatto progressi nel ragionamento di alto livello, essi si affidano a sistemi di percezione visiva che sono spesso limitati. Gli esistenti rilevatori di oggetti open-vocabulary si dividono generalmente in due categorie con significativi limiti:

1. Modelli con Prompt: Sistemi come ViLD, OWLv2 e YOLO-World richiedono un elenco predefinito di classi di candidati al momento dell'inferenza. Questo vincolo di "prompting" limita severamente l'utilità pratica, poiché un robot non può rilevare oggetti per i quali non è stato esplicitamente istruito a cercare, e questi modelli spesso falliscono in modo non elegante (producendo falsi positivi) quando incontrano oggetti nuovi.
2. Apertura Limitata: Anche i modelli "senza prompt" soffrono spesso di vocabolari attivi limitati a causa dell'addestramento su dataset con una copertura concettuale ristretta (ad esempio, YOLOE si basa su un vocabolario fisso di circa 4.585 tag). Inoltre, molti modelli esistenti non possono simultaneamente localizzare più oggetti e assegnare etichette a forma libera e granulari, una capacità cruciale per la manipolazione robotica.

Metodologia: Il Framework AnomNOVIC
Gli autori propongono AnomNOVIC, un framework a due stadi, privo di prompt, progettato per workspace noti (ad esempio, il tavolo di un robot). Il sistema disaccoppia la localizzazione degli oggetti dalla classificazione per ottenere un rilevamento imparziale di qualsiasi oggetto nuovo.

• Stadio 1: Localizzazione Class-Agnostic tramite Rilevamento di Anomalie

  • Architettura: Un Vision Transformer (ViT) Masked Autoencoder (MAE) viene addestrato esclusivamente su immagini dello spazio di lavoro vuoto del robot (la "baseline normativa").
  • Strategia di Addestramento: L'MAE è addestrato per ricostruire la scena. Per insegnare al modello a identificare gli oggetti come anomalie, viene impiegata una strategia di aumento tramite "incollamento di oggetti" (object pasting): anomalie sintetiche vengono incollate nelle immagini di addestramento ma omesse dalla ricostruzione target. Di conseguenza, l'MAE impara a ricostruire lo sfondo ignorando (e quindi segnalando) gli oggetti incollati.
  • Output: Il decoder è esteso per produrre tre output allineati: un'immagine RGB ricostruita, una maschera binaria del tavolo e una maschera di anomalia.
  • Inferenza: Durante l'inferenza, gli oggetti presenti sul tavolo sono trattati come anomalie perché non erano presenti nella distribuzione di addestramento. Il sistema calcola una mappa dell'errore di ricostruzione e una maschera di anomalia. Queste vengono fuse, filtrate e processate (opzionalmente perfezionate da SAM 2.1) per generare bounding box class-agnostic per tutti gli oggetti rilevati.

• Stadio 2: Classificazione Senza Prompt tramite NOVIC

  • Architettura: Le regioni di interesse (RoI) ritagliate identificate nello Stadio 1 vengono passate a NOVIC, un classificatore di immagini open-vocabulary in tempo reale.
  • Meccanismo: A differenza dei modelli con prompt, NOVIC genera etichette di nomi di oggetti a forma libera senza richiedere una lista di classi candidate. Sfrutta un modello CLIP pre-addestrato e un decoder di classificazione addestrato su un massiccio dataset di testo sintetico controllabile nei contenuti, che copre una tassonomia quasi illimitata di nomi di oggetti (~43K).
  • Scoring: Il punteggio di confidenza finale combina la probabilità di predizione di NOVIC con la confidenza dell'anomalia derivata dalle mappe di errore di ricostruzione e dalle maschere dell'MAE.

Contributi Chiave

1. Rilevamento Open-Vocabulary Senza Prompt: AnomNOVIC è il primo framework che integra con successo un potente classificatore senza prompt (NOVIC) con una pipeline di localizzazione class-agnostic, consentendo il rilevamento e l'etichettatura di oggetti senza alcuna lista di classi predefinite.
2. Localizzazione Basata su Anomalie: Inquadrando il rilevamento degli oggetti come un compito di rilevamento delle anomalie all'interno di uno spazio di lavoro noto, il sistema evita il bias del vocabolario. Utilizza il principio secondo cui "tutto ciò che non appartiene" è un oggetto, permettendo la scoperta di oggetti di qualsiasi forma, texture o novità.
3. Dataset e Benchmarking: Gli autori introducono una collezione di dataset impegnativa per il robot umanoide NICOL, inclusi scenari da tavolo "plain" (semplici) e "distractor" (con elementi di disturbo), oltre a un set di test "Wild" con 48 oggetti unici in contesti reali.
4. Adattamento del Modello: Il lavoro dettaglia il riaddestramento e il monitoraggio della frequenza delle varianti di NOVIC (N-FT0, N-FT2) specificamente tarate per l'ambiente di laboratorio del robot, dimostmando che il riponderamento del dataset migliora le prestazioni in specifici scenari open-set.

Risultati Sperimentali
Valutato sull'ambiente per tavolo NICOL e sul dataset Wild, AnomNOVIC supera significativamente i baseline allo stato dell'arte, inclusi YOLOE (l'unico baseline disponibile senza prompt), OWLv2 e YOLO-World-v2.

• Prestazioni Senza Prompt: Sul dataset plain, AnomNOVIC-S (con raffinamento SAM) raggiunge il 47,1% AP e il 57,5% AP50, rispetto al 20,4% AP di YOLOE. Sul dataset Wild, raggiunge fino all'82,6% di accuratezza in rilevamento e classificazione, superando di gran lunga il 14,2% di YOLOE.
• Prestazioni Con Prompt: Quando vengono forniti i candidati di classe, AnomNOVIC raggiunge il 59,0% AP e il 72,5% AP50, raddoppando nuovamente le prestazioni dei più forti competitor con prompt (ad esempio, YOLO-World-v2-X).
• Superiorità Qualitativa: Il sistema dimostra la capacità di fornire classificazioni granulari e corrette (ad esempio, "medaglia d'argento", "amplificatore audio") dove i baseline con prompt producono frequentemente falsi positivi ad alta confidenza o falliscono nel rilevare elementi nuovi.

Significato e Rivendicazioni
L'articolo sostiene che AnomNOVIC affronti il "vincolo forte" dei modelli con prompt, che mina il vantaggio principale del rilevamento open-vocabulary limitando i robot alle sole classi note. Disaccoppiando la localizzazione dalla classificazione e utilizzando il rilevamento delle anomalie, il sistema consente ai robot di interagire con "oggetti totalmente nuovi durante l'esecuzione".

Gli autori posizionano questo lavoro come un passo verso "robot semanticamente consapevoli" capaci di percepire e interagire con ambienti aperti. Enfatizzano che l'approccio è particolarmente efficace per spazi di lavoro noti (come il tavolo di un robot) dove è possibile stabilire una baseline normativa, consentendo la scoperta non polarizzata e in tempo reale dell'ignoto senza la necessità di fine-tuning specifici per il compito o prompt di classe. I risultati suggeriscono che combinare il rilevamento delle anomalie basato sulla ricostruzione con la classificazione non vincolata sia una via percorribile verso una vera autonomia open-world nella robotica.