Identifying the Unknown: Prompt-Free Open Vocabulary Anomaly Recognition for Robot-Object Interaction

Résumé Technique : AnomNOVIC – Reconnaissance d'Anomalies à Vocabulaire Ouvert sans Prompt

Énoncé du Problème
Les agents robotiques opérant dans des environnements réels et non structurés sont confrontés à un goulot d'étranglement critique : l'incapacité de percevoir visuellement et de reconnaître des objets auparavant inconnus en temps réel. Bien que les grands modèles de langage (LLM) aient progressé dans le raisonnement de haut niveau, ils dépendent de systèmes de perception visuelle qui sont souvent contraints. Les détecteurs d'objets à vocabulaire ouvert existants se divisent généralement en deux catégories présentant des limitations significatives :

1. Modèles avec Prompt : Des systèmes tels que ViLD, OWLv2 et YOLO-World nécessitent une liste prédéfinie de classes d'objets candidates lors de l'inférence. Cette contrainte de « prompting » limite sévèrement l'utilité pratique, car un robot ne peut pas détecter des objets pour lesquels il n'a pas été explicitement instruit de chercher, et ces modèles échouent souvent de manière peu élégante (produisant des faux positifs) lorsqu'ils rencontrent des objets nouveaux.
2. Ouverture Limitée : Même les modèles « sans prompt » souffrent souvent de vocabulaires actifs limités en raison d'un entraînement sur des jeux de données à couverture conceptuelle restreinte (par exemple, YOLOE repose sur un vocabulaire fixe d'environ 4 585 étiquettes). De plus, de nombreux modèles existants ne peuvent pas simultanément localiser plusieurs objets et assigner des étiquettes précises et libres, une capacité cruciale pour la manipulation robotique.

Méthodologie : Le Cadre AnomNOVIC
Les auteurs proposent AnomNOVIC, un cadre à deux étapes, sans prompt, conçu pour des espaces de travail connus (par exemple, la table de travail d'un robot). Le système découple la localisation d'objets de la classification pour parvenir à une détection impartiale de tout nouvel objet.

• Étape 1 : Localisation Agnostique à la Classe via la Détection d'Anomalies

  • Architecture : Un Autoencodeur Masqué (MAE) basé sur un Vision Transformer (ViT) est entraîné exclusivement sur des images de l'espace de travail vide du robot (la « ligne de base normative »).
  • Stratégie d'Entraînement : Le MAE est entraîné pour reconstruire la scène. Pour apprendre au modèle à identifier les objets comme des anomalies, une stratégie d'augmentation par « collage d'objets » est employée : des anomalies synthétiques sont collées dans les images d'entraînement mais sont omises de la reconstruction cible. Par conséquent, le MAE apprend à reconstruire l'arrière-plan tout en ignorant (et donc en signalant) les objets collés.
  • Sorties : Le décodeur est étendu pour produire trois sorties alignées : une image RGB reconstruite, un masque de table binaire et un masque d'anomalie.
  • Inférence : Lors de l'inférence, les objets présents sur la table sont traités comme des anomalies car ils n'étaient pas dans la distribution d'entraînement. Le système calcule une carte d'erreur de reconstruction et un masque d'anomalie. Ceux-ci sont fusionnés, filtrés et traités (éventuellement affinés par SAM 2.1) pour générer des boîtes englobantes agnostiques de la classe pour tous les objets détectés.

• Étape 2 : Classification sans Prompt via NOVIC

  • Architecture : Les régions d'intérêt (RoI) découpées identifiées à l'étape 1 sont transmises à NOVIC, un classificateur d'images à vocabulaire ouvert en temps réel.
  • Mécanisme : Contrairement aux modèles avec prompt, NOVIC génère des étiquettes de noms d'objets sous forme libre sans nécessiter de liste de classes candidates. Il exploite un modèle CLIP pré-entraîné et un décodeur de classification entraîné sur un immense jeu de données textuelles synthétiques contrôlables sur le contenu, couvrant une taxonomie de noms d'objets quasi illimitée (~43K).
  • Score : Le score de confiance final combine la probabilité de prédiction de NOVIC avec la confiance d'anomalie dérivée des sorties d'erreur de reconstruction et du masque du MAE.

Principales Contributions

1. Détection à Vocabulaire Ouvert sans Prompt : AnomNOVIC est le premier cadre réussissant à intégrer un puissant classificateur sans prompt (NOVIC) à un pipeline de localisation agnostique de la classe, permettant la détection et l'étiquetage d'objets sans aucune liste de classes prédéfinie.
2. Localisation Basée sur l'Anomalie : En formulant la détection d'objets comme une tâche de détection d'anomalies au sein d'un espace de travail connu, le système évite le biais de vocabulaire. Il utilise le principe selon lequel « tout ce qui n'appartient pas au milieu » est un objet, permettant la découverte d'objets de toute forme, texture ou nouveauté.
3. Jeu de Données et Évaluation : Les auteurs introduisent une collecte de données complexe pour le robot humanoïde NICOL, incluant des scénarios de tabletop « simples » et avec « distracteurs », ainsi qu'un ensemble de test « Wild » avec 48 objets uniques rencontrés dans la nature.
4. Adaptation du Modèle : Le travail détaille le réentraînement et le seuillage de fréquence des variantes de NOVIC (N-FT0, N-FT2) spécifiquement ajustées pour l'environnement de laboratoire du robot, démontrant que le repondération des données améliore les performances dans des scénarios d'ensemble ouvert spécifiques.

Résultats Expérimentaux
Évalué sur l'environnement de tabletop NICOL et le jeu de données Wild, AnomNOVIC surpasse de manière significative les bases de référence de l'état de l'art, incluant YOLOE (la seule base de référence disponible sans prompt), OWLv2 et YOLO-World-v2.

• Performance sans Prompt : Sur le jeu de données « plain », AnomNOVIC-S (avec raffinement SAM) atteint 47,1 % AP et 57,5 % AP50, contre 20,4 % AP pour YOLOE. Sur le jeu de données « Wild », il atteint jusqu'à 82,6 % de précision de détection et de classification, dépassant largement les 14,2 % de YOLOE.
• Performance avec Prompt : Lorsque des candidats de classe sont fournis, AnomNOVIC atteint 59,0 % AP et 72,5 % AP50, doublant à nouveau les performances des concurrents promptés les plus forts (ex: YOLO-World-v2-X).
• Supériorité Qualitative : Le système démontre sa capacité à fournir des classifications fines et correctes (ex: « médaille d'argent », « amplificateur audio ») là où les bases de référence avec prompt produisent fréquemment des faux positifs à haute confiance ou échouent à détecter des articles nouveaux.

Signification et Revendications
L'article affirme qu'AnomNOVIC remédie à la « contrainte forte » des modèles avec prompt, qui mine l'avantage principal de la détection à vocabulaire ouvert en limitant les robots aux classes connues. En découplant la localisation de la classification et en utilisant la détection d'anomalies, le système permet aux robots d'interagir avec des « objets totalement nouveaux au moment de l'exécution ».

Les auteurs positionnent ce travail comme une étape vers des « robots conscients sémantiquement » capables de percevoir et d'interagir avec des environnements ouverts. Ils soulignent que l'approche est particulièrement efficace pour les espaces de travail connus (comme la table d'un robot) où une ligne de base normative peut être établie, permettant la découverte non biaisée et en temps réel de l'inconnu sans nécessiter de réglage fin spécifique à la tâche ou de prompts de classe. Les résultats suggèrent que la combinaison de la détection d'anomalies basée sur la reconstruction et d'une classification sans contraintes est une voie viable vers une véritable autonomie en monde ouvert pour la robotique.