Identifying the Unknown: Prompt-Free Open Vocabulary Anomaly Recognition for Robot-Object Interaction

Resumen Técnico: AnomNOVIC – Reconocimiento de Anomalías de Vocabulario Abierto Libre de Prompts

Planteamiento del Problema
Los agentes robóticos que operan en entornos reales y no estructurados se enfrentan a un cuello de botella crítico: la incapacidad de percibir y reconocer visualmente objetos previamente no vistos en tiempo real. Aunque los Modelos de Lenguaje de Gran Escala (LLMs) han avanzado en el razonamiento de alto nivel, dependen de sistemas de percepción visual que suelen estar limitados. Los detectores de objetos de vocabulario abierto existentes generalmente se dividen en dos categorías con limitaciones significativas:

1. Modelos con Prompts (Instrucciones): Sistemas como ViLD, OWLv2 y YOLO-World requieren una lista predefinida de clases de objetos candidatas en el momento de la inferencia. Esta restricción de "prompting" limita severamente la utilidad práctica, ya que un robot no puede detectar objetos para los cuales no se le ha instruido explícitamente para buscar, y estos modelos suelen fallar de forma poco elegante (produciendo falsos positivos) al encontrar objetos novedosos.
2. Apertura Limitada: Incluso los modelos "libres de prompts" suelen sufrir de vocabularios activos limitados debido al entrenamiento en conjuntos de datos con una cobertura de conceptos restringida (por ejemplo, YOLOE depende de un vocabulario fijo de aproximadamente 4,585 etiquetas). Además, muchos modelos existentes no pueden localizar simultáneamente múltiples objetos y asignar etiquetas de forma libre y detallada, una capacidad crucial para la manipulación robótica.

Metodología: El Marco de Trabajo AnomNOVIC
Los autores proponen AnomNOVIC, un marco de trabajo de dos etapas, libre de prompts, diseñado para espacios de trabajo conocidos (por ejemplo, la mesa de un robot). El sistema desacopla la localización de objetos de la clasificación para lograr una detección imparcial de cualquier objeto novedoso.

• Etapa 1: Localización Agnóstica a la Clase mediante Detección de Anomalías

  • Arquitectura: Un Autoencoder de Máscara (MAE) de un Vision Transformer (ViT) se entrena exclusivamente con imágenes del espacio de trabajo vacío del robot (la "línea base normativa").
  • Estrategia de Entrenamiento: El MAE se entrena para reconstruir la escena. Para enseñar al modelo a identificar objetos como anomalías, se emplea una estrategia de aumento de "pegado de objetos": se pegan anomalías sintéticas en las imágenes de entrenamiento pero se omiten de la reconstrucción objetivo. En consecuencia, el MAE aprende a reconstruir el fondo mientras ignora (y por lo tanto marca) los objetos pegados.
  • Salidas: El decodificador se extiende para producir tres salidas alineadas: una imagen RGB reconstruida, una máscara de la mesa binaria y una máscara de anomalía.
  • Inferencia: Durante la inferencia, los objetos presentes en la mesa son tratados como anomalías porque no estaban en la distribución de entrenamiento. El sistema calcula un mapa de error de reconstrucción y una máscara de anomalía. Estos se fusionan, filtran y procesan (opcionalmente refinados por SAM 2.1) para generar cajas delimitadoras agnósticas a la clase para todos los objetos detectados.

• Etapa 2: Clasificación Libre de Prompts mediante NOVIC

  • Arquitectura: Las regiones de interés (RoIs) recortadas identificadas en la Etapa 1 se pasan a NOVIC, un clasificador de imágenes de vocabulario abierto en tiempo real.
  • Mecanismo: A diferencia de los modelos con prompts, NOVIC genera etiquetas de sustantivos de objetos de forma libre sin requerir una lista de clases candidatas. Aprovecha un modelo CLIP preentrenado y un decodificador de clasificación entrenado en un conjunto de datos de texto sintético masivo y controlable en contenido, que cubre una taxonomía de sustantivos de objetos casi sin restricciones (~43K).
  • Puntuación: La puntuación de confianza final combina la probabilidad de predicción de NOVIC con la confianza de la anomalía derivada del error de reconstrucción del MAE y las salidas de la máscara.

Contribuciones Clave

1. Detección de Vocabulario Abierto Libre de Prompts: AnomNOVIC es el primer marco que integra con éxito un potente clasificador libre de prompts (NOVIC) con un pipeline de localización agnóstica a la clase, permitiendo la detección y el etiquetado de objetos sin listas de clases predefinidas.
2. Localización Basada en Anomalías: Al enmarcar la detección de objetos como una tarea de detección de anomalías dentro de un espacio de trabajo conocido, el sistema evita el sesgo de vocabulario. Utiliza el principio de que "cualquier cosa que no pertenezca" es un objeto, lo que permite el descubrimiento de objetos de cualquier forma, textura o novedad.
3. Conjunto de Datos y Benchmarking: Los autores introducen una colección de datos desafiante para el robot humanoide NICOL, incluyendo escenarios de mesa "planos" y con "distractores", así como un conjunto de prueba "Wild" con 48 objetos únicos del mundo real.
4. Adaptación del Modelo: El trabajo detalla el reentrenamiento y el umbral de frecuencia de las variantes de NOVIC (N-FT0, N-FT2) ajustadas específicamente para el entorno de laboratorio del robot, demostrando que el reponderado de datos mejora el rendimiento en escenarios específicos de conjunto abierto.

Resultados Experimentales
Evaluado en el entorno de la mesa de NICOL y el conjunto de datos Wild, AnomNOVIC supera significativamente a los modelos de referencia del estado del arte, incluyendo YOLOE (el único modelo de referencia libre de prompts disponible), OWLv2 y YOLO-World-v2.

• Rendimiento Libre de Prompts: En el conjunto de datos "plain", AnomNOVIC-S (con refinamiento SAM) logra un 47.1% de AP y un 57.5% de AP50, comparado con el 20.4% de AP de YOLOE. En el conjunto de datos Wild, alcanza hasta un 82.6% de precisión en detección y clasificación, superando ampliamente el 14.2% de YOLOE.
• Rendimiento con Prompts: Cuando se proporcionan candidatos de clase, AnomNOVIC alcanza un 59.0% de AP y un 72.5% de AP50, duplicando nuevamente el rendimiento de los competidores con prompts más fuertes (por ejemplo, YOLO-World-v2-X).
• Superioridad Cualitativa: El sistema demuestra la capacidad de proporcionar clasificaciones detalladas y correctas (por ejemplo, "medalla de plata", "amplificador de audio") donde los modelos de referencia con prompts frecuentemente producen falsos positivos de alta confianza o fallan al detectar elementos novedosos.

Significancia y Reivindicaciones
El artículo afirma que AnomNOVIC aborda la "fuerte restricción" de los modelos con prompts, la cual socava la ventaja principal de la detección de vocabulario abierto al limitar a los robots a clases conocidas. Al desacoplar la localización de la clasificación y utilizar la detección de anomalías, el sistema permite a los robots interactuar con "objetos totalmente novedosos durante el tiempo de ejecución".

Los autores posicionan este trabajo como un paso hacia "robots semánticamente conscientes" capaces de percibir e interactuar con entornos de código abierto. Enfatizan que el enfoque es particularmente efectivo para espacios de trabajo conocidos (como la mesa de un robot) donde se puede establecer una línea base normativa, permitiendo el descubrimiento imparcial y en tiempo real de lo desconocido sin necesidad de un ajuste fino específico de la tarea o prompts de clase. Los resultados sugieren que combinar la detección de anomalías basada en la reconstrucción con la clasificación sin restricciones es un camino viable hacia una verdadera autonomía de mundo abierto en la robótica.