Decoupled Object-Centric Video Understanding for Generating Robotic Manipulation Commands

Resumen Técnico: Comprensión de Video Centrada en Objetos y Desacoplada para la Generación de Comandos de Manipulación Robótica

Declaración del Problema
La traducción de demostraciones de video en comandos robóticos ejecutables se ve obstaculizada por la incapacidad de los métodos existentes para identificar con precisión qué objetos están involucrados funcionalmente en una acción demostrada. Los enfoques actuales suelen fallar al distinguir entre objetos relevantes para la tarea y distractores de la escena o cambios incidentales. En consecuencia, los comandos generados pueden ser lingüísticamente plausibles pero operativamente ambiguos, particularmente en escenas con desorden o bajo oclusión. Además, aunque el modelado temporal es esencial para el reconocimiento de acciones, es insuficiente para la identificación de objetos, la cual requiere un análisis visual localizado a nivel de instancia. La aplicación directa de Modelos de Lenguaje-Visión (VLM) a fotogramas de video completos suele derivar en referencias de objetos inconsistentes debido a la incapacidad de filtrar el ruido de la escena.

Metodología
Los autores proponen un marco de comprensión de video desacoplado y centrado en objetos que separa el reconocimiento de acciones de la identificación de objetos para generar comandos de manipulación precisos y libres de gramática (por ejemplo, "poner manzana en tazón"). La arquitectura consta de dos ramas paralelas:

1. Rama de Representación de Acción (ARB):

   • Entrada: Fotogramas de video submuestreados para reducir la redundancia y estabilizar la distribución de la entrada.
   • Mecanismo: Utiliza un backbone ResNet aumentado con Módulos de Desplazamiento Temporal (TSM). El TSM permite un intercambio eficiente de características espacio-temporales mediante el desplazamiento de canales de características a lo largo de la dimensión temporal sin añadir parámetros ni costo computacional.
   • Salida: Clasificación de primitivas de manipulación (por ejemplo, tocar, recoger, empujar, verter, soltar) utilizando un clasificador lineal entrenado con pérdida de entropía cruzada.

2. Rama Sensible a Objetos:

   • Extracción de Fotogramas Clave: Selecciona fotogramas con cambios visuales significativos (alta saliencia de movimiento) para evitar el desenfoque de movimiento y oclusiones estáticas, filtrando periodos irrelevantes.
   • Detección y Seguimiento de Objetos: Utiliza un detector de Interacción Humano-Objeto (HOI) para identificar los objetos con los que se interactúa y rastrearlos a través de los fotogramas para generar trayectorias.
   • Algoritmo de Selección de Objetos: Un proceso novedoso de dos etapas para identificar instancias relevantes para la tarea:
     • Clasificación de Rol Funcional: Analiza las trayectorias de movimiento para categorizar los objetos en conjuntos de Recogibles (alto desplazamiento y varianza vertical) y Colocables (contenedores/superficies estacionarias). Esto está diseñado principalmente para interacciones de tipo transferencia.

• Selección de Calidad de Instancia: Dentro de cada rol, selecciona la instancia de objeto óptima maximizando la nitidez visual (varianza de Laplaciano) y minimizando la oclusión de la mano (Intersección sobre Unión con los cuadros delimitadores de la mano).
  * Reconocimiento de Objetos: Los recortes de los objetos seleccionados se introducen en un Modelo de Lenguaje-Visión (VLM) (específicamente LLaVA) utilizando un prompt fijo para predecir etiquetas de categoría. Esto permite la generalización zero-shot a nuevas categorías de objetos sin reentrenamiento.

Contribuciones Clave

1. Marco Desacoplado: Una arquitectura novedosa que separa la clasificación de acciones de la identificación de objetos, permitiendo el diseño y la evaluación independiente de cada componente.
2. Pipeline de Selección Centrado en Objetos: Un algoritmo guiado por trayectoria que clasifica los objetos por rol funcional y filtra instancias basadas en la calidad visual y la oclusión, dirigido específicamente a la identificación de objetos relevantes para la tarea.
3. Integración de VLM para Generalización Zero-Shot: La integración de un VLM para el reconocimiento de objetos permite que el sistema se generalice a nuevas categorías de objetos (por ejemplo, frutas específicas o herramientas no vistas durante el entrenamiento) sin ajuste fino específico de la tarea.

Resultados Experimentales
El método fue evaluado en un conjunto de datos Something-Something V2 modificado que contiene 10 primitivas de manipulación robótica, así como en un conjunto de videos grabados por sí mismos para la generalización en el mundo real.

• Clasificación de Acción: Alcanzó un 86.79% de precisión Top-1 en el conjunto de prueba de referencia y un 68.15% en los videos grabados por sí mismos.
• Generación de Comandos (Objetos Estándar): Alcanzó una puntuación BLEU-4 de 0.337, superando al baseline más fuerte específico de la tarea (Watch-and-Act) en un 80.2%.
• Generación de Comandos (Objetos Nuevos): Alcanzó una puntuación BLEU-4 de 0.261, lo que representa una mejora del 143.9% sobre el baseline Watch-and-Act.
• Métricas Semánticas: El enfoque mostró ganancias significativas en METEOR (mejora del 157.9%) y CIDEr (mejora del 171.7%) en objetos nuevos en comparación con los baselines específicos de la tarea.
• Comparación con VLMs Generales: El método superó consistentemente a los baselines específicos de la tarea y se mantuvo competitivo con, o superó a, los grandes VLMs de propósito general (por ejemplo, Intern3.5VL-4B), manteniendo un diseño modular. Notablemente, la inferencia VLM end-to-end en fotogramas de video completos (sin la selección de objetos propuesta) funcionó deficientemente en objetos nuevos.

Significancia y Limitaciones
El artículo afirma que la principal significancia de este trabajo radica en su capacidad para generar comandos estructurados y sin ambigüedades al desacoplar explícitamente el "qué" (acción) del "cuál" (objeto). Este desacoplamiento permite que el sistema aproveche la capacidad de razonamiento temporal del TSM para las acciones y la capacidad de fundamentación semántica de los VLM para los objetos, resultando en un rendimiento robusto tanto en objetos estándar como en nuevos.

Los autores reconocen limitaciones específicas:

• El algoritmo de Selección de Objetos depende de una separación espacial clara entre los objetos y actualmente está restringido a interacciones que involucran como máximo dos objetos funcionalmente distintos.
• El rendimiento decae en escenarios con gran solapamiento, oclusión sostenida o interacción simultánea de tres o más objetos.
• Se propone trabajo futuro para abordar las interacciones de múltiples objetos utilizando clasificadores de trayectoria aprendidos e investigar el despliegue en tiempo real.