Clutter-Robust Vision-Language-Action Models through Object-Centric and Geometry Grounding

OBEYED-VLA es un nuevo marco de modelos de visión-lenguaje-acción que mejora la robustez en la manipulación robótica al separar la percepción de la acción mediante un módulo que fundamenta las observaciones en objetos específicos y su geometría 3D, evitando distracciones por desorden o cambios en el entorno.

Lo esencial

El Problema: El Robot "Distraído" 🤖😵‍💫

Imagina que le pides a un amigo: "Pásame la botella de ketchup que está en la mesa". Pero la mesa está llena de cosas: latas de spam, frascos de mostaza, servilletas y hasta un fondo con dibujos de dinosaurios.

Si tu amigo es un robot convencional (un modelo VLA actual), lo más probable es que pase una de estas tres cosas:

1. Se distrae: Ve una lata de spam brillante y, como le gusta mucho, ¡la agarra en lugar del ketchup!
2. Se confunde con el decorado: Si cambias el mantel por uno de colores, el robot se bloquea porque "el mundo ya no se parece al que conocía".
3. Es un "obediente ciego": Si le dices "Pásame la salsa de mayonesa" pero no hay mayonesa en la mesa, el robot, en su afán de complacerte, agarra cualquier cosa que vea. No sabe decir "no hay".

¿Por qué pasa esto? Porque estos robots intentan "ver" y "actuar" al mismo tiempo, como si intentaran leer un libro y correr una maratón simultáneamente. Al final, no prestan suficiente atención a lo que realmente importa.

---

La Solución: El Sistema "OBEYED-VLA" (El Filtro Inteligente) 👓✨

Los investigadores crearon un sistema llamado OBEYED-VLA. En lugar de dejar que el robot vea todo el caos de la mesa de golpe, le han dado un par de "lentes inteligentes" que funcionan en dos pasos:

1. El "Filtro de Atención" (Grounding de Objetos) 🔍

Imagina que tienes un resaltador fluorescente. Antes de que el robot mueva un dedo, un módulo de inteligencia visual analiza la instrucción y la imagen. Si la orden es "Ketchup", el sistema busca el ketchup y "resalta" solo ese objeto, borrando mentalmente todo lo demás (la mostaza, las latas, el fondo).

• La analogía: Es como cuando estás en una fiesta ruidosa pero logras concentrarte solo en la voz de la persona que te está hablando, ignorando la música y los gritos.

2. El "Escáner 3D" (Grounding Geométrico) 📐

Una vez que el robot sabe qué objeto es, no se queda solo con el color o la marca (porque eso puede engañarlo). En su lugar, crea un mapa de relieve o profundidad.

• La analogía: Es como si, en lugar de mirar una foto de una taza, cerraras los ojos y usaras tus manos para sentir su forma, su altura y su volumen. Al robot ya no le importa si la botella es roja o tiene un dibujo de un dinosaurio; lo que le importa es su forma física para poder agarrarla correctamente.

---

¿Por qué es esto una revolución? 🚀

Gracias a este sistema de "ver con intención", el robot se vuelve increíblemente robusto:

• No se deja engañar: Si hay 7 objetos distractores, el robot los ignora como si fueran fantasmas.
• Sabe decir "No": Si le pides algo que no está en la mesa, el robot se queda quieto. ¡Ya no es un obediente ciego!
• Es un experto en lo nuevo: Aunque nunca haya visto una botella de aceite específica en su entrenamiento, como ahora se fija en la forma (geometría) y no solo en el color, puede manipular objetos nuevos sin problemas.
• No le importa el decorado: Puedes cambiar el mantel o el fondo de la habitación, y el robot seguirá enfocado en su objetivo.

En resumen... 📝

En lugar de decirle al robot: "Mira todo y actúa", los científicos le dicen: "Primero identifica qué es lo importante, luego siente su forma, y solo entonces, muévete". Es pasar de un robot que reacciona al caos, a un robot que entiende su entorno.

Resumen técnico

Resumen Técnico: OBEYED-VLA

Título original: Clutter-Robust Vision–Language–Action Models through Object-Centric and Geometry Grounding

1. El Problema: La fragilidad de los modelos VLA monolíticos

Los modelos actuales de Visión-Lenguaje-Acción (VLA), como OpenVLA o Pi-0, intentan unificar la percepción y el control en un único flujo de trabajo (pipeline) de extremo a extremo (end-to-end). El problema fundamental es que, al optimizar estos modelos exclusivamente para la predicción de acciones, la capacidad de anclaje visual (visual grounding) basada en lenguaje se degrada.

En entornos reales con desorden (clutter), los modelos VLA presentan tres fallos críticos:

• Sensibilidad a distractores: Se distraen con objetos irrelevantes en la escena.
• Sobre-agarre (Over-grasping): Ejecutan acciones de agarre incluso cuando el objeto solicitado no está presente (incapacidad de rechazar instrucciones inconsistentes).
• Sobreajuste al fondo: Dependen de texturas o colores del fondo en lugar de la geometría del objeto, lo que los hace vulnerables a cambios en la iluminación o el entorno.

2. Metodología: El marco OBEYED-VLA

Para solucionar esto, los autores proponen OBEYED-VLA, un marco jerárquico que desacopla explícitamente la percepción del razonamiento de acción. En lugar de alimentar al modelo con imágenes RGB crudas, el sistema transforma las observaciones en representaciones centradas en el objeto y conscientes de la geometría.

El módulo de percepción se divide en dos etapas principales:

• Anclaje Centrado en el Objeto (Object-Centric Grounding):

  1. Propuesta de segmentación: Utiliza un modelo YOLO11-Seg para identificar candidatos de objetos y el brazo robótico.
  2. Razonamiento con VLM: Emplea un modelo de lenguaje visual (Qwen3-VL) con una estrategia de set-of-mark (marcas numéricas sobre los objetos). El VLM identifica qué objetos son relevantes para la instrucción (ej. "la botella de ketchup") y descarta los distractores.
  3. Emparejamiento entre vistas (Cross-view matching): Para evitar errores por cambios de ángulo, utiliza las regiones identificadas en la cámara base como "anclas visuales" para localizar los mismos objetos en la cámara de la muñeca (wrist camera).

• Anclaje Geométrico (Geometric Grounding):
  Una vez identificados los objetos relevantes, el sistema utiliza un estimador de profundidad (Depth Anything v2) para convertir esas regiones en mapas de profundidad. Esto permite que el modelo VLA trabaje con la estructura 3D del objeto, ignorando colores, texturas o cambios en el fondo que podrían causar distracciones.

Entrenamiento: Una ventaja clave es que el VLA solo se ajusta (fine-tuning) con demostraciones de un solo objeto en entornos limpios. No requiere datos sintéticos de desorden ni etiquetas de percepción adicionales, ya que la robustez la aporta el módulo de percepción pre-entrenado y congelado.

3. Contribuciones Clave

• Desacoplamiento Percepción-Control: Introduce un módulo de percepción modular y congelado que puede integrarse con cualquier modelo VLA existente.
• Robustez sin datos de desorden: Logra que un modelo entrenado en entornos limpios funcione con éxito en entornos altamente desordenados.
• Eficiencia de inferencia: Mediante técnicas de paralelización y "gating" (solo llamar al VLM cuando la escena cambia significativamente), el sistema mantiene una latencia adecuada para la manipulación en tiempo real.

4. Resultados Principales

Los experimentos con un robot UR10e demostraron que OBEYED-VLA supera significativamente a los modelos de estado del arte (como Pi-0 y Gr00T) en cuatro escenarios:

1. Objetos distractores: Mientras que los modelos VLA estándar colapsan al aumentar el número de distractores, OBEYED-VLA mantiene tasas de éxito superiores al 80% incluso con 7 distractores.
2. Rechazo de objetivos ausentes: OBEYED-VLA logra casi un 95% de éxito al no actuar cuando el objeto solicitado no está presente, mientras que los modelos base suelen intentar agarrar cualquier cosa.
3. Cambios de fondo: El modelo es altamente robusto a cambios de color en la mesa o fondos nuevos, ya que se enfoca en la geometría y no en la apariencia visual.
4. Generalización a objetos no vistos: El sistema puede manipular objetos que nunca vio durante el entrenamiento, demostrando una capacidad de transferencia superior gracias al anclaje semántico y geométrico.

5. Significado y Conclusión

La importancia de este trabajo radica en cambiar el paradigma de los modelos VLA: la robustez no debe venir de escalar el conjunto de datos de entrenamiento con todo tipo de desorden, sino de mejorar la calidad de la percepción que recibe el modelo. Al tratar la percepción como un componente explícito y centrado en objetos, se permite que el razonamiento de acción sea mucho más preciso, generalizable y resistente a las imperfecciones del mundo real.