💻 computer science

Cross-View Action Consistency for Camera-Robust Vision-Language-Action Policies

Este artículo propone un método de consistencia de acción entre vistas que regulariza las políticas de Visión-Lenguaje-Acción basadas en flujo para lograr robustez frente a cambios en el punto de vista de la cámara de la escena utilizando únicamente imágenes RGB y propiocepción, mejorando significativamente el rendimiento tanto en tareas robóticas simuladas como en el mundo real sin requerir etiquetas de cámara ni entradas de profundidad.

Autores originales: Bingqi Huang, Bingchuan Wei, Xuan Wang, Yingkai Cai, Zhaokui Wang

Publicado 2026-09-15

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Bingqi Huang, Bingchuan Wei, Xuan Wang, Yingkai Cai, Zhaokui Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots que aprenden de las demostraciones humanas son cada vez más capaces, pero a menudo sufren una fragilidad peculiar: están ligados al punto de vista específico desde el cual fueron entrenados. Imagine un robot entrenado para recoger una taza mientras una cámara se encuentra en un estante sobre la mesa. Si esa cámara es golpeada, movida hacia un lado o elevada más alto, el robot puede fallar repentinamente, a pesar de que la taza, la mesa y el propio cuerpo del robot no se han movido en absoluto. Esto sucede porque el "cerebro" del robot, un tipo de inteligencia artificial que conecta lo que ve con lo que debe hacer, ha aprendido a reconocer la tarea basándose en el ángulo exacto de la cámara original. En el mundo real, las cámaras se golpean, los robots se mueven y la iluminación cambia, por lo que un sistema que no puede adaptarse a un cambio de punto de vista no es verdaderamente útil. Los investigadores han intentado resolver esto dotando a los robots de sensores más complejos, como cámaras de profundidad que ven en 3D, o enseñándoles a comprender la geometría de la habitación, pero estas soluciones suelen requerir hardware costoso o una calibración compleja que es difícil de mantener.

Un equipo de investigadores de la Universidad de Tsinghua y la Universidad de Ámsterdam ha encontrado una forma de hacer que las políticas robóticas sean robustas al movimiento de la cámara sin añadir nuevos sensores ni cambiar cómo opera el robot en el mundo real. Se centraron en un tipo específico de controlador robótico que aprende prediciendo un "flujo" de acciones, similar a cómo el agua fluye hacia un destino, en lugar de simplemente adivinar el siguiente movimiento. El núcleo de su descubrimiento es un método de entrenamiento que obliga al robot a estar de acuerdo consigo mismo. Crearon pares de imágenes de entrenamiento que muestran exactamente la misma escena física desde dos ángulos diferentes: uno desde la posición de la cámara original y otro desde una posición ligeramente desplazada. Crucialmente, se aseguraron de que se le indicara al robot que realizara exactamente la misma acción para ambas imágenes. Al entrenar al robot para que prediga el mismo flujo de movimiento para ambas vistas, le enseñaron a ignorar el cambio en la posición de la cámara y a concentrarse únicamente en la tarea en cuestión.

Los investigadores probaron esta idea en un entorno simulado utilizando un banco de pruebas llamado LIBERO-Plus, que está diseñado específicamente para ver qué tan bien manejan los robots los desplazamientos de cámara. Compararon su nuevo método con las técnicas de entrenamiento estándar. Cuando se movía la cámara, un robot entrenado con métodos estándar tenía éxito en solo un 17% de los intentos. Un robot entrenado en muchos ángulos de cámara diferentes sin su regla especial de consistencia mejoró a aproximadamente un 75% de éxito. Sin embargo, el robot entrenado con su nueva regla de consistencia entre vistas alcanzó una tasa de éxito del 87,2%. Esta mejora fue significativa y constante a través de diferentes puntos de partida aleatorios para el entrenamiento. Los investigadores también demostraron que el éxito dependía enteramente del hecho de que las dos imágenes mostraran el mismo estado físico. Cuando desordenaron los datos de entrenamiento para que el robot intentara emparejar una vista de una taza con una acción destinada a un estado diferente, el rendimiento colapsó hasta el 25,8%, demostrando que el robot no solo estaba suavizando sus respuestas, sino que realmente estaba aprendiendo a vincular diferentes vistas de la misma realidad con la misma acción.

Para asegurar que esto no fuera solo un resultado de la simulación por computadora, el equipo llevó su método a un brazo robótico real en un laboratorio. Recopilaron datos de entrenamiento utilizando tres cámaras sincronizadas que observaban la misma mesa, lo que les permitió crear los pares de vistas necesarios a partir del mundo real. Luego probaron el robot utilizando una sola cámara colocada en una posición que nunca había visto durante el entrenamiento. El robot entrenado con su nuevo método tuvo éxito en el 74,4% de estas pruebas de cámaras no vistas, mientras que el método estándar tuvo éxito en el 53,3%. La mejora fue más dramática en tareas difíciles, como retirar auriculares de un soporte, donde el método estándar falló completamente en las nuevas posiciones de la cámara, pero el nuevo método tuvo éxito en casi la mitad de los intentos. El estudio confirma que, al enseñar a un robot a ver la consistencia de sus propias acciones a través de diferentes ángulos, este puede volverse mucho más confiable en el mundo real, todo ello sin necesidad de cámaras adicionales, sensores de profundidad o mapas geométicos complejos. El robot simplemente aprende que la tarea sigue siendo la misma, incluso si la imagen cambia.

Resumen Técnico: Consistencia de Acción entre Vistas para Políticas de Visión-Lenguaje-Acción Robustas a la Cámara

Planteamiento del Problema

Las políticas de Visión-Lenguaje-Acción (VLA), particularmente aquellas ajustadas mediante demostraciones recolectadas con una cámara de escena fija, suelen fallar cuando la cámara se mueve, se golpea o se vuelve a montar, incluso si el estado físico de la tarea, la instrucción de lenguaje y la propiocepción del robot permanecen inalterados. Las soluciones existentes para este problema de robustez suelen alterar el contrato de inferencia al requerir sensores de profundidad, nubes de puntos, entradas multivista calibradas, etiquetas de cámara o arquitecturas conscientes de la geometría. Estos enfoques introducen dependencias de hardware o sobrecarga computacional en el despliegue.

Este artículo aborda el desafío de lograr la robustez de la perspectiva de la cámara de escena utilizando únicamente una única imagen RGB de la escena, instrucciones de lenguaje y el estado propioceptivo en la inferencia. El objetivo es evitar la degradación del rendimiento cuando la pose de la cámara cambia, sin depender de datos de profundidad, extrínsecos de la cámara o renderizado de nuevas vistas durante el despliegue.

Metodología: Consistencia de Acción-Flujo entre Vistas

El método propuesto introduce un objetivo de tiempo de entrenamiento que regulariza el campo de velocidad de acción-flujo directamente, en lugar de las representaciones de características intermedias. La idea central es que, para las políticas basadas en flujo, las acciones se generan integrando un campo de velocidad aprendido $v_\theta$ . Si dos vistas de cámara diferentes observan el mismo estado físico, la política debe predecir vectores de velocidad consistentes en las mismas coordenadas de flujo, lo que conduce a fragmentos de acción (action chunks) consistentes.

1. Pares Equivalentes de Acción

El método se basa en la construcción de pares de entrenamiento $(o_0, o_p, l, q, a)$ donde:

$o_0$ y $o_p$ son observaciones RGB del mismo estado físico $s$ renderizado desde una cámara nominal $c_0$ y una cámara perturbada $c_p$ .
$l$ (lenguaje), $q$ (propiocepción) y $a$ (fragmento de acción demostrado) son idénticos para ambas vistas.
En simulación, estos pares se generan reiniciando el entorno MuJoCo a estados almacenados y renderizando de nuevo. En robots reales, se recolectan utilizando configuraciones de cámaras múltiples sincronizadas que observan la misma marca de tiempo.
Crucialmente, el flujo de la cámara de la muñeca se enmascara tanto durante el entrenamiento como en la inferencia para evitar que la política utilice un atajo visual no perturbado.

2. Función de Pérdida

Para un par de vistas, la política predice campos de velocidad $v_0$ y $v_p$ en coordenadas de flujo muestreadas $(t_k, \epsilon_k)$ . La pérdida total $\mathcal{L}$ combina dos términos:

Emparejamiento de Flujo Estándar ( $\mathcal{L}_{FM}$ ): Ambas vistas son supervisadas para coincidir con el objetivo de acción demostrada $u_{t_k}$ .
$\mathcal{L}_{FM} = \frac{1}{2} (\|v_0 - u_{t_k}\|^2 + \|v_p - u_{t_k}\|^2)$
Consistencia entre Vistas ( $\mathcal{L}_{CV}$ ): Se busca que las velocidades predichas para las dos vistas concuerden en las dimensiones de acción activas.
$\mathcal{L}_{CV} = \|v_p[\cdot, : A_{act}] - v_0[\cdot, : A_{act}]\|^2$

El objetivo total es $\mathcal{L} = \frac{1}{K}\sum \mathcal{L}_{FM} + \lambda_{CV} \frac{1}{K}\sum \mathcal{L}_{CV}$ .

3. Justificación Teórica

El artículo argumenta que la invariancia a nivel de características no garantiza la invariancia a nivel de acción. Al regularizar el campo de velocidad en sí mismo, el método acota directamente la divergencia de los fragmentos de acción integrados. Bajo un supuesto de Lipschitz local, la diferencia esperada al cuadrado entre los fragmentos de acción generados a partir de vistas nominales y perturbadas está acotada por la diferencia esperada al cuadrado de sus predicciones de velocidad a lo largo de la trayectoria de integración.

4. Mecanismos de Control

Para verificar que la ganancia proviene del emparejamiento de acción-equivalente y no de un suavizado genérico, los autores emplean un control de pares permutados (shuffled-pair control). En esta ablación, la pérdida de consistencia entre vistas compara las velocidades de diferentes estados físicos (rompiendo la equivalencia de acción) mientras mantiene las etiquetas de emparejamiento de flujo correctas. Este control provoca el colapso del rendimiento, confirmando que el método depende de la verdadera correspondencia de estado.

Contribuciones Clave

Formulación: El artículo formula la robustez de la cámara de escena para VLAs basados en flujo como un problema de consistencia de acción-flujo local a través de vistas de acción-equivalentes.
Objetivo: Propone un objetivo de consistencia de acción-flujo entre vistas que regulariza directamente el campo de velocidad. Este enfoque no añade sensores, calibración ni entradas específicas de la cámara en el tiempo de inferencia.
Validación Empírica: A través de ablaciones controladas, los autores demuestran que:
- La mejora depende del emparejamiento de acción-equivalente (los pares permutados fallan).
- El beneficio se extiende a poses de cámara (azimut, distancia, rotación) que no fueron cubiertas por los pares de entrenamiento (extrapolación).
- El método mejora la robustez sin sacrificar el rendimiento en la vista de la cámara nominal.

Resultados Experimentales

Simulación (LIBERO-Plus)

Evaluado en el benchmark de perturbación de cámara de LIBERO-Plus (C1: distancia/escala, C2: posición esférica, C3: orientación del extremo):

Método Propuesto: Logró un 87.2 ± 0.4% de éxito en la pista de perturbación de cámara.
Líneas Base:
- +7.4 puntos porcentuales (pp) sobre un control de "mismos datos" de solo Emparejamiento de Flujo (FM) (79.8%), que utilizaba exactamente los mismos pares de datos pero sin la pérdida de consistencia entre vistas.
- +12.5 pp sobre el Ajuste Fino Supervisado (SFT) estándar de cámara mixta (74.7%).
- +70.4 pp sobre una línea base de solo cámara nominal (16.8%).
Rendimiento Nominal: El método mantuvo un alto éxito en el benchmark estándar de cámara nominal (94.2% frente al 93.6% del control de solo FM), demostrando que no hay un compromiso en el rendimiento nominal.
Ablaciones: Los pares permutados redujeron el rendimiento al 25.8%, probando la necesidad de la correspondencia de acción-equivalente.

Evaluación con Robot Real

Evaluado en tres tareas de mesa (Pick & Place, Contact Rich, Dexterous Operation) con entrenamiento de cámaras múltiples sincronizadas y despliegue de cámara no vista en la prueba:

Éxito con Cámara No Vista: Mejoró del 53.3% (solo FM) al 74.4% (Propuesto).
Especificidad de la Tarea: La tarea de la tapa de la Laptop alcanzó el 100% de éxito con las cámaras no vistas con el método propuesto. La tarea del soporte de auriculares mostró la mayor ganancia relativa (del 16.7% al 46.7%), aunque el rendimiento absoluto siguió limitado por problemas de observabilidad (oclusión de objetos delgados).
Generalización: Las ganancias fueron más pronunciadas para colocaciones de cámara geométricamente agresivas (por ejemplo, vistas más altas o cenitales).

Significado y Reivindicaciones

El artículo sostiene que la consistencia a nivel de acción es un objetivo más efectivo para la robustez de la cámara que la invariancia a nivel de características. Al regularizar el campo de velocidad que genera directamente las acciones, el método asegura que diferentes vistas del mismo estado produzcan el mismo comportamiento pretendido.

La importancia de este trabajo radica en su capacidad para mejorar la robustez sin alterar el contrato de inferencia. A diferencia de los métodos que requieren sensores de profundidad, etiquetas de cámara o reconstrucción 3D, este enfoque permite desplegar un VLA con una única cámara RGB mientras se mantiene robusto a los cambios de perspectiva. Los autores enfatizan que es una receta de tiempo de entrenamiento que aprovecha las vistas observadas de acción-equivalentes (vía reinicio de simulación o cámaras sincronizadas) para enseñar a la política a ignorar los cambios de perspectiva molestos, lo que lo hace aplicable a las arquitecturas VLA basadas en flujo existentes como $\pi_0.5$ .

El artículo se mantiene modesto respecto a sus limitaciones: no recupera información ocluida por la cámara (por ejemplo, pistas de profundidad cerca del contacto para objetos delgados) y requiere pares de acción-equivalentes reales para el entrenamiento, lo que excluye los conjuntos de datos estándar de una sola cámara. Sin embargo, establece un nuevo estándar para el entrenamiento de VLAs robustos a la cámara que es compatible con la inferencia estándar basada solo en RGB.