💻 computer science

Selective Cross-View Consistency for World Action Models: Held-Out Viewpoint Robustness Without Test-Time Camera Information

Este artículo propone la Consistencia Selectiva entre Vistas (SCVC, por sus siglas en inglés), una estrategia de entrenamiento que mejora la robustez de los modelos de acción de mundo ante puntos de vista de cámara no observados mediante la aplicación de pérdidas de consistencia exclusivamente a salidas invariantes de la vista (como las acciones) en lugar de a las covariantes de la vista (como los fotogramas de video), evitando así la reducción de contenido legítimo específico de la vista sin requerir etiquetas de cámara ni información extrínseca.

Autores originales: Bingqi Huang, Bingchuan Wei, Yingkai Cai, Zhaokui Wang

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bingqi Huang, Bingchuan Wei, Yingkai Cai, Zhaokui Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots que aprenden observando vídeos se están convirtiendo en una realidad, pero enfrentan un problema obstinado: a menudo fallan cuando el ángulo de la cámara cambia. Imagine un robot entrenado para recoger una taza mientras una cámara se sitúa sobre una mesa a su izquierda. Si mueve esa cámara hacia la derecha, el robot podría quedarse paralizado o soltar la taza, a pesar de que la taza está exactamente en el mismo lugar. Esto sucede porque el robot ha aprendido a asociar la acción con la vista específica que vio durante el entrenamiento, en lugar de comprender la tarea física en sí misma. Para solucionar esto, los científicos están desarrollando "modelos de acción de mundo", un tipo de inteligencia artificial que predice tanto lo que sucederá después en un vídeo como qué movimiento físico debe realizar el robot. La esperanza es que, al aprender de los vídeos, el robot adquiera un sentido general de cómo funciona el mundo, permitiéndole actuar correctamente incluso cuando el punto de vista cambia. Sin embargo, los intentos previos de hacer que estos modelos sean robustos ante los cambios de cámara se han topado con un muro, confundiendo a menudo la lógica interna del robot con la estabilidad de la cámara que sostiene.

Un equipo de investigadores de la Universidad de Tsinghua ha identificado un error fundamental en la forma en que estos modelos estaban siendo entrenados para manejar diferentes ángulos de cámara y ha propuesto una corrección precisa. Descubrieron que, al entrenar a un robot para comprender que el mismo estado físico se ve diferente desde distintos ángulos, no se pueden tratar todas las partes de la predicción del robot de la misma manera. La salida del robot es una mezcla de dos tipos de información: la escena futura que espera ver, la cual cambia dependiendo de dónde esté la cámara, y la acción física que debe realizar, la cual debe permanecer igual independientemente de la posición de la cámara. Los investigadores descubrieron que obligar al modelo a coincidir en los detalles cambiantes de la escena en realidad lo confunde, provocando que el robot empañe su visión del futuro. En su lugar, desarrollaron un método llamado Consistencia Cruzada Selectiva, que obliga al modelo a coincidir únicamente en las acciones físicas, permitiendo que la escena predicha cambie naturalmente con la cámara.

Para probar esta idea, los investigadores crearon una nueva forma rigurosa de evaluar el rendimiento del robot que separa la verdadera generalización de la simple memorización. En muchos estudios previos, los robots eran probados en ángulos de cámara que ya habían visto durante el entrenamiento, lo que daba una falsa sensación de seguridad. El nuevo método consiste en entrenar al robot en una amplia gama de ángulos de cámara, pero dejando deliberadamente fuera bandas específicas de ángulos para que sirvan como prueba. Esto permite al equipo ver si el robot puede manejar una posición de cámara que nunca ha encontrado antes. También abordaron un fallo importante en la forma en que se suelen probar estos robots: muchos sistemas utilizan una cámara montada en la muñeca del robot, que se mueve con el brazo y permanece estable incluso cuando la cámara principal de la escena se mueve. Esta estabilidad engaña al sistema haciéndole creer que es robusto cuando en realidad solo está dependiendo de la cámara de la muñeca. Al probar una versión del robot que utiliza únicamente la cámara de la escena, los investigadores se aseguraron de estar midiendo la comprensión real del entorno.

Los resultados de este enfoque selectivo fueron claros y específicos. Cuando el robot fue probado en ángulos de cámara que nunca había visto, específicamente aquellos muy alejados del rango de su entrenamiento, el nuevo método mejoró su tasa de éxito en 12,2 puntos porcentuales en comparación con un modelo estándar entrenado con los mismos datos. Esta mejora se mantuvo constante a través de diferentes tipos de movimientos de cámara, como mover la cámara hacia arriba y hacia abajo o cambiar su distancia. Sin embargo, el método no mostró ningún beneficio cuando el robot fue probado en ángulos de cámara que caían dentro del rango que ya había visto; en esos casos, el rendimiento fue idéntico al del modelo estándar. Esta distinción es crucial porque demuestra que el método no solo está haciendo al robot mejor en todo, sino que está ayudándole específicamente a generalizar a puntos de vista nuevos y no vistos. Los investigadores también confirmaron mediante experimentos controlados que obligar al modelo a coincidir en las partes incorrectas de su predicción —la escena cambiante— degradaría efectivamente el rendimiento, reduciendo la capacidad del robot para ver el futuro con claridad.

Este trabajo proporciona un camino claro hacia la creación de robots más adaptables. Al comprender que la predicción del robot sobre la escena futura debe cambiar con la cámara, mientras que su decisión sobre qué hacer debe permanecer igual, los desarrolladores pueden construir sistemas que sean verdaderamente robustos. El estudio demuestra que, con las restricciones adecuadas, un robot puede aprender a actuar correctamente incluso cuando el mundo se ve diferente a lo que jamás ha visto, siempre que no se confunda por intentar forzar sus predicciones visuales a coincidir cuando deberían diferir naturalmente. Los hallazgos sugieren que la clave para un control robótico robusto no reside en hacer que el robot vea todo de la misma manera, sino en enseñarle exactamente qué debe permanecer igual y qué se permite que cambie.

Resumen Técnico: Consistencia Selectiva entre Vistas para Modelos de Acción del Mundo

Declaración del Problema
Los Modelos de Acción del Mundo (WAMs, por sus siglas en inglés) integran arquitecturas de generación de video con políticas de control robótico para predecir conjuntamente observaciones y acciones futuras. Si bien estos modelos aprovechan los sesgos visuales para la generalización, exhiben una fragilidad significativa ante cambios en el punto de vista de la cámara. Un desafío crítico para mejorar esta robustez es determinar cómo aplicar el entrenamiento de consistencia cuando la salida del modelo es un compuesto de coordenadas covariantes de la vista (la escena futura predicha, que debe cambiar con la cámara) y coordenadas invariantes de la vista (el bloque de acción, la propiocepción futura y el valor, que deben permanecer constantes independientemente del punto de vista).

Trabajos previos sobre políticas visuomotoras robustas al punto de vista aplican pérdidas de consistencia de manera uniforme o dependen de la estabilidad de la cámara de la muñeca, lo cual confunde la invarianza de la escena-vista con la estabilidad inherente de una cámara montada en el brazo del robot. Además, los protocolos de evaluación existentes a menudo no logen distinguir entre el rendimiento ajustado a la distribución y la generalización genuina fuera de la distribución (OOD) hacia puntos de vista no incluidos en el entrenamiento.

Metodología
Los autores proponen la Consistencia Selectiva entre Vistas (SCVC), un objetivo de entrenamiento diseñado específicamente para los objetivos de eliminación de ruido estructurados de los WAMs.

Restricción Selectiva: A diferencia del entrenamiento de consistencia estándar que impone la concordancia en todas las dimensiones de salida, SCVC impone la penalización de consistencia solo en el bloque invariante ( $Y_I$ : acciones, propiocepción, valor). El bloque covariante ( $Y_C$ : escena futura) se entrena con la supervisión estándar por vista.
- Justificación Teórica: El artículo demuestra (Proposición 1) que imponer consistencia en el bloque covariante (la escena futura) es demostrablemente perjudicial. Fuerza al modelo a predecir un "promedio fantasma" de las vistas, reduciendo el contenido legítimo específico de cada vista a una fracción de $1/(1 + 4\lambda)$ de su valor real.
- Coincidencia de Ruido: Para asegurar señales de consistencia válidas, el método comparte la misma realización de ruido ( $\sigma, n$ ) en ambas ramas de un par de entrenamiento, un requisito derivado de la estructura condicionada por ruido de los modelos de difusión (Proposición 2).
Protocolo de Evaluación Carve-and-Hold-Out (Tallar y Reservar): Para evaluar rigurosamente la robustez sin filtraciones de datos, los autores introducen un nuevo marco de evaluación en el benchmark LIBERO-Plus:
- Tallado (Carving): Los pares de entrenamiento cubren todo el rango de severidad de los ejes de la cámara (azimut, elevación, dolly, extremo), pero excluyen deliberadamente "huecos" (brechas de interpolación) y "bandas" (regiones de extrapolación).
- Agrupación (Bucketing): Las tareas oficiales del benchmark se particionan en dentro de la distribución (rango entrenado), interpolación (huecos dentro del rango entrenado) y extrapolación (regiones reservadas más allá de la envolvente de entrenamiento).
- Control Emparejado: Un modelo de referencia se entrena con el mismo conjunto de datos tallado pero con el peso de consistencia establecido en cero ( $\lambda=0$ ). Esto aisla el efecto del objetivo de consistencia del mero contacto con pares de múltiples vistas.
Auditoría de Escena Única: El estudio entrena y evalúa explícitamente políticas de solo escena (excluyendo las entradas de la cámara de la muñeca) para evitar que la estabilidad de la muñeca enmascare los problemas de invarianza de la escena-vista.

Resultos Clave
Los experimentos se realizaron en un WAM de 2 mil millones de parámetros (Cosmos Policy) utilizando la trayectoria de cámara de LIBERO-Plus.

Extrapolación de Puntos de Vista No Incluidos: SCVC mejora significativamente las tasas de éxito en bucle cerrado en puntos de vista de extrapolación (puntos de vista fuera de la envolvente de entrenamiento).
- En el eje de azimut orbital, SCVC mejoró el éxito en +12.2 puntos (IC del 95% [7.4, 17.0]) respecto al control emparejado.
- Esta ganancia se replicó con una segunda semilla de entrenamiento (+15.5 puntos) y en otros dos ejes de cámara (dolly y elevación).
Interpolación y Dentro de la Distribución: El método mostró ninguna ganancia (y tendencias negativas leves) en las tareas de interpolación dentro de la envolleta de entrenamiento, confirmando que el beneficio es específico para generalizar más allá de la distribución muestreada. La competencia dentro de la distribución se preservó (cambios de $-0.6 $y$ -0.2$ puntos).
Verificación de la Ley de Contracción: Experimentos controlados confirmaron la predicción teórica de que aplicar consistencia a las coordenadas incorrectas (covariantes) causa que la escena futura predicha colapse hacia una imagen "fantasma" promedio de las vistas, validando la necesidad de la selectividad.
Confundido por la Muñeca (Wrist Confound): Una auditoría de enmascaramiento reveló que las cifras publicadas de robustez de cámara están fuertemente confundidas por la estabilidad de la cámara de la muñeca. Una política equipada con la muñeca mantuvo un alto éxito incluso con la cámara de la escena bloqueada, mientras que una política de solo escena colapsó sin la muñeca, indicando que los benchmarks previos a menudo miden la estabilidad de la muñeca en lugar de la verdadera invarianza de la escena-vista.

Significancia y Reivindicaciones
El artículo reivindica cuatro contribuciones primarias:

Principio Estructural: Establece que para los WAMs, la consistencia entre vistas debe ser selectiva. Imponer consistencia en las salidas covariantes de la vista (escenas futuras) degrada activamente el rendimiento al reducir el contenido específico de la vista, un fenómeno cuantificado por una ley de contracción específica.
Rigor de Evaluación: Introduce el protocolo carve-and-hold-out, que separa el rendimiento ajustado a la distribución de la verdadera generalización OOD, evitando la confusión entre cobertura y robustez.
Validación Empírica: Demuestra que la consistencia selectiva produce ganancias de robustez medibles específicamente en el régimen de extrapolación (más allá de la envolvente de entrenamiento) mientras preserva el rendimiento dentro de la distribución.
Auditoría de la Práctica Actual: Proporciona una auditoría de múltiples arquitecturas mostrando que los benchmarks actuales de robustez de cámara suelen ser inválidos para medir la invarianza de la escena-vista debido al factor de confusión de la estabilidad de la pose de la cámara de la muñeca.

Los autores concluyen que SCVC aborda el componente de "desorientación de punto de vista" de la brecha de cero disparos (zero-shot gap) en los WAMs, ofreciendo una reparación dirigida que no requiere etiquetas de cámara, extrínsecos ni información de profundidad durante el entrenamiento o la prueba. Señalan como limitaciones el requisito de pares de vistas cruzadas del mismo estado (actualmente factible en simulación) y que el alcance de la evaluación se limita al benchmark específico LIBERO-Plus y entornos simulados.

Más como este