Same Weights, Different Robot: A Deployment Safety View of VLA Policies

Resumen Técnico: Mismos Pesos, Diferente Robot

Planteamiento del Problema
Los modelos de despliegue actuales para las políticas de Visión-Lenguaje-Acción (VLA) tratan el checkpoint de la red neuronal (pesos, tokenizador, prompt) como la única unidad de identidad y revisión de seguridad de la política. Este artículo argumenta que esta suposición crea una "brecha de seguridad de despliegue" crítica. En la práctica, un modelo VLA genera coordenadas de acción normalizadas, que deben transformarse en comandos de control físico mediante un paso de desnormalización de la acción. Este paso depende de metadatos (por ejemplo, estadísticas de cuantiles específicas del conjunto de datos) para mapear los valores normalizados de nuevo a unidades físicas.

El problema central es que los mismos pesos de un modelo pueden instanciar diferentes políticas de robot ejecutables si los metadatos utilizados para la desnormalización son incorrectos. Por ejemplo, sustituir una clave de metadatos de un "hermano" plausible (por ejemplo, estadísticas de una suite de tareas diferente) resulta en una ley de acción física distinta, aunque la salida interna del modelo permanezca inalterada. Esto constituye un "fallo de interfaz silencioso" donde las auditorías de seguridad certifican el checkpoint, pero pasan por alto la política ejecutable real que llega al controlador del robot.

Metodología
Los autores formalizan la política VLA no como un modelo, sino como una tupla ejecutable $\Pi_{exec} = (f_\theta, I, Z, U_k, C)$, donde:

• $f_\theta$: El modelo aprendido.
• $I$: Procesadores de imagen y lenguaje.
• $Z$: Representación de acción normalizada.
• $U_k$: El desnormalizador de acción seleccionado por la clave de metadatos $k$.
• $C$: Convenciones del controlador (semántica de la pinza, frecuencia de control, etc.).

Dos despliegues se definen como ejecutable-equivalentes solo si inducen la misma ley de acción física bajo todas las historias admisibles. El artículo demuestra que cambiar $k$ (manteniendo $f_\theta, I, Z, C$ constantes) rompe esta equivalencia.

Para detectar esto, los autores derivan un transform de desajuste de metadatos de forma cerrada para desnormalizadores de tipo cuantiles. Si un despliegue utiliza una clave destinada $k_c$ pero se sustituye por una clave $k_w$, el desplazamiento de acción física $\Delta_i$ para una acción normalizada $z$ en la dimensión $i$ es:
$$\Delta_i(z; k_c, k_w) = (q^{(w)}_{01,i} - q^{(c)}_{01,i}) + z_i [ (q^{(w)}_{99,i} - q^{(w)}_{01,i}) - (q^{(c)}_{99,i} - q^{(c)}_{01,i}) ]$$
Esta transformación es determinista e independiente de la inferencia del modelo. Basándose en esto, proponen ExecSpec, un certificado de pre-despliegue que mide la deriva semántica del espacio de acción (desplazamiento medio, desplazamiento de cola, atribución de ejes) en un conjunto de calibración sin requerir inferencia del modelo o ejecución en simulación.

Contribuciones Clave

1. Criterio de Identidad de la Política Ejecutable: El artículo define una identidad de política que incluye metadatos del espacio de acción, demostrando que la igualdad de los checkpoints es insuficiente para la igualdad de la política física.
2. Certificado de Forma Cerrada: Derivan un certificado exacto e independiente del modelo para desajustes de desnormalización de tipo cuantiles, permitiendo la detección de la deriva semántica antes de cualquier movimiento del robot.
3. Testigos Empíricos: Los autores proporcionan evidencia extensa de reproducción (replay) a través de cuatro suites de LIBERO (Goal, Spatial, Object, Long), demostrando que las sustituciones plausibles de metadatos son suficientes para alterar las tasas de éxito de las tareas.

Resultados
Los autores realizaron experimentos utilizando trayectorias normalizadas reproducidas (fijando la salida del modelo y el estado inicial) para aislar el efecto de la sustitución de metadatos.

• LIBERO-Goal: Usando la clave destinada GOAL-B, la sustitución por LONG-V2 resultó en una deriva media de 0.199 en seis dimensiones de no-pinza. Esto redujo el éxito de la tarea de 28/28 (destinado) a 2/28 (sustituido). Una curva dosis-respuesta mostró que el éxito cae monótonamente a medida que la clave de metadatos interpola de lo correcto a lo incorrecto.
• LIBERO-Spatial: La sustitución de LONG-V2 por SPATIAL-V2 redujo el éxito de 26/26 a 0/26.
• LIBERO-Object & Long: Todas las sustituciones de hermanos plausibles redujeron el éxito a 0/28 (Object) o 0/23 (Long) bajo sustitución completa.
• Controles: El artículo descarta explicaciones más simples como el filtrado no-op, artefactos de reproducción crudos vs. correctos, desajustes de convención de la pinza y corrupciones sintéticas. Los fallos fueron impulsados específicamente por dimensiones de acción de no-pinza donde las estadísticas de los metadatos diferían.

Significancia y Reivindicaciones
El artículo reivindica una visión de seguridad de despliegue más estrecha: los metadatos del espacio de acción son un componente de carga en la política y deben versionarse y verificarse junto con los pesos del modelo.

• No es una Reivindicación de Fallo General: Los autores declaran explícitamente que no afirman que todos los despliegues VLA fallen bajo un desajuste de metadatos, ni que la desnormalización sea el único peligro oculto.
• No es una Garantía de Seguridad de Hardware: Los resultados se basan en la reproducción en simulación y no certifican la seguridad en bucle cerrado o de hardware. No predicen tasas de fallo de hardware.
• Perspectiva Central: La significancia radica en identificar una capa oculta de semántica del espacio de acción. Si un despliegue cambia el desnormalizador mientras mantiene el modelo fijo, cambia la política ejecutable. Este desajuste puede detectarse mediante un certificado estático antes del despliegue, evitando el despliegue de una política que es semánticamente diferente de la auditada.

El artículo concluye que los manifiestos de despliegue deben incluir claves de desnormalización de acción, hashes de estadísticas y convenciones de controlador para asegurar la reproducibilidad y la seguridad, tratando estos campos como integrales al objeto de la política en lugar de meros detalles de configuración.