Resumen Técnico: Verificación Probabilística de Acciones Alcanzables de Políticas Visomotoras mediante Entrenamiento Basado en Conjuntos

Planteamiento del Problema

Las políticas visomotoras desplegadas en robots de manipulación enfrentan riesgos de seguridad significativos debido al desplazamiento de la pose de la cámara causado por residuos de calibración, cambios en el montaje y deformación térmica. Incluso desplazamientos menores en la pose de la cámara alteran la imagen observada, lo que puede causar que una política aprendida genere secuencias de acciones drásticamente diferentes para la misma escena. La mayor desviación de acción resultante es una preocupación crítica de seguridad, ya que puede conducir al efector final hacia regiones inseguras o causar colisiones.

Aunque los benchmarks de robustez confirman que las perturbaciones en la perspectiva de la cámara afectan sustancialmente a las políticas visomotoras, verificar el alcance de estos efectos antes del despliegue es un desafío. Los enfoques existentes enfrentan un compromiso (trade-off):

1. Propagación de conjuntos de extremo a extremo: Propagar conjuntos de incertidumbre a través de codificadores visuales grandes y políticas descendentes es computacionalmente costoso y acumula errores de relajación a través de muchas capas, lo que resulta en conjuntos de acciones excesivamente conservadores (holgados) que no son útiles para la verificación.
2. Entrenamiento adversarial puntual: Métodos como el entrenamiento PGD optimizan contra puntos específicos de peor caso, pero no restringen el conjunto de salida completo, fallando a menudo en proporcionar envolventes deterministas ajustadas o garantías probabilísticas sobre el espacio de acción alcanzable.

El problema central es cómo verificar y reducir el radio de acción alcanzable de una política visomotora bajo la incertidumbre de la pose de la cámara sin incurrir en la intratabilidad computacional de la propagación de conjuntos de extremo a extremo o sacrificar el rendimiento de la tarea en bucle cerrado.

Metodología

Los autores proponen un marco que desacopla el codificador visual de la política descendente utilizando una interfaz de baja dimensión calibrada, permitiendo un entrenamiento y verificación basados en conjuntos que sean tratables.

1. Diseño de Arquitectura e Interfaz

• Codificador Visual Congelado: Se congela un codificador visual pre-entrenado (por ejemplo, ResNet18) para evitar la acumulación de errores de relajación asociados con la propagación de conjuntos a través de redes de visión profundas.
• Cuello de Botella Calibrado: Se inserta un cuello de botella lineal aprendido y de baja dimensión (32-D) entre el codificador congelado y la política descendente. Este cuello de botella comprime las características visuales.
• Conjunto de Interfaz: La incertidumbre de las perturbaciones de la pose de la cámara se mapea en este espacio de cuello de botella como un conjunto acotado (específicamente, un zonotopo isotrópico $B_\epsilon(z) = \langle z, \epsilon I_m \rangle$). El radio $\epsilon$ se calibra utilizando perturbaciones de la pose de la cámara de validación para representar el cuantil marginal del 95% del desplazamiento de la representación.

2. Entrenamiento Basado en Conjuntos

La política descendente (una variante de la política de Flujo de Coincidencia de Visión-a-Acción, o VITA) se entrena para minimizar el tamaño del conjunto propagado mientras mantiene el rendimiento de la imitación.

• Propagación: El conjunto de la interfaz se propaga a través de la política descendente utilizando transformadores abstractos de zonotopos (mapas afines y relajaciones ReLU). Esto produce un zonotopo de salida $Z_{out}$ que encierra todas las acciones alcanzables desde el conjunto de la interfaz.
• Objetivo: La pérdida de entrenamiento combina una pérdida de imitación estándar con una périda de ancho (width loss) sobre el zonotopo de salida terminal. El ancho se define como la suma máxima de filas escalada de los generadores del zonotopo de salida, normalizada por la magnitud nominal de la acción.
• Optimización de Restricciones: El entrenamiento minimiza la pérdida de imitación media sujeta a que el ancho medio del minibatch no exceda un radio objetivo $r_{target}$. Esto se logra mediante una pérdida de bisel (hinge loss) adaptativa con un multiplicador proyectado (variable dual) para imponer la restricción de ancho.

3. Verificación Probabilística vía Calibración Conforme

Para proporcionar una garantía rigurosa sobre el radio de acción alcanzable durante el despliegue, los autores emplean calibración conforme dividida (split conformal calibration):

• Muestreo: Durante la evaluación, se muestrean las poses de la cámara de una distribución prescrita (por ejemplo, uniforme sobre una caja de perturbación 6D acotada).
• Cálculo de Puntuación: Para cada inicialización de ejecución (rollout), la puntuación es la desviación máxima de la acción centrada en la nominal inducida por la pose muestreada a través de todos los estados en la ejecución.
• Calibración: Utilizando un conjunto de grupos de calibración, el método calcula el cuantil $(1-\alpha)$ de estas puntuaciones. Esto produce un radio de acción alcanzable probabilístico $q_\theta$ con garantías de cobertura de muestra finita (es decir, la desviación real será menor que $q_\theta$ con una probabilidad de al menos $1-\alpha$).
• Vínculo Teórico: Los autores demuestran que el ancho de la envolvente entrenada acota superiormente la desviación física de la acción inducida por las perturbaciones muestreadas, vinculando el objetivo de entrenamiento directamente con el radio calibrado.

Principales Contribuciones

1. Verificación Basada en Conjuntos Tratable: El artículo introduce un método para desacoplar el codificador visual congelado de la política descendente mediante una interfaz de baja dimensión calibrada. Esto permite aplicar el entrenamiento basado en conjuntos a la política por sí sola, haciendo que la verificación basada en conjuntos sea tratable para sistemas visomotores complejos donde la propagación de extremo a extremo es inviable.
2. Garantía Teórica: Los autores demuestran que el ancho de la envolvente entrenada acota superiormente la desviación física de la acción inducida por las perturbaciones de la cámara muestreadas. Esto establece un vínculo formal entre el objetivo de entrenamiento (minimizar el ancho del zonotopo) y la métrica de despliegue (radio de acción alcanzable probabilístico).
3. Superioridad Empírica: En el benchmark de manipulación LIBERO-10, se demuestra que el entrenamiento basado en conjuntos reduce significativamente el radio de acción alcanzable en comparación con el ajuste fino de solo comportamiento (behavior-only fine-tuning), la consistencia observacional y el entrenamiento adversarial puntual (PGD), preservando al mismo tiempo la capacidad de la tarea en bucle cerrado.

Resultados Experimentales

Los experimentos se realizaron en el benchmark LIBERO-10 bajo perturbaciones acotadas de los extrínsecos de la cámara en seis dimensiones.

• Reducción del Radio: El entrenamiento basado en conjuntos logró una reducción de la mediana del radio de acción alcanzable de 2.09$\times$ en comparación con el ajuste fino de solo comportamiento al nivel de cobertura del 99%.
• Comparación con Baselines:
  • Solo Comportamiento (Behavior-only): Sirve como base; produce el radio más grande.
  • Consistencia Observacional: Alinea las predicciones entre vistas limpias y perturbadas, pero falla en reducir el radio por debajo del nivel de solo comportamiento.
  • Entrenamiento Adversarial PGD: Reduce el radio, pero a menudo falla en mantener la capacidad de tarea en bucle cerrado (validez del comportamiento) en todas las semillas. Además, aunque PGD reduce el radio muestreado, no produce una envolvente determinista ajustada; la relación entre el ancho del zonotopo y el ataque más fuerte dentro del conjunto fue >500 para PGD, mientras que fue ~16 para el entrenamiento basado en conjuntos.
• Amplitud de Tareas: A través de diez tareas, el entrenamiento basado en conjuntos preservó la capacidad de la tarea en tres tareas (donde el baseline falló en dos de ellas) y logró un radio más ajustado en las tareas donde ambos métodos eran válidos.
• Cobertura: El método logró una cobertura empírica de 0.99 a 1.00 en las inicializaciones de prueba reservadas, validando la calibración conforme.

Significado y Reivindicaciones

El artículo afirma que la geometría del conjunto de acciones de una política bajo la incertidumbre de los sensores puede moldearse eficazmente durante el entrenamiento desacoplando la percepción del razonamiento de conjuntos descendente. El significado principal reside en la distinción mecánica entre el entrenamiento basado en conjuntos y el entrenamiento adversarial puntual:

• El entrenamiento basado en conjuntos restringe el entero envolvente de salida, lo que conduce tanto a un radio de acción alcanzable probabilístico más pequeño como a una envolvente determinista más ajustada e informativa.
• Los ataques puntuales (como PGD) solo restringen los puntos específicos que localizan, lo que a menudo resulta en un radio muestreado pequeño pero una envolvente determinista holgada y poco informativa.

Los autores concluyen que su enfoque hace que las señales de entrenamiento de conjuntos completos sean asequibles para las políticas visomotoras, proporcionando un camino práctico para verificar los márgenes de seguridad antes del despliegue. Observan que, si bien el método actual proporciona un radio probabilístico, se requeriría un mapa determinista del conjunto de poses al conjunto de la interfaz para elevar esto hacia una garantía completa de extremo a extremo.