BOKBO (Best of K Bad Options): Calibrated Abstention for VLA Policies

Resumen Técnico: BOKBO — Best of K Bad Options (Lo mejor de K malas opciones)

Planteamiento del Problema
El escalado en tiempo de inferencia (test-time scaling) para políticas de Visión-Lenguaje-Acción (VLA) se ha convertido en una técnica de fiabilidad estándar, donde se muestrean $K$ candidatos de fragmentos de acción (action chunks) y se selecciona el "mejor" mediante un verificador o puntuador. Sin embargo, este paradigma depende de un supuesto crítico, a menudo incumplido: que entre los $K$ candidatos, al menos uno es seguro y completa la tarea. Cuando todos los $K$ candidatos son inseguros, el sistema ejecuta el candidato "mejor según el verificador" independientemente de su calidad absoluta, lo que provoca un "fallo silencioso" sin mecanismo de advertencia. Los métodos existentes carecen de un mecanismo formal para detectar estas celdas de "todos inseguros" o para abstenerse de la ejecución con garantías de seguridad. Además, trabajos previos han asumido que las señales "gratuitas" (señales disponibles sin coste de inferencia adicional, como la confianza de la política base o el desacuerdo de $K$ muestras) se correlacionan con la incertidumbre de la política; este artículo demuestra que dicho supuesto falla catastróficamente bajo el muestreo basado en perturbaciones.

Metodología: BOKBO
Los autores presentan BOKBO (Best of K Bad Options), la primera capa de abstención conforme diseñada específicamente para la inferencia VLA de $K$ muestras. BOKBO decide si ejecutar o abstenerse basándose en una puntuación calibrada, proporcionando límites superiores de muestra finita y libres de distribución sobre la tasa de ejecuciones inseguras entre las decisiones no abstenidas.

• Control de Riesgo Conforme (CRC): El método aplica CRC al escenario de $K$ muestras. Entrena un predictor para estimar la probabilidad de una violación de seguridad ($v=1$) y calibra un umbral $\hat{\tau}$ en un conjunto de calibración de validación. El sistema se ejecuta solo si la puntuación del predictor $s_\theta \le \hat{\tau}$.
• Puntuaciones de No Conformidad: El artículo evalúa tres mecanismos de puntuación:
  1. Proxy de Confianza VLA: La log-probabilidad de la política base del fragmento elegido.
  2. Desacuerdo de $K$ Muestras: La distancia $L_2$ máxima entre pares de candidatos.
  3. Predictor de Violación Aprendido: Un pequeño MLP entrenado en características visuales semánticas (DINOv2), estado propioceptivo e identidad de la tarea para predecir violaciones directamente.
• Calibración de Mondrian: Para abordar la heterogeneidad en las tasas de violación entre diferentes tareas, los autores implementan una variante de Mondrian (por tarea) de CRC. Esto asegura que el límite de seguridad se cumpla condicionalmente para cada tarea específica, en lugar de solo marginalmente en todo el conjunto de datos.
• Etiquetado de Seguridad: Una corrección metodológica crítica implica la definición de etiquetas de seguridad. Los autores identifican que los umbrales de fuerza establecidos globalmente (p. ej., 50N) inflan las tasas de violación en 5 veces porque exceden las fuerzas de manipulación típicas de un experto para muchas tareas. Proponen umbrales calibrados por expertos por tarea definidos como $\max(50\text{N}, p99(\text{fuerza máxima del experto}) + 10\text{N})$.

Hallazgos Clave y Análisis Diagnóstico
El hallazgo diagnóstico más significativo del artículo es el fallo estructural de las señales "gratuitas" bajo el muestreo de $K$ perturbaciones.

• Perturbación vs. Incertidumbre: Bajo la perturbación gaussiana en el espacio de acciones (donde los candidatos se generan como $a_k = a_0 + \sigma\xi_k$), tanto el proxy de confianza VLA como el desacuerdo de $K$ muestras se correlacionan en 0.98 con el hiperparámetro de ruido $\sigma$, pero en el suelo de ruido (Spearman $\approx -0.05$) con las violaciones de seguridad reales.
• Mecanismo: Estas señales miden la magnitud de la perturbación inyectada, no la incertidumbre interna de la política.
• Condición Límite: Los autores prueban el muestreo de temperatura a nivel de token (que genera diversidad a partir de la estocasticidad de la política en lugar de ruido inyectado). Bajo este mecanismo, la correlación entre las señales gratuitas y el hiperparámetro de muestreo cae (de 0.98 a 0.41), y las señales recuperan algo de información de seguridad. Sin embargo, el predictor aprendido sigue siendo superior en ambos regímenes.

Resultados Experimentales
Los experimentos se realizaron con los backbones OpenVLA-OFT y $\pi_0$-FAST, ajustados con fine-tuning en la suite LIBERO (específicamente libero_object_temp_x0.1 y libero_spatial_temp_x0.1).

• Garantías de Seguridad: Para una tasa de violación objetivo $\epsilon = 0.05$, el límite de CRC condicional se cumple en el 86% de las divisiones de bootstrap para libero_object y en el 83% para libero_spatial.
• Rendimiento: Con el predictor aprendido, BOKBO logra un 7able 78% de cobertura y un 70% de éxito neto de la tarea en libero_object, recuperando el 87% de la mejora de seguridad del oráculo.
• Variante de Mondrian: La variante por tarea eleva el cumplimiento condicional mínimo por tarea del 0.71 (global) al 0.93, mejorando significativamente la fiabilidad en tareas de alto riesgo como "ketchup" y "milk".
• Cambio de Distribución: Los límites se mantienen bajo cuatro cambios de distribución dentro de la suite (temperatura, objeto y cambios entre suites), pero se degradan cuando el nivel de ruido de acción $\sigma$ se desplaza fuera del rango calibrado.
• Especificidad de la Arquitectura: El predictor aprendido es específico de la política; un predictor entrenado con datos de OpenVLA-OFT falla cuando se aplica directamente a $\pi_0$-FAST (el cumplimiento condicional cae a 0.42), lo que requiere una calibración específica del backbone.

Significancia y Reivindicaciones
El artículo reivindica tres contribuciones principales:

1. Garantías Formales: BOKBO proporciona la primera garantía de abstención formal, de muestra finita y libre de distribución para la inferencia VLA de $K$ muestras, permitiendo que los sistemas rechacen acciones inseguras en lugar de fallar silenciosamente.
2. Diagnóstico Estructural: El trabajo expone un fallo fundamental en el uso de señales "gratuitas" para la seguridad en el muestreo por perturbación. Clarifica que tales señales rastrean el mecanismo de perturbación en lugar de la incertidumbre de la política, una distincción que es crítica para diseñar controladores robóticos fiables.
3. Corrección Metodológica: El artículo corrige un error en la evaluación de seguridad al demostrar que los umbrales de fuerza globales son insuficientes para tareas de manipulación, proponiendo un método de calibración por experto por tarea que produce tasas de violación realistas.

Limitaciones
Los autores señalan que todos los experimentos se realizan actualmente en simulación MuJoCo. El despliegue en el mundo real requiere validar la transferencia de los umbrales de fuerza por tarea a robots físicos e integrar el monitoreo de fuerza en tiempo de ejecución. Además, el método requiere demostraciones de expertos por tarea (25 por tarea) para la calibración y está limitado actualmente a la familia de benchmarks LIBERO y a backbones VLA específicos.