Resumen Técnico: ¿Qué tan bien comprenden los modelos de mundo latente las restricciones de seguridad parcialmente observables?

Planteamiento del Problema

Los modelos de mundo (WM, por sus siglas en inglés) latentes ofrecen una alternativa prometedora a la dinámica especificada a mano para aprender representaciones de estado y políticas de control directamente de observaciones de alta dimensión (por ejemplo, imágenes RGB). Sin embargo, su eficacia en escenarios críticos de seguridad depende de si el estado latente aprendido codifica toda la información necesaria para satisfacer las restricciones de seguridad.

Este artículo investiga las limitaciones de los WM latentes bajo observabilidad parcial, donde los datos de entrenamiento carecen de información suficiente para determinar magnitudes críticas para la seguridad. Los autores identifican un modo de falla crítico distinto de la estimación de estado clásica: lo desconocido desconocido (unknown unknowns). A diferencia de los entornos clásicos donde el espacio de estados está bien definido (permitiendo la cuantificación de la incertidumbre mediante filtros como el filtro de Kalman), los WM latentes infieren la propia representación del estado a partir de los datos. Si las variables de seguridad relevantes están ausentes de las observaciones, es posible que estén completamente ausentes del espacio latente aprendido, lo que conduce a comportamientos de control inseguros.

Los autores definen dos modos de falla específicos:

1. Brechas de Estimación (Estimation Gaps): Las observaciones actuales son insuficientes para determinar si se está violando actualmente una restricción de seguridad (por ejemplo, inferir la temperatura únicamente a partir de imágenes RGB).
2. Brechas de Predicción (Prediction Gaps): Las fallas son observables una vez que ocurren, pero no pueden anticiparse de manera confiable a partir de las observaciones actuales debido a la información faltante (por ejemplo, predecir un derrame sin saber si una botella está llena).

Metodología

Diagnósticos para Brechas de Observabilidad

Para cuantificar estas brechas, los autores proponen dos métricas diagnósticas offline:

1. Información Mutua (MI) para la Observabilidad de Seguridad: Para medir las brechas de estimación, estiman la información mutua $I(Y; X)$ entre las observaciones $X$ (por ejemplo, imágenes RGB) y las etiquetas de seguridad $Y$. Utilizando el límite inferior variacional de Barber–Agakov, entrenan una sonda lineal sobre los embeddings latentes para cuantificar cuánta incertidumbre sobre la etiqueta de seguridad se reduce mediante la observación.
2. Precisión de Predicción basada en Rollouts: Para medir las brechas de predicción, evalúan la capacidad del modelo de mundo para predecir resultados de seguridad futuros mediante rollouts de lazo abierto. Simulan secuencias de acciones de 16 pasos y miden la precisión de clasificación de las etiquetas de seguridad predichas, analizando específicamente las muestras donde los modelos unimodales y multimodales discrepan.

Estrategias de Mitigación

El artículo propone estrategias distintas para cada modo de falla:

• Para Brechas de Estimación (Supervisión Multimodal Privilegiada): En lugar de requerir sensores multimodales en el despliegue, los autores entrenan el modelo de mundo utilizando entradas RGB, pero imponen una supervisión multimodal. El modelo tiene la tarea de reconstruir modalidades relevantes para la seguridad (por ejemplo, imágenes térmicas IR) a partir de la entrada RGB. Esta supervisión "privilegiada" durante el entrenamiento moldea la representación latente para codificar cantidades críticas para la seguridad (como la temperatura), incluso si no son directamente observables en tiempo de ejecución.
• Para Brechas de Predicción (Calibración de Riesgo Conforme): Cuando el estado latente no puede predecir de manera confiable futuras fallas, los autores proponen calibrar el umbral del controlador de seguridad. Utilizando predicción conforme, ajustan el umbral de intervención ($\epsilon$) basándose en la precisión de la predicción de fallas del modelo en un conjunto de calibración. Esto asegura que el controlador adopte una política de respaldo conservadora cuando la incertidumbre predictiva del modelo es alta, limitando la tasa de falsos positivos de acciones inseguras.

Configuración Experimental

Los autores validan su enfoque utilizando un manipulador Franka Research 3 en dos tareas de hardware:

1. Derretimiento de Cera (Brecha de Estimación): Un robot debe calentar la cera sin exceder los 72 °C. La tarea depende de inferir la temperatura. Los modelos se entrenan con datos de solo RGB frente a datos de RGB+IR.
2. Vertido de Arroz (Breja de Predicción): Un robot debe verter arroz de una botella opaca sin derramarlo. La botella puede estar vacía o llena. La tarea depende de predecir si una inclinación causará un derrame. Los modelos se entrenan con datos de solo RGB frente a datos de RGB+Táctil.

Resultados Clave

Hallazgos de Diagnóstico

• Brechas de Estimación: En la tarea de Derretimiento de Cera, la información mutua entre las observaciones RGB y la etiqueta de seguridad (sobrecalentamiento) fue significativamente menor ($I/H \approx 0.22$) en comparación con las observaciones IR ($I/H \approx 0.80$). Las métricas de precisión estándar fueron menos sensibles a esta brecha, lo que sugiere que la MI es un diagnóstico más robusto para la observabilidad de la seguridad.
• Brechas de Predicción: En la tarea de Vertido de Arroz, aunque ambos modelos podían identificar los derrames una vez ocurridos, el modelo de solo RGB falló en predecirlos de manera confiable en los rollouts de lazo abierto. El modelo multimodal logró una precisión significativamente mayor en las muestras donde los dos modelos discreparon, indicando que el espacio latente de solo RGB carecía de la capacidad representacional para correlacionar acciones con resultados de seguridad futuros.

Desempeño de la Mitigación

• Supervisión Privilegiada (Derretimiento de Cera): Un modelo de mundo entrenado con entradas RGB pero supervisado por la reconstrucción de IR (WM_RGB-MM) logró una tasa de levantamiento del 100% (evitando el sobrecalentamiento), igualando el desempeño del modelo totalmente multimodal. En contraste, el modelo de solo RGB falló el 85% de las veces. Crucialmente, el modelo WM_RGB-MM aprendió una política conservadora, interviniendo antes que el modelo multimodal, lo que demuestra que el estado latente codificó con éxito la dinámica de seguridad necesaria a pesar de carecer de entrada IR en tiempo de ejecución.
• Calibración Conforme (Vertido de Arroz): La aplicación de la calibración conforme al controlador de solo RGB ajustó su umbral para tener en cuenta su incapacidad de predecir derrames. Si bien esto hizo que el controlador de solo RGB fuera altamente conservador (permitiendo el vertido solo el 18% de las veces para botellas vacías frente al 60% del modelo multimodal), logró limitar la tasa de fallas al nivel objetivo ($\alpha = 0.12$). Esto confirmó que la calibración puede mitigar las brechas de predicción al intercambiar autoridad de control por garantías de seguridad.

Significado y Reivindicaciones

El artículo desafía la suposición de que los modelos de mundo latentes capturan inherentemente la información suficiente para un control seguro bajo observabilidad parcial. Los autores afirman:

1. Identificación de Modos de Falla: Identifican y caracterizan explícitamente las "brechas de estimación" y las "brechas de predicción" como causas distintas de comportamientos inseguros en el control de espacio latente.
2. Diagnósticos Cuantitativos: Proporcionan herramientas prácticas de diagnóstico offline (Información Mutua y clasificación de rollouts) para detectar estas brechas antes del despliegue.
3. Viabilidad de la Mitigación: Demuestran que la seguridad puede mantenerse incluso con modalidades limitadas en tiempo de ejecución (por ejemplo, solo RGB) aprovechando datos más ricos durante el entrenamiento (supervisión privilegiada) o calibrando estadísticamente la tolerancia al riesgo del controlador (predicción conforme).
4. El Conservadurismo como un Intercambio: Los resultados resaltan que mitigar las brechas de observabilidad a menudo requiere un aumento en el conservadurismo. Cuando el estado latente no puede resolver completamente la incertidumbre, el control seguro requiere una intervención más temprana o una reducción en las tasas de ejecución de la tarea.

El trabajo concluye que, si bien los modelos de mundo son potentes, sus representaciones de estado deben ser validadas explícitamente para la observabilidad de la seguridad, y las estrategias de mitigación son esenciales cuando los datos de entrenamiento no revelan completamente el estado subyacente crítico para la seguridad.