Résumé technique : Dans quelle mesure les modèles de monde latents comprennent-ils les contraintes de sécurité partiellement observables ?

Énoncé du problème

Les modèles de monde (WM) latents offrent une alternative prometteuse aux dynamiques spécifiées à la main pour l'apprentissage de représentations d'états et de politiques de contrôle directement à partir d'observations de haute dimension (par exemple, des images RGB). Cependant, leur efficacité dans des scénarios critiques pour la sécurité dépend de la capacité de l'état latent appris à encoder toutes les informations nécessaires pour satisfaire les contraintes de sécurité.

Cet article étudie les limites des modèles de monde latents sous observabilité partielle, où les données d'entraînement manquent d'informations suffisantes pour déterminer des quantités critiques pour la sécurité. Les auteurs identifient un mode de défaillance critique distinct de l'estimation d'état classique : les inconnues inconnues (unknown unknowns). Contra-rément aux contextes classiques où l'espace d'état est bien défini (permettant une quantification de l'incertitude via des filtres comme les filtres de Kalman), les modèles de monde latents infèrent la représentation de l'état elle-même à partir des données. Si des variables de sécurité pertinentes sont absentes des observations, elles peuvent être totalement absentes de l'espace latent appris, entraînant des comportements de contrôle dangereux.

Les auteurs définissent deux modes de défaillance spécifiques :

1. Écarts d'estimation (Estimation Gaps) : Les observations actuelles sont insuffisantes pour déterminer si une contrainte de sécurité est actuellement violée (par exemple, inférer la température à partir d'images RGB seules).
2. Écarts de prédiction (Prediction Gaps) : Les défaillances sont observables une fois qu'elles surviennent, mais ne peuvent pas être anticipées de manière fiable à partir des observations actuelles en raison d'informations manquantes (par exemple, prédire un déversement sans savoir si une bouteille est remplie).

Méthodologie

Diagnostics des écarts d'observabilité

Pour quantifier ces écarts, les auteurs proposent deux métriques de diagnostic hors ligne :

1. Information Mutuelle (IM) pour l'observabilité de la sécurité : Pour mesurer les écarts d'estimation, ils estiment l'information mutuelle $I(Y; X)$ entre les observations $X$ (par exemple, des images RGB) et les étiquettes de sécurité $Y$. En utilisant la borne de variante de Barber–Agakov, ils entraînent une sonde linéaire sur les plongements latents pour quantifier la réduction de l'incertitude sur l'étiquette de sécurité apportée par l'observation.
2. Précision de prédiction basée sur les déploiements (Rollouts) : Pour mesurer les écarts de prédiction, ils évaluent la capacité du modèle de monde à prédire les résultats de sécurité futurs via des déploiements en boucle ouverte. Ils simulent des séquences d'actions de 16 étapes et mesurent la précision de la classification des étiquettes de sécurité prédites, en analysant spécifiquement les échantillons où les modèles unimodaux et multimodaux divergent.

Stratégies de mitigation

Le papier propose des stratégies distinctes pour chaque mode de défaillance :

• Pour les écarts d'estimation (Supervision multimodale privilégiée) : Au lieu d'exiger des capteurs multimodaux lors du déploiement, les auteurs entraînent le modèle de monde en utilisant des entrées RGB, mais imposent une supervision multimodale. Le modèle doit reconstruire des modalités pertinentes pour la sécurité (par exemple, des images thermiques IR) à partir de l'entrée RGB. Cette supervision « privilégiée » pendant l'entraînement façonne la représentation latente pour encoder des quantités critiques pour la sécurité (comme la température), même si elles ne sont pas directement observables au moment de l'exécution.
• Pour les écarts de prédiction (Calibration de risque conforme) : Lorsque l'état latent ne peut pas prédire de manière fiable les défaillances futures, les auteurs proposent de calibrer le seuil du contrôleur de sécurité. En utilisant la prédiction conforme, ils ajustent le seuil d'intervention ($\epsilon$) en fonction de la précision de la prédiction des défaillances du modèle sur un ensemble de calibration. Cela garantit que le contrôleur adopte une politique de repli conservatrice lorsque l'incertitude prédictive du modèle est élevée, limitant ainsi le taux de faux acceptation d'actions dangereuses.

Configuration expérimentale

Les auteurs valident leur approche sur un manipulateur Franka Research 3 à travers deux tâches matérielles :

1. Fusion de la cire (Écart d'estimation) : Un robot doit chauffer de la cire sans dépasser 72 °C. La tâche repose sur l'inférence de la température. Les modèles sont entraînés sur des données RGB uniquement versus RGB+IR.
2. Versement de riz (Écart de prédiction) : Un robot doit verser du riz d'une bouteille opaque sans en renverser. La bouteille peut être vide ou pleine. La tâche repose sur la prédiction d'un déversement lors de l'inclinaison. Les modèles sont entraînés sur des données RGB uniquement versus RGB+Tactile.

Résultats clés

Conclusions des diagnostics

• Écarts d'estimation : Dans la tâche de fusion de la cire, l'information mutuelle entre les observations RGB et l'étiquette de sécurité (surchauffe) était nettement plus faible ($I/H \approx 0,22$) que pour les observations IR ($I/H \approx 0,80$). Les métriques de précision standard étaient moins sensibles à cet écart, suggérant que l'IM est un diagnostic plus robuste pour l'observabilité de la sécurité.
• Écarts de prédiction : Dans la tâche de versement de riz, bien que les deux modèles puissent identifier les déversements après qu'ils se soient produits, le modèle RGB seul n'a pas réussi à les prédire de manière fiable lors des déploiements en boucle ouverte. Le modèle multimodal a atteint une précision nettement plus élevée sur les échantillons où les deux modèles divergeaient, indiquant que l'espace latent RGB manquait de la capacité de représentation pour corréler les actions avec les résultats de sécurité futurs.

Performance de la mitigation

• Supervision privilégiée (Fusion de la cire) : Un modèle de monde entraîné avec des entrées RGB mais supervisé par la reconstruction IR (WM_RGB-MM) a obtenu un taux de prévention de 100 % (empêchant la surchauffe), égalant la performance du modèle entièrement multimodal. En revanche, le modèle RGB seul a échoué 85 % du temps. Crucialement, le modèle WM_RGB-MM a appris une politique conservatrice, intervenant plus tôt que le modèle multimodal, démontant que l'état latent a réussi à encoder les dynamiques de sécurité nécessaires malgré l'absence d'entrée IR au moment de l'exécution.
• Calibration conforme (Versement de riz) : L'application de la calibration conforme au contrôleur RGB-only a ajusté son seuil pour tenir compte de son incapacité à prédire les déversements. Bien que cela ait rendu le contrôleur RGB très conservateur (autorisant le versement seulement 18 % du temps pour les bouteilles vides contre 60 % pour le modèle multimodal), cela a réussi à limiter le taux de défaillance au niveau cible ($\alpha = 0,12$). Cela a confirmé que la calibration peut atténuer les écarts de prédiction en échangeant l'autorité de contrôle contre des garanties de sécurité.

Signification et affirmations

L'article remet en question l'hypothie selon laquelle les modèles de monde latents capturent intrinsèquement suffisamment d'informations pour un contrôle sûr sous observabilité partielle. Les auteurs affirment que :

1. Identification des modes de défaillance : Ils identifient et caractérisent explicitement les « écarts d'estimation » et les « écarts de prédiction » comme des causes distinctes de comportement dangereux dans le contrôle d'espace latent.
2. Diagnostics quantitatifs : Ils fournissent des outils de diagnostic pratiques et hors ligne (Information Mutuelle et classification par déploiement) pour détecter ces écarts avant le déploiement.
3. Faisabilité de la mitigation : Ils démontrent que la sécurité peut être maintenue même avec des modalités de fonctionnement limitées (par exemple, RGB uniquement) en exploitant des données plus riches pendant l'entraînement (supervision privilégiée) ou en calibrant statistiquement la tolérance au risque du contrôleur (prédiction conforme).
4. Le conservatisme comme compromis : Les résultats soulignent que la mitigation des écarts d'observabilité nécessite souvent une augmentation du conservatisme. Lorsque l'état latent ne peut pas résoudre pleinement l'incertitude, le contrôle sûr nécessite une intervention plus précoce ou une réduction des taux d'exécution des tâches.

Le travail conclut que bien que les modèles de monde soient puissants, leurs représentations d'état doivent être explicitement validées pour l'observabilité de la sécurité, et que les stratégies de mitigation sont essentielles lorsque les données d'entraînement ne révèlent pas pleinement l'état critique pour la sécurité.