Résumé technique : SLS2 – Contrôle de modèle de monde latent à sécurité probabiliste

Énoncé du problème

L'article traite du défi de la planification de mouvement par rétroaction sécurisée pour les robots opérant directement à partir d'observations de pixels bruts (par exemple, des images RGB) dans des environnements ouverts. Les méthodes de contrôle critiques pour la sécurité traditionnelles reposent sur des représentations d'état bien définies et de faible dimension ainsi que sur des dynamiques connues, qui sont souvent indisponibles ou difficiles à estimer pour les objets déformables et les tâches visuelles complexes. Bien que les modèles de monde latents récents (par exemple, les architectures JEPA) puissent inférer des représentations d'état compactes et des dynamiques directement à partir d'images, ils introduisent des risques de sécurité importants :

1. Dynamiques imparfaites : Les dynamiques latentes apprises sont des approximations et peuvent être inexactes lors de déploiements multi-étapes.
2. Traduction des contraintes : Les contraintes de sécurité physique (par exemple, l'évitement d'obstacles, les limites articulaires) doivent être traduites dans l'espace latent, où la relation avec la sécurité physique n'est pas garantie.
3. Manque de calibration : Les méthodes de sécurité latente existantes reposent souvent sur des approximations heuristiques ou manquent de garanties formelles et calibrées pour assurer que l'état réel du système reste dans des limites sûres malgré les erreurs de prédiction.

Le problème central est de synthétiser une politique de contrôle qui planifie dans un espace latent appris tout en fournissant des garanties de sécurité probabilistes pour le système physique réel, en tenant compte à la fois des erreurs de prédiction du modèle et des décalages de distribution.

Méthodologie : SLS2 (Safe Latent Space System Level Synthesis)

Les auteurs proposent SLS2, un cadre combinant des modèles de monde latents appris avec la synthèse de niveau système (System Level Synthesis - SLS) pour le contrôle prédictif robuste (MPC) et la prédiction conforme (Conformal Prediction - CP). Le pipeline se compose de trois étapes principales :

1. Entraînement d'un modèle de monde latent favorable au gradient

Le système apprend une représentation latente de Markov compacte à partir d'un ensemble de données hors ligne de transitions d'images $\mathcal{D} = \{(o_t, u_t, o_{t+1})\}$.

• Architecture : Une architecture prédictive d'encodage conjoint conditionnée par l'action (similaire à Le-WM). Un encodeur Vision Transformer (ViT) mappe les images vers des plongements latents $z_t$.
• Construction de l'état Markovien : Pour garantir que l'état latent satisfasse la propriété de Markov pour la prédiction multi-étapes, l'état est augmenté de caractéristiques de différence finie : $s^z_t = [z_t, \Delta z_t, \dots, \Delta^K z_t]$.
• Apprentissage de la dynamique : Un prédicteur MLP $f_\phi$ apprend la transition $s^z_{t+1} = f_\phi(s^z_t, u_t)$.
• Objectifs d'entraînement : Le modèle est entraîné à l'aide d'une perte de prédiction latente multi-étapes, d'une perte SIGReg pour prévenir l'effondrement de la représentation, et d'une perte de lissage temporel pour encourager des trajectoires latentes fluides. Cette conception facilite l'optimisation de trajectoire basée sur le gradient (par exemple, iLQR).

2. Quantification de l'incertitude par prédiction conforme

Pour gérer les inexactitudes des dynamiques apprises et du vérificateur de contraintes latent, les auteurs utilisent la prédiction conforme scindée (Split Conformal Prediction - CP) pour calibrer les ensembles d'incertitude avec des garanties statistiques.

• Erreur de dynamique latente : Un modèle de covariance $\Sigma_\psi$ est entraîné pour prédire la forme de la distribution d'erreur. La CP est utilisée pour calculer un facteur d'échelle $q$ (un quantile des scores de non-conformité) de sorte que l'erreur de prédiction réelle $e_t$ se situe dans un ensemble ellipsoïdal $E(s, u)$ avec une probabilité de $1-\delta$.
• Vérificateur de contrainte latent : Un classificateur d'obstacles latent $c_\psi$ est entraîné pour évaluer la sécurité. La CP est utilisée pour déterminer un seuil $\eta$ tel que le classificateur identifie correctement les régions sûres/non sûres avec une haute probabilité.
• Support en domaine (In-Domain Support) : Un ensemble $\mathcal{I}$ en domaine est défini comme un sous-niveau gaussien calibré pour s'assurer que le planificateur ne fonctionne pas dans des régions très éloignées de la distribution d'entraînement.

3. MPC robuste via la synthèse de niveau système (SLS)

La boucle de contrôle centrale utilise la synthèse de niveau système (SLS) pour résoudre un problème de MPC robuste dans l'espace latent.

• Formulation : Au lieu d'optimiser directement les gains de rétroaction, la SLS optimise les réponses du système en boucle fermée (matrices $\Phi_s, \Phi_u$) qui mappent les perturbations vers les écarts d'état/contrôle.
• Robustesse : Les ensembles d'erreurs ellipsoïdaux $E(s, u)$ calibrés par la CP sont injectés comme ensembles de perturbations dans la formulation SLS. L'optimiseur propage ces incertitudes sur l'horizon de planification pour construire des tubes atteignables ($R^s_k, R^u_k$).
• Contraintes : L'optimisation impose que l'intégralité du tube atteignable reste dans l'ensemble latent sûr (défini par le vérificateur de contraintes calibré) et l'ensemble en domaine. Cela se traduit par un "resserrement de contrainte" (constraint tightening), où la trajectoire nominale est ajustée pour garantir que même sous les pires erreurs bornées, le système réel reste sûr.
• Implémentation : L'approche exploite l'accélération GPU pour gérer les états latents de haute dimension et la charge de calcul de la propagation des tubes d'incertitude de manière efficace.

Contributions clés

1. Modèle de monde latent pour la planification : Les auteurs démontrent que l'entraînement de modèles latents Markoviens compacts avec une régularisation spécifique (SIGReg, lissage temporel) permet des déploiements multi-étapes précis et une optimisation efficace basée sur le gradient directement à partir de pixels.
2. Ensembles d'incertitude conforment : Le papier introduit une méthode pour calibrer à la fois les erreurs de dynamique latente et les erreurs du classificateur de sécurité latent en utilisant la prédiction conforme, fournissant des ensembles d'incertitude statistiquement valides pour la planification robuste.
3. MPC robuste et scalable : L'intégration de l'incertitude calibrée par CP dans la synthèse de niveau système accélérée par GPU permet un MPC robuste avec contraintes de reachabilité dans des espaces latents de haute dimension, une tâche auparavant considérée comme trop coûteuse en calcul.
4. Validation empirique : La méthode est validée sur diverses tâches de vision (navigation, pick-and-place, manipulation d'objets déformables) en simulation et sur du matériel réel, démontrant une supériorité en termes de sécurité et de réussite de l'atteinte des objectifs par rapport aux bases de référence.

Résultats expérimentaux

Les auteurs ont évalué SLS2 sur quatre tâches : Reacher, OGBench Cube, Push-T et une tâche de manipulation de corde bimanuelle.

• Performance de planification nominale :

  • Le planificateur nominal de SLS2 (utilisant iLQR sur le modèle appris) a nettement surpassé les bases de référence (Le-WM, DINO-WM, PLDM) en taux de succès.
  • Reacher : 83,5 % de succès (contre 17–40 % pour les bases de référence).
  • Rope (Corde) : 93,75 % de succès (contre 7–25 % pour les bases de référence).
  • Les études d'ablation ont confirmé que la représentation d'état Markovienne et les pertes d'entraînement multi-étapes étaient critiques pour la performance.

• Performance de sécurité robuste :

  • Dans les tâches contraintes (par exemple, limites d'angles articulaires, seuils de hauteur, évitement d'obstacles), SLS2 a atteint des taux de sécurité de 100 % en simulation et sur matériel, alors que l'iLQR contraint non robuste et d'autres filtres de sécurité (HJ-filtered, LPB) ont fréquemment violé les contraintes.
  • Succès robuste : SLS2 a maintenu des taux élevés de complétion de tâche (par exemple, 88,57 % sur Rope, 94,29 % sur Cube) tout en respectant strictement les contraintes de sécurité.
  • Matériel : La méthode a été déployée avec succès sur de vrais bras KUKA iiwa pour la manipulation de cordes, démontrant une convergence vers l'état cible directement à partir des pixels sans estimation explicite de l'état.

Signification et affirmations

Le papier affirme que SLS2 comble le fossé entre la flexibilité des modèles de monde appris et la rigueur requise pour le contrôle critique de la sécurité. En combinant la prédiction conforme pour la calibration statistique et la synthèse de niveau système pour l'optimisation robuste scalable, la méthode fournit des garanties probabilistes que l'état réel du système reste dans des limites sûres, même en opérant dans un espace latent de haute dimension avec des dynamiques imparfaites.

Les auteurs soulignent que leur approche ne nécessite pas de représentations d'état conçues à la main ou de dynamiques connues, ce qui la rend applicable à des tâches complexes, déformables et visuellement riches. Ils notent que bien que la méthode améliore considérablement la sécurité et les taux de succès, elle repose sur l'hypothèse que les scores résiduels en boucle fermée sont échangeables avec les scores de calibration, et que les performances peuvent être limitées par l'hypothèse de représentations latentes isotropes dans des tâches nécessitant des manœuvres séquentielles complexes (comme Push-T).