⚡ electrical engineering

Local Conformal Calibration of Dynamics Uncertainty from Semantic Images

Ce papier présente OCULAR, un algorithme basé sur la prédiction conforme qui exploite les informations sémantiques des images pour fournir des garanties de quantification de l'incertitude non asymptotiques et sans hypothèse de distribution pour les modèles de dynamique linéaire gaussienne, permettant une planification probabiliste sûre dans des environnements inédits en distinguant les régions à forte et à faible incertitude sans nécessiter de données spécifiques à l'environnement.

Auteurs originaux : Luís Marques, Dmitry Berenson

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Luís Marques, Dmitry Berenson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un robot comment conduire une voiture. Vous donnez au robot une carte et un ensemble de règles décrivant comment la voiture doit se déplacer. Mais dans le monde réel, les choses ne suivent pas toujours les règles. Parfois, la route est glacée, parfois il y a une rafale de vent, ou les pneus patinent. Le robot doit savoir : « À quel point suis-je certain de l'endroit où je serai dans la seconde suivante ? »

Si le robot est trop confiant alors qu'il devrait être prudent, il pourrait avoir un accident. S'il est trop prudent alors qu'il devrait être audacieux, il pourrait rester bloqué ou avancer trop lentement.

Ce papier présente une nouvelle méthode appelée OCULAR (Observation-aware Conformal Uncertainty Local-Calibration). Considérez OCULAR comme un « filet de sécurité intelligent » qui aide le robot à déterminer exactement dans quelle mesure il doit faire confiance à ses propres prédictions en fonction de ce qu'il observe autour de lui.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : L'Erreur du « Taille Unique »

Les méthodes traditionnelles pour aider les robots à prédire leur position future agissent généralement comme un imperméable taille unique. Elles disent : « Peu importe où vous êtes, supposez le pire scénario. »

Le Défaut : Si le robot est sur une route sèche et ensoleillée, cet imperméable est trop lourd et ralentit le robot. Mais si le robot est sur une plaque de verglas, ce même imperméable pourrait être trop fin, et le robot se mouille (a un accident).
L'Ancienne Méthode : Pour résoudre ce problème, les méthodes précédentes exigeaient que le robot conduise sur la nouvelle route spécifique qu'il allait emprunter, juste pour mesurer son degré d'adhérence. C'est dangereux et inefficace. Vous ne voulez pas qu'un robot percute un mur simplement pour apprendre que le mur est dur.

2. La Solution : Le « Détective Visuel »

OCULAR est différent. Au lieu de devoir conduire sur la nouvelle route en premier, il agit comme un détective visuel.

L'Analogie : Imaginez que vous n'avez jamais conduit sur une route glacée spécifique. Cependant, vous avez conduit sur beaucoup d'autres routes glacées par le passé. Vous savez que « les routes glacées apparaissent blanches et brillantes ».
Le Fonctionnement d'OCULAR : Lorsque le robot voit une nouvelle route, il examine le flux vidéo de la caméra. Si la route ressemble aux routes glacées qu'il a vues auparavant, OCULAR dit : « Ah, cela ressemble à de la glace ! Je dois être extrêmement prudent et supposer que mon mouvement est très incertain. » Si la route ressemble à de l'asphalte sec, il dit : « Cela semble normal ; je peux être plus confiant. »

3. L'Astuce Magique : « La Prédiction Conformelle »

Le papier utilise une astuce statistique appelée Prédiction Conformelle. Considérez cela comme un outil d'étalonnage.

Le robot possède un « moteur de devinette » (un modèle mathématique) qui prédit où il sera ensuite.
OCULAR prend un ensemble de données provenant d'autres environnements similaires (comme d'autres cartes avec de la glace ou des routes sèches) et vérifie : « À quel point le moteur de devinette s'est-il trompé dans ces situations passées ? »
Il crée ensuite une bulle de sécurité autour de la position future prédite du robot.
- Si le robot est dans une zone de « faible incertitude » (route sèche), la bulle est petite et serrée.
- Si le robot est dans une zone de « forte incertitude » (route glacée), la bulle s'étend pour devenir très grande, offrant au robot beaucoup d'espace pour rester en sécurité.

4. Pourquoi C'est Important

Le papier démontre que OCULAR peut accomplir deux choses que les méthodes précédentes ne parvenaient pas à bien faire :

Généraliser sans tester : Il peut conduire en toute sécurité sur une toute nouvelle route qu'il n'a jamais vue, tant que cette route ressemble visuellement à des routes qu'il a étudiées auparavant. Il n'a pas besoin de conduire sur la nouvelle route en premier pour s'étalonner.
Être efficace : Il ne se contente pas de rendre la bulle de sécurité énorme partout (ce qui ferait avancer le robot comme une tortue). Il ne rend la bulle grande que là où c'est réellement nécessaire (comme sur la glace) et la maintient petite là où le robot est confiant.

5. Les Résultats

Les chercheurs ont testé cela sur une voiture-robot simulée dans deux scénarios :

Cartes 2D simples : Où le robot devait naviguer dans des couloirs avec des zones glissantes.
Simulation 3D réaliste (Isaac Sim) : Où le robot utilisait une caméra pour voir un carrefour en T enneigé.

Le Résultat :

Les anciennes méthodes soit percutaient des obstacles car elles étaient trop confiantes sur la glace, soit restaient bloquées car elles avaient trop peur de bouger.
OCULAR a navigué avec succès sur les nouvelles routes glacées jamais vues. Il a ralenti lorsqu'il a vu la « glace » (forte incertitude) et accéléré lorsqu'il a vu la « route sèche » (faible incertitude), le tout sans avoir jamais conduit sur cette route spécifique auparavant.

En Résumé

OCULAR est un moyen pour les robots de dire : « Je ne suis jamais venu ici, mais j'ai vu des endroits qui ressemblent à celui-ci. En fonction de ce que je vois, je sais exactement à quel point je dois m'inquiéter de mon prochain mouvement. » Cela permet aux robots d'être sûrs et efficaces dans de nouveaux environnements imprévisibles sans avoir besoin de percuter des obstacles ou de les tester au préalable.

Résumé Technique : Calibration Conformale Locale de l'Incertitude Dynamique à partir d'Images Sémantiques

Énoncé du Problème
Les systèmes robotiques opérant dans des environnements réels font face à des défis majeurs en matière de quantification de l'incertitude, dus aux perturbations non modélisées (incertitude aléatoire) et aux écarts de modèle (incertitude épistémique). Bien que la Prédiction Conformale (CP) offre un cadre sans distribution pour fournir des garanties probabilistes sur les régions de prédiction, les méthodes CP existantes en robotique souffrent de deux limitations critiques :

Manque de Discriminabilité : La CP standard fournit des garanties de couverture moyenne (marginale) sur un ensemble de données, mais échoue à distinguer les régions état-action présentant un fort ou un faible écart de modèle. Cela empêche les planificateurs de diriger le système vers des états à faible incertitude.
Exigence de Données Spécifiques à l'Environnement : Les approches actuelles nécessitent généralement des données de calibration collectées dans l'environnement de test exact pour garantir la validité. Cela est peu pratique et risqué, car cela impose de traverser de nouveaux environnements, potentiellement dangereux (par exemple, des routes glissantes), uniquement pour calibrer le modèle dynamique.

Les auteurs répondent au besoin d'un algorithme capable de fournir des garanties d'incertitude prouvables, sur un échantillon fini, pour des environnements de test non vus, en exploitant les informations de perception provenant d'environnements visuellement similaires, mais distincts.

Méthodologie : OCULAR
L'article introduit Observation-aware Conformal Uncertainty Local-Calibration (OCULAR), une méthode qui calibre un modèle dynamique linéaire gaussien ( $\tilde{f}$ ) en utilisant des données de perception dans le référentiel du robot. L'innovation centrale consiste à remplacer les poses dans le référentiel mondial (qui nécessitent des données spécifiques à l'environnement) par une représentation apprise des observations sémantiques.

La méthodologie se déroule en deux phases :

Calibration Hors Ligne :
- Traitement de l'Observation : Les images de profondeur et sémantiques brutes sont projetées dans une « empreinte sémantique planaire » ( $o'_t$ ) dans le référentiel du robot. Cette représentation capture l'environnement devant le robot tout en éliminant les coordonnées du référentiel mondial non pertinentes.
- Encodage Latent : Un Autoencodeur Convolutif (CAE) est entraîné sur des données provenant d'un ensemble d'environnements de calibration pour compresser les empreintes planaires en un vecteur latent de faible dimension ( $\phi_t$ ).
- Partitionnement Local : L'espace d'entrée est défini comme $X = (v_t, a_t, \phi_t)$ , combinant la vitesse, l'action et l'observation latente. Un Arbre de Décision (DTree) est entraîné pour partitionner cet espace en régions ( $X_k$ ) où les scores de non-conformité (désaccord entre $\tilde{f}$ et la vérité terrain) sont approximativement constants. Cela est réalisé en utilisant l'algorithme LOCART pour minimiser la variance des scores au sein des partitions.
- Calibration Locale : Pour chaque partition $X_k$ , une procédure de Prédiction Conformale Éclatée (SplitCP) est effectuée sur un sous-ensemble de retenue des données de calibration. Cela produit un facteur d'échelle spécifique à la partition ( $\hat{q}_k$ ) qui ajuste la covariance des prédictions gaussiennes.
Déploiement en Ligne :
- Durant l'opération dans un nouvel environnement non vu, le robot traite son observation actuelle dans l'espace latent et la fait passer à travers l'Arbre de Décision pré-entraîné pour identifier la partition actuelle $X_k$ .
- La covariance prédite par le modèle dynamique est mise à l'échelle par le facteur correspondant $\xi_k$ dérivé de $\hat{q}_k$ .
- Cette estimation d'incertitude calibrée est injectée dans un planificateur de Contrôle Prédictif de Modèle (MPC). Le planificateur construit une région de prédiction garantie pour contenir le vrai prochain état avec une probabilité $(1-\alpha)$ et optimise les trajectoires pour éviter les régions où l'incertitude calibrée est élevée ou qui intersectent des obstacles.

Contributions Clés
Les auteurs apportent trois contributions principales :

Proposition d'Algorithme : Ils proposent OCULAR, un algorithme qui fournit des garanties prouvables sur un échantillon fini concernant l'incertitude dynamique dans un nouvel environnement non vu, en utilisant uniquement des données provenant d'environnements visuellement similaires.
Validité Théorique : Ils prouvent que le pipeline consistant à projeter les observations, à les encoder via un CAE, et à les partitionner via un Arbre de Décision préserve l'échangeabilité requise pour la Prédiction Conformale. Cela permet des garanties de couverture locales (conditionnelles) plutôt que de simples garanties marginales globales.
Validation Empirique : Ils valident l'approche sur un système double intégrateur soumis à des perturbations aléatoires et à un écart de modèle significatif (simulant des surfaces glissantes). Les expériences utilisent à la fois des capteurs planaires simplifiés et des caméras réalistes Isaac Sim.

Résultats
Des expériences ont été menées sur quatre cartes planaires et trois scénarios de route Isaac Sim, comparant OCULAR à :

NoCP : Modèle non calibré (échoue sur les données hors distribution (OOD)).
SplitCP : Calibration globale utilisant des données de l'environnement de test (trop conservateur en distribution, insuffisamment protecteur OOD).
LUCCa : Calibration locale utilisant des données de l'environnement de test (nécessite des données spécifiques à l'environnement).

Les principales conclusions sont :

Couverture : OCULAR atteint la probabilité de couverture définie par l'utilisateur (90 %) dans les régions en distribution et hors distribution (par exemple, routes glissantes) sans utiliser aucune donnée de l'environnement de test. À l'inverse, NoCP sous-couvre sévèrement les régions OOD, et SplitCP échoue à s'adapter aux variations locales de l'incertitude.
Efficacité Volumétrique : OCULAR construit des régions de prédiction qui ne sont que 12 à 15 % plus grandes qu'une région optimale « oracle », démontrant une haute efficacité volumétrique comparable aux méthodes ayant accès aux données de l'environnement de test (comme LUCCa).
Planification Sûre : Dans les tâches d'optimisation de trajectoire, OCULAR navigue avec succès dans les régions à haute incertitude en ralentissant et en évitant les collisions, atteignant des taux de réussite de 100 % sur toutes les cartes testées. Les méthodes sans calibration (NoCP) ou avec calibration globale (SplitCP) ont fréquemment entraîné des collisions en raison d'un optimisme excessif ou d'un conservatisme excessif, respectivement.

Signification et Revendications
L'article revendique que OCULAR comble le fossé entre les garanties théoriques d'incertitude et le déploiement pratique en robotique. En exploitant les informations de perception pour généraliser à travers les environnements, la méthode élimine le besoin de collecte de données de calibration spécifiques à l'environnement, ce qui est risqué. Les auteurs soulignent que leurs garanties sont non asymptotiques et sans distribution, ne nécessitant aucune hypothèse forte sur la dynamique réelle inconnue du système.

Les auteurs notent modestement que, bien qu'ils démontrent des garanties de sécurité à un pas et une planification heuristique à plusieurs pas, ils ne revendiquent pas de garanties théoriques rigoureuses pour la sécurité à plusieurs pas en raison de la non-exchangeabilité des observations générées par la carte durant l'exécution. De plus, ils reconnaissent une sensibilité aux hyperparamètres du CAE et de l'Arbre de Décision, et que l'apprentissage actuel de la représentation latente est découplé de l'utilité de la prédiction d'incertitude, suggérant une voie pour un travail futur.