🤖 machine learning

Don't Fool Me Twice: Adapting to Adversity in the Wild with Experience-Driven Reasoning

Le papier propose « Don't Fool Me Twice », un cadre d'apprentissage continu qui permet aux agents incarnés mobiles de s'adapter à des adversités inédites et spécifiques à l'incarnation en combinant l'observation de perturbations en ligne, le raisonnement par modèle vision-langage et la régression par noyau pour apprendre des anomalies et améliorer la planification et la récupération futures.

Auteurs originaux : Navin Sriram Ravie, Andrew Jong, Krrish Jain, John Liu, Omar Alama, Bijo Sebastian, Sebastian Scherer

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Navin Sriram Ravie, Andrew Jong, Krrish Jain, John Liu, Omar Alama, Bijo Sebastian, Sebastian Scherer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment marcher dans une ville animée et imprévisible. Par le passé, nous essayions d'enseigner aux robots en leur donnant un immense carnet de règles sur tout ce qui pourrait mal se passer (comme « ne pas marcher sur des sols mouillés » ou « ne pas toucher de poêles chaudes »). Mais le monde réel est désordonné. Un sol mouillé peut être dangereux pour un robot à roues, mais sans danger pour un drone volant. Un miroir brillant peut troubler une caméra, mais pas un scanner laser.

Le document présente un nouveau système appelé « Don't Fool Me Twice » (DFM2). Au lieu de faire mémoriser un immense carnet de règles à l'avance, ce système apprend au robot à apprendre de ses propres erreurs en temps réel, afin qu'il ne commette jamais deux fois la même erreur.

Voici comment cela fonctionne, décomposé en étapes simples avec des analogies :

1. Le moment du « Oups » (Détecter les problèmes)

Imaginez que vous marchez dans la rue et que, soudain, une forte rafale de vent vous pousse hors de votre trajectoire. Vous trébuchez.

Le point de vue du robot : Le robot suit un chemin parfait. Soudain, ses capteurs disent : « Attendez, je ne suis pas là où je devrais être ! » ou « Ma caméra est en train de s'embrouiller ».
Le système : DFM2 signale immédiatement cela comme une « adversité » (un point de difficulté). Il ne se contente pas d'ignorer le problème ; il s'arrête et dit : « Quelque chose ne va pas ici ».

2. Le travail de détective (Interroger le « Cerveau »)

Une fois que le robot a trébuché, il doit savoir pourquoi.

L'analogie : Imaginez que vous avez trébuché sur un rocher. Vous regardez autour de vous et demandez à un ami intelligent (un Modèle de Langage et de Vision, ou VLM) : « Qu'est-ce qui m'a fait trébucher ? »
Le système : Le robot montre au VLM une image de la zone où il a trébuché. Le VLM regarde l'image et dit : « Oh, c'est un ventilateur qui souffle de l'air », ou « C'est une feuille noire sur le sol qui perturbe votre caméra ».
Le tour de passe-passe : Contrairement aux anciens systèmes qui interrogent constamment le VLM (ce qui est lent et rend le robot excessivement prudent, lui faisant éviter des choses qui ne sont pas réellement dangereuses), DFM2 ne pose la question qu' après qu'une erreur s'est produite. Cela le rend plus rapide et plus intelligent.

3. Dessiner la « Carte du Danger » (Apprendre la forme du problème)

Maintenant que le robot sait ce qui a causé le problème (par exemple, un ventilateur), il doit savoir à quel point le problème est grave et où il s'arrête.

L'analogie : Si un ventilateur vous pousse hors de votre trajectoire, le vent ne se trouve pas seulement au niveau du ventilateur ; il se diffuse selon une forme spécifique. Certaines parties du vent sont fortes, d'autres sont faibles.
Le système : Le robot crée une « carte de chaleur » 3D du danger. Il apprend qu'un ventilateur pousse le robot fort juste à côté de lui, mais que l'effet s'atténue à mesure que l'on s'en éloigne. Il ne se contente pas de dire « Ventilateur = Mauvais » ; il dit « Ventilateur = Poussée forte ici, poussée faible là ».
Les mathématiques : Il utilise une astuce mathématique ingénieuse (la régression par noyau ou Kernel Regression) pour dessiner cette forme en utilisant très peu de données, afin d'apprendre rapidement sans avoir besoin de s'écraser cent fois.

4. La promesse du « Jamais plus » (Planification future)

C'est le cœur de « Don't Fool Me Twice ».

L'analogie : La prochaine fois que vous verrez ce même ventilateur, vous n'aurez pas besoin d'être renversé par le vent pour savoir qu'il est dangereux. Vous vous souviendrez de la forme du vent et contournerez l'obstacle en toute sécurité.
Le système : Le robot enregistre l'« histoire » du ventilateur et sa carte de danger en 3D dans une bibliothèque. S'il voit à nouveau un ventilateur (même un modèle différent), il le reconnaît instantanément, sait exactement quelle distance garder et planifie un chemin sûr pour le contourner.

Deux types différents de « Tromperie »

Le document a testé cela sur deux types de robots très différents pour prouver que cela fonctionne pour tout le monde :

Le Drone Volant (Forces externes) :
- Le Problème : Un ventilateur dévie le drone de sa course.
- La Leçon : Le drone apprend à voler autour du ventilateur, et pas seulement à éviter le ventilateur lui-même. Il apprend le « champ de vent ».
Le Robot à Roues (Confusion interne) :
- Le Problème : Le robot roule sur une feuille noire et lisse. Sa caméra est perturbée car il n'y a pas de motifs à suivre, et il pense qu'il avance alors qu'il est en réalité bloqué (ou l'inverse).
- La Leçon : Le robot apprend que « Feuille Noire = Confusion de la Caméra ». Il ne se contente pas d'éviter la feuille ; il apprend à ralentir ou à changer son angle pour que sa caméra puisse mieux voir, évitant ainsi la confusion à l'origine.

Les Résultats

Lors des tests, les robots utilisant « Don't Fool Me Twice » ont été bien plus performants pour survivre que les robots utilisant les anciennes méthodes :

Les anciens robots : Soit ils s'écrasaient parce qu'ils ne connaissaient pas le danger, soit ils prenaient de très longs détours car ils avaient peur de tout.
Les robots DFM2 : Ils se sont moins écrasés (taux de survie de 81,8 % lors des tests), ont pris des chemins plus courts et ont appris à naviguer dans des zones complexes comme les ventilateurs ou les sols déroutants de manière beaucoup plus fluide.

En bref : DFM2 transforme un robot d'un étudiant qui oublie chaque leçon en un étudiant qui apprend de chaque erreur, se souvient de la forme spécifique du danger et navigue dans le monde sauvage avec confiance.

Résumé Technique : Don't Fool Me Twice (DFM2)

Énoncé du Problème

Les robots mobiles autonomes opérant dans des environnements ouverts et non structurés sont confrontés à des « adversités spécifiques à l'incarnation » — des perturbations qui dégradent les performances de manières uniques à la configuration matérielle et sensorielle spécifique d'un robot. Par exemple, un sol mouillé peut être dangereux pour un robot à roues mais sans importance pour un véhicule aérien miniature (MAV), tandis qu'une surface réfléchissante peut provoquer une défaillance du LiDAR sans affecter l'odométrie visuelle.

Les approches actuelles font face à deux limitations principales :

Sur-conservatisme : Les grands modèles de langage-vision (VLM) utilisés pour l'anticipation proactive des dangers reposent souvent sur le bon sens à l'échelle d'Internet, générant des listes exhaustives de dangers potentiels. Cela conduit les planificateurs à contourner des objets ne posant aucune menace réelle pour l'incarnation spécifique du robot, ce qui entraîne des trajectoires inefficaces et une latence de calcul élevée.
Manque de conscience de l'interaction : Les méthodes existantes peinent à capturer la nature nuancée et dépendante de l'interaction des adversités. Elles traitent souvent les dangers comme des obstacles binaires plutôt que d'apprendre l'étendue spatiale et l'amplitude de la perturbation par rapport aux signaux opérationnels du robot.

Le défi central est de permettre à un agent incarné de découvrir, caractériser et s'adapter de manière autonome à ces adversités grâce à sa propre expérience opérationnelle, plutôt que de s'appuyer uniquement sur des bibliothèques de dangers prédéfinies.

Méthodologie : Don't Fool Me Twice (DFM2)

DFM2 est un cadre d'apprentissage continu qui construit une « bibliothèque de dangers » personnalisée en attribuant les déviations opérationnelles anormales à des causes sémantiques. Le système fonctionne via une architecture à double boucle : une boucle rapide pour la surveillance en temps réel et une boucle lente pour le raisonnement et la mise à jour du modèle.

1. Détection et Définition de l'Adversité

Une adversité est définie comme toute perturbation causant une déviation mesurable des signaux opérationnels ( $\nu(t)$ ) par rapport au comportement nominal. Le système surveille des signaux tels que l'erreur de suivi de trajectoire ( $\|x_{obs} - x_{ref}\|$ ) ou l'incertitude de l'estimation d'état (trace de la matrice de covariance de la pose). Lorsqu'une déviation dépasse un seuil calibré, un événement d'anomalie est signalé.

2. Raisonnement Sémantique Piloté par l'Événement

Contra lieu d'une interrogation proactive, DFM2 emploie une approche pilotée par l'événement. Lors de la détection d'une anomalie, le système :

Narration de l'Événement : Il synthétise un journal multimodal contenant la trajectoire prévue vs réelle, les métriques (ex: taux de variation) et des images d'ancrage visuel prises immédiatement avant la perturbation.
Interrogation VLM : Ce récit ancré est transmis à un modèle de langage-vision (VLM) pour inférer la cause sémantique latente (ex: « un ventilateur » ou « une ventilation »).
Ancrage Visuel : La sortie textuelle du VLM est remise en correspondance avec la scène visuelle via des plongements visuels denses (via les encodeurs SigLIP et NARadio) pour localiser l'objet spécifique causant la perturbation dans l'espace 3D.

3. Caractérisation de la Perturbation Centrée sur les Voxels

Une fois la cause identifiée et localisée, DFM2 caractérise le champ de perturbation en utilisant une régression par noyau au sein d'une carte de voxels sémantiques :

Modélisation Spatiale : Le système modélise l'amplitude de la perturbation comme une somme pondérée des contributions des voxels sémantiques. Il emploie des noyaux RBF (Radial Basis Function) anisotropes pour capturer les interactions directionnelles entre le robot et l'environnement.
Apprentissage à Faible Échantillonnage (Few-Shot) : En contraignant la forme spatiale (échelles de longueur) sur la base de la classe sémantique du danger, le système réduit le problème d'adaptation à une optimisation contrainte nécessitant des données d'interaction éparses (few-shot).
Estimation de l'Incertitude : Pour garantir la sécurité avec des données limitées, le système estime l'incertitude épistémique en utilisant une régression linéaire bayésienne (BLR) sur un modèle de forme fixe. Cela permet au planificateur d'élargir les marges de sécurité de manière conservatrice dans les régions où la perturbation est prédite mais où les données sont rares.

4. Planification Adaptative

Les champs de perturbation appris et les incertitudes associées sont stockés dans une bibliothèque de dangers récupérable. Lors d'une nouvelle rencontre avec un danger sémantique similaire, le robot infère une distance de sécurité et planifie une trajectoire qui contourne la région adverse spécifique, plutôt que d'éviter toute la catégorie sémantique.

Principales Contributions

Le papier présente quatre contributions majeures :

Association Sémantique Pilotée par l'Expérience : Un mécanisme pour découvrir les dangers de longue traîne en attribuant les déviations des signaux opérationnels à des sémantiques visuelles denses, créant une bibliothèque de dangers personnalisée par raisonnement post-hoc.
Modélisation d'Interaction Découplée à Faible Échantillonnage : Une méthode qui contraint la géométrie spatiale via des priors de voxels sémantiques, permettant de modéliser efficacement les anomalies transitoires avec un minimum de données d'interaction.
Adaptation Prédictive Sensible à l'Incertitude : L'utilisation de la régression linéaire bayésienne sur des modèles de forme fixes pour estimer l'incertitude épistémique, facilitant une planification proactive et conservatrice à proximité des nouveaux dangers.
Généralisation à travers les Incarnations : La validation que le cadre s'applique à des modes de défaillance distincts (forces physiques externes vs dégradation de la perception interne) et à différents types de robots (quadrotors vs robots à roues).

Résultats Expérimentaux

Le cadre a été validé par quatre hypothèses, tant en simulation (NVIDIA Isaac Sim) qu'en expériences matérielles.

Expériences de Simulation (Quadrotor)

Taux de Survie : DFM2 a atteint un taux de survie de 81,8 %, surpassant nettement le meilleur baseline (Raisonnement de Danger Proactif à 59,1 %) et le planificateur purement géométrique (40,9 %).
Efficacité : DFM2 a réduit la perturbation cumulative de plus de 3 fois par rapport à la meilleure méthode suivante (2,9 m contre 8,0 m).
Efficacité de Trajectoire : En évitant les détours trop conservateurs, DFM2 a maintenu des temps d'arrivée et des longueurs de chemin compétitifs par rapport aux baselines qui souffraient d'un évitement excessif.
Attribution Causale : L'interrogation pilotée par l'événement a considérablement amélioré la précision de l'identification de la cause racine (jusqu'à 85,7 % avec le raisonnement par chaîne de pensée / Chain-of-Thought) par rapport à l'interrogation périodique traditionnelle (< 5 % de précision).

Expériences Matérielles (Robot à Roues)

Dégradation de la Perception : Le système a été testé contre des défaillances de perception « spécifiques à l'incarnation », spécifiquement les surfaces sans texture (causant une dérive de l'odométrie visuelle) et la surexposition infrarouge.
Robustesse : DFM2 a maintenu un ratio d'inliers plus élevé (0,45 contre 0,28 pour le baseline) et a réduit la trace de la covariance de la pose (1,04 contre 2,60), indiquant une stabilité de localisation supérieure.
Adaptation : Le robot a réussi à adapter son mouvement pour réduire l'exposition aux zones de dégradation perceptuelle, empênant une défaillance de localisation catastrophique sans réglage manuel des rayons d'évitement.

Signification et Revendications

Le papier affirme que DFM2 représente un passage de l'anticipation de danger statique et préventive à l'adaptation réactive pilotée par l'expérience. Sa signification réside dans :

Spécificité de l'Incarnation : Il reconnaît que le « danger » est relatif à l'agent, permettant aux robots d'apprendre ce qui est réellement nocif pour eux plutôt que de compter sur des priors de sécurité génériques.
Efficacité : En caractérisant l'étendue spatiale et l'amplitude des perturbations plutôt qu'en les traitant comme des obstacles binaires, le robot peut naviguer plus près des dangers en toute sécurité, améliorant ainsi l'efficacité du chemin.
Généralisabilité : Le cadre réussit à combler le fossé entre les perturbations physiques externes (vent) et les défaillances de perception internes (dégradation des capteurs), suggérant une approche unifiée pour gérer diverses adversités dans le monde réel.

Les auteurs notent des limites, notamment la dépendance à l'observabilité visuelle de la cause et la fragilité de l'attribution lors d'une rencontre unique dans des scènes encombrées, suggérant des travaux futurs dans le raisonnement multimodal et l'intégration de l'apprentissage de bout en bout.