⚡ electrical engineering

Uncertainty-Aware Predictive Safety Filters for Probabilistic Neural Network Dynamics

Cet article introduit l'Uncertainty-Aware Predictive Safety Filter (UPSi), un nouveau cadre qui intègre des réseaux de neurones d'ensemble probabilistes à une vérification rigoureuse basée sur les ensembles atteignables afin de fournir une exploration à garantie de sécurité et scalable pour l'apprentissage par renforcement fondé sur un modèle sans sacrifier la performance.

Auteurs originaux : Bernd Frauenknecht, Lukas Kesper, Daniel Mayfrank, Henrik Hose, Sebastian Trimpe

Publié 2026-08-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bernd Frauenknecht, Lukas Kesper, Daniel Mayfrank, Henrik Hose, Sebastian Trimpe

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à jouer à un jeu vidéo, mais avec une particularité : le robot apprend en faisant des essais, en faisant parfois des conjectures sauvages pour voir ce qui se passe. C'est ce qu'on appelle l'Apprentissage par Renforcement, et c'est ainsi que les machines deviennent très performantes dans des tâches complexes comme la conduite de voitures ou le jeu d'échecs. Mais il y a un énorme problème : si le robot fait une « conjecture sauvage » trop folle, il pourrait accidenter la voiture ou casser le jeu. Nous avons besoin d'un moyen de laisser le robot explorer et apprendre, mais de l'arrêter juste avant qu'il ne fasse quelque chose de dangereux.

Pour résoudre cela, les scientifiques utilisent ce qu'on appelle un « Filtre de Sécurité Prédictif ». Imaginez cela comme un ange gardien super intelligent ou un entraîneur strict debout à côté du robot. Avant que le robot ne fasse un mouvement, l'entraîneur lance une simulation rapide dans sa tête : « S'il saute là, va-t-il heurter le mur ? » Si la réponse est « peut-être », l'entraîneur intervient et modifie le mouvement du robot pour en faire un plus sûr. Traditionnellement, ces entraîneurs étaient très prudents et avaient besoin d'une description parfaite et textuelle du monde pour fonctionner. Mais le monde réel est désordonné et compliqué, donc ces anciens entraîneurs se retrouvaient souvent bloqués ou ne pouvaient pas gérer des jeux complexes. Ce document présente un nouveau type d'entraîneur qui est à la fois super intelligent et très prudent, permettant aux robots d'apprendre plus vite sans se blesser.

Le Problème : L'Entraîneur « Boîte Noire »

Dans le monde de l'apprentissage automatique, il existe un outil populaire appelé « Ensemble Probabiliste » (EP). Imaginez que vous avez une équipe de cinq experts différents (réseaux de neurones) essayant de deviner ce qui va se passer ensuite dans un jeu. Au lieu de n'en faire confiance qu'à un seul, vous interrogez les cinq et regardez leurs réponses. S'ils sont tous d'accord, vous vous sentez confiant. S'ils ne sont pas d'accord, vous savez que vous êtes dans une zone de « brouillard » où le modèle en sait peu. C'est excellent pour apprendre des choses complexes, mais cela a un défaut : parfois, l'équipe devient trop optimiste dans le brouillard. Ils pourraient dire : « Nous sommes sûrs à 100 % que vous n'allez pas vous écraser », même s'ils sont en train de deviner de manière totalement arbitraire.

Les tentatives précédentes consistant à utiliser ces « équipes d'experts » comme filtres de sécurité ont échoué car elles n'avaient pas de moyen rigoureux de vérifier si l'équipe disait vraiment la vérité ou si elle était simplement en train d'halluciner. C'était comme un entraîneur qui dirait : « Je pense que tu es en sécurité », sans réellement consulter la carte, ce qui mène à des accidents lorsque le robot tente quelque chose de trop risqué.

La Solution : UPSi (Le filtre « Oop-See »)

Les auteurs de ce document introduisent un nouveau système appelé UPSi, qui signifie Uncertainty-Aware Predictive Safety Filter (Filtre de Sécurité Prédictif Sensible à l'Incertitude).

Considérez UPSi comme un entraîneur de sécurité qui ne se contente pas de demander une réponse aux experts ; il vérifie également leurs niveaux de confiance. Il utilise une astuce mathématique ingénieuse pour dessiner une « bulle de sécurité » autour des trajectes possibles du robot.

La Bulle de Sécurité : Au lieu de deviner un seul chemin futur, UPSi calcule tout un nuage d'endroits où le robot pourrait finir. Il s'assure que ce nuage entier reste à l'intérieur de la « zone sûre » (comme rester sur la piste).
La Vérification de la Certitude : C'est la partie magique. UPSi a une règle spéciale : « Nous ne faisons confiance aux experts que s'ils se trouvent dans un "Ensemble Certain". » Si le robot tente de se déplacer dans une zone où les experts sont confus (incertitude élevée), UPSi dit : « Non, je n'en sais pas assez sur cette zone pour garantir la sécurité. Ne allons pas là-bas. » Cela empêche le robot de tromper le modèle en lui faisant croire qu'un mouvement dangereux est sûr simplement parce que le modèle est en train de deviner.

Comment cela fonctionne en pratique

Les chercheurs ont testé UPSi dans trois mondes simulés différents :

Pendule : Un bras robotique essayant de se balancer vers le haut sans heurter une zone interdite.
Cartpole : Un équilibre classique où un poteau doit rester vertical sur un chariot mobile.
Drone : Un robot volant essayant d'atteindre une hauteur cible sans s'écraser.

Dans ces tests, ils ont comparé UPSi à d'autres filtres de sécurité. Les résultats sont clairs :

Moins d'accidents : UPSi a empêché le robot de faire des mouvements dangereux bien plus souvent que les méthodes précédentes. Dans le test Cartpole, l'ancienne méthode a échoué (s'est crashée) 7,15 % du temps, tandis que l'UPSi n'a échoué que 0,75 % du temps.
Tout aussi bon pour l'apprentissage : Même si l'UPSi était extrêmement prudent, le robot a quand même appris à jouer au jeu aussi bien qu'il le faisait sans le filtre. Cela n'a pas ralenti le processus d'apprentissage.

Le « Et si » et le « À quel point on est sûr »

Les auteurs sont très prudents quant à ce qu'ils affirment. Ils n'ont pas seulement supposé que l'UPSi fonctionne ; ils ont prouvé mathématiquement que leurs « bulles de sécurité » (appelées ensembles atteignables) sont assez grandes pour capturer tous les résultats possibles, même si le modèle du monde du robot est légèrement erroné. Ils ont montré que si le robot reste à l'intérieur de ces bulles, il est mathématiquement garanti de rester en sécurité.

Cependant, ils admettent également que leur version actuelle est un peu lente pour une utilisation en temps réel dans des situations très complexes (comme un drone rapide). Dans leurs simulations, le filtre a mis entre 0,04 seconde et 25 secondes pour prendre une décision, selon la complexité. Bien que cela soit assez rapide pour les tests qu'ils ont menés, ils notent que rendre cela assez rapide pour des décisions de l'ordre de la fraction de seconde dans le monde réel est un défi pour l'avenir.

Ce qu'il faut retenir

Ce document comble un fossé entre deux mondes : l'apprentissage puissant et flexible de l'IA moderne et la sécurité stricte et fiable de l'ingénierie traditionnelle. UPSi montre que nous pouvons utiliser des modèles d'IA puissants et gourmands en données pour enseigner des compétences complexes aux robots, tant que nous les enveloppons dans un filtre de sécurité qui sait quand il ne sait pas. C'est une étape vers des robots capables d'explorer l'inconnu sans briser le monde.

Résumé technique : Filtres de sécurité prédictifs sensibles à l'incertitude pour les dynamiques de réseaux de neurones probabilistes

Énoncé du problème

L'apprentissage par renforcement profond (RL) est confronté à des défis majeurs concernant la sécurité de l'exploration. Bien que les filtres de sécurité prédictifs (PSF) offrent des garanties de sécurité rigoureuses en exploitant les concepts de commande prédictive (MPC), leur applicabilité pratique est souvent limitée par leur dépendance vis-à-vis de modèles fondés sur les premiers principes ou de processus gaussiens (GP). Ces classes de modèles traditionnels exigent soit des connaissances préalables approfondies sur le domaine, soit ne parviennent pas à s'adapter efficacement aux jeux de données volumineux et aux systèmes de haute dimension. À l'inverse, les méthodes modernes d'apprentissage par renforcement basé sur un modèle (MBRL) utilisent des réseaux de neurones d'ensembles probabilistes (PE) pour apprendre des dynamiques complexes et de haute dimension à partir de données avec un minimum de connaissances préalables. Cependant, les tentatives existantes d'intégration des modèles PE dans les PSF manquent de quantification rigoureuse de l'incertitude, ce qui conduit à des vérifications de sécurité heuristiques sujettes à l'exploitation du modèle sous une forte incertitude épistémique.

Méthodologie

Les auteurs proposent l'Uncertainty-Aware Predictive Safety Filter (UPSi), un cadre qui fait le pont entre la scalabilité du MBRL basé sur les PE et les garanties de sécurité rigoureuses de la MPC. UPSi opère au sein d'une architecture MBRL de type Dyna (par exemple, MBPO) et formule les résultats futurs comme des ensembles atteignables afin d'imposer la satisfaction des contraintes.

Composants clés

Ensemble de dynamiques probabilistes : UPSi utilise un modèle PE composé de $E$ réseaux de neurones pour approximer la dynamique du système. Le modèle sépare l'incertitude aléatoire (bruit de processus irréductible) de l'incertitude épistémique (manque de données) via le désaccord de l'ensemble.
Ensemble de certitude ( $C_j$ ) : Pour prévenir l'exploitation du modèle, UPSi définit un « ensemble de certitude » $C_j \subseteq S \times A$ . Au sein de cet ensemble, l'incertitude prédictive du modèle est suffisamment faible. L'ensemble est déterminé à l'aide d'une métrique de gain de Kalman dérivée des principes de fusion de capteurs, garantissant que les prédictions ne sont fiables que là où le modèle dispose d'un support de données suffisant.
Construction de l'ensemble atteignable :
- La méthode sur-approxime les ensembles atteignables robustes (RRS) en utilisant des tubes ellipsoïdaux propagés le long d'une trajectoire nominale.
- La matrice de forme du tube $P_{n|t}$ est mise à jour en propageant la variance aléatoire et en tenant compte des erreurs de linéarisation.
- Crucialement, les auteurs dérivent une borne supérieure rigoureuse sur l'erreur de linéarisation ( $e_{max}$ ) causée par l'approximation des dynamiques non linéaires par des développements de Taylor du premier ordre. Cette erreur est explicitement ajoutée à la propagation de la matrice de forme pour garantir que l'ensemble atteignable est une sur-approximation valide du comportement réel du système.
Formulation du filtre de sécurité : Le filtre de sécurité résout un problème d'optimisation contraint à chaque étape de temps. Il recherche une séquence d'actions qui minimise l'écart par rapport à l'action proposée par l'agent de RL tout en satisfaisant :
- Les contraintes d'état et d'entrée ( $S, A$ ).
- Les contraintes d'ensemble terminal ( $T_j$ ).
- Contraintes de certitude : Toutes les paires état-action prédites le long de la trajectoire doivent rester dans l'ensemble de certitude $C_j$ . Cela est imposé par un resserrement des contraintes basé sur la continuité de Lipschitz de la mesure d'incertitude.
Expansion de l'ensemble terminal : Pour réduire le conservatisme, l'ensemble terminal $T_j$ est étendu de manière itérative en utilisant une approche basée sur les données. Des trajectoires réalisables issues d'épisodes précédents sont utilisées pour approximer un ensemble contrôlable plus large, permettant à l'agent d'explorer plus loin tout en maintenant la sécurité.

Principales contributions

Le papier présente trois contributions primaires :

Ensembles atteignables rigoureux à partir de modèles PE : Les auteurs dérivent une méthode pour calculer des ensembles atteignables prouvablement sur-approximants à partir de modèles de réseaux de neurones probabilistes. Cela implique la séparation de l'incertitude aléatoire et épistémique ainsi que la détermination explicite des bornes d'erreur de linéarisation pour garantir que les ensembles calculés contiennent toutes les trajectoires possibles du système.
Contrainte de certitude explicite : Une contrainte novatrice est introduite dans la formulation du PSF pour empêcher l'agent d'exploiter les inexactitudes du modèle. En restreignant l'horizon de planification à l'« ensemble de certitude », le filtre garantit la sécurité même lorsque le modèle est incertain.
Validation empirique et intégration pratique : Les auteurs valident la sur-approximation théorique et intègrent une version simplifiée d'UPSi dans le cadre MBPO. Ils démontrent que cette approche améliore significativement la sécurité de l'exploration par rapport aux précédents PSF basés sur les réseaux de neurones (spécifiquement XMPSC) tout en maintenant des performances comparables au MBPO standard.

Résultats expérimentaux

L'évaluation a été menée sur trois benchmarks standards de RL sécurisé : Pendulum, Cartpole et Drone.

Vérification de l'ensemble atteignable : Dans l'environnement Cartpole, la construction de tubes ellipsoïdaux proposée a montré qu'elle sur-approximait systématiquement les ensembles atteignables réels (vérifié via 100 000 trajectoires simulées), confirmant les bornes théoriques.
Performance de sécurité : Lorsqu'il est intégré dans MBPO, UPSi a démontré une réduction substantielle des violations de contraintes par rapport à XMPSC (un filtre de sécurité PE antérieur). Par exemple, dans l'environnement Cartpole, le taux d'infaisabilité est passé de 7,15 % (XMPSC) à 0,75 % (UPSi).
Performance : Malgré les contraintes de sécurité supplémentaires, UPSi a obtenu des rendements de contrôle comparables aux baselines standard MBPO et SAC.
Comportement de filtrage : UPSi est intervenu plus fréquemment que XMPSC mais a trouvé des solutions réalisables plus souvent, indiquant un meilleur équilibre entre l'application de la sécurité et la capacité d'exploration.

Signification et affirmations

Le papier affirme avoir réussi à combler le fossé entre la scalabilité des méthodes MBRL modernes et les garanties de sécurité rigoureuses des filtres de sécurité prédictifs. En permettant l'utilisation de modèles PE flexibles et basés sur les données au sein d'un cadre MPC rigoureux, UPSi étend l'applicabilité des filtres de sécurité à une classe plus large de systèmes non linéaires de haute dimension qui étaient auparavant difficiles à modéliser via les premiers principes ou les GP.

Les auteurs reconnaissent des limites, notant que la mise en œuvre pratique repose sur des simplifications (par exemple, propagation de tube simplifiée, absence de contrôleur auxiliaire dans les expériences) qui rompent les garanties formelles, et que la faisabilité en temps réel pour des systèmes de haute dimension (comme le Drone) reste un défi. Cependant, ce travail établit une approche fondamentale pour la sécurité sensible à l'incertitude dans le contrôle basé sur l'apprentissage, suggérant que de futures améliorations de la faisabilité en temps réel pourraient permettre un déploiement sur du matériel plus complexe.