🔢 mathematics

Hessian-augmented Supervised Learning for Hamilton-Jacobi-Bellman PDEs

Cet article présente une méthode pilotée par les données pour approximer les fonctions de valeur dans les problèmes de commande optimale déterministes en augmentant la régression polynomiale parcimonieuse par des informations de gradient et de Hessienne dérivées du principe du maximum de Pontryagin et des équations de Riccati, réduisant ainsi considérablement la complexité d'échantillonnage et améliorant la performance en boucle fermée par rapport aux approches fondées uniquement sur la valeur.

Auteurs originaux : Matías Gómez-Aedo, Behzad Azmi, Yuyang Huang, Dante Kalise, Karl Kunisch

Publié 2026-06-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Matías Gómez-Aedo, Behzad Azmi, Yuyang Huang, Dante Kalise, Karl Kunisch

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à conduire une voiture parfaitement à travers une ville complexe. Le robot doit connaître le meilleur chemin à prendre depuis n'importe quel point de départ pour atteindre sa destination en toute sécurité et rapidement. En termes mathématiques, ce « chemin parfait » est appelé une fonction de valeur.

Le problème est que la ville est immense, et les règles de la route (la physique de la voiture) sont compliquées. Calculer le chemin parfait pour chaque point de départ possible est comme essayer de cartographier chaque rue du monde en même temps. C'est une tâche si vaste que les ordinateurs traditionnels s'y perdent ; c'est ce qu'on appelle la « malédiction de la dimensionnalité ».

Ce document présente une nouvelle méthode ingénieuse pour enseigner au robot, appelée Apprentissage Supervisé Augmenté par le Hessien. Voici comment cela fonctionne, décomposé en concepts simples :

1. L'ancienne méthode : Deviner la carte

Habituellement, pour enseigner au robot, on lui demanderait de calculer le « score » (ou le coût) d'un trajet à partir de quelques points de départ. On donnerait au robot une liste de points et leurs scores, puis on lui demanderait de tracer une carte lisse reliant ces points.

Le défaut : Si vous ne donnez au robot que les scores (la « hauteur » du terrain à certains points), il doit deviner la forme des collines et des vallées entre eux. Pour obtenir une bonne carte, il faut mesurer des milliers de points. Si la ville est complexe, il pourrait fallre des millions de points, ce qui prend un temps infini à calculer.

2. La nouvelle méthode : Donner au robot un GPS, une boussole et un courvimètre

Les auteurs ont réalisé que lorsqu'on calcule le chemin parfait pour un seul point de départ, on obtient beaucoup plus d'informations que le simple score final.

Le Score (Valeur) : À quel point ce trajet est-il bon ?
La Boussole (Gradient) : Dans quelle direction le robot doit-il tourner en ce moment même pour rester sur le meilleur chemin ?
Le Courvimètre (Hessien) : À quel point la route est-elle courbe ? Est-ce une courbe douce ou un virage serré ?

Dans ce document, les auteurs utilisent un outil mathématique appelé le Principe du Maximum de Pontryagin pour générer ces trois données pour chaque exemple d'entraînement. C'est comme donner au robot un seul point de donnée qui lui indique non seulement où il se trouve, mais aussi vers où aller et comment la route se courbe à cet endroit précis.

3. Le super-pouvoir du « Hessien »

Le document met l'accent sur le Hessien (le courvimètre).

L'analogie : Imaginez que vous essayiez d'ajuster un morceau de ficelle à une surface bosselée.
- Si vous connaissez seulement la hauteur des bosses (ordre zéro), vous devez fixer la ficelle à des centaines d'endroits pour qu'elle soit correcte.
- Si vous connaissez aussi la pente (premier ordre), vous avez besoin de moins de points de fixation.
- Si vous connaissez aussi la façon dont la surface se courbe (second ordre/Hessien), vous pouvez ajuster la ficelle parfaitement avec seulement une poignée de points.

Les auteurs démontrent qu'en incluant cette donnée de « courbure », ils peuvent entraîner le cerveau du robot avec jusqu'à 10 fois moins d'exemples que les méthodes précédentes. Dans certains problèmes à haute dimension (comme le contrôle d'un flux de fluide ou d'un satellite), les anciennes méthodes ne pouvaient tout simplement pas fonctionner car elles manquaient de puissance de calcul pour collecter suffisamment de données de « score seul ». La nouvelle méthode fonctionne car les données supplémentaires de courbure comblent les lacunes de manière très efficace.

4. Comment ils gèrent les mathématiques

Pour faire fonctionner cela, ils utilisent un type spécial de « réseau » mathématique (régression polynomiale) conçu pour capturer les motifs les plus importants sans s'emmêler dans les détails inutiles. Ils utilisent également une astuce appelée Stratégie de Hessien Partiel.

L'analogie : Calculer la courbure pour chaque point est coûteux. Ils calculent donc la courbure complète pour certains points et la simple pente pour d'autres. C'est comme un chef qui goûte une soupe : il goûte le profil de saveur complet au début et à la fin, et vérifie juste le taux de sel au milieu. Cela permet de gagner du temps tout en gardant la soupe délicieuse.

5. Les résultats

L'équipe a testé cela sur plusieurs défis :

Un oscillateur 2D simple : Comme un pendule oscillant. La nouvelle méthode a créé une carte lisse et précise avec très peu de points de données, tandis que les anciennes méthodes produisaient un résultat saccadé et instable.
Un satellite 6D : Contrôler la rotation d'un satellite. La nouvelle méthode a stabilisé le satellite là où les anciennes méthodes ont échoué.
Un problème de fluide 19D : C'est le test majeur. Le contrôle d'un flux de fluide implique 19 variables. Les anciennes méthodes étaient complètement bloquées ; elles ne pouvaient pas collecter assez de données pour même commencer. La nouvelle méthode, en utilisant les données de courbure, a réussi à apprendre la stratégie de contrôle.

Résumé

En bref, ce document dit : « Ne demandez pas seulement à l'étudiant quelle est la réponse ; demandez-lui aussi la direction et la forme de la courbe. » En apprenant à l'ordinateur à comprendre la forme de la solution (en utilisant les Hessiens) plutôt que de simples points, ils peuvent résoudre des problèmes de contrôle incroyablement complexes avec une fraction des données et de la puissance de calcul que l'on pensait nécessaire auparavant.

Résumé technique : Apprentissage supervisé augmenté par le hessien pour les EDP de Hamilton-Jacobi-Bellman

Énoncé du problème
L'article traite de la synthèse de lois de commande de retour optimales pour des problèmes de commande optimale déterministes avec des dynamiques affines en commande non linéaires. L'approche standard consiste à résoudre l'équation de Hamilton-Jacobi-Bellman (HJB), une équation aux dérivées partielles pleinement non linéaire posée sur un espace d'état de dimension $n$ . Les discrétisations classiques basées sur des grilles souffrent de la « malédiction de la dimension », dont l'échelle est exponentielle par rapport à la dimension de l'état $n$ , ce qui limite leur applicité aux systèmes de faible dimension ( $n \lesssim 5$ ). Bien que diverses stratégies numériques non standard (par exemple, les caractéristiques sans causalité, les décompositions tensorielles et l'apprentissage profond) aient été proposées pour atténuer ce problème, le défi de l'approximation des fonctions de valeur et de la récupération des lois de retour dans des dimensions élevées ( $n \gg 5$ ) demeure significatif.

Méthodologie
Les auteurs proposent un cadre de données piloté par l'apprentissage supervisé avec augmentation de dérivées pour approximer la fonction de valeur $V(x)$ . La méthodologie centrale se compose de trois composants :

Génération de données via PMP et équations de Riccati :
Au lieu de résoudre directement l'EDP HJB, la méthode génère des données d'entraînement en résolvant les conditions d'optimalité nécessaires du premier ordre du principe du maximum de Pontryagin (PMP). Pour un ensemble de conditions initiales, le PMP produit un problème de valeur aux limites à deux points (TPBVP) décrivant les trajectoires optimales de l'état et de l'adjoint.
- Ordre zéro : Le coût le long de la trajectoire optimale fournit la fonction de valeur $V(x)$ .
- Premier ordre : La variable adjointe $p(t)$ coïncide avec le gradient $\nabla V(x)$ le long de la trajectoire.
- Second ordre : Une équation de Riccati matricielle, intégrée en remontant le long de la trajectoire optimale, fournit le hessien $\nabla^2 V(x)$ .
  Ce processus évite la discrétisation de l'espace d'état et évolue linéairement avec le nombre de conditions initiales plutôt qu'exponentiellement avec la dimension.
Régression polynomiale parcimonieuse :
La fonction de valeur est approximée par un modèle polynomial parcimonieux $\tilde{V}(x) = \sum \theta_k \Phi_k(x)$ . Les fonctions de base sont construites à partir de polynômes de Legendre par produit tensoriel sur un ensemble d'indices de type croix hyperbolique, enrichi par des termes de degré total de bas degré pour capturer les couplages multivariés essentiels.
Moindres carrés augmentés par les dérivées :
La régression minimise un objectif de moindres carrés pondérés qui pénalise simultanément les erreurs de valeurs de la fonction, de gradients et de hessiens.
- Chaque échantillon d'entraînement $x_j$ contribue avec $1$ équation pour la valeur, $n$ équations pour le gradient, et $n(n+1)/2$ équations pour le hessien.
- Cela résulte en un nombre total d'équations $M = N(1 + n + n(n+1)/2)$ , où $N$ est le nombre d'échantillons.
  Pour gérer les coûts computationnels en hautes dimensions, une stratégie de « hessien partiel » est introduite, où les équations du hessien ne sont imposées que pour une fraction $\rho \in (0, 1]$ des échantillons d'entraînement.

Principales contributions

Extension à l'information de second ordre : L'article étend la génération de données basée sur le PMP pour inclure l'information du hessien via les équations de Riccati, développant systématiquement cette direction pour la commande optimale.
Stratégie de hessien partiel : Une stratégie ajustable est introduite pour sous-échantillonner les données de second ordre, équilibrant le coût élevé de la génération de données et de la taille du système de régression par rapport aux bénéfices de l'information de courbure.
Interaction des bases : L'étude examine l'interaction entre l'augmentation de second ordre et les bases polynomiales de croix hyperbolique enrichies par des termes de degré total de bas degré.
Évaluation systématique : L'approche est validée sur des problèmes de dimension croissante ( $n=2, 6, 19$ ), mesurant la précision dans les normes de Sobolev discrètes, les résidus HJB et les performances de commande en boucle fermée.

Résultats
Les expériences numériques démontrent que l'augmentation de second ordre réduit considérablement la complexité d'échantillonnage par rapport aux méthodes d'ordre zéro et premier :

Référence analytique : Pour une fonction de test à 12 dimensions, atteindre une erreur $L^2$ prescrite nécessitait $N=50$ échantillons avec l'augmentation de second ordre, tandis que la régression du premier ordre nécessitait $N \approx 350$ , et la régression d'ordre zéro n'a pas pu atteindre la précision cible dans la plage testée.
Oscillateur de Van der Pol 2D : L'augmentation de second ordre a produit des reconstructions lisses et précises avec $N=25$ échantillons, alors que les méthodes d'ordre inférieur présentaient des oscillations. En termes d'efficacité d'échantillonnage, les méthodes de second ordre ont nécessité jusqu'à 11,7 fois moins d'échantillons que les méthodes d'ordre zéro pour atteindre une tolérance d'erreur de commande de 0,1 %.
Contrôle d'attitude de satellite 6D : Sur une base enrichie ( $q=1\,800$ ), la régression du premier ordre est restée sous-déterminée ( $M/q < 1$ ) pour $N \lesssim 250$ , tandis que l'augmentation de second ordre a atteint un régime bien déterminé à $N=100$ et une haute précision à $N=200$ .
Équation d'Allen–Cahn 19D : Dans ce régime de haute dimension, l'amplification des équations par échantillon ( $n(n+1)/2 = 190$ équations supplémentaires) est devenue une nécessité structurelle. La régression du premier ordre est restée sous-déterminée avec des budgets modérés, tandis que l'augmentation de second ordre était la seule formulation capable de produire une approximation significative. Les stratégies de hessien partiel ( $\rho=0,5$ ) ont atteint une précision proche de la pleine avec la moitié du coût computationnel.

Signification et affirmations
L'article affirme que la motivation principale pour l'incorporation des données du hessien est la réduction de la complexité d'échantillonnage. En exploitant le gain multiplicatif du nombre d'équations linéaires par échantillon, la méthode peut résoudre des problèmes de commande optimale de haute dimension qui sont insolubles pour les approches d'apprentissage supervisé d'ordre inférieur en raison de systèmes sous-déterminés.

Les auteurs soulignent qu'en haute dimension (par exemple $n=19$ ), l'augmentation de second ordre passe d'une simple amélioration de la précision à une exigence structurelle de solvabilité. La méthode est sans causalité, permettant des choix de conception flexibles en matière d'échantillonnage et de sélection de base. Le coût computationnel dominant est la génération hors ligne du jeu de données (résolution des TPBVP et des équations de Riccati), tandis que l'évaluation en ligne de la loi de retour est efficace, ne nécessitant que l'évaluation des fonctions de base et des produits scalaires.

Le travail conclut que, bien que la méthode soit actuellement limitée aux problèmes de commande déterministes avec des dynamiques lisses, le cadre offre une voie robuste pour approximer les fonctions de valeur dans des dimensions où les méthodes de grille traditionnelles échouent et où les méthodes d'apprentissage d'ordre inférieur peinent en raison de l'inefficacité d'échantillonnage.