Temporally smoothed incremental model-based heuristic dynamic programming for command-filtered cascaded online learning flight control

Imaginez que vous enseigniez à un robot comment piloter un avion. Vous ne voulez pas lui donner un manuel rigide et préécrit parce que le vent change, le poids du carburant varie et l'air devient plus ténu à haute altitude. Au lieu de cela, vous voulez que le robot apprenne sur le tas, en trouvant les mouvements parfaits au fur et à mesure qu'il progresse. C'est le monde de la « Programmation Dynamique Approchée » (ADP). Voyez l'ADP comme un étudiant super intelligent qui apprend en essayant des choses, en faisant des erreurs, puis en ajustant son cerveau (un réseau de neurones) pour faire mieux la fois suivante. C'est comme un personnage de jeu vidéo qui devient meilleur pour esquiver les obstacles à force de jouer, mais pour des machines lourdes et réelles comme des avions.

Cependant, il y a un piège. Lorsque ces robots apprenants s'emballent ou sont confus, ils peuvent commencer à tressauter. Ils peuvent donner des coups secs sur la commande de vol d'avant en arrière de manière sauvage, en essayant de corriger une erreur minuscule. Dans le monde réel, c'est dangereux. Cela fait vibrer l'avion, gaspille du carburant et peut briser les pièces mécaniques qui font bouger les ailes. La grande question pour les scientifiques est la suivante : Comment enseigner à un robot à apprendre rapidement sans lui apprendre à être agité ? Nous avons besoin d'un moyen de dire au robot : « Hé, sois fluide. Ne te casse pas le cou en essayant de regarder cet oiseau. »

Cet article traite exactement de ce problème pour le contrôle de vol. Les auteurs, Yifei Li et le Dr Erik-Jan van Kampen, proposent une nouvelle façon d'entraîner ces robots volants pour qu'ils apprennent à être calmes et stables. Ils introduisent une méthode appelée « Programmation Heuristique Basée sur un Modèle Incrémental Temporellement Lissé » (TS-IHDP). En langage clair, c'est une recette sophistiquée pour enseigner à un avion comment suivre un angle d'attaque spécifique (la façon dont il est orienté) sans se désagréger sous l'effet des vibrations.

Les chercheurs ont découvert que simplement dire au robot de « être fluide » ne suffit pas ; il faut être intelligent sur la manière de le punir pour ses mouvements saccadés. Ils ont développé un système qui agit comme un entraîneur strict mais juste. Si les commandes de contrôle du robot commencent à sauter trop brusquement, l'entraîneur resserre automatiquement les règles. Si le robot est trop rigide et manque sa cible, l'entraîneur assouplit les règles. Ils ont également ajouté un « filtre passe-bas », qui est comme un amortisseur pour le cerveau du robot. Il lisse les signaux nerveux à haute fréquence avant qu'ils n'atteignent les ailes.

Crucialement, ils n'ont pas construit un seul cerveau géant pour tout faire. Au lieu de cela, ils ont conçu une structure de contrôle « en cascade », ce qui revient à avoir une équipe de deux personnes. La première personne, l'agent de la boucle externe, agit comme le commandant de mission. Son seul travail est de déterminer la vitesse et la direction parfaites pour l'orientation du nez de l'avion (le taux de tangage). Elle ne touche pas directement les ailes. La seconde personne, l'agent de la boucle interne, agit comme le pilote. Elle écoute les ordres du commandant et déplace réellement les surfaces de contrôle (les ailes et la queue) pour faire bouger le nez de cette façon. Ce travail d'équipe est vital car il empêche le robot de s'embrouiller. Si un seul cerveau géant essayait de faire les deux tâches à la fois, il serait submergé et commencerait à tressauter. En divisant la tâche, le « commandant » peut se concentrer sur la vue d'ensemble, et le « pilote » peut se concentrer sur l'exécution fluide, rendant l'ensemble du système beaucoup plus stable.

À travers des simulations informatiques, ils ont montré que leur nouvelle méthode fonctionne. Les robots ont appris à voler bien plus sereinement qu'auparavant, évitant les secousses sauvages qui surviennent habituellement avec ces systèmes lors de l'apprentissage. Ils suivent leurs cibles avec plus de précision et ne cassent pas leurs propres surfaces de contrôle. L'article suggère qu'en combinant ce « coach de la fluidité » avec un filtre amortisseur et une approche d'équipe à deux personnes, nous pouvons rendre le contrôle de vol piloté par les données plus sûr et plus fiable, même lorsque la physique de l'avion est un peu incertaine.

L'histoire du pilote agité

Plongeons dans l'histoire de son fonctionnement. Imaginez que vous essayiez d'apprendre à un perroquet à imiter une chanson spécifique. Si vous dites simplement « Copie ceci », le perroquet pourrait s'exciter et squawker les notes trop vite, trop fort, ou avec des pauses bizarres. Dans le monde du contrôle de vol, le « perroquet » est le cerveau informatique (le réseau de neurones), et la « chanson » est la trajectoire de vol.

Le problème est que lorsque le perroquet fait une erreur, il surcorrige souvent. Il squawke trop fort, puis corrige trop fort dans l'autre sens, créant un désordre saccadé. C'est comme conduire une voiture où l'on donne des coups de volant à gauche, puis à droite, puis à gauche à nouveau, pour rester dans sa voie. Cela semble ridicule, mais c'est terrifiant et cela use la voiture.

Pour corriger cela, les auteurs ont construit un nouveau système d'entraînement. D'abord, ils ont utilisé ce qu'on appelle un « modèle incrémental ». Considérez cela comme une carte locale. Au lieu d'essayer de mémoriser l'intégralité du globe (toute la physique de l'avion), le robot ne regarde que la petite portion de terrain juste devant lui. Il demande : « Si je pousse le manche un tout petit peu maintenant, que se passe-t-il ensuite ? » Cela rend l'apprentissage beaucoup plus rapide et facile, comme apprendre à faire du vélo en se concentrant sur le prochain pouce de pavé plutôt que sur l'ensemble du voyage.

Mais même avec une carte locale, le robot pourrait toujours être agité. C'est pourquoi les auteurs ont ajouté une « pénalité de luité temporelle ». Imaginez que vous êtes l'entraîneur du perroquet. Vous avez une règle : « Si tu changes de volume trop rapidement entre les notes, tu perds des points. » Dans l'ordinateur, c'est une pénalité mathématique. Chaque fois que le signal de commande du robot saute trop rapidement d'un moment à l'autre, le système ajoute une « amende » à son score. Le robot apprend que la fluidité est le seul moyen d'obtenir une bonne note.

Cependant, il y avait une partie délicate : Quelle amende faut-il donner ? Si l'amende est trop petite, le perroquet continue de squawker. Si l'amende est trop grande, le perroquet prend peur et arrête de chanter, manquant ainsi la cible. Les auteurs ont résolu cela avec une approche « primal-dual ». C'est comme avoir un entraîneur intelligent qui observe le perroquet et ajuste l'amende en temps réel. Si le perroquet est encore trop agité, l'entraîneur augmente l'amende. Si le perroquet est trop lent et manque les notes, l'entraîneur baisse l'amende. Le système trouve automatiquement l'équilibre parfait sans qu'un humain ait besoin de deviner.

Enfin, ils ont ajouté un « filtre passe-bas ». Considérez cela comme un casque à réduction de bruit pour le cerveau du robot. Même si le cerveau du robot envoie un signal légèrement saccadé, le filtre le lisse avant qu'il n'atteigne les ailes. C'est comme mettre un amortisseur sur une route cahoteuse ; la voiture avance toujours, mais la conduite est beaucoup plus douce.

Ce qu'ils ont trouvé

Les auteurs ont testé ces idées à travers une simulation informatique d'un véhicule volant. Ils ont testé leur nouveau robot « fluide » contre les anciennes méthodes.

Les résultats étaient clairs. Les anciennes méthodes, qui n'avaient pas cet entraînement spécial à la fluidité, se sont retrouvées avec des robots soit trop agités, soit coincés dans une boucle de surcorrection. Ils faisaient vibrer les surfaces de contrôle si fort que la simulation montrait le robot atteignant ses limites physiques, comme un moteur de voiture montant dans les tours jusqu'à casser.

En revanche, la méthode TS-IHDP a produit un robot qui a appris à voler de manière fluide. Le « taux de tangage » (la vitesse à laquelle le nez de l'avion monte et descend) et les « déflexions des surfaces de contrôle » (l'inclinaison des ailes) étaient beaucoup plus calmes. Le robot n'a pas seulement arrêté de trembler ; il a réellement mieux volé. Il a suivi l'angle d'attaque cible avec plus de précision et n'a pas gaspillé d'énergie dans des vibrations inutiles.

Une découverte intéressante concernait l'« entraîneur intelligent » (la méthode primal-dual). Les auteurs ont découvert que s'ils imposaient des règles trop strictes, le robot devenait trop prudent. Il ne bougeait plus assez vite pour rattraper la cible, ce qui entraînait un mauvais suivi. Mais s'ils laissaient l'entraîneur ajuster les règles automatiquement, le robot trouvait un point d'équilibre où il était à la fois fluide et réactif.

Ils ont également testé ce qui se passe lorsque le « vent » change — simulant l'incertitude dans la physique de l'avion. Le robot entraîné avec leur nouvelle méthode, en particulier celui doté du filtre amortisseur, a géré ces surprises bien mieux que les autres. Il est resté sur sa trajectoire même lorsque les règles du jeu changeaient légèrement.

L'essentiel

Cet article ne prétend pas avoir résolu tous les problèmes de contrôle de vol pour toujours. C'est une simulation, après tout, pas un véritable avion dans le ciel. Mais il suggère une voie très prometteuse. En apprenant aux robots apprenants à accorder autant de valeur à la fluidité qu'à la précision, et en leur donnant un moyen d'ajuster automatiquement leur propre comportement, nous pouvons rendre le contrôle de vol piloté par les données plus sûr et plus fiable.

Les auteurs démontrent qu'il n'est pas nécessaire de choisir entre un robot qui apprend vite et un robot qui vole de manière fluide. Avec la bonne combinaison de cartes locales, d'ajustement automatique des règles et d'amortisseurs, on peut avoir les deux. C'est un pas vers un futur où le vol autonome ressemblera moins à un personnage de jeu vidéo agité et plus à un oiseau gracieux et stable.