Bounded Linear Programs for Data-Driven Optimal Control via Moment-Matching

Imaginez que vous essayez de diriger un navire à travers une tempête sans carte, sans boussole et sans même une vue dégagée sur l'horizon. Vous ne pouvez que voir les vagues s'écraser contre la coque et sentir le vent changer sur votre visage. C'est la réalité de nombreux ingénieurs et scientifiques qui doivent contrôler des machines complexes, des véhicules autonomes aux réseaux électriques, lorsqu'ils ne disposent pas d'un modèle mathématique complet de leur comportement. Au lieu de s'appuyer sur un plan parfait, ils doivent apprendre en faisant : observer comment le système réagit à différentes entrées, enregistrer le coût des erreurs et assembler progressivement une stratégie efficace. Pendant des décennies, un puissant outil mathématique appelé programmation linéaire a offert un moyen de trouver la meilleure stratégie possible dans de telles situations. Cependant, cet outil présente un défaut notoire : à mesure que le nombre de variables décrivant le système augmente, les calculs s'emballent souvent, produisant des réponses infiniment grandes et donc inutiles. C'est comme essayer d'équilibrer une balance avec des poids qui deviennent de plus en plus lourds jusqu'à ce que la barre se brise.

Une équipe de chercheurs de l'ETH Zurich a trouvé un moyen de maintenir cette balance équilibrée, même lorsque le système est complexe et que les données sont rares. Ils ont développé une nouvelle méthode pour guider la recherche mathématique d'une politique de contrôle optimale, garantissant que la solution reste finie et pratique. En utilisant une technique appelée l'appariement de moments (moment-matching), qui consiste essentiellement à aligner la « forme » mathématique de la solution souhaitée avec les motifs trouvés dans les données observées, ils peuvent garantir que l'ordinateur trouvera une réponse stable. Leurs travaux suggèrent qu'il est possible de concevoir des contrôleurs pour des systèmes non linéaires de grande dimension — des machines possédant de nombreuses pièces mobiles et des comportements complexes — en utilisant seulement une quantité limitée de données, sans avoir besoin de connaître au préalable la physique sous-jacente du système. Cette approche transforme une possibilité théorique en un outil d'ingénierie fiable, ouvrant la voie à des systèmes de contrôle plus intelligents et adaptatifs pour le monde réel.

Le défi central auquel les chercheurs ont été confrontés est la difficulté de empêcher ces calculs mathématiques de s'emballer. Dans le monde du contrôle optimal, l'objectif est de trouver un ensemble de règles qui dictent à une machine ce qu'elle doit faire à chaque instant pour minimiser un coût, tel que l'utilisation d'énergie ou le temps de trajet. Lorsque le système est simple, les méthodes standards fonctionnent bien. Mais quand le système est complexe, avec de nombreuses dimensions comme la position, la vitesse et l'accélération qui interagissent toutes, le nombre de scénarios possibles explose. Les chercheurs ont noté que les tentatives précédentes pour résoudre cela à l'aide de méthodes basées sur les données échouaient souvent parce que le problème mathématique devenait non borné. Cela signifie que l'ordinateur chercherait une solution qui croîtrait à l'infini, faisant pratiquement planter le calcul. Si certaines méthodes antérieures tentaient de corriger cela en ajoutant des contraintes artificielles ou des régularisateurs, ceux-ci déformaient souvent le résultat final, rendant le contrôleur moins efficace. D'autres reposaient sur la possession de quantités massives de données, ce qui est souvent impossible à recueillir dans des scénarios réels où les expériences sont coûteuses ou dangereuses.

Pour résoudre ce problème, les auteurs ont introduit une méthode qui utilise les données elles-mêmes pour définir les limites de la recherche. Au lieu de deviner où la solution devrait se situer, ils ont examiné les motifs spécifiques dans les données collectées à partir des mouvements du système. Ils ont traité les données comme une collection de points dans un espace de grande dimension et ont posé une question simple : pouvons-nous trouver une direction pour notre recherche qui soit soutenue par ces points ? Si la direction de la recherche s'aligne avec le « cône » de possibilités créé par les données, le calcul est garanti de rester fini. Ils ont démontré qu'en sélectionnant soigneusement un vecteur de coût — un poids mathématique qui indique à l'ordinateur ce qu'il doit prioriser — basé sur les données observées, ils pouvaient garantir que la solution resterait bornée. Cela revient à fixer une destination pour un voyage qui est garantie d'être atteignable compte tenu du terrain déjà cartographié, plutôt que de viser un point qui pourrait se trouver au bord du monde.

Les chercheurs ont testé cette idée sur deux types de systèmes très différents. Premièrement, ils ont étudié des systèmes linéaires invariants dans le temps, qui sont des machines se comportant de manière prévisible et rectiligne. Ils ont simulé ces systèmes avec une complexité croissante, de configurations de petite taille à des systèmes possédant trente variables d'état différentes. Lors de ces tests, ils ont comparé leur nouvelle méthode à une approche standard utilisant un vecteur de coût fixe et immuable. Les résultats ont été frappants : alors que la méthode standard échouait à trouver une solution pour des systèmes possédant plus de deux variables d'état, leur approche par appariement de moments a réussi à trouver des solutions finies pour des systèmes allant jusqu'à trente variables, même en utilisant seulement cinq cents points de données. Les contrôleurs qu'ils ont appris étaient presque parfaits, se situant à moins de un pour cent du meilleur résultat théorique possible.

Ensuite, ils ont poussé la méthode dans un territoire beaucoup plus difficile : les systèmes mécaniques non linéaires. Ce sont des machines où les forces agissant sur elles ne suivent pas de simples lignes droites ; par exemple, un système avec des couplages élastiques, une gravité non linéaire et une traînée qui augmente avec le cube de la vitesse. Ces systèmes sont notoirement difficiles à contrôler car de petits changements peuvent entraîner des comportements radicalement différents. Les chercheurs ont simulé ces systèmes avec jusqu'à dix dimensions et ont constaté que leur méthode pouvait toujours trouver des solutions stables là où l'approche standard échouait. Dans une simulation spécifique, ils ont contrôlé un système à quatre dimensions qui était naturellement instable, ce qui signifie qu'il s'effondrerait sans intervention. Le contrôleur qu'ils ont appris a réussi à diriger le système vers un équilibre stable, le maintenant en équilibre, tandis qu'une version non contrôlée du même système s'en allait à la dérive. La clé de ce succès n'était pas d'avoir plus de données, mais d'avoir une utilisation plus intelligente des données. En faisant correspondre les moments des données — essentiellement les valeurs moyennes et la dispersion des comportements observés — ils ont pu construire une fonction de coût qui rendait le problème mathématique soluble.

La beauté de cette approche réside dans son efficacité et sa dépendance aux données disponibles. Les chercheurs ont montré que la méthode fonctionne même lorsque le nombre de points de données est faible par rapport à la complexité du système. Ils ont découvert qu'en augmentant la taille d'un pool auxiliaire de points d'échantillonnage, ils pouvaient améliorer les chances de trouver une solution pour des systèmes encore plus vastes. Cela suggère que le goulot d'étranglement n'est pas la quantité de données, mais la manière dont ces données sont interprétées. La méthode ne nécessite pas que le système soit linéaire ou que la dynamique soit connue ; elle exige seulement que les données collectées fournissent suffisamment d'informations pour définir la forme du problème. Le coût de calcul pour mettre en place cette méthode est faible, impliquant seulement un ensemble d'équations linéaires qui peuvent être résolues rapidement sur un ordinateur standard.

En fin de compte, ce travail offre une voie pratique vers le contrôle piloté par les données dans les espaces de grande dimension. Il éloigne le domaine de l'idée selon laquelle nous avons besoin de jeux de données massifs ou de modèles parfaits pour contrôler des machines complexes. Au lieu de cela, il montre qu'avec le bon cadre mathématique, une quantité relativement faible de données peut suffire à dériver un contrôleur qui soit à la fois stable et efficace. Les chercheurs précisent avec prudence que, bien que leurs simulations soient prometteuses, la méthode est actuellement prouvée pour des systèmes déterministes avec des caractéristiques polynomiales. Ils voient un avenir où cette technique sera étendue aux systèmes stochastiques, où le hasard joue un rôle plus important, et à des types de fonctions encore plus complexes. Pour l'instant, cependant, ils ont démontré que la malédiction de la dimensionnalité, qui a longtemps tourmenté ce type de calculs, peut être domptée. En garantissant que la recherche de la meilleure politique de contrôle reste ancrée dans la réalité des données observées, ils ont transformé un concept théorique en un outil capable de construire des machines meilleures, plus sûres et plus intelligentes.