Résumé Technique : Choisir avec Sagesse : Contrôle Prédictif Fondé sur les Données pour Systèmes Non Linéaires par Sélection de Données en Ligne

Énoncé du Problème

La communauté du contrôle cherche à gérer des systèmes non linéaires où des données sont disponibles mais où les modèles explicites du système font défaut. Bien que les méthodes de Contrôle Prédictif Fondé sur les Données (DPC), telles que le DeePC (Data-enabled Predictive Control), offrent une alternative « sans modèle » au MPC (Model Predictive Control) traditionnel en contournant l'identification du système, le DeePC standard repose sur l'hypothèse de Linéarité Temporelle Invariante (LTI). Cette hypothèse est sévèrement violée dans les systèmes non linéaires génériques, entraînant une perte de performance arbitraire. Les extensions non linéaires existantes du DeePC font face à des compromis importants :

• Classes Non Linéaires Spécifiques : Les formulations adaptées à des structures non linéaires spécifiques imposent des a priori forts qui peuvent ne pas exister pour des systèmes arbitraires.
• Approches par Fenêtres Glissantes : Les méthodes utilisant des fenêtres glissantes de données récentes ne sont pratiques que pour des systèmes présentant des non linéarités bénignes et des rapports signal sur bruit élevés.
• Approches par Noyaux (Kernelized) ou Élévation (Lifted) : La reformulation de prédicteurs utilisant des noyaux non linéaires ou des opérateurs de Koopman entraîne souvent des problèmes d'optimisation de haute dimension et non convexes, augmentant la complexité computationnelle en ligne et menant à des résultats sous-optimaux.
• MPC Basé sur l'Échantillonnage : Bien que peu coûteux en calcul et ne nécessitant que des informations d'ordre zéro, ces méthodes manquent de moyens structurés pour incorporer des contraintes de sortie explicites.

Le défi central consiste à développer une méthode de contrôle prédictif directe, fondée sur les données, pour les systèmes non linéaires qui maintient la convexité du problème d'optimisation (garantissant la tractabilité et la gestion explicite des contraintes) tout en capturant avec précision la dynamique non linéaire sans nécessiter de modèle explicite.

Méthodologie : Select-DPC

Le document propose le Select-DPC (Select-Data-driven Predictive Control), une méthode qui linéarise implicitement la dynamique du système dans l'« espace des trajectoires » en sélectionnant uniquement les données les plus pertinentes à chaque instant de décision.

Concept Central

Le Select-DPC fonctionne selon un principe d'horizon fuyant (receding-horizon). Au lieu d'utiliser un grand ensemble de données pré-collectées $D$ pour chaque étape de contrôle (ce qui est computationnellement intraitable et suppose une linéarité globale), l'algorithme résout de manière itérative un Programme Quadratique (QP) convexe. À chaque itération du solveur, il sélectionne un sous-ensemble de trajectoires $\tilde{D} \subset D$ qui sont « pertinentes » par rapport au point de fonctionnement actuel.

Espace des Trajectoires : Défini comme un espace de haute dimension où chaque dimension correspond à une entrée ou une sortie sur une trajectoire de longueur finie et de temps discret. La linéarisation est réalisée en sélectionnant des trajectures qui sont spatialement « proches » de l'estimation de la solution en boucle ouverte actuelle dans cet espace.

Flux de Travail Algorithmique

1. Initialisation : La trajectoire en boucle ouverte est amorcée (warm-started) (par exemple, en répliquant les mesures initiales).
2. Raffinement Itératif :
   • Sélection de Données : Un sous-ensemble $\tilde{D}$ de taille $N_{cols}$ est sélectionné à partir du jeu de données complet $D$ en fonction de la proximité avec la prédiction actuelle $\tilde{\tau}$.
   • Solution du QP : Un problème d'optimisation DeePC standard est résolu en utilisant uniquement $\tilde{D}$ pour générer une nouvelle action de commande.
   • Convergence : Le processus se répète jusqu'à ce qu'un critère de convergence (tolérance ou nombre maximal d'itérations) soit atteint.
3. Exécution : La première entrée de commande est appliquée, et l'horizon est décalé.

Stratégies de Sélection de Données

Le papier propose et compare deux méthodes pour sélectionner le sous-ensemble pertinent $\tilde{D}$ :

1. Sélection Basée sur la Norme : Calcule la distance spatiale (ex: normes $L_1$ ou $L_2$) entre la trajectoire en boucle ouverte actuelle et toutes les trajectoires de $D$. Les $N_{cols}$ trajectoires les plus proches sont sélectionnées.

   • Avantages : Intuitif, efficace à implémenter, permet des mises à jour en ligne faciles.
   • Inconvénients : Susceptible à la « malédiction de la dimensionnalité » dans les espaces de trajectoires de haute dimension.

2. Sélection Basée sur l'Immersion de Variété (Manifold-Embedding) : Utilise l'apprentissage de variétés (spécifiquement Isomap) pour projeter les données de trajectoire de haute dimension dans un espace d'immersion de plus faible dimension qui préserve les distances géodésiques.

   • Avantages : Atténue la malédiction de la dimensionnalité ; les distances dans l'espace d'immersion reflètent mieux la structure non linéaire intrinsèque des données.
   • Inconvénients : Coût de calcul hors ligne plus élevé pour calculer l'immersion (bien qu'il s'agisse d'un coût unique) ; l'immersion en ligne de la trajectoire de requête est requise.

Attributs Clés

• Indépendant du Coût : La génération du jeu de données est structurellement indépendante de la formulation du contrôle. Les fonctions de coût et les contraintes peuvent être modifiées a posteriori, permettant une application « zero-shot » à de nouvelles tâches sans nouvelle collecte de données.
• Convexité : En restreignant le prédicteur à un sous-ensemble de données localement linéaire, l'optimisation résultante reste un QP convexe, contrairement aux approches par noyaux ou par élévation qui deviennent souvent non convexes.
• Linéarisation Implicite : Similaire à la Programmation Quadratique Séquentielle (SQP) dans le MPC basé sur un modèle, le Select-DPC effectue une linéarisation itérative, mais le fait dans l'espace des trajectoires en utilisant des données plutôt que des Jacobiens d'un modèle explicite.

Contributions Clés

1. Introduction du Select-DPC : Un contrôleur prédictif direct fondé sur les données pour les systèmes non linéaires qui parvient à une linéarisation implicite dans l'espace des trajectoires via une sélection de données en ligne, tout en maintenant une optimisation convexe.
2. Méthodes de Sélection de Données : La proposition et la comparaison de deux mécanismes de sélection distincts : une méthode basée sur la norme et une méthode basée sur l'immersion de variété (Isomap) pour gérer les données non linéaires de haute dimension.
3. Validation Empirique : Démonstration de la supériorité du Select-DPC par rapport au DeePC standard et au DeePC par fenêtre glissante sur trois systèmes non linéaires de référence :
   • Atterrissage de fusée planaire (instable en boucle ouverte).
   • Manipulateur robotique planaire (Reacher).
   • Pendule inversé Cart-pole (swing-up).

Résultats et Évaluation

Des expériences ont été menées sur trois simulateurs (Rocket, Reacher, Cart-Pole) comparant le Select-DPC au DeePC Standard (utilisant le jeu de données complet) et au DeePC par Fenêtre Glissante.

1. Atterrissage de Fusée Réutilisable

• Performance : Le DeePC standard et le DeePC par fenêtre glissante ont échoué à stabiliser le système ou ont divergé. Le Select-DPC a réussi à stabiliser la fusée au point de consigne souhaité.
• Jeux de Données : Testé sur des « Données IID » (comportement principalement linéaire) et des « Données de Marche Aléatoire » (excitation hautement non linéaire).
  • Sur les données IID, le Select-DPC a réduit le coût en boucle fermée d'un facteur de 1,9 par rapport au DeePC standard.
  • Sur les données de Marche Aléatoire, le DeePC standard n'a pas réussi à stabiliser le système, tandis que le Select-DPC a réussi.
• Précision de Prédiction : Les deux méthodes de sélection (Norme et Isomap) ont produit des résidus cumulés plus faibles sur les ensembles de validation hors échantillon par rapport à l'utilisation du jeu de données complet ou de l'échantillonnage aléatoire (sketching).
• Calcul : Le Select-DPC a réduit le coût de calcul d'un ordre de grandeur par rapport au DeePC standard en résolvant des QP plus petits, les temps de résolution évoluant de manière quadratique avec $N_{cols}$.

2. Manipulateur Robotique Planaire (Reacher)

• Performance : Le Select-DPC a réussi à suivre les références de l'effecteur terminal, alors que le DeePC standard et le DeePC par fenêtre glissante n'ont pas réussi à converger.
• Contraintes : La méthode a démontré une généralisabilité zero-shot en gérant des contraintes de sortie a priori inconnues (ex: éviter des régions spécifiques) sans modifications structurelles du contrôleur ou de nouvelles données.
• Ablation : L'échantillonnage aléatoire (random sketching) a totalement échoué dans cet environnement, tandis que la sélection d'une taille de sous-ensemble spécifique ($N_{cols}$) a révélé un « point idéal » (sweet spot) pour la performance, équilibrant la précision de la prédiction et la charge de calcul.

3. Swing-up du Pendule Inversé Cart-Pole

• Tâche : Passer d'un équilibre stable vers le bas à un équilibre instable vers le haut.
• Performance : Le DeePC standard a oscillé autour de l'équilibre stable et a échoué à effectuer le swing-up. Le Select-DPC a réussi à apprendre à partir de démonstrations sous-optimales dans le jeu de données pour effectuer le swing-up et stabiliser le pendule.
• Mécanisme : Le contrôleur n'a pas simplement copié une trajectoire unique, mais a combiné linéairement plusieurs segments de trajectoire à chaque itération du solveur pour construire la manœuvre de swing-up.

Signification et Revendications

Le papier affirme que le Select-DPC comble le fossé entre la tractabilité du contrôle fondé sur les données convexe et les exigences de performance des systèmes non linéaires. Sa signification réside dans :

• Gestion Explicite des Contraintes : Contra�à les méthodes de MPC par échantillonnage ou d'apprentissage par renforcement (RL) qui peinent avec les contraintes de sortie structurées, le Select-DPC conserve la capacité d'appliquer des contraintes strictes via l'optimisation convexe.
• Scalabilité : Il passe favorablement à l'échelle avec de grands jeux de données en sous-échantillonnant les données pertinentes, évitant le temps de résolution superlinéaire de l'utilisation du jeu de données complet.
• Capacité Non Linéaire : Il étend le DPC aux domaines non linéaires sans nécessiter de modèles explicites, de complexités de noyaux (kernels) ou d'optimisations non convexes.
• Adaptabilité Zero-Shot : Le découplage de la collecte de données et de la conception du contrôle permet de réutiliser le même jeu de données pour différentes tâches (ex: suivi contraint vs non contraint) sans réentraînement.

Limites

Les auteurs reconnaissent plusieurs limites :

• Coût Computationnel : L'implémentation actuelle nécessite 200 à 400 ms par étape, ce qui limite son utilisation dans des applications hautement dynamiques.
• Empreinte Mémoire : Des horizons de prédiction et des jeux de données de grande taille peuvent violer les contraintes de mémoire.
• Réglage des Hyperparamètres : Obtenir des performances satisfaisantes nécessite de régler des hyperparamètres (ex: $N_{cols}$, longueurs d'horizon), et le papier note qu'une étude empirique à grande échelle de ses capacités à travers diverses tâches est un sujet de travail futur.