3DIOC: Direct Data-Driven Inverse Optimal Control for LTI Systems

Imaginez que vous regardez un grand chef cuisiner un plat parfait. Vous voyez les ingrédients qu'il saisit, sa façon de hacher, et l'assiette finale qu'il sert. Mais vous ne connaissez pas la recette secrète : la quantité de sel, la chaleur exacte, ou la manière précise dont il a décidé de mélanger les épices. Le Contrôle Optimal Inverse est l'art de découvrir cette recette secrète simplement en regardant le chef cuisiner.

Pendant longtemps, les scientifiques tentant de rétro-concevoir ces « recettes » pour des machines (plus précisément des systèmes Linéaires Invariants dans le Temps ou LTI) ont été confrontés à un obstacle majeur : ils devaient connaître le plan interne de la machine au préalable. Ils devaient construire un modèle de fonctionnement de la machine avant de pouvoir deviner ce que la machine cherchait à accomplir. C'était comme essayer de deviner la recette d'un chef en mesurant d'abord la composition chimique exacte de chaque pot et de chaque poêle de la cuisine.

Ce document, intitulé 3DIOC, introduit une nouvelle méthode « directe » pour résoudre ce casse-tête. Les auteurs, Chendi Qu, Jianping He et Xiaoming Duan, proposent une méthode qui fait l'impasse sur le plan technique. Ils n'ont pas besoin de connaître les rouages internes ou les équations de la machine. Au lieu de cela, ils observent directement les traces « entrée-sortie » — les données de ce qui est entré et de ce qui est sorti — pour découvrir l'objectif caché.

Le tour de magie : Le Lemme Fondamental

La sauce secrète ici est ce qu'on appelle le Lemme Fondamental de la théorie des systèmes comportementaux. Voyez cela comme suit : si vous avez une vidéo suffisamment longue d'une machine en mouvement, cette vidéo contient toutes les manières possibles dont la machine pourrait se déplacer. Vous n'avez pas besoin de connaître la physique de la machine ; la vidéo elle-même est la carte.

Les auteurs utilisent cette idée pour créer une règle « sans modèle ». Ils ont dérivé une condition mathématique (appelée condition KKT) qui stipule : « Si la machine agit de manière optimale, les données qu'elle laisse derrière elle doivent correspondre à ce motif spécifique. » En vérifiant si les données correspondent à ce motif, ils peuvent remonter en arrière pour trouver les poids cachés (le « sel et le poivre » de la fonction objectif de la machine) qui l'ont fait agir ainsi.

Deux façons de résoudre l'énigme

Le document ne propose pas seulement un outil, mais deux, selon la qualité des données.

1. Le solveur du « Monde Parfait » (3DIOC basé sur KKT)
Si les données sont propres — comme une vidéo enregistrée en studio sans statique ni bugs — les auteurs utilisent une méthode basée sur la condition KKT. C'est comme résoudre un puzzle où chaque pièce s'emboîte parfaitement.

• Comment ça marche : Ils posent un problème mathématique qui demande : « Quels poids font que les données correspondent à ce motif parfait ? »
• Le piège : Il y a une petite astuce. Les mathématiques ne peuvent pas faire la différence entre une recette avec « 1 tasse de sucre » et une autre avec « 2 tasses de sucre » si la machine se contente de multiplier tout par deux. Ainsi, la solution n'est pas un nombre unique, mais toute une famille de solutions qui sont simplement des versions à l'échelle les unes des autres. Le document prouve que si vous avez assez de données (plus précisément, si l'« horizon » ou la longueur de l'observation est assez long), cette famille de solutions est unique.
• Le résultat : Dans les simulations, cette méthode s'est révélée incroyablement rapide et précise, n'ayant besoin que d'une infime quantité de données (une seule trajectoire hors ligne de longueur 50 et une trajectoire optimale) pour trouver la réponse. Elle a surpassé les autres méthodes qui tentent de construire un modèle d'abord, lesquelles étaient plus lentes et moins précises.

2. Le solveur du « Monde Désordonné » (Optimisation bi-niveau)
La vie réelle est rarement un studio. Les données comportent souvent du bruit — des bugs, de la statique ou des erreurs aléatoires. Lorsque les données sont bruitées, le solveur du « monde parfait » s'embrouille et peut échouer.

• La nouvelle approche : Les auteurs passent à une stratégie d'Optimisation Bi-niveau. Imaginez un jeu de « Chaud et Froid ».
  • La boucle interne : Vous devinez une recette (les poids).
  • La boucle externe : Vous voyez à quel point le comportement réel de la machine s'éloigne du comportement de l'expert que vous essayez de copier.
  • L'objectif : Vous ajustez continuellement votre supposition pour devenir plus « chaud » (plus proche de l'expert).
• Pourquoi c'est meilleur : Cette méthode est conçue pour gérer le bruit. Le document prouve mathématiquement qu'à mesure que vous obtenez de plus en plus de données, cette méthode finira par trouver la meilleure supposition possible, même si les données sont bruitées. C'est comme un détective qui affine sans cesse sa théorie à mesure qu'il recueille des indices, même si certains indices sont trompeurs.

Ce à quoi ce document dit « Non »

Les auteurs sont très clairs sur ce que leur méthode n'est pas.

• Pas d'identification de système : Ils s'opposent explicitement à l'ancienne méthode consistant à « identifier le système d'abord ». Ils démontrent que tenter de construire un modèle de la machine avant de deviner l'objectif introduit des erreurs et gaspille des données. Leur méthode est « directe », ce qui signifie qu'elle passe directement des données à l'objectif.
• Pas de magie avec trop peu de données : Ils avertissent que si vous ne regardez pas la machine assez longtemps (si l'« horizon » $N$ est trop court), le problème est impossible à résoudre. Il existe un seuil mathématique spécifique (lié à la taille des entrées et sorties de la machine) que les données doivent dépasser, sinon la recette secrète reste cachée.
• Pas de besoin d'observation d'état : Contrairement à beaucoup d'autres méthodes qui nécessitent de voir l'état interne de la machine (comme la position exacte de chaque engrenage), cette méthode n'a besoin de voir que les entrées et les sorties. Elle fonctionne même si vous ne pouvez pas voir l'intérieur de la machine.

À quel point sommes-nous sûrs ?

Les auteurs sont confiants, mais aussi prudents.

• Prouvé : Ils ont mathématiquement prouvé que leur méthode fonctionne dans un monde sans bruit et qu'elle possède une solution unique si suffisamment de données sont collectées. Ils ont également prouvé que leur méthode du « monde désordonné » convergera vers la bonne réponse à mesure que les données augmentent.
• Simulé : Les chiffres de performance proviennent de simulations informatiques. Ils ont testé leur méthode sur des machines générées aléatoirement avec 3 états et 2 entrées. Dans ces tests, leur méthode était plus rapide et plus précise que les références de « l'Identification de Système » et de « l'Entropie Maximale ».
• Robustesse : Ils ont montré par des simulations que leur méthode gère bien différents types de bruit (comme des pics aléatoires ou des erreurs uniformes), bien que l'erreur augmente si le bruit est très fort.

L'essentiel

Ce document présente une manière ingénieuse et directe de rétro-concevoir les objectifs d'une machine simplement en la regardant bouger. Il saute l'étape fastidieuse de la construction d'un modèle pour aller droit au but. Si les données sont propres, il résout l'énigme instantanément. Si les données sont bruitées, il utilise un jeu de supposition itératif intelligent pour trouver la meilleure réponse. Bien que ces résultats soient actuellement basés sur des simulations, la mathématique sous-jacente est solide, offrant une nouvelle voie prometteuse pour que les robots et les systèmes autonomes apprennent des démonstrations sans avoir besoin d'un manuel expliquant comment ils fonctionnent.