🤖 machine learning

Dynamics Models for Offline Hyperparameter Selection in Real-World RL

Cet article présente la première application en conditions réelles de modèles de calibration hors ligne pour la sélection d'hyperparamètres en apprentissage par renforcement, démontrant leur efficacité dans une usine de traitement des eaux municipales en générant des simulations à long horizon réalistes et en récupérant des tendances de sensibilité significatives sur des données de capteurs multidimensionnelles et non stationnaires.

Auteurs originaux : Jordan Coblin, Han Wang, Martha White, Adam White

Publié 2026-08-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jordan Coblin, Han Wang, Martha White, Adam White

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à effectuer un travail complexe, comme conduire une voiture ou gérer une centrale électrique. Vous ne pouvez pas simplement deviner les réglages de son cerveau ; vous devez les ajuster parfaitement. C'est ce qu'on appelle la « sélection d'hyperparamètres ». Habituellement, les scientifiques font cela en laissant le robot s'entraîner dans un simulateur de jeu vidéo. Mais et si le monde réel était trop dangereux, trop coûteux ou trop lent à simuler ? Et si vous ne pouviez pas construire un jeu vidéo parfait d'une usine de traitement des eaux parce que la physique est trop complexe ?

C'est là qu'intervient une astuce ingénieuse appelée « modèles de calibration ». Au lieu de construire un monde fictif à partir de zéro, ces modèles agissent comme un miroir voyageant dans le temps. Ils observent une immense bibliothèque d'anciens enregistrements (données hors ligne) du système réel et tentent de prédire ce qui se passerait ensuite si un robot effectuait une action spécifique. Le but n'est pas d'être un cristal de vision parfaite capable de prédire l'avenir avec une précision de 100 % ; le but est simplement d'être un juge suffisamment bon. Si le modèle peut vous dire quels réglages de robot fonctionnent le mieux dans son « monde miroir », ces mêmes réglages devraient bien fonctionner lorsque vous enverrez enfin le robot dans le monde réel et désordonné.

L'article : Un miroir pour les usines de traitement des eaux

Dans cet article, une équipe de chercheurs a décidé de tester cette idée de « miroir » dans le monde réel pour la toute première fois. Ils n'ont pas utilisé un simple jeu vidéo ; ils se sont rendus dans une usine de traitement des eaux municipales à Drayton Valley, en Alberta. Cet endroit est un mélange chaotique de données de capteurs de haute dimension, de changements météorologiques et de bruit incessant. Les chercheurs voulaient voir s'ils pouvaient utiliser un « modèle de calibration » pour aider à choisir les meilleurs réglages pour un agent d'IA qui prédit ce que feront les capteurs de l'usine ensuite.

Le défi : Le jeu du « suivant » (Nexting)
La tâche ne consistait pas à contrôler l'eau (comme ouvrir ou fermer des vannes). L'IA devait plutôt jouer à un jeu de prédiction appelé « nexting ». Imaginez que vous regardez le niveau d'une rivière monter. Le travail de l'IA est de regarder les données actuelles et de deviner tout le chemin futur de ce niveau de rivière sur une longue période à l'avance. C'est comme essayer de deviner l'intrigue d'un film en regardant seulement les premières minutes. L'IA doit réussir cela pour que, si elle était finalement utilisée pour contrôler l'usine, elle sache à quoi s'attendre.

L'expérience : Construire le miroir
L'équipe a construit quatre types différents de « miroirs » (modèles) pour simuler le comportement de l'usine de traitement des eaux en utilisant un an de journaux de capteurs.

Les modèles K-Plus Proches Voisins (KNN) : Ce sont comme des bibliothécaires qui trouvent les jours passés les plus similaires dans les livres d'histoire. Si l'usine se comporte bizarrement en ce moment, le modèle cherche des jours passés qui ressemblaient exactement à cela et dit : « D'accord, lors de ces jours-là, la pression a augmenté de cette façon ». Ils ont essayé deux versions : une qui regarde simplement les chiffres bruts (Euclidienne) et une qui regarde la structure plus profonde des données (Laplacienne).
Les réseaux de neurones : Ce sont les cerveaux d'IA classiques et complexes (un réseau de neurones feedforward et une unité récurrente à porte ou GRU) qui tentent d'apprendre les règles de l'usine de traitement des eaux à partir de zéro.

Ils ont testé ces modèles en les faisant progresser dans le temps sur 30 000 étapes (une longue période en années informatiques) pour voir s'ils pouvaient générer des lectures de capteurs réalistes sans s'effondrer.

Ce qu'ils ont découvert
Les résultats étaient un mélange de « prometteur » et de « c'est compliqué ».

Les bibliothécaires KNN ont gagné la longue course : Les réseaux de neurones (les cerveaux d'IA complexes) ont commencé à s'effondrer et à donner des réponses absurdes après environ 50 à 100 étapes. Ils ne pouvaient pas gérer la prédiction à long terme. Cependant, les modèles KNN, en particulier la version Laplacienne, étaient beaucoup plus stables. Ils pouvaient générer des trajectoires longues et réalistes qui ressemblaient beaucoup aux données réelles des capteurs.
Le miroir a fonctionné pour le réglage : Le test le plus important était de savoir si le miroir pouvait aider à choisir le bon « taux d'apprentissage » (la vitesse à laquelle l'IA apprend). Les chercheurs ont découvert que les modèles KNN pouvaient identifier avec succès quels taux d'apprentissage étaient bons et lesquels étaient mauvais, correspondant aux tendances observées dans les données réelles. Cela suggère que même si le modèle n'est pas parfait, il est assez bon pour vous dire quels réglages utiliser.
La question des « Big Data » : Ils ont également testé si l'utilisation d'une année entière de données (3,2 millions d'échantillons) au lieu d'une seule semaine rendait le modèle meilleur. Les résultats ont été mitigés. Le grand modèle pouvait capturer une plus grande variété d'événements météorologiques étranges, mais il n'a pas systématiquement surpassé le petit modèle dans chaque test. Cela suggère que posséder plus de données aide, mais que ce n'est pas une solution miracle.
Le problème du « voyage dans le temps » : Les chercheurs ont essayé de voir si le modèle pouvait gérer le « décalage de distribution » (distribution shift) — en gros, que se passe-t-il si l'usine change à cause d'une nouvelle saison ou d'un capteur défectueux ? Ils ont trouvé que le modèle avait du mal à simuler parfaitement un futur qui était très différent de ses données d'entraînement. Bien qu'il puisse imiter des changements généraux, il ne pouvait pas prédire parfaitement des changements spécifiques et uniques sans aide.

L'essentiel
Cet article est une « preuve de concept ». Il montre que, pour la première fois, nous pouvons utiliser ces modèles de miroir hors ligne dans un cadre industriel réel et désordonné pour aider à régler des agents d'IA. L'approche KNN, qui repose sur la recherche de moments passés similaires plutôt que sur l'apprentissage de règles complexes, s'est avérée étonnamment robuste pour les prédictions à long terme.

Cependant, les auteurs prennent garde à ne pas présenter cela comme un problème résolu. Ils soulignent que, bien que les modèles puissent préserver le classement des bons réglages (vous dire que « l'Option A est meilleure que l'Option B »), ils ont toujours du mal à simuler parfaitement le futur si le monde change de manière inattendue. C'est une étape solide, montrant que nous pouvons utiliser d'anciennes données pour préparer l'IA au monde réel, mais qu'il reste encore du travail à faire pour que ces miroirs reflètent parfaitement chaque futur possible.

Résumé Technique : Modèles de Dynamique pour la Sélection Hors Ligne d'Hyperparamètres dans l'Apprentissage par Renforcement (RL) en Conditions Réelles

Énoncé du Problème

Le déploiement de l'apprentissage par renforcement (RL) dans des systèmes industriels réels est fréquemment entravé par la difficulté de la sélection des hyperparamètres. Les approches standards font face à des limitations significatives : les hyperparamètres par défaut correspondent rarement aux dynamiques spécifiques du système ; le réglage basé sur des simulateurs nécessite des modèles précis qui sont souvent indisponibles ; et le réglage direct en ligne est souvent irréalisable en raison du coût élevé, des risques ou de l'intensité temporelle des interactions en conditions réelles.

Bien que des « modèles de calibration » — des modèles de dynamique entraînés sur des données hors ligne pour servir d'environnements de substitution pour la sélection d'hyperparamètres — aient été proposés (Wang et al., 2022), ils n'ont été évalués jusqu'à présent que dans des domaines simulés simples. Il reste incertain si ces modèles peuvent approximer efficacement des dynamiques réelles complexes et non stationnaires pour préserver le classement relatif des configurations d'hyperparamètres. Cet article comble l'écart entre les modèles de calibration théoriques et leur application dans un cadre industriel réel.

Méthodologie

Cadre : Data2Online

L'étude utilise le cadre « Data2Online » (Wang et al., 2022). Dans ce contexte, un modèle de calibration $\hat{p}$ est entraîné sur des journaux hors ligne pour approximer la dynamique réelle de l'environnement $p$ . Le modèle n'est pas utilisé pour optimiser une politique directement, mais sert d'environnement d'évaluation pour sélectionner les hyperparamètres ( $\lambda$ ) d'un agent qui apprendra ensuite en ligne. L'objectif est de s'assurer que les hyperparamètres optimaux trouvés dans le modèle ( $\lambda^*_{model}$ ) correspondent à ceux de l'environnement réel ( $\lambda^*_{env}$ ).

Tâche : Prédiction de type « Nexting »

La tâche spécifique évaluée est la prédiction de type « nexting », un problème de Fonction de Valeur Générale (GVF) (Modayil et al., 2012). Au lieu de contrôler la plante, un agent passif prédit la somme actualisée des valeurs futures pour des signaux de capteurs spécifiques (cumulants). La performance est mesurée par l'erreur quadratique moyenne (RMSE) entre les valeurs prédites et les retours de Monte Carlo empiriques, plutôt que par le retour de contrôle.

Architectures des Modèles de Calibration

Les auteurs évaluent plusieurs architectures de modèles :

k-Plus Proches Voisins (kNN) : Une approche non paramétrique qui évite l'extrapolation en prédisant les états et récompenses suivants en utilisant uniquement les transitions présentes dans le jeu de données. Deux variantes sont testées :
- kNN Euclidien : Utilise la distance état-action brute.
- kNN Laplacien : Utilise une représentation Laplacienne approximative (Wu et al., 2018) pour construire une métrique de distance sensible à la structure sous-jacente de l'MDP.
- Ensemble : Pour traiter l'incertitude épistémique, un ensemble LOBO (Leave-One-Block-Out) de cinq modèles kNN est utilisé. La performance est agrégée en prenant le pire rang parmi les modèles pour fournir une estimation conservatrice.
Référentiels Paramétriques : Un réseau de neurones à propagation avant (Feedforward Neural Network) et une unité récurrente à porte (Gated Recurrent Unit - GRU) entraînés pour minimiser la perte de prédiction de l'état suivant à un pas de temps.

Métriques d'Évaluation

Qualité de la Simulation (Rollout Quality) : Comparaison visuelle qualitative de trajectoires à long horizon (30k étapes) par rapport aux données réelles.
Sensibilité aux Hyperparamètres : Comparaison des courbes de sensibilité du taux d'apprentissage (NRMSE vs taux d'apprentissage) entre le modèle de calibration et le cadre « En Ligne » (données de test rejouées).
Déformation Temporelle Dynamique (DTW) : Utilisée pour mesurer la similitude entre les trajectoires générées par le modèle et les trajectes réelles, en tenant compte des différences de vitesse, de temps ou de phase.

Dispositif Expérimental

L'étude applique ces méthodes à une usine de traitement des eaux municipales (WTP) à Drayton Valley, en Alberta.

Jeu de Données : Plus de deux ans de journaux de capteurs (2022–2024) à 1 Hz, réduits à un vecteur de caractéristiques de 142 dimensions.
Capteurs : Trois capteurs critiques ont été sélectionnés : la pression de la membrane (PIT300), la température d'entrée (TIT101) et la turbidité d'entrée (TUIT101).
Scénarios :
1. Standard : Entraînement sur une tranche d'une semaine (~350k transitions).
2. Mise à l'échelle (Scaling) : Entraînement sur une année complète de données (~3,2M d'échantillons après sous-échantillonnage).
3. Ajustement Fin (Fine-Tuning) : Pré-entraînement d'un agent sur 6 mois de données et utilisation du modèle pour sélectionner les taux d'apprentissage d'ajustement fin.
4. Décalage de Distribution : Test sur des données d'avril, mai et juillet 2023 pour évaluer la généralisation aux changements saisonniers et à la dérive des capteurs.

Résultats Clés

1. Application Réelle et Qualité de la Simulation

Supériorité du kNN : Les modèles kNN (Euclidien et Laplacien) ont généré avec succès des simulations réalistes à long horizon pour le capteur PIT300, ressemblant étroitement aux données réelles. En revanche, les référentiels paramétriques (NN et GRU) ont eu tendance à s'effondrer après 50–100 pas de temps.
Laplacien vs Euclidien : Le kNN Laplacien présentait un meilleur alignement global pour PIT300, bien que le kNN Euclidien soit plus proche des courbes « En Ligne » pour TIT101 et TUIT101. Cela suggère que la représentation Laplacienne peut nécessiter un réglage spécifique aux dynamiques des capteurs.

2. Sensibilité aux Hyperparamètres

Préservation du Rang : Les deux modèles kNN ont généralement récupéré les classements corrects d'hyperparamètres (sensibilité du taux d'apprentissage) par rapport au cadre « En Ligne ».
Échec Paramétrique : Les modèles NN et GRU n'ont pas réussi à préserver la sensibilité des hyperparamètres, ce qui est cohérent avec leur faible qualité de simulation.
Conclusion : Les modèles de calibration peuvent soutenir la sélection hors ligne des taux d'apprentissage pour des agents de prédiction TD(0).

3. Mise à l'Échelle et Décalage de Distribution

Volume de Données : Le passage à l'échelle du modèle kNN vers un jeu de données d'un an (kNN 12 mois) a permis de capturer une gamme plus large de dynamiques par rapport au modèle d'une semaine. Cependant, les résultats quantitatifs utilisant la DTW ont été mitigés ; le modèle de 12 mois a le mieux performé sur TIT101, tandis que le modèle d'une semaine était meilleur sur TUIT101.
Ajustement Fin : Dans un scénario d'ajustement fin, le modèle kNN de 6 mois a pu refléter un décalage de distribution générique, montrant que la performance des plus petits taux d'apprentissage se détériore à mesure que la période de déploiement s'éloigne, indiquant un besoin d'adaptation. Cependant, le modèle a peiné à capturer les décalages spécifiques, montrant un décalage avec les courbes de sensibilité « En Ligne » pour les périodes de déploiement ultérieures.
Sélection de l'État Initial : Les stratégies de sélection des états de départ de la simulation (ex: sélection des plus proches voisins de la période de déploiement) ont montré un bénéfice limité par rapport à une sélection aléatoire dans cette configuration spécifique, suggérant que la sélection ciblée de l'état de départ est insuffisante pour simuler pleinement des décalages de distribution arbitraires.

Signification et Revendications

L'article présente la première application de modèles de calibration pour la sélection hors ligne d'hyperparamètres dans un cadre industriel réel. Sa principale importance réside dans la fourniture d'une preuve de concept démontrant que les modèles de dynamique hors ligne peuvent soutenir le déploiement du RL dans des environnements où les simulateurs sont indisponibles et où l'expérimentation en ligne est coûteuse.

Les auteurs affirment avec modestie que, bien que leurs conclusions démontrent la faisabilité de l'utilisation de modèles de calibration pour générer des simulations réalistes et récupérer des tendances d'hyperparamètres significatives, des défis pratiques importants subsistent. Plus précisément, l'article souligne des questions ouvertes concernant :

Les conditions sous lesquelles l'extrapolation des modèles échoue.
La manière de simuler efficacement les décalages de distribution associés à des périodes de déploiement cibles spécifiques.
La nécessité de la précision prédictive par rapport à la préservation des classements d'hyperparamètres.
Le développement de métriques plus informatives que la DTW pour évaluer la qualité de la simulation à long horizon.

Ce travail comble le fossé entre la recherche sur les modèles de calibration simulés et le déploiement réel, soulignant que si l'approche est prometteuse, des investigations supplémentaires sont nécessaires pour traiter la scalabilité et la non-stationnarité dans les systèmes industriels complexes.