Résumé Technique : Jumeaux Numériques Adaptatifs pour la Prise de Décision Prédictive

Énoncé du Problème

Les systèmes d'ingénierie modernes, en particulier dans les infrastructures civiles, font face à des défis majeurs en matière de surveillance de l'intégrité structurelle et de gestion des opérations dans un contexte d'incertitude. Ces systèmes sont soumis à la détérioration des matériaux, aux chargements cycliques et aux événements extrêmes, souvent exacerbés par le changement climatique. Les approches de surveillance traditionnelles reposent souvent sur des modèles statiques ou des prédicteurs entraînés hors ligne, qui ne parviennent pas à prendre en compte la nature dynamique et incertaine de l'évolution des conditions structurelles. Par conséquent, les jumeaux numériques (JN) qui négligent ces dynamiques souffrent d'une personnalisation réduite, d'une précision moindre et d'une valeur diminuée dans la prise de décision.

Bien que les cadres de JN existants utilisent des modèles graphiques probabilistes (MGP) et des réseaux bayésiens dynamiques (RBD) pour relier les actifs physiques à leurs représentations virtuelles, ils supposent souvent des dynamiques de transition stationnaires. Cette hypothèse implique que la probabilité qu'un système passe d'un état à un autre est fixe et connue a priori. Cependant, en réalité, les dynamiques de transition peuvent être non stationnaires et dépendre de conditions environnementales évolutives ou de facteurs non modélisés. S'en remettre à des politiques optimales précalculées basées sur des modèles de transition fixes peut conduire à des décisions sous-optimales, voire à une défaillance du système, si les hypothèses initiales divergent de la vérité terrain. Le problème central abordé consiste à savoir comment améliorer la réalisation de la valeur des jumeaux numériques en introduisant de l'adaptativité dans les modèles de transition d'état, permettant ainsi au système d'apprendre et de mettre à jour sa compréhension des dynamiques en temps réel.

Méthodologie

Le cadre proposé intègre l'Apprentissage Bayésien en Ligne avec des Processus de Décision Markoviens (MDP) Paramétriques au sein d'une architecture de Réseau Bayésien Dynamique (RBD).

1. Cadre du Modèle Graphique Probabiliste (MGP)

L'interaction entre l'actif physique et son jumeau numérique est modélisée à l'aide d'un RBD avec des nœuds de décision. Le système est défini par :

• État Physique ($S_t$) : La vérité terrain cachée de la santé structurelle.
• État Numérique ($D_t$) : Une variable aléatoire catégorielle représentant l'état de santé inféré (localisation et ampleur des dommages).
• Observations ($O_t$) : Données de capteurs (par exemple, enregistrements de vibrations) assimilées via des modèles d'Apprentissage Profond (DL) pour mettre à jour la croyance en $D_t$.
• Actions ($U_t$) : Décisions de contrôle (par exemple, maintenance, restriction du trafic) qui influencent la transition de l'état numérique.
• Récompenses ($R_t$) : Une fonction quantifiant l'utilité du système actif-jumeau basée sur l'état de santé et les coûts des actions.

Le flux d'information est bidirectionnel : physique vers numérique via l'assimilation de données (inférence) et numérique vers physique via les actions de contrôle (planification).

2. Apprentissage en Ligne des Dynamiques de Transition

L'innovation centrale réside dans le traitement des probabilités de transition d'état non pas comme des paramètres fixes, mais comme des variables aléatoires dotées de distributions a priori conjuguées.

• Paramétrisation : Le modèle de transition est paramétré à l'aide d'une distribution Dirichlet-Multinomiale (ou Beta-Bernoulli pour des cas spécifiques). Pour une action $u$ donnée, les probabilités de transition sont modélisées comme $\theta_{d,u} \sim \text{Dirichlet}(\alpha_{d,u})$.
• Mises à Jour Bayésiennes : À mesure que de nouvelles données observationnelles et transitions d'état sont observées, les hyperparamètres ($\alpha$) de l'a priori Dirichlet sont mis à jour sous forme fermée. Cela permet au jumeau numérique d'"apprendre" les dynamiques de transition en ligne, en s'adaptant aux processus non stationnaires sans nécessiter un réentraînement complet du modèle sous-jacent.
• Indépendance de l'État : Pour assurer la faisabilité computationnelle pour de grands espaces d'états, l'article emploie un modèle de transition indépendant de l'état, où les probabilités de transition dépendent de l'action et de la taille de l'étape (par exemple, 0, 1 ou 2 étapes de détérioration) plutôt que de l'état de départ spécifique, bien que le cadre supporte des formulations dépendantes de l'état.

3. Politiques de Contrôle Dynamiques via l'Apprentissage par Renforcement

Au lieu de calculer une politique stationnaire unique hors ligne, le cadre emploie l'Apprentissage par Renforcement Basé sur un Modèle (MBRL) pour résoudre un MDP à horizon fini.

• Recalcul de la Politique : À chaque pas de temps, la politique de contrôle optimale $\pi^*_t$ est recalculée sur la base du modèle de transition actuel (mis à jour).
• Objectif : La politique maximise la récompense cumulative attendue sur la durée de vie restante de la structure, équilibrant la sécurité structurelle (récompenses de santé) et les coûts opérationnels (récompenses d'action).
• Algorithme : La solution utilise l'itération de valeur (rétro-induction) pour résoudre les équations d'optimalité de Bellman, produisant une politique optimale dépendante du temps qui prend en compte l'horizon de planification restant.

Contributions Clés

1. Modélisation Adaptative des Transitions : L'article introduit une méthode pour traiter les probabilités de transition d'état comme des variables aléatoires avec des a priori conjugués, permettant un apprentissage en ligne hiérarchique des dynamiques de transition grâce à des mises à jour bayésiennes sans effort. Cela assouplit l'hypothèse de stationnarité courante dans la littérature actuelle sur les JN.
2. Optimisation Dynamique des Politiques : Les auteurs formulent un MDP paramétrique où les politiques de contrôle sont mises à jour dynamiquement en utilisant le MBRL. Cela va au-delà des politiques précalculées basées sur des dynamiques fixes, permettant au JN d'adapter sa stratégie de prise de décision à mesure qu'il apprend davantage sur le comportement du système.
3. Généralisation Mathématique : Le travail étend les cadres précédents (par exemple, [74]) à une classe plus large de distributions de probabilité (spécifiquement Dirichlet-Multinomiale), rendant l'approche applicable à une plus grande variété de systèmes réels à grande échelle avec des espaces d'états complexes.
4. Cadre Intégré : L'article fournit un pipeline computationnel complet, depuis l'entraînement hors ligne des modèles DL pour l'estimation d'état jusqu'à la mise à jour bayésienne en ligne des modèles de transition et au recalcul dynamique des politiques.

Résultats

La méthodologie a été évaluée à travers une étude de cas impliquant le pont ferroviaire de Hörnefors, un pont en béton de 15,7 m en Suède. L'étude a simulé une durée de vie de 60 pas de temps avec diverses actions de contrôle : Ne Rien Faire (DN), Restreindre les Opérations (RO), Réparation Mineure (MR) et Réparation Parfaite (PR).

• Amélioration des Performances : Dans un groupe de 100 simulations, le JN adaptatif (utilisant le MBRL avec des mises à jour de précision) a obtenu une récompense cumulative 17 % plus élevée par rapport à un JN non adaptatif utilisant un modèle de transition fixe et la Programmation Dynamique (DP) standard.
• Robustesse : Le cadre adaptatif a démontré zéro défaillance (effondrement structurel défini comme des dommages $\ge$ 80 %) dans toutes les simulations. En revanche, les politiques non adaptatives étaient sujettes à la défaillance lorsque le modèle de transition a priori initial était mal aligné avec la vérité terrain.
• Précision du Suivi : Le JN adaptatif a atteint une précision moyenne de suivi de 93,6 % (avec un écart-type de 4 %) par rapport à l'état physique de vérité terrain, comparable à son homologue non adaptatif (93,15 %), confirmant que l'adaptativité améliore la prise de décision sans sacrifier la précision de l'estimation d'état.
• Convergence : Les distributions a posteriori des probabilités de transition ont convergé vers les dynamiques de vérité terrain inconnues, réduisant considérablement l'incertitude au fil du temps. Le système s'est correctement auto-corrigé lorsque les a priori initiaux étaient inexacts.

Signification et Revendications

L'article affirme que l'adaptativité est essentielle à la réalisation effective des jumeaux numériques dans le domaine du génie civil. En permettant au JN d'apprendre les dynamiques de transition en ligne, le cadre garantit que la représentation virtuelle reste synchronisée avec l'actif physique, même lorsque les conditions changent.

Les auteurs affirment que cette approche offre une personnalisation améliorée, une robustesse accrue et une meilleure rentabilité. Plus précisément, la capacité de mettre à jour les politiques de contrôle sur la base de dynamiques de transition affinées permet une planification plus éclairée, prévenant la défaillance structurelle et optimisant les calendriers de maintenance. Le travail se positionne comme une étape vers des JN autonomes capables de gérer des environnements non stationnaires, allant au-delà de la simple automatisation pour atteindre des systèmes capables de répondre efficacement aux conditions changeantes au fil du temps. Les auteurs notent que, bien que l'étude actuelle se concentre sur la détérioration à long terme, les travaux futurs traiteront des événements extrêmes et de l'observabilité partielle, élargissant ainsi davantage l'applicabilité de ce cadre adaptatif.