Gradient-free online learning of subgrid-scale dynamics with neural emulators

Imaginez essayer de prédire la météo ou les courants océaniques à l'aide d'une simulation informatique géante. Ces simulations sont comme des cartes numériques massives de la Terre, mais elles ont un problème : elles sont trop grossières pour voir les détails minuscules et tourbillonnants comme une goutte de pluie ou un petit tourbillon. Pour corriger cela, les scientifiques utilisent des « raccourcis » appelés paramétrisations. Considérez cela comme la recette secrète d'un chef pour une sauce ; le chef sait que la sauce doit avoir un certain goût, alors il ajoute une pincée de ceci et une touche de cela sans cuisiner chaque ingrédient à partir de zéro. Dans les modèles climatiques, ces raccourcis représentent la physique minuscule et rapide que l'ordinateur ne peut pas voir directement.

Pendant longtemps, les scientifiques ont essayé d'apprendre aux ordinateurs à améliorer ces raccourcis en leur montrant le « corrigé » (ce à quoi la physique minuscule devrait ressembler) et en leur demandant de deviner. C'est ce qu'on appelle l'apprentissage « hors ligne » (offline). C'est comme enseigner à un conducteur uniquement en lui montrant des photos d'une route ; lorsqu'il se retrouve réellement au volant, il s'écrase parce qu'il n'a pas appris comment la voiture se comporte en mouvement. La meilleure méthode est l'apprentissage « en ligne » (online), où l'ordinateur apprend pendant qu'il conduit, en ajustant ses raccourcis en temps réel en fonction de la façon dont la simulation se comporte. Cependant, il y a un piège : le code informatique réel utilisé pour la météo est construit comme une boîte noire faite de vieux métal rigide. On ne peut pas facilement regarder à l'intérieur pour voir comment un changement infime affecte l'ensemble du système, ce qui rend l'apprentissage « en ligne » impossible avec les outils standards.

Ce document présente un contournement astucieux : un « conducteur fantôme » ou un émulateur neuronal. Les auteurs ont construit une IA séparée, fluide et flexible, qui imite le comportement du vieux code rigide. Ce conducteur fantôme est facile à observer et à comprendre. Ils utilisent ce fantôme pour apprendre à la recette du raccourci comment conduire en temps réel. Une fois que la recette est apprise grâce au fantôme, ils la réintègrent dans la véritable voiture rigide. Le résultat est un raccourci qui fonctionne presque aussi bien que s'il avait été entraîné sur la vraie voiture, mais sans avoir besoin de casser la voiture pour le faire.

---

Le Problème : La Boîte Noire et le Maillon Manquant

Les climatologues tentent de construire de meilleurs modèles pour prédire l'évolution de notre planète. Ces modèles sont essentiellement de gigantesques équations mathématiques qui simulent le mouvement de l'air et de l'eau. Mais les ordinateurs ne peuvent pas calculer chaque molécule d'air ; ils doivent les regrouper en gros blocs. Cela signifie qu'ils manquent les tourbillons minuscules et chaotiques qui se produisent entre les blocs. Pour combler ces lacunes, ils utilisent des modèles de sous-maille (SGS) — essentiellement des suppositions éclairées sur ce que font les minuscules tourbillons.

Traditionnellement, les scientifiques entraînaient ces suppositions en utilisant une approche « hors ligne ». Ils faisaient tourner une simulation extrêmement détaillée (la « vérité »), la découpaient en gros morceaux, puis entraînaient un modèle d'apprentissage automatique pour deviner les tourbillons manquants à partir de ces morceaux. C'est comme essayer d'apprendre à jouer au football en regardant des vidéos de buts sans jamais vraiment courir sur le terrain. Bien que cela fonctionne assez bien pour les statistiques, cela conduit souvent à des simulations instables qui plantent ou produisent une météo sauvage et irréaliste lorsqu'elles sont exécutées sur de longues périodes.

L'approche « en ligne » est la référence absolue. Ici, le modèle d'apprentissage automatique apprend pendant qu'il fait tourner la simulation. Il voit comment ses propres suppositions affectent le futur de la météo et s'ajuste pour maintenir la stabilité de la simulation. Le problème ? Le code informatique utilisé pour les vrais modèles climatiques est souvent écrit dans de vieux langages (comme le Fortran) et est si complexe qu'il s'agit d'une boîte noire « non différentiable ». En langage clair, vous ne pouvez pas facilement calculer comment un changement infime dans les paramètres du modèle se répercute à travers tout le système pour affecter le résultat final. Sans cette capacité à tracer les répercussions (les gradients), l'apprentissage en ligne standard est impossible.

La Solution : Le « Conducteur Fantôme »

Les auteurs, dirigés par Hugo Frezat, ont proposé une solution créative : l'émulation neuronale. Au lieu de forcer le vieux code rigide à devenir flexible, ils ont construit un nouvel émulateur IA, flexible, qui imite le comportement du vieux code.

Considérez le véritable solveur climatique comme une lourde et vieille machine à vapeur. Elle fonctionne très bien, mais vous ne pouvez pas facilement voir les engrenages tourner à l'intérieur pour comprendre comment la modifier. Les auteurs ont construit un « moteur fantôme » — un réseau neuronal qui agit exactement comme la machine à vapeur, mais qui est fait de plastique lisse et flexible. Parce que ce moteur fantôme est construit avec des outils d'IA modernes, vous pouvez voir les engrenages et calculer exactement comment le modifier.

Ils ont utilisé un processus d'entraînement en deux étapes pour faire fonctionner cela :

1. Étape 1 : Entraîner le Fantôme. D'abord, ils ont appris au moteur fantôme à imiter la véritable machine à vapeur. Ils lui ont fourni des données provenant de la vraie machine et ont ajusté le fantôme jusqu'à ce qu'il puisse reproduire parfaitement les mouvements de la machine.
2. Étape 2 : Entraîner le Raccourci. Ensuite, ils ont utilisé le fantôme pour entraîner le « raccourci » (le modèle SGS). Comme le fantôme est flexible, ils ont pu utiliser des techniques d'apprentissage en ligne pour apprendre au raccourci comment se comporter en interagissant avec le moteur fantôme.

Crucialement, ils ont réalisé que s'ils essayaient d'entraîner le fantôme et le raccourci en même temps, le raccourci apprendrait simplement à compenser les erreurs du fantôme. Pour éviter cela, ils les ont entraînés séparément. Ils ont également introduit un truc spécial : au lieu de simplement dire au raccourci « fais en sorte que la météo soit correcte », ils lui ont dit « fais en sorte que les minuscules tourbillons soient corrects ». Cela a empêché le raccourci de corriger accidentellement les erreurs du moteur fantôme qu'il ne devrait pas corriger.

Les Résultats : Une Trajectoire Stable

L'équipe a testé cette méthode sur deux systèmes différents. D'abord, ils ont utilisé un système chaotique simplifié appelé Lorenz-96, qui est un modèle réduit de l'atmosphère avec des parties à mouvement rapide et lent. Ils ont constaté que leur méthode produisait un raccourci presque aussi bon que l'entraînement en ligne « parfait », sans avoir besoin de modifier le code original.

Ensuite, ils sont passés à un test plus complexe : un système quasi-géostrophique, qui simule les vents et les courants tourbillonnants de l'océan et de l'atmosphère. C'est un problème notoirement difficile car les minuscules tourbillons peuvent soit calmer la situation, soit la faire exploser dans le chaos.

Dans ces simulations, ils ont comparé leur nouvelle méthode aux techniques plus anciennes :

• Le Modèle « Hors Ligne » (Offline) : Ce modèle apprenait à partir d'un ensemble de données statiques. Il a échoué rapidement, provoquant le crash de la simulation à mesure que l'énergie s'accumulait de manière incontrôlée.
• Le Modèle de Perte d'État (State Loss) : Ce modèle essayait d'apprendre en regardant la vue d'ensemble (l'état météo global). Il était instable et produisait des oscillations sauvages.
• Le Modèle de Perte de Sous-Maille (Subgrid Loss - Le Gagnant) : Ce modèle, entraîné avec la méthode en deux étapes des auteurs et se concentrant sur les minuscules tourbillonnements, est resté stable 250 fois plus longtemps que la période d'entraînement. Il a réussi à reproduire les schémas d'énergie et la stabilité du modèle en ligne « parfait », même s'il n'avait jamais vu les engrenages internes du code rigide original.

Ce que cela signifie

L'article suggère que nous n'avons pas besoin de réécrire les codes climatiques massifs vieux de plusieurs décennies pour utiliser l'IA moderne. Au lieu de cela, nous pouvons construire une version « fantôme » du code pour effectuer le gros du travail d'entraînement. Cela ouvre la voie à l'entraînement de modèles climatiques beaucoup plus stables et précis, capables de fonctionner pendant des années sans planter.

Cependant, les auteurs précisent avec prudence qu'il ne s'agit pas encore d'une baguette magique. Le moteur « fantôme » n'est pas parfait ; il présente de petites erreurs. Dans leurs tests, ces petites erreurs ont parfois entraîné de légères inexactitudes dans les schémas météorologiques à grande échelle, bien que les détails minuscules aient été parfaitement respectés. Ils suggèrent que les travaux futurs devront rendre les moteurs fantômes encore meilleurs, peut-être en leur apprenant à se concentrer sur des caractéristiques spécifiques à grande échelle comme la vitesse du vent, et pas seulement sur la vorticité tourbillonnante.

En fin de compte, cette recherche offre une voie prometteuse : un moyen de jeter un pont entre la physique rigide et éprouvée du passé et l'apprentissage flexible et puissant du futur, le tout sans avoir à démonter le moteur.