ADDA: a Modular Framework for Representing, Simulating and Assimilating Dynamics with End-to-end Differentiability
L'article présente ADDA, un cadre logiciel modulaire basé sur PyTorch qui permet une assimilation de données de bout en bout et différentiable en fournissant des représentations flexibles et parallélisables de divers systèmes dynamiques et schémas d'observation afin de surmonter les défis actuels d'interopérabilité et de mise en œuvre.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans les systèmes vastes et changeants de notre planète, de l'atmosphère tourbillonnante aux courants océaniques profonds, les scientifiques sont confrontés à un casse-tête permanent : comment savoir ce qui se passe en ce moment même alors que les données sont incomplètes et que les modèles sont imparfaits. La nature ne remet pas entre les mains des chercheurs une carte parfaite et en temps réel de chaque température, pression ou courant. Au lieu de cela, les chercheurs s'appuient sur deux sources imparfaites. Premièrement, il y a les simulations informatiques, qui sont construites sur notre meilleure compréhension des lois physiques mais sont souvent trop simples pour capturer chaque détail d'un monde chaotique. Deuxièmement, il y a les observations provenant de satellites, de bouées et de stations météorologiques, qui sont réelles mais souvent éparses, bruitées et présentant d'énormes lacunes. Pour faire des prévisions précises sur la météo ou le climat, les scientifiques doivent fusionner ces deux sources. Ce processus, connu sous le nom d'assimilation de données, est l'art de trouver l'état le plus probable d'un système en pesant ce que la physique dit par rapport à ce que les capteurs voient réellement. C'est le moteur de la prévision météorologique moderne, pourtant, il a historiquement été une tâche manuelle difficile nécessitant à des experts d'écrire des codes complexes et personnalisés pour chaque nouveau problème rencontré.
Une équipe de chercheurs du Helmholtz-Zentrum Hereon en Allemagne a introduit un nouvel outil conçu pour lever ces barrières, rendant beaucoup plus facile la combinaison des simulations et des observations. Ils appellent leur création ADDA, un cadre modulaire qui agit comme un traducteur universel pour ces problèmes scientifiques. Avant ce travail, un scientifique souhaitant tester une nouvelle façon de fusionner des données avec une simulation devait souvent réécrire le code de la simulation de zéro, s'assurer qu'il pouvait calculer ses propres erreurs, puis construire manuellement la machinerie mathématique nécessaire pour ajuster le modèle. Ce processus était lent, sujet aux erreurs et rendait presque impossible la comparaison équitable de différentes méthodes. Le nouveau cadre change la donne en fournissant un ensemble standard de blocs de construction. Il permet aux chercheurs d'injecter une simulation, de définir le type de données dont ils disposent et de choisir une méthode pour les combiner, le tout sans avoir besoin d'être un spécialiste de la mathématique sous-jacente de chaque système spécifique.
L'innovation centrale de ce travail est l'utilisation de la différenciation automatique, une technologie initialement développée pour l'entraînement de l'intelligence artificielle. Par le passé, pour améliorer une simulation basée sur des observations, les scientifiques devaient dériver et écrire manuellement les équations « adjointes » — l'ingénierie inverse mathématique de la manière dont un petit changement dans les conditions initiales se propagerait à travers l'ensemble du système. C'était un processus fastidieux et sujet aux erreurs qui exigeait souvent des années de formation spécialisée. Le nouveau cadre contourne entièrement cela. Parce que les simulations sont construites à l'aide de bibliothèques logicielles modernes capables de calculer automatiquement ces chemins inverses, les chercheurs peuvent simplement définir la physique directe, et le système détermine automatiquement comment ajuster le point de départ pour correspondre aux observations. Cela transforme une tâche qui nécessitait autrefois une équipe de mathématiciens en quelque chose qu'un chercheur seul peut accomplir en quelques heures.
Les chercheurs ont démontré la puissance de cette approche en la testant sur dix types différents de systèmes dynamiques, allant de modèles mathématiques simples à des représentations complexes de flux océaniques et atmosphériques. Dans un test, ils ont utilisé un système chaotique connu sous le nom de modèle Lorenz-63, qui imite la nature imprévisible de la météo. Ils ont montré que le cadre pouvait prendre des mesures bruitées et incomplètes et reconstruire l'état réel et caché du système avec une grande précision, prédisant même son comportement après l'arrêt des observations. Dans une autre expérience, ils ont abordé un système possédant deux échelles de temps différentes, où certaines variables changeaient lentement tandis que d'autres évoluaient rapidement. Le cadre a géré avec succès cette complexité, en déduisant les parties à mouvement rapide même lorsqu'elles n'étaient jamais directement observées, simplement en observant comment elles influençaient les parties à mouvement lent.
L'outil s'est avéré assez flexible pour gérer des données irrégulières, telles que des observations arrivant à des moments aléatoires plutôt que selon un calendrier fixe, et il pouvait fonctionner avec des systèmes soumis à des forces externes, comme les marées poussant l'eau dans un estuaire. Les chercheurs ont également montré que le cadre pouvait faire le pont entre différents mondes logiciels. Ils ont connecté une simulation écrite dans un langage de programmation à un cadre construit dans un autre, prouvant que les scientifiques n'ont pas besoin de réécrire l'intégralité de leur base de code pour utiliser ces nouvelles méthodes. Dans un test impliquant un émulateur de réseau neuronal — une approximation simplifiée et rapide d'un flux de fluide complexe — le cadre a utilisé avec succès l'émulateur pour effectuer l'assimilation de données, montrant que ces outils peuvent fonctionner même lorsque la simulation originale, plus lente, est trop difficile à utiliser directement.
Peut-être plus important encore, le travail inclut une approche par fenêtre glissante pour les simulations à long terme. Dans les systèmes chaotiques, tenter d'ajuster les conditions initiales pour une prévision d'un mois entier sur la base de données provenant de la fin de ce mois échoue souvent car les erreurs deviennent trop importantes. Le nouveau cadre résout ce problème en découpant le problème en segments plus petits et chevauchants. Il résout la fusion des données pour la première semaine, utilise ce résultat comme point de départ pour la deuxième semaine, et ainsi de suite. Cela permet au système de maintenir sa précision sur de longues périodes sans que les calculs ne deviennent instables. Les chercheurs ont également démontré que le cadre peut fonctionner sur des processeurs graphiques puissants, courants dans l'informatique moderne, rendant le processus suffisamment rapide pour gérer des problèmes à grande échelle comme la modélisation océanique mondiale.
Ce travail ne prétend pas avoir résolu tous les problèmes du domaine de la géoscience. Les chercheurs reconnaissent que beaucoup des modèles opérationnels les plus critiques utilisés aujourd'hui par les services météorologiques sont encore écrits dans des langages de programmation plus anciens qui ne supportent pas ces fonctionnalités de calcul automatique. Cependant, l'article soutient que la voie à suivre est claire : soit ces systèmes doivent être réécrits dans un code moderne et différentiable, soit ils doivent être remplacés par des émulateurs de réseaux neuronaux capables d'en imiter le comportement. Le nouveau cadre fournit l'infrastructure nécessaire pour rendre l'une ou l'autre de ces voies viable. En supprimant la lourde tâche de la dérivation mathématique manuelle, l'outil ouvre la porte à un plus large éventail de scientifiques pour expérimenter de nouvelles façons de combiner données et physique, menant potentiellement à des prévisions plus précises et à une compréhension plus profonde des systèmes complexes qui façonnent notre monde.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.