Résumé technique : Aligner la découverte pilotée par l'IA avec l'intuition humaine

Problématique

Alors que la modélisation des systèmes dynamiques physiques pilotée par les données progresse, un goulot d'étranglement critique subsiste : l'identification des variables d'état appropriées. Bien que la découverte scientifique automatisée implique généralement l'identification de variables d'état et la dérivation d'équations de gouvernance, l'étape initiale de la découverte de variables est mathématiquement sous-définie et complexe. Les méthodes existantes produisent souvent des variables qui manquent de signification physique ou qui sont difficiles à interpréter pour les scientifiques humains.

Les approches actuelles font face à deux limitations principales :

1. Non-unicité : Les variables d'état ne sont pas uniques ; un système peut être décrit par une infinité de combinaisons de variables (par exemple, un pendule peut être décrit par l'angle/vitesse ou l'énergie). Sans contraintes, les modèles ont tendance à favoriser des représentations excessivement complexes.
2. Dépendance aux a priori : De nombreuses méthodes (par exemple, la régression parcimonieuse, les réseaux de neurones informés par la physique) nécessitent des connaissances préalables sur le système, des fonctions de base spécifiques ou des hypothèses sur les lois physiques. Cela limite leur applicabilité à des environnements nouveaux ou inconnus où de tels a priori sont absents.

Les tentatives précédentes visant à apprendre des variables sans a priori, telles que l'approche par auto-encodeur en deux étapes de Chen et al. (2022), peinent à produire des variables ayant une signification physique ou des expressions analytiques explicites car elles manquent de critères d'interprétabilité pour guider le processus de découverte.

Méthodologie : Le Temporally-Informed Dynamics Encoder (TIDE)

Les auteurs proposent un principe général pour distiller des représentations alignées avec l'intuition humaine sans dépendre de connaissances physiques préalables. Le cœur de cette approche est le Temporally-Informed Dynamics Encoder (TIDE), un cadre piloté par les données qui incorpore des propriétés mathématiques clés typiques des variables physiques dans son objectif d'entraînement.

Architecture du modèle

TIDE emploie un processus en deux étapes utilisant un squelette de Variational Autoencoder (VAE), un module de dynamique et un terme de régularisation :

1. Squelette VAE : Le modèle compresse des données d'entrée de haute dimension (par exemple, des images vidéo) en une représentation latente de faible dimension $z$. L'encodeur $h_\phi$ approxime la distribution postérieure $q_\phi(z|x)$, et le décodeur $p_\theta$ reconstruit l'entrée. L'objectif d'entraînement inclut la borne inférieure de l'évidence (ELBO).
2. Module de dynamique : Un réseau de neurones à propagation directe ($h_{dyn}$) est intégré pour modéliser l'opérateur d'évolution temporelle $g$. Il prédit l'état latent suivant $\hat{z}_{t+1}$ basé sur l'état actuel. Le module est entraîné pour maximiser la vraisemblance de l'observation suivante, optimisant conjointement la dynamique et l'apprentissage de la représentation.
3. Régularisation de la dérivée temporelle : Pour traiter la non-unicité des représentations et encourager des variables qui s'alignent avec l'intuition humaine (plus précisément la lissité et la continuité), le modèle applique un terme de pénalité basé sur les magnitudes des dérivées temporelles discrètes.
   • Les vecteurs latents sont normalisés pour éviter une contraction globale.
   • La perte de régularisation $L_{reg}$ agrège les $n$ premières dérivées discrètes (fixées à $n=4$ dans les expériences).
   • La fonction d'objectif finale est une combinaison pondérée : $L_{TIDE} = -L_{ELBO} - L_{dyn} + \lambda_2 L_{reg}$.

Estimation de la dimension intrinsèque (ID)

Pour déterminer le nombre correct de variables d'état, les auteurs utilisent un algorithme d'apprentissage de variétés (DANCo) sur un espace latent de haute dimension généré par un réseau TIDE préliminaire. L'ID estimée définit alors la dimension latente pour un second réseau TIDE qui apprend les variables d'état finales.

Régression symbolique

Pour les systèmes où les variables d'état humaines standards sont connues, les auteurs utilisent PySR (une bibliothèque de régression symbolique) pour dériver des expressions analytiques explicites pour les variables latentes apprises. Cette étape permet de valider si les variables apprises peuvent être mappées vers des fonctions mathématiques simples de quantités physiques.

Principales contributions

1. Un nouveau principe d'alignement : L'article propose un principe général pour distiller des représentations qui s'alignent naturellement avec l'intuition humaine en imposant la lissité et la différentiabilité, sans nécessiter de connaissances physiques préalables.
2. Architecture TIDE : L'introduction du réseau TIDE, qui apprend conjointement la dynamique et les variables d'état tout en incorporant une régularisation de la dérivée temporelle pour traiter le problème de la découverte des variables d'état.
3. Résultats interprétables et analytiques : La méthode apprend des variables qui non seulement sont plus étroitement corrélées aux quantités définies par l'humain, mais qui produisent également des expressions analytiques explicites, une étape significative par rapport aux représentations latentes de type "boîte noire".

Résultats

Le modèle a été évalué sur neuf ensembles de données de référence, incluant cinq systèmes simulés (par exemple, réaction-diffusion, pendule simple/double) et quatre systèmes réels (par exemple, lampe à lave, flamme de feu).

• Estimation de la dimension intrinsèque : TIDE a fourni des estimations plus précises de la dimension intrinsèque par rapport à l'approche de base Neural State Variables (NSV), particulièrement pour les systèmes ayant des vérités de terrain (ground truth) connues. Les auteurs attribuent cela à la régularisation de la dérivée temporelle qui encourage un espace latent lisse.
• Lissité et continuité des variables : Les visualisations de l'espace latent (par exemple, pour les systèmes de pendule) ont montré que les variables TIDE évoluent de manière fluide dans le temps, ressemblant étroitement aux quantités interprétables par l'humain comme l'angle et la vitesse angulaire. En revanche, la méthode de base présentait des sauts discontinus.
• Métriques d'interprétabilité :
  • Information Mutuelle (MI) : TIDE a démontré une MI plus élevée entre les variables du modèle et les variables humaines, indiquant une corrélation plus forte.
  • Erreur Quadratique Moyenne Analytique (AMSE) : TIDE a obtenu un AMSE nettement plus faible lors de l'ajustement d'expressions symboliques aux variables apprises, confirmant leur récupérabilité analytique.
• Expressions analytiques : Les auteurs ont réussi à dériver des formules explicites pour les variables latentes du pendule simple et double (par exemple, $z_0$ exprimé comme une combinaison de fonctions sinus de l'angle $\theta$). Aucune combinaison symbolique de ce type n'a pu être trouvée pour les variables de la méthode de base.

Signification et affirmations

L'article affirme que TIDE représente une étape significative pour rendre la collaboration humain-IA plus fructueuse dans la découverte scientifique. En alignant les représentations générées par l'IA avec l'intuition humaine via des propriétés mathématiques (lissité, différentiabilité) plutôt que par des a priori physiques explicites, la méthode comble le fossé entre la modélisation pilotée par les données et la compréhension humaine.

Les auteurs soulignent que c'est, à leur connaissance, le premier résultat capable de dériver des formules explicites pour des variables d'état apprises sans connaissance préalable du système. Ils suggèrent que ce principe peut aider les chercheurs à acquérir des connaissances sur des phénomènes inconnus, particulièrement lorsque les prédictions théoriques divergent des observations empiriques.

Limites : Les auteurs notent modestement que la méthode repose sur l'hypothèse d'une représentation stable des variables d'état, ce qui peut ne pas être le cas dans des scénarios de collecte de données inefficaces. Ils reconnaissent également que, bien que la représentation s'aligne sur les quantités humaines, elle peut ne pas correspondre parfaitement à celles-ci en raison de l'inéluctable non-unicité des configurations de variables d'état. Des travaux futurs sont suggérés pour explorer l'apprentissage semi-supervisé et les conditions théoriques d'identifiabilité.