Sparse probes and murky physics: a case study of interpretability challenges in a foundation model for continuum dynamics

Résumé Technique : Sondes Éparses et Physique Trouble

Énoncé du Problème
Les émulateurs d'IA générative sont de plus en plus déployés dans des domaines scientifiques où existent déjà des théories physiques et des références solides. Cela crée un défi critique d'interprétabilité : lorsqu'un modèle de fond réussit à reproduire une dynamique de continuum connue, il reste difficile de déterminer si le modèle a appris les mécanismes physiques sous-jacents ou s'il s'est contenté de mémoriser des corrélations statistiques. Plus précisément, les chercheurs doivent déterminer si les représentations internes du modèle correspondent à des principes physiques connus, comment ces représentations sont liées à ses succès ou échecs, et si des structures internes « différentes » sont véritablement informatives ou ne sont que des raccourcis efficaces. L'article traite de ces questions en utilisant le modèle de fond Walrus, un transformer de 1,3 milliard de paramètres entraîné sur divers scénarios physiques, en se concentrant sur l'écart entre les représentations internes apprises et l'intuition physique.

Méthodologie
Les auteurs emploient une approche d'interprétabilité mécaniste guidée par les principes physiques, utilisant spécifiquement un auto-encodeur creux (Sparse Autoencoder - SAE) pour sonder les activations internes du modèle Walrus.

• Modèle et Données : L'étude se concentre sur Walrus, entraîné sur dix-neuf scénarios physiques, incluant les fluides classiques. L'analyse est restreinte à une suite de simulations d'écoulement de cisaillement 2D régies par les équations de Navier-Stokes incompressibles. Le jeu de données varie selon le nombre de Reynolds ($Re$) et le nombre de Schmidt ($Sc$), avec une attention particulière portée à trois simulations : Sim3 ($Re=10^4, Sc=0,1$), Sim50 ($Re=10^4, Sc=0,2$) et Sim56 ($Re=5\times10^4, Sc=0,1$).
• Ancrage Physique : Pour trier l'ensemble massif de caractéristiques généré par le SAE, les auteurs utilisent l'enstrophie ($E$), définie comme l'intégrale du carré de la vorticité, comme métrique ancrée physiquement. Ils analysent également la dérivée temporelle de l'enstrophie ($\dot{E}$) pour évaluer l'équilibre entre l'injection et la dissipation.
• Implémentation du SAE : Un auto-encodeur creux Top-K a été entraîné sur les activations du bloc central ($l=20$) du transformer Walrus, qui contient 2 816 activations. Le SAE utilise un facteur d'expansion de 8, ce qui donne 22 528 caractéristiques. L'entraînement a utilisé une fonction de perte en deux parties (erreur quadratique moyenne et une perte auxiliaire pour les neurones morts) afin de stabiliser l'entraînement et d'éviter l'effondrement des caractéristiques.
• Stratégie d'Analyse : Les auteurs classent les caractéristiques du SAE en fonction de leur corrélation de rang de Spearman avec les métriques globales d'enstrophie. Ils visualisent ensuite les cartes de chaleur d'activation des caractéristiques par rapport aux champs de traceurs et aux cartes d'enstrophie pour évaluer la cohérence spatiale et la consistance à travers différents montages de simulation et étapes temporelles.

Résultats Clés
L'enquête produit plusieurs conclusions concernant la cohérence et l'interprétabilité des représentations internes du modèle :

1. Identification et Corrélation des Caractéristiques : Bien qu'une caractéristique de premier rang présente une corrélation élevée ($\rho = 0,85$) avec l'enstrophie dans la simulation de référence (Sim50), environ 10 % de l'ensemble des 22 528 caractéristiques ont dépassé le seuil de signification. Cela suggère que la corrélation avec une métrique physique unique comme l'enstrophie est insuffisante pour isoler de manière unique des caractéristiques mécanistiquement significatives.
2. Cohérence Intermittente : L'étude trouve des preuves d'une « cohérence par morceaux ». Des sous-ensembles de caractéristiques réapparaissent dans des rôles similaires à travers différents montages d'écoulement de cisaillement (par exemple, des caractéristiques spécifiques s'activant dans les interfaces de canaux ou les régions de vortex). Cependant, cette structure est hautement intermittente ; elle ne se superpose pas proprement aux décompositions physiques standards et échoue souvent à persister à travers les étapes temporelles.
3. Diffusivité et Écarts : Les comparaisons directes entre la simulation numérique et l'émulateur Walrus révèlent des écarts systématiques au niveau des sorties. Walrus a tendance à sous-prédire l'énergie aux nombres d'onde intermédiaires et à la sur-prédire aux grands nombres d'onde, indiquant la production de structures à petite échelle excessives ou une « trop grande » diffusion à petite échelle.
4. Diffusivité Représentationnelle vs Physique : La perte de cohérence des caractéristiques à mesure que les simulations évoluent peut provenir de deux sources :
   • Physique : Walrus peut lisser excessivement les champs d'écoulement, provoquant une dissipation de l'énergie spectrale aux échelles où la simulation de référence la conserve.
   • Représentationnelle : Même lorsque la structure physique demeure, le modèle peut l'encoder à travers de nombreuses caractéristiques faiblement actives plutôt que de la concentrer dans quelques éléments interprétables.
5. Absence de Cartographie Stable : Restreindre l'analyse aux caractéristiques de premier rang au sein d'une seule simulation ne permet pas de récupérer une cartographie stable sur des quantités physiques familières. Les motifs qui semblent significatifs aux premières étapes temporelles se dissolvent souvent en bruit ou se déplacent de manière imprévisible à mesure que l'écoulement évolue.

Signification et Revendications
L'article ne prétend pas avoir résolu l'interprétabilité des modèles de fond ni avoir prouvé que Walrus a appris les équations directrices de la dynamique des fluides. Il sert plutôt d'étude de cas mettant en lumière des questions ouvertes pour la communauté des modèles de fond scientifiques :

• Priorisation : Il est difficile de prioriser de manière robuste les caractéristiques mécanistiquement significatives lorsqu'une grande fraction de caractéristiques est corrélée à des métriques physiques.
• Artefact vs Structure : Il existe un défi important pour séparer la structure interne stable des artefacts d'analyse, incluant les limitations inhérentes au sondage par couche unique et à la méthodologie SAE.
• Évaluation de Référence (Benchmarking) : Les références établies (comme la précision au niveau de la sortie) sont insuffisantes pour déterminer si les représentations internes sont réellement informatives. Un modèle peut reproduire efficacement la dynamique tout en utilisant des représentations internes qui ne s'alignent pas sur l'intuition physique humaine.

Les auteurs concluent que les affirmations sur ce que de tels modèles ont « appris » doivent être traitées avec prudence. Ils suggèrent que pour instaurer la confiance dans les modèles de fond scientifiques, il pourrait être nécessaire de partir d'architectures plus simples et plus interprétables et de monter en puissance de manière systématique, plutôt que de tenter de rétro-concevoir des transformers de plusieurs milliards de paramètres a posteriori. Ce travail souligne la nécessité de distinguer les modèles qui ont capturé les relations directrices de ceux qui ont simplement mémorisé des régularités statistiques.