Résumé technique : Le paradoxe Perception–Physique : Sonder l'alignement scientifique avec TC-BENCH

1. Énoncé du problème

Les modèles de base visuels (VFMs) ont démontré de fortes performances en mode zéro-shot sur des benchmarks visuels, conduisant à leur adoption dans les domaines scientifiques. Cependant, les auteurs identifient une limitation critique : une haute précision prédictive sur les images satellites découle souvent de corrélations visuelles plutôt que d'une compréhension des invariants structurels sous-jacents. Cette divergence est qualifiée de paradoxe Perception–Physique.

Plus spécifiquement, les modèles peuvent sembler bien généraliser sur le plan perceptif (par exemple, à travers différentes régions géographiques ou agences) tout en échouant à préserver les degrés de liberté physiques nécessaires au raisonnement scientifique. Dans des régimes physiques extrêmes, tels que les cyclones tropicaux intenses, les indices visuels (comme la structure des nuages) peuvent saturer, rendant des états physiquement distincts (par exemple, une pression de 905 hPa contre 915 hPa) visuellement indiscernables. Les VFMs peuvent mapper ces états distincts vers des représentations latentes similaires, effondrant la variation physique requise pour un inférence scientifique précise. Les protocoles d'évaluation actuels, qui reposent sur des performances de cas moyen ou des tests hors distribution (OOD) basés sur la perception, échouent à détecter cet « effondrement latent ».

2. Méthodologie

2.1 Alignement scientifique et isomorphisme structurel

Pour combler cette lacune, l'article introduit l'alignement scientifique comme objectif implicite pour l'apprentissage de représentations. Les auteurs formalisent un aspect testable de cet alignement appelé isomorphisme structurel.

• Définition : Une représentation $z = g(x)$ est structurellement isomorphe à un système physique $S$ s'il existe une application linéaire injective $A$ telle que $z = Ay + \epsilon_\mu(y)$, où $y$ représente les variables d'état physique et $\epsilon_\mu(y)$ est un résidu uniformément borné.
• Implication : Cette définition n'exige pas un désenchevêtrement coordonné par coordonnée, mais garantit que l'espace latent identifie le système physique à une reparamétrisation linéaire près. Cela implique que la géométrie latente préserve la structure de la variété d'état physique.

2.2 Le cadre d'exploration de l'alignement structurel

Sur la base des implications de l'isomorphisme structurel, les auteurs dérivent une hiérarchie de conditions nécessaires, opérationnalisées sous forme de sondes d'alignement structurel. Ces sondes testent si une représentation apprise soutient des propriétés physiques spécifiques :

1. Fidélité statique ($Q_{stat}$) : L'état physique $y$ peut-il être récupéré linéairement à partir de la représentation latente $z$ ? (c'est-à-dire $\|y - Lz\| \le \epsilon_{stat}$).
2. Cohérence dynamique ($Q_{dyn}$) : Les dérivées latentes s'alignent-elles avec les dérivées physiques ? (c'est-à-dire $\|\dot{y} - L\dot{z}\| \le \epsilon_{dyn}$).
3. Cohérence de la variété ($Q_{con}$) : Les variables récupérées satisfont-elles les contraintes physiques connues (par exemple, le couplage pression-vent) ?

L'analyse théorique (Théorème 2.1) établit que si la fidélité statique et la cohérence dynamique sont vérifiées avec des bornes uniformes, la représentation soutient une cohérence interventionnelle, permettant des simulations physiquement plausibles sous perturbations.

2.3 Jeu de données TC-BENCH

Pour opérationnaliser ces sondes, les auteurs introduisent TC-BENCH, un jeu de données de benchmark mondial, versionné et reproductible pour la recherche sur les cyclones tropicaux.

• Sources de données : Intègre l'archive IBTrACS v4r01 (International Best Track Archive for Climate Stewardship) pour les métadonnées (pression centrale minimale $P_c$, vent soutenu maximal $V_m$) et GridSat-B1 pour les images de température de brillance infrarouge géostationnaire.
• Portée : Couvre la période 1980–2024 à travers sept agences météorologiques et tous les bassins majeurs.
• Conception : Contrairement aux benchmarks précédents axés sur les performances de cas moyen, TC-BENCH inclut explicitement des régimes intenses ($P_c < 980$ hPa) et des transitions de cycle de vie pour permettre des « tests de stress ciblés physiquement ».

2.4 Protocole expérimental

Les auteurs évaluent une suite diversifiée de VFMs figés (incluant DINOv2/3, CLIP, SigLIP et MAE) en utilisant une sonde linéaire restreinte ($L \in \mathcal{H}_{lin}$). L'évaluation est stratifiée par régimes d'intensité :

• Régime modéré : $P_c \ge 980$ hPa.
• Régime intense : $P_c < 980$ hPa.
  Le protocole contrôle les facteurs de confusion tels que le déséquilibre des échantillons, la capacité de la sonde (via des sondes non linéaires) et l'agrégation de représentations (via des moyennes de tokens spatiaux).

3. Résultats clés

3.1 Le paradoxe Perception–Physique en action

Les expériences révèlent un échec systématique des VFMs actuels dans les régimes intenses :

• Dégradation de la fidélité statique : Bien que les modèles performent bien dans les régimes modérés, l'erreur de récupération linéaire de la pression ($P_c$) augmente brusquement dans le régime intense. Cette hypothèse de « saturation visuelle » suggère que les caractéristiques saturent, rendant les différences d'intensité fines indiscernables dans l'espace latent.
• Effondrement de la cohérence dynamique : L'alignement entre l'évolution temporelle latente et physique se dégrade considérablement dans les régimes intenses, avec des pics d'erreur dans les régimes catastrophiques ($P_c < 920$ hPa).
• Incohérence de la variété : Les variables de pression et de vent récupérées ne respectent pas les couplages physiques (par exemple, la contrainte d'équilibre du vent de gradient concernant la latitude) dans les régimes intenses, avec des violations de contraintes passant d'environ 20 % dans les régimes modérés à environ 55 % dans les régimes intenses.

3.2 Analyse de la géométrie latente

Les diagnostics géométriques sur les représentations DINOv3 (le meilleur performeur) confirment le mécanisme d'échec :

• Effondrement de la dimensionnalité : Dans les régimes intenses, la dimensionnalité effective de la covariance des caractéristiques chute d'environ 60 %.
• Compression des caractéristiques : Des tempêtes physiquement distinctes sont mappées vers une région plus étroite de l'espace latent, réduisant la dispersion des caractéristiques.
• Perte de résolution : La première composante principale (PC1), qui corrèle avec la pression dans les régimes modérés, perd sa variation systématique avec la pression dans les régimes intenses.

3.3 Robustesse des résultats

L'échec n'est pas un artefact de la sonde linéaire ou de la préformation sur des images statiques :

• Sondes non linéaires : L'augmentation de la capacité de la sonde (MLP, Transformer) ne résout pas l'écart de performance.
• Bases de référence supervisées : Un modèle supervisé entraîné à partir de zéro sur des données de pixels atteint une erreur plus faible dans les régimes intenses, prouvant que le signal est statistiquement présent dans les images mais non capturé par les représentations de VFM figées.
• Modèles vidéo : La préformation temporelle (VideoMAE, V-JEPA2) améliore les performances moyennes mais échoue à éliminer la dégradation dépendante du régime.

4. Contributions

1. Alignement scientifique comme lentille diagnostique : L'article articule le paradoxe Perception–Physique et formalise l'isomorphisme structurel comme un ensemble de conditions nécessaires falsifiables pour l'utilisabilité scientifique. Il déplace le focus de l'évaluation de la robustesse perceptuelle vers la préservation structurelle des invariants physiques.
2. TC-BENCH : Un jeu de données de benchmark mondial et reproductible avec un pipeline de construction automatisé, conçu spécifiquement pour tester en stress les représentations dans des régimes physiques extrêmes où les indices visuels saturent.
3. Cadre d'exploration unifié : Un protocole systématique (Fidélité statique, Cohérence dynamique, Cohérence de la variété) qui expose un mode d'échec — l'effondrement latent dépendant du régime — manqué par les évaluations conventionnelles de cas moyen ou OOD.

5. Signification et affirmations

Les auteurs positionnent ce travail comme diagnostique plutôt que prescriptif. Ils ne prétendent pas que les VFMs sont intrinsèquement incapables d'apprendre des représentations alignées physiquement, ni que l'entraînement spécifique à la tâche ne peut pas récupérer l'information physique. Au contraire, l'article démontre que :

• Les évaluations actuelles sont insuffisantes : Les métriques standard et les tests OOD pilotés par la perception ne peuvent pas certifier l'alignement par rapport à des requêtes scientifiques spécifiques, en particulier dans les régimes extrêmes.
• Le passage à l'échelle n'est pas une solution miracle : L'alignement scientifique ne surgit pas comme un sous-produit naturel du passage à l'échelle seul ; les modèles peuvent sembler corrects sans raisonner correctement.
• Conditions nécessaires pour la science : Le cadre proposé fournit un ensemble minimal de conditions testables pour déterminer si une représentation peut servir de substitut structurel valide pour les systèmes physiques.

Les auteurs notent que le paradoxe Perception–Physique est probablement généralisable à d'autres contextes de télédétection à fort impact (par exemple, la surveillance des incendies de forêt) où les observations deviennent localement insensibles aux variations physiquement significatives dans les régimes extrêmes. Le travail souligne la nécessité de sondes conscientes de la requête et ancrées physiquement pour garantir que les représentations apprises soutiennent un raisonnement scientifique cohérent.