💻 computer science

A Search‑Free Foundation Model for Symbolic Regression of Physical Laws

Le document présente PISR, un modèle de fondation sans recherche qui exploite une variété formule-données à alignement contrastif et informé par la physique ainsi que le way-matching pour récupérer rapidement et précisément des lois physiques interprétables à partir de données, surpassant les méthodes existantes tant en vitesse qu'en précision structurelle à travers divers benchmarks scientifiques et réels.

Auteurs originaux : Chenxi He, Jingqiu Chen

Publié 2026-07-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chenxi He, Jingqiu Chen

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais au lieu d'empreintes digitales ou de traces de pas, vos indices sont des nombres. Dans le monde de la science, il existe un type spécial de casse-tête appelé « régression symbolique ». L'objectif n'est pas seulement de prédire ce qui va se passer ensuite (comme une application météo qui prévoit la pluie), mais de trouver la règle qui explique pourquoi cela arrive. Considérez cela comme une tentative de découvrir la recette exacte d'un gâteau en goûtant simplement les miettes. Vous voulez découvrir la formule mathématique précise — comme $E=mc^2$ ou les lois de la gravité — que la nature utilise.

Pendant longtemps, les ordinateurs ont été très mauvais pour cela. Ils sont excellents pour trouver des modèles dans les données, mais ils vous donnent généralement une réponse de type « boîte noire » : une machine complexe et illisible qui fonctionne, mais qui ne raconte pas l'histoire. D'autres méthodes tentent de deviner la recette en jetant des milliers de combinaisons aléatoires contre un mur pour voir lesquelles collent, mais c'est une méthode lente, maladroite et qui casse souvent lorsque les données sont désordonnées. La grande question que les scientifiques se posent est la suivante : pouvons-nous construire un ordinateur qui ne se contente pas de deviner au hasard, mais qui comprend réellement la forme des lois scientifiques afin de les trouver rapidement et correctement, même face à des données réelles et bruitées ?

C'est ici qu'intervient une nouvelle invention appelée PISR (Régression Symbolique Guidée par la Physique). Considérez le PISR non pas comme un détective cherchant frénétiquement dans une bibliothèque, mais comme un chef étoilé qui aurait mémorisé toute l'histoire de la cuisine. Les chercheurs derrière le PISR ont réalisé que les véritables lois physiques ne sont pas de simples mathématiques aléatoires ; elles vivent dans un quartier spécifique et organisé au sein du vaste univers de toutes les équations possibles. Ils appellent ce quartier la « variété de formules » (formula manifold).

Au lieu de chercher la réponse à chaque fois, le Pitsr apprend la « carte » de ce quartier. Il utilise une astuce ingénieuse : il s'entraîne sur une vaste collection de lois de la physique et des mathématiques connues, apprenant à reconnaître l'« aura » ou la « forme » d'une véritable loi. Lorsque vous lui donnez un nouvel ensemble de données désordonnées (comme le mouvement chaotique du vent ou l'orbite d'une étoile lointaine), le PISR ne repart pas de zéro. Il projette instantanément ces données sur sa carte interne et demande : « À quoi cela ressemble-t-il ? ». Il utilise ensuite deux superpouvoirs pour trouver la réponse :

L'appariement de flux (Flow Matching) : Il fait « couler » doucement le point de données vers la loi connue la plus proche sur la carte, comme un fleuve trouvant son chemin vers l'océan.
La recherche (Retrieval) : Il saisit rapidement les voisins les plus proches dans une bibliothèque de 400 000 formules réelles qu'il a déjà étudiées.

Les résultats sont impressionnants. Lors de tests, le PISR a trouvé la structure mathématique correcte des lois physiques 51,3 % du temps sur un ensemble difficile de problèmes de physique du monde réel, battant ainsi toutes les autres méthodes. Il était également environ 2,4 fois plus rapide que ses meilleurs concurrents. Mais la véritable magie s'est produite lorsque les chercheurs l'ont testé sur des choses qu'il n'avait jamais vues auparavant. Le PISR a réussi à récupérer des lois célèbres à partir de données brutes dans des domaines aussi variés que la finance, la biologie et l'astronomie, incluant des modèles de turbulence complexes et la relation entre la luminosité d'une étoile et sa température.

Crucialement, l'article montre que le PISR ne fait pas que mémoriser des réponses. Les chercheurs ont prouvé que dans le « cerveau » de l'ordinateur (son espace mathématique), les vraies lois scientifiques sont clairement séparées des mathématiques aléatoires et absurdes. C'est comme avoir une pièce où toutes les vraies lois sont assises dans un cercle net et organisé, tandis que le charabia aléatoire est éparpillé loin de là. Parce que le PISR sait que ce cercle existe, il peut ignorer le charabia et se concentrer uniquement sur les motifs significatifs.

Cependant, ce n'est pas une baguette magique qui résout tout. L'article précise avec prudence que le PSR est conçu pour des lois de « forme fermée » (closed-form) — des équations que l'on peut écrire sur une feuille de papier. Il ne gère pas actuellement de la même manière les équations impliquant des taux de variation dans le temps (comme les équations différentielles). De plus, bien qu'il excelle à trouver des lois qui ressemblent à des formules scientifiques, il éprouve des difficultés avec les problèmes mathématiques abstraits qui ne suivent pas les règles de la physique, car il a appris à ignorer ces structures « hors-variété » (off-manifold).

En résumé, le PISR représente un passage de la « recherche par force brute » à la « reconnaissance de formes intelligente ». Cela suggère que si nous apprenons aux ordinateurs à comprendre la structure sous-jacente de la manière dont l'univers écrit ses règles, nous pouvons récupérer ces règles à partir de données désordonnées beaucoup plus rapidement et plus précisément qu'auparavant. Les chercheurs ont démontré que les lois scientifiques occupent un coin spécial et structuré de l'espace mathématique, et qu'en apprenant à naviguer dans ce coin, nous pouvons redécouvrir les secrets de l'univers d'un seul regard vif.

Résumé technique : Un modèle de fondation sans recherche pour la régression symbolique des lois physiques

1. Énoncé du problème

La régression symbolique (SR) vise à récupérer des lois mathématiques interprétables et sous forme fermée à partir de données observationnelles. Bien que centrale à la découverte scientifique, les méthodes existantes sont confrontées à un compromis fondamental entre précision et vitesse :

Les méthodes basées sur la recherche (ex: algorithmes génétiques, énumération parallèle sur GPU) sont précises sur des données propres et de faible dimension, mais souffrent de coûts de calcul élevés, d'une fragilité face aux données réelles bruitées et de la nécessité de réexplorer l'espace combinatoire des expressions pour chaque nouveau problème.
Les méthodes d'apprentissage profond de bout en bout (ex: transformers) offrent de la vitesse mais traitent généralement la SR comme une tâche de traduction de séquence. Elles apprennent à modéliser la distribution des données plutôt que l'espace sous-jacent des formules, manquant de priors explicites sur la structure des lois physiques. Par conséquent, elles peinent face à l'espace discret, non lisse et à croissance super-exponentielle des expressions requis pour la véritable découverte physique.

L'article postule que les algorithmes actuels basés sur les données échouent à raisonner sur les relations structurées de la physique réelle car ils n'encodent pas un modèle de l'« espace des formules » qu'ils prédisent.

2. Méthodologie : PISR (Régression Symbolique Informée par la Physique)

Les auteurs proposent PISR, un modèle de fondation sans recherche qui reformule la régression symbolique comme un problème de génération au sein d'un manifold formule-donnée pré-entraîné et contrastivement aligné. L'hypothèse centrale est que les véritables lois physiques occupent un sous-manifold structuré et de faible complexité au sein du vaste espace de toutes les expressions possibles, façonné par la cohérence dimensionnelle et des motifs compositionnels récurrents.

Architecture et Entraînement

Manifold Latent Partagé : PISR utilise deux encodeurs alignés via un objectif contrastif de type InfoNCE symétrique (style CLIP) :
1. Encodeur de Données ( $E_d$ ) : Un encodeur invariant par permutation (attention multi-tête avec pooling utilisant 16 jetons de graine appris) qui projette les nuages de points $\{(x_i, y_i)\}$ vers un vecteur latent $z_d$ .
2. Encodeur de Formule ( $E_f$ ) : Un encodeur de graphe neuronal qui projette l'arbre de syntaxe abstraite (AST) d'une expression vers un vecteur latent $z_f$ .
- Alignement : Pendant l'entraînement, une formule et les données qu'elle génère sont rapprochées dans l'espace latent ( $\mathbb{R}^{640}$ ), faisant de la proximité un proxy pour la relation fonctionnelle.
Supervision Structurelle : Le modèle est entraîné sur un large corpus de physique/mathématiques (33,6 millions d'expressions) augmenté d'un graphe de connaissances physiques. Un terme de perte structurelle ( $L_{struct}$ ) impose un prior informé par la physique sur la structure des expressions, utilisant les lois parentes, les préconditions et les arêtes de DAG de dérivation.
Échelle du Modèle : Le modèle complet comprend environ 0,4 milliard de paramètres, incluant les encodeurs, un champ de flow-matching et un décodeur.

Pipeline d'Inférence (Sans Recherche)

PISR opère en une seule passe directe amortie sans recherche symbolique par instance :

Génération Latente : Un champ de flow-matching (style DiT) transporte le latent de données $z_d$ vers les latents de formules candidates.
Récupération : Une bibliothèque de 400 000 latents de formules réelles est indexée. Les $k$ -plus proches voisins de $z_d$ sont récupérés pour fournir un complément non paramétrique aux candidats générés.
Décodage Conditionné : Un décodeur autorégressif rend les latents générés par le flux et les latents récupérés en squelettes d'expressions (jetons typés), conditionnés par la représentation des données.
Sélection : Les constantes libres des expressions candidates sont ajustées via des moindres carrés non linéaires. Les candidats sont classés uniquement par l'erreur prédictive sur les données de test (aucun pénalité de complexité n'est appliquée, car les lois physiques peuvent être structurellement complexes). La meilleure expression est retournée.

3. Contributions Clés et Résultats

L'Hypothèse du Manifold de Formules

L'article fournit des preuves empiriques que les formules physiques réelles sont linéairement séparables des expressions aléatoires dans l'espace latent appris.

Séparabilité : Une sonde linéaire atteint un ROC-AUC de 94,4 % pour distinguer les vraies lois physiques des expressions aléatoires de structure similaire (en contrôlant la fréquence des opérateurs et la longueur).
Géométrie : Les lois réelles forment une structure riche et étendue (ratio de participation 21,5) distincte des expressions aléatoires (10,5), confirmant que la « région des lois » est définie par une grammaire compositionnelle plutôt que par un simple sous-ensemble plus petit.
Analyse Dimensionnelle : Cette séparabilité est ancrée dans le théorème de Buckingham- $\pi$ , qui restreint les lois valides à des groupes adimensionnels, élaguant ainsi la vaste majorité des expressions syntaxiquement valides mais physiquement impossibles.

Performance sur les Benchmarks

PISR a été évalué sur trois benchmarks contre quatre bases de référence : la programmation génétique (PySR), l'énumération parallèle sur GPU (PSE), un transformer spécialisé dans le domaine (PhyE2E) et la SR générative latente (GenSR).

Benchmark de Physique Réelle (797 tâches) : PISR a atteint 51,32 % de précision structurelle, surpassant le meilleur modèle suivant (PySR) de 7,66 points de pourcentage.
Généralisation Trans-domaine (270 tâches) : PISR a atteint 71,11 % de précision, dépassant PySR de 15,93 points. Cela suggère que le modèle a appris la structure des formules de type loi plutôt que simplement la distribution physique, permettant le transfert vers la finance, l'économie et la biologie.
Équations de Feynman (119 tâches) : PISR a atteint 39,50 % de précision, dépassant la base de référence d'énumération GPU de 6,73 points.
Efficacité : PISR est environ 2,4× plus rapide que la programmation génétique et 2,5× plus rapide que l'énumération sur GPU, ne nécessitant qu'une seule passe directe (~12,25s par tâche) contrairement à la recherche itérative des modèles de référence.

Récupération de Lois Complexes

P-ISR a réussi à récupérer de manière unique des lois nommées à partir de données brutes là où toutes les bases de référence ont échoué, particulièrement dans les cas impliquant :

Fonctions transcendantes : Identification correcte de formes exponentielles ou logarithmiques là où les bases de référence ont substitué des surrogats algébriques (ex: puissances imbriquées ou approximations rationnelles).
Exposants variables : Récupération de formes avec exposants variables (ex: $x^n$ ) là où les transformers ont substitué des exposants fixes.
Domaines Spécifiques : Récupération réussie de la loi des deux tiers de Kolmogorov à partir de données de turbulence, de la relation de Stefan-Boltzmann à partir de catalogues stellaires, et de la fermeture de Reynolds-stress (atteignant $R^2 \approx 0,99$ là où les modèles classiques échouaient).

4. Signification et Revendications

L'article affirme que PISR représente un changement de paradigme, passant de la "recherche" de lois à la "génération" de celles-ci au sein d'un manifold informé par la physique.

Biais Inductif : En se spécialisant dans le manifold des formules de type loi, le modèle atteint une précision de pointe sur les données scientifiques réelles tout en évitant la région "sans structure" des espaces d'expressions abstraites où il est moins performant (ce qui est une caractéristique, et non un défaut, de sa conception).
Généralisation : Le modèle démontre qu'un seul modèle de fondation entraîné sur la physique peut se généraliser à des domaines scientifiques non physiques (ex: économie, biologie) car ces domaines partagent la même « grammaire compositionnelle » des lois scientifiques.
Scalabilité : L'architecture sans recherche rend la génération et la validation d'hypothèses à grande échelle techniquement réalisables pour les problèmes de clôture ouverts (ex: modélisation de la turbulence), faisant passer le domaine de la récupération de lois connues à la proposition de nouvelles lois.

Les auteurs soulignent que le succès du modèle repose sur l'hypothèse que les lois scientifiques ne sont pas des éléments arbitraires de l'espace d'expression, mais occupent un sous-manifold structuré défini par la cohérence dimensionnelle et les motifs physiques. Ce prior est décisif pour traiter les données réelles, qui sont bruitées et structurées par les dimensions.