🤖 AI

Saturating Scaling Laws for Equational Discovery: A Phenomenology of Growth Dynamics in Three Toy Substrates with Two Real-World Replications

Cet article examine les dynamiques de croissance dans la découverte équationnelle à travers des domaines factices et réels, révélant que, si la croissance à court terme suit une loi de puissance, les trajectoires à long terme présentent des schémas de saturation dépendants du substrat, mieux modélisés par une fonction de loi de puissance saturante, les dynamiques spécifiques variant considérablement entre différents environnements de calcul.

Auteurs originaux : Fabio Rovai

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fabio Rovai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une usine qui construit de nouvelles règles pour un jeu. Chaque jour, votre usine tente d'inventer une nouvelle règle, vérifie si elle a du sens, et si c'est le cas, l'ajoute au « Livre des Règles ».

Ce document est une étude de la vitesse à laquelle ce Livre des Règles grandit au fil du temps. L'auteur, Fabio Rovai, a mené cette expérience dans trois « mondes de jeu » différents (mathématiques, logique et listes) et a examiné des exemples concrets de la croissance des bibliothèques mathématiques sur Internet.

Voici l'histoire de ce qu'ils ont découvert, expliquée simplement.

1. Les Deux Façons dont les Choses Croissent

Les chercheurs cherchaient un motif dans la croissance. Ils ont trouvé deux possibilités principales :

L'« Exponentielle Éternelle » (Loi de Puissance Pure) : Imaginez une boule de neige qui dévale une colline. Elle grossit, et parce qu'elle est plus grosse, elle ramasse encore plus de neige, de plus en plus vite. Elle ne cesse jamais d'accélérer. C'est ce qui se passe lorsque vous commencez tout juste.
La Courbe de « Saturation » : Imaginez remplir un seau avec un tuyau d'arrosage. Au début, le niveau de l'eau monte rapidement. Mais à mesure que le seau se remplit, l'eau n'a nulle part où aller. Le niveau ralentit et finit par cesser de monter, même si vous laissez le tuyau ouvert. Le seau a atteint sa limite.

2. Le Mystère du Court Terme vs du Long Terme

Lorsque les chercheurs ont observé la croissance à court terme (les premiers jours de l'expérience), tout ressemblait à l'« Exponentielle Éternelle ». Le Livre des Règles grandissait vite, et cela correspondait parfaitement à une courbe mathématique simple.

Cependant, les chercheurs avaient une théorie : À terme, la croissance doit ralentir. Pourquoi ? Parce qu'il n'y a qu'un nombre limité de règles possibles que vous pouvez inventer avant de manquer de nouvelles idées. Une fois que vous avez trouvé toutes les règles faciles, en trouver de nouvelles devient de plus en plus difficile.

Ils ont proposé un nouveau modèle : La « Loi de Puissance de Saturation ». Ce modèle dit : « Commencez vite comme une boule de neige, mais à terme, vous atteignez un plafond et ralentissez. »

3. Le Piège du « Taille Unique »

Voici la partie délicate. Les chercheurs ont tenté de construire une « boule de cristal » pour prédire la vitesse de croissance du Livre des Règles en fonction des paramètres de l'usine (comme la rigueur du contrôle qualité ou le nombre d'ouvriers sur la chaîne).

À l'intérieur d'une usine : Ils pouvaient prédire très bien la vitesse de croissance. S'ils connaissaient les paramètres, ils connaissaient la vitesse.
À travers différentes usines : Lorsqu'ils ont essayé d'utiliser les paramètres de l'« Usine de Mathématiques » pour prédire la vitesse de l'« Usine de Listes », la boule de cristal s'est brisée complètement. Elle prédisait une vitesse si erronée que c'était pire que de simplement deviner la moyenne.

La Leçon : Les règles de croissance dépendent entièrement du type de jeu que vous jouez. Vous ne pouvez pas utiliser la même carte pour chaque territoire.

4. Le Test du Monde Réel : Les Jouets Ont-ils menti ?

Les chercheurs ont testé leur théorie de « Saturation » sur leurs usines de jouets.

Le Résultat : Les usines de jouets n'ont pas grandi assez longtemps pour atteindre le « plafond ». Elles étaient encore dans la phase de « boule de neige ».
Le Problème : Lorsqu'ils ont tenté de prédire l'avenir en utilisant le modèle de « Saturation », cela a échoué. Il prédisait que la croissance s'arrêterait trop tôt. Le modèle simple de « l'Exponentielle Éternelle » prédisait en fait mieux l'avenir, car les jouets n'avaient pas encore atteint leur limite.

L'Analogie : Imaginez regarder un bébé grandir. Si vous ne regardez que le premier mois, vous pourriez penser que le bébé grandira pour toujours à cette vitesse. Si vous essayez de prédire sa taille à 20 ans en vous basant sur ce premier mois, vous vous tromperez. Vous devez le voir passer par une poussée de croissance puis ralentir pour connaître le motif. Les usines de jouets n'étaient que des « bébés ».

5. La Preuve du Monde Réel : Les Bibliothèques Mathématiques

Pour voir si la théorie du « plafond » était réelle, ils ont examiné deux immenses bibliothèques mathématiques réelles sur Internet : Mathlib (pour le langage Lean) et Mathcomp (pour le langage Coq).

Mathlib (Le Croissance Rapide) : Cette bibliothèque a connu une croissance explosive. Les données montrent qu'elle commence enfin à fléchir. La croissance ralentit, tout comme le modèle de « Saturation » l'avait prédit. On dirait qu'elle atteint son plafond.
Mathcomp (Le Croissance Régulière) : Cette bibliothèque existe depuis des décennies. Elle croît régulièrement, mais elle n'a pas encore atteint de plafond. Pour celle-ci, le modèle de « l'Exponentielle Éternelle » fonctionne encore le mieux.

La Conclusion : Le modèle de « Saturation » est réel, mais vous ne pouvez le voir que lorsque le projet est assez ancien pour avoir épuisé les idées faciles.

6. Le Paradoxe du « Filtre de Nouveauté »

Les chercheurs ont également découvert une bizarrerie amusante concernant la façon dont ils filtraient les mauvaises règles.

Dans les jeux simples (comme les mathématiques de base), être « novateur » (trouver une nouvelle règle) aide l'usine à croître vite.
Dans les jeux complexes (comme les listes de haut niveau), être « novateur » tue en réalité la croissance. L'usine devient si pointilleuse sur ce qui compte comme « nouveau » qu'elle rejette presque tout, et le Livre des Règles cesse de croître.

Résumé

Ce document est un conte moral pour quiconque tente de prédire la vitesse de croissance de l'IA ou des systèmes mathématiques :

La croissance à court terme donne l'impression de durer pour toujours.
La croissance à long terme finit par heurter un mur (saturation).
Vous ne pouvez pas prédire la vitesse d'un système en vous basant sur un autre ; ils ont des « physiques » différentes.
L'effet de « Saturation » est réel, mais vous ne le voyez que dans les systèmes matures (comme la bibliothèque Mathlib), et non dans les systèmes jeunes et jouets.

Les auteurs disent essentiellement : « Nous avons trouvé une nouvelle loi de croissance pour les systèmes de découverte, mais elle ne se manifeste que lorsque le système est assez vieux pour avoir épuisé les idées faciles. »

Résumé technique : Lois d'échelle saturantes pour la découverte équationnelle

Énoncé du problème

L'article examine si les systèmes de découverte symbolique déterministes – spécifiquement ceux qui se développent par l'ajout de règles de réécriture équationnelles – obéissent à des lois d'échelle empiriques analogues à celles observées dans les grands modèles de langage (LLM). Alors que les lois d'échelle pour les modèles neuronaux (Kaplan et al., 2020 ; Hoffmann et al., 2022) sont bien établies, il reste une question ouverte de savoir si les substrats déterministes, tels que ceux utilisés en programmation logique inductive, en saturation d'égalité et en synthèse de programmes, suivent des dynamiques de croissance comparables. Les auteurs visent à caractériser la phénoménologie de la croissance dans ces systèmes, en testant si une simple loi de puissance ou une fonction saturante plus complexe décrit mieux l'accumulation des règles découvertes au fil du temps.

Méthodologie

L'étude emploie un cadre expérimental contrôlé impliquant trois substrats déterministes « jouets » de complexité de typage croissante :

Arithmétique (arith) : Identités équationnelles sur une grammaire typée avec addition, multiplication et variables libres.
Booléenne (bool) : Identités sur les opérateurs logiques (et, ou, non).
Liste d'ordre supérieur (list) : Un domaine inspiré de DreamCoder avec des primitives telles que map, fold et cons.

La boucle de découverte :
Le système fait croître un substrat $S$ (un ensemble de règles de réécriture) sur des étapes discrètes $t$ . À chaque étape :

Un générateur propose des équations candidates basées sur l'état actuel de $S$ (en utilisant des stratégies telles que aléatoire, compositionnelle, pondérée par la fréquence ou gourmande en MDL).
Les candidats sont testés quant à leur validité sémantique par instanciation aléatoire.
Les paires acceptées sont généralisées (remplacement des variables libres par des variables de motif).
Un filtre d'acceptation configurable (soit « n'importe quelle » soit « nouveauté ») détermine si la règle est engagée dans $S$ .

Collecte de données :
Les auteurs ont généré 592 trajectoires de découverte indépendantes à travers ces substrats, en variant cinq caractéristiques architecturales : type de générateur, sévérité du filtre, profondeur de récursion, taille de lot et graine aléatoire. Ils ont mesuré le nombre total de règles $|S(t)|$ au fil du temps.

Approche de modélisation :
Les auteurs proposent un modèle de fermeture heuristique de champ moyen dérivé d'hypothèses de couverture uniforme et d'indépendance approximative. Cela conduit à une équation différentielle pour la croissance :
$\frac{dN}{dt} = K \cdot N^k \cdot e^{-\mu N}$
où $N$ est la taille du substrat, $k$ se rapporte à la profondeur de recombinaison du générateur, et $\mu$ représente la fraction de couverture de l'espace des candidats.

Court terme ( $\mu N \ll 1$ ) : L'équation approxime une loi de puissance pure $N(t) \propto t^b$ , où $b = 1/(1-k)$ .
Long terme ( $\mu N \gtrsim 1$ ) : Le terme exponentiel induit une saturation, modélisée par une forme de loi de puissance logistique.

L'étude ajuste trois modèles candidats (loi de puissance pure, exponentielle étirée, loi de puissance saturante) aux données en utilisant l'AIC pour la sélection de modèle et la régression par gradient boosté pour prédire l'exposant $b$ à partir des caractéristiques architecturales.

Contributions et résultats clés

1. Dynamiques de loi de puissance à court terme

À travers 592 trajectoires, la croissance de la taille du substrat $|S(t)|$ à court terme (jusqu'à 30 époques) correspond systématiquement à une forme de loi de puissance $t^b$ . L'exposant $b$ varie continûment entre 0 et 1,15 selon le domaine et l'architecture.

Sensibilité architecturale : Au sein d'un seul substrat, l'exposant $b$ est hautement sensible aux choix architecturaux. Un régresseur à gradient boosté utilisant cinq caractéristiques architecturales prédit $b$ avec un $R^2$ validé par croix d'environ 0,82 pour les domaines arithmétique/booléen et liste.
Échec du transfert inter-substrats : Un modèle entraîné pour prédire $b$ sur des données arithmétiques et booléennes échoue complètement lorsqu'il est appliqué au domaine liste ( $R^2 \approx -0,84$ ). L'architecture optimale pour une croissance composée dans des substrats à typage plat (par exemple, filtres de nouveauté) supprime la croissance dans les substrats à typage d'ordre supérieur. Cela indique que les dynamiques de croissance sont conditionnelles au substrat, et non universelles.

2. Hypothèse de saturation à long terme

Les auteurs ont testé si la croissance finit par saturer comme prévu par leur modèle de fermeture.

Données jouets (domaine liste) : En étendant cinq trajectoires du domaine liste à 500 époques, le modèle de loi de puissance saturante remporte les comparaisons AIC intra-échantillon pour les trajectoires dépassant 200 époques. Cependant, la prévision hors échantillon (ajustement sur les 100 premières époques et prédiction des 400 suivantes) est remportée par la loi de puissance pure dans les 5 cas. Les auteurs concluent que les trajectoires jouets n'atteignent pas réellement le régime de saturation dans les 500 époques ; la préférence du modèle saturant intra-échantillon est probablement un artefact d'ajustement qui extrapole mal.
Données réelles (Mathlib4) : L'analyse des ajouts mensuels de fichiers .lean dans la bibliothèque Mathlib4 (60 mois, 9 701 fichiers) soutient la forme saturante. Le modèle saturant surpasse la loi de puissance pure dans la prévision hors échantillon par un facteur d'environ 7 (RMSE 3 279 contre 23 896), suggérant que Mathlib4 a atteint un régime de saturation.
Données réelles (Coq Mathcomp) : L'analyse des commits mensuels dans la bibliothèque Coq Mathcomp (129 mois) favorise la loi de puissance pure. Le paramètre de saturation $\mu$ s'effondre vers zéro, et la loi de puissance pure surpasse le modèle saturant dans la prévision hors échantillon par un facteur d'environ 67. Cela suggère que Mathcomp n'a pas encore atteint un régime de saturation.

3. Cadre phénoménologique

L'article propose un cadre de travail : « Croissance par loi de puissance saturante avec $(k, \mu)$ conditionnels au substrat, observable lorsque le substrat a atteint son régime de saturation. » Les dynamiques sont conditionnelles à deux niveaux :

Les paramètres architecturaux prédisant l'exposant de croissance ne se transfèrent pas entre différents types de substrats.
La famille fonctionnelle décrivant la croissance (loi de puissance pure vs saturante) dépend de l'étape spécifique du cycle de vie du substrat.

Importance et affirmations

L'article se positionne comme une première enquête empirique et théorique sur les lois d'échelle de la découverte équationnelle déterministe, offrant une phénoménologie plutôt qu'une théorie définitive.

Portée modeste : Les auteurs déclarent explicitement que les preuves sont limitées à trois substrats jouets et deux proxies réels (qui sont grossiers, reposant sur des comptes de commits/fichiers). Ils reconnaissent que les résultats à long terme sur les données jouets sont « cohérents avec, mais non confirmés » en raison de l'échec de la prévision hors échantillon sur les données jouets.
Insight clé : La découverte principale est que les dynamiques de découverte symbolique sont conditionnelles au substrat. Contrairement aux lois d'échelle neuronales qui supposent souvent l'universalité à travers les architectures, le comportement de croissance ici dépend fortement de la « géométrie de fermeture » spécifique (paramètre de couverture $\mu$ ) du système de types du substrat.
Voies futures : Les auteurs identifient trois améliorations concrètes nécessaires pour élever ce travail de « phénoménologie jouet » à un « véritable phénomène » :
1. Répétition sur un substrat non jouet avec une granularité au niveau des trajectoires (pas seulement des comptes de commits).
2. Prévision prédictive réussie hors échantillon pour le modèle saturant.
3. Une dérivation théorique du paramètre de saturation $\mu$ à partir de la combinatoire du substrat (par exemple, entropie des types) pour rendre le transfert inter-substrats falsifiable.

L'article conclut que, bien que le cadre de la loi de puissance saturante soit cohérent avec les données observées dans les régimes où la saturation est plausible, il ne s'agit pas d'une loi universelle pour tous les systèmes de découverte symbolique. Ce travail sert de point de départ pour une potentielle « mécanique statistique de la découverte symbolique ».