From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers

Cet article démontre qu'en introduisant trois biais inductifs minimaux — la lissité spatiale, la stabilité et la localité temporelle — les Transformers génériques peuvent évoluer de simples ajusteurs de courbes en agents capables de découvrir des lois physiques fondamentales comme les forces newtoniennes, comblant ainsi le fossé entre une haute précision prédictive et une véritable compréhension causale.

L'essentiel

Imaginez que vous avez un étudiant robot super intelligent. Vous voulez lui apprendre comment les planètes se déplacent autour du soleil. Vous lui donnez un livre d'histoire massif relatant où les planètes ont été, et vous lui demandez de deviner où elles seront ensuite.

La grande question posée par cet article est la suivante : Ce robot étudiant peut-il simplement mémoriser le chemin, ou peut-il réellement comprendre les lois de la physique qui causent le mouvement ?

Les auteurs ont découvert que sans certaines « roues de stabilité » spéciales (qu'ils appellent biais inductifs), le robot est un mémorisateur brillant mais un physicien médiocre. Il apprend à tracer le chemin parfaitement, mais il n'a aucune idée de pourquoi la planète se déplace de cette façon.

Voici l'histoire de la façon dont ils ont réparé le robot, décomposée en trois leçons simples.

Le Problème : Le robot est un « ajusteur de courbe », pas un « physicien »

Considérez le cerveau du robot comme une immense bibliothèque.

• L'approche de Kepler (ce que le robot a fait naturellement) : Le robot regarde les 1 000 derniers points du voyage d'une planète. Il dit : « Aha ! Je vois le motif. C'est une forme ovale. Je vais juste continuer à dessiner l'ovale. » C'est comme un enfant qui trace un dessin. Il réussit le dessin, mais si vous lui demandez : « Pourquoi est-ce un ovale ? » ou « Quelle force tire la planète ? », le robot n'a pas de réponse. Il connaît juste la forme.
• L'approche de Newton (ce que nous voulons) : Nous voulons que le robot dise : « Le soleil attire la planète avec la gravité. Si je connais la vitesse et la position actuelles de la planète, je peux calculer la force de traction et prédire l'étape suivante. » C'est comprendre la cause, et non seulement l'effet.

L'article montre que les modèles d'IA standards (les Transformers) deviennent naturellement des « traceurs » (Kepler) et échouent à devenir des « calculateurs » (Newton). Pour corriger cela, les auteurs ont ajouté trois « roues de stabilité » spécifiques.

---

Leçon 1 : Le problème de la « carte pixelisée » (Lissage spatial)

L'analogie : Imaginez que vous essayiez d'apprendre à un robot à naviguer dans une ville.

• L'erreur : Vous donnez au robot une carte où chaque coin de rue est d'une couleur totalement différente et aléatoire. « Rouge » est le coin de la 1ère et de la Main. « Bleu » est le coin de la 1ère et de la 2e. Même si ces coins sont juste à côté l'un de l'autre, le robot les voit comme totalement sans rapport. Il doit réapprendre la relation entre « Rouge » et « Bleu » à chaque fois.
• La correction : Les auteurs ont réalisé que lorsqu'ils découpaient la position de la planète en petits « bacs » (comme des pixels), ils brisaient la fluidité naturelle de l'espace.
• La solution : Ils ont rendu les « bacs » plus grands (moins de couleurs) ou ont cessé d'utiliser des bacs pour donner directement au robot les coordonnées exactes (comme un GPS). Cela a permis au robot de voir que le « Point A » est juste à côté du « Point B », l'aidant ainsi à construire une véritable carte mentale de l'espace plutôt qu'un fouillis de codes aléatoires.

Leçon 2 : Le problème de « l'effet domino » (Stabilité spatiale)

L'analogie : Imaginez jouer à un jeu de « Téléphone arabe » où vous chuchotez un nombre à la personne suivante.

• L'erreur : Si la première personne chuchote « 50,1 » et que la deuxième entend « 50,2 », la troisième pourrait entendre « 50,5 », et au bout du compte, le nombre devient « 100 ». En physique, si le robot fait une petite erreur en prédisant la position de la planète, cette erreur s'amplifie à chaque étape, jusqu'à ce que la planète s'envole dans l'espace profond ou s'écrase sur le soleil.
• La correction : Les auteurs ont réalisé que l'entraînement standard de l'IA est trop « parfait ». Il n'apprend qu'à partir de données passées parfaites.
• La solution : Ils ont commencé à « casser » les données d'entraînement du robot exprès. Ils ont ajouté un peu de bruit statique (comme de la friture sur une radio) à l'historique que le robot lisait. Cela a forcé le robot à apprendre comment récupérer après de petites erreurs, le rendant assez robuste pour prédire le futur sans que les erreurs ne s'accumulent.

Leçon 3 : Le problème de la « Mémoire longue » vs « Mémoire courte » (Localité temporelle)

L'analogie : C'est la partie la plus importante.

• La Mémoire longue (Kepler) : Imaginez un robot qui se souvient de tout ce qui s'est passé durant la dernière heure. Lorsqu'il essaie de deviner ce qui va se passer ensuite, il regarde toute l'heure d'historique pour dessiner une grande courbe. C'est comme regarder tout le parcours d'une montagne russe pour deviner où va aller le wagon. Cela fonctionne pour la courbe, mais cela ne comprend pas la physique.
• La Mémoire courte (Newton) : Maintenant, imaginez un robot qui n'est autorisé à se souvenir que des deux dernières secondes. Il ne peut pas voir tout le parcours. Il doit regarder où se trouve le wagon en ce moment même et à quelle vitesse il va en ce moment même pour savoir où il va ensuite.
• La solution : Les auteurs ont forcé le robot à avoir une mémoire courte. Ils lui ont dit : « Tu ne peux regarder que le passé immédiat. »
• Le résultat : Parce que le robot ne pouvait plus compter sur la « grande image » de la courbe, il a été contraint de comprendre les règles du jeu. Il a dû calculer la « traction » invisible (la gravité) qui agit sur la planète en ce moment même pour prédire l'étape suivante. Soudain, le robot a arrêté de dessiner des ellipses et a commencé à calculer des forces. Il est devenu un physicien.

La grande conclusion

L'article conclut que la façon dont vous concevez le cerveau de l'IA détermine ce qu'elle apprend.

• Si vous la laissez regarder tout l'historique et utilisez une carte pixelisée, elle devient un ajusteur de courbe (Kepler). Elle dessine de belles images mais ne comprend pas l'univers.
• Si vous lui donnez une carte fluide, lui apprenez à gérer les erreurs et la forcez à avoir une mémoire courte, elle devient un physicien (Newton). Elle découvre les lois de la gravité par elle-même.

Les auteurs montrent qu'il n'est pas nécessaire de programmer les lois de la physique dans l'IA. Il suffit de lui donner les bons « biais inductifs » (les bonnes contraintes d'entraînement), et elle découvrira les lois elle-même.

Résumé technique

Résumé technique : De Kepler à Newton : Les biais inductifs guident l'apprentissage des modèles de monde par les Transformers

1. Énoncé du problème

Le papier aborde une lacune critique dans les capacités des modèles de fondation à usage général (Transformers) concernant la découverte scientifique. Bien que les approches précédentes de type « physicien IA » aient réussi à récupérer des lois physiques symboliques, elles reposent souvent sur des a priori forts et spécifiques au domaine qui intègrent effectivement la physique de manière préétablie. À l'inverse, des travaux récents de Vafa et al. (2025) ont démontré que les Transformers génériques, même à l'échelle de GPT-2, échouent à acquérir des « modèles de monde » — des abstractions causales qui expliquent pourquoi les phénomènes se produisent. Au lieu de cela, ces modèles atteignent une haute précision prédictive en apprenant un ajustement de courbes géométriques (modèles képlériens) sans capturer les lois dynamiques sous-jacentes (mécanique newtonienne).

La question de recherche centrale est la suivante : Pourquoi les Transformers échouent-ils à apprendre le modèle de monde newtonien pour le mouvement planétaire, et comment peut-on y remédier ? Les auteurs postulent que cet échec provient d'un manque de biais inductifs minimaux spécifiques plutôt que d'une limitation fondamentale de l'architecture.

2. Méthodologie

Les auteurs étudient systématiquement les modes d'échec des Transformers dans un cadre contrôlé : la prédiction du mouvement planétaire en 2D autour d'une masse centrale. Ils introduisent trois biais inductifs minimaux pour combler le fossé entre la prédiction géométrique et la découverte de lois physiques.

Configuration du problème

La tâche consiste à prédire la position suivante $\vec{r}_{t+1}$ d'une planète étant donné un historique de positions, formulée comme un problème de prédiction du prochain jeton (Next-Token Prediction - NTP) autorégressif.

• Base de référence : La configuration suit Vafa et al. (2025), où les coordonnées continues sont discrétisées en jetons (bins) et prédites via une perte de cross-entropie.
• Modifications proposées : Les auteurs testent des variations de la tokenisation, des fonctions de perte et des mécanismes d'attention pour isoler des biais inductifs spécifiques.

Les trois biais inductifs

Biais 1 : Lissage spatial

• Mode d'échec : La tokenisation par défaut discrétise les coordonnées spatiales continues en des compartiments indépendants avec des plongements (embeddings) initialisés aléatoirement. Cela brise la continuité spatiale ; des points physiquement proches mais dans des compartiments différents sont traités comme sans lien. Les auteurs montrent que même avec des données massives (20 milliards de jetons), l'espace de plongement appris ne parvient pas à former une carte spatiale cohérente (faible décodabilité linéaire, $R^2 \approx 0,86$).
• Solution :
  1. Tokenisation optimisée : Réduire considérablement la taille du vocabulaire ($V$) améliore nettement l'émergence d'une carte spatiale. Les auteurs dérivent une loi d'échelle montrant que la taille des données d'entraînement ($D$) doit augmenter au moins aussi vite que la taille du vocabulaire ($V$) pour maintenir la qualité de la carte ($1-R^2 \propto D^{-\alpha_D} V^{\alpha_V}$).
  2. Coordonnées continues : Alternativement, l'utilisation de coordonnées continues sans discrétisation fournit intrinsèquement un lissage spatial, bien que cela introduise des défis de stabilité.

Biais 2 : Stabilité spatiale

• Mode d'échec : Les modèles autorégressifs souffrent d'une accumulation d'erreurs, ce qui est exacerbé lors de la prédiction de variables continues (régression) par rapport aux jetons discrets (classification). Sans atténuation, de petites erreurs initiales provoquent une divergence catastrophique de la trajectoire (par exemple, la planète s'envolant vers l'infini ou entrant dans le soleil).
• Solution : L'apprentissage par contexte bruité. Les auteurs injectent du bruit gaussien dans le contexte historique pendant l'entraînement. Cela force le modèle à apprendre des représentations robustes qui ne dépendent pas de l'état passé parfait.
• Résultat : Avec l'apprentissage par contexte bruité, la régression (utilisant des coordonnées continues et une perte MSE) surpasse systématiquement la classification (coordonnées discrétisées avec une perte de cross-entropie) à toutes les échelles de données.

Biais 3 : Localité temporelle

• Mode d'échec : Les Transformers standards utilisent de longues fenêtres de contexte (ex. 1k+ jetons), permettant au modèle d'accéder à tout l'historique de la trajectoire. Cela encourage le modèle à ajuster des formes géométriques globales (ellipses) basées sur tous les points passés — une approche « képlérienne ».
• Solution : Fenêtre d'attention restreinte. Les auteurs restreignent la longueur du contexte au passé immédiat (ex. seulement les 2 états précédents). Cela impose l'hypothèse physique que l'état futur dépend uniquement de l'état local (position et vitesse), ce qui est cohérent avec la deuxième loi de Newton (une équation différentielle du second ordre).
• Résultat : Cette contrainte force le modèle à abandonner l'ajustement de courbe global pour apprendre à estimer les forces gravitationnelles locales ($\vec{F} \propto 1/r^2$) afin de simuler la trajectoire étape par étape — une approche « newtonienne ».

3. Résultats clés

1. Émergence de la carte spatiale : La qualité de la carte spatiale apprise dans les modèles tokenisés est très sensible à la taille du vocabulaire. Les grands vocabulaires (ex. $V=7000$) nécessitent des quantités de données irréalistes pour apprendre une carte cohérente. Réduire $V$ ou utiliser des coordonnées continues résout ce problème.
2. Régression vs Classification : Contrairement aux conclusions de Vafa et al., les auteurs démontrent que la régression avec des coordonnées continues est supérieure à la classification, à condition que l'apprentissage par contexte bruité soit utilisé pour stabiliser l'inférence.
3. Modèles Képlériens vs Newtoniens :
   • Contexte long (Képlérien) : Le modèle apprend à ajuster la trajectoire elliptique globale en utilisant tous les états passés. Il prédit en poursuivant la courbe.
   • Contexte court (Newtonien) : Lorsqu'il est restreint aux états locaux, le modèle découvre la loi de force sous-jacente. Il prédit en simulant l'équation différentielle $F=ma$.
4. Hiérarchie des biais inductifs : Le papier démontre que des choix architecturaux simples (stratégie de tokenisation, longueur de contexte) déterminent si une IA agit comme un « ajusteur de courbe » (Kepler) ou un « physicien » (Newton).

4. Signification et affirmations

Le papier affirme que des choix architecturaux simples sont le facteur déterminant pour savoir si une IA généraliste découvre des lois physiques ou se contente d'ajuster des données.

• Combler le fossé : Ce travail fait le pont entre les modèles « physicien IA » (qui utilisent des a priori forts) et les Transformers génériques (qui échouent à apprendre la physique). Il montre que les Transformers génériques peuvent apprendre des modèles de monde s'ils sont dotés de biais inductifs minimaux et agnostiques au domaine (lissage, stabilité, localité).
• Découverte scientifique automatisée : Les résultats servent de « test de passage critique » pour la vision des « scientifiques IA ». Si les architectures à usage général ne peuvent pas récupérer les lois connues de la mécanique classique sans ingénierie spécifique, elles ne peuvent pas être fiables pour découvrir des lois inconnues.
• Mécanisme d'échec : Le papier clarifie que l'échec des modèles à grande échelle précédents n'était pas dû à un manque de capacité, mais à l'absence de biais inductifs spécifiques (notamment la localité temporelle et la stabilité spatiale) nécessaires pour forcer l'émergence d'abstractions causales plutôt que de corrélations géométriques.

Les auteurs concluent qu'en introduisant systématiquement ces biais, les Transformers peuvent passer de la prédiction de ce qui arrive ensuite à la compréhension de pourquoi cela arrive, marquant une étape vers la découverte scientifique automatisée.