From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers

Este artículo demuestra que, al introducir tres sesgos inductivos mínimos —suavidad espacial, estabilidad y localidad temporal—, los Transformers genéricos pueden evolucionar de ser meros ajustadores de curvas a agentes capaces de descubrir leyes físicas fundamentales como las fuerzas newtonianas, cerrando así la brecha entre la alta precisión predictiva y la verdadera comprensión causal.

Lo esencial

Imagina que tienes un estudiante robot superinteligente. Quieres enseñarle cómo se mueven los planetas alrededor del sol. Le das un libro de historia masivo sobre dónde han estado los planetas y le pides que adivine dónde estarán después.

La gran pregunta que este artículo plantea es: ¿Puede este estudiante robot simplemente memorizar la trayectoria, o puede realmente comprender las leyes de la física que causan el movimiento?

Los autores descubrieron que, sin unas "rueditas de entrenamiento" especiales (que ellos llaman sesgos inductivos), el robot es un memorizador brillante pero un físico terrible. Aprende a dibujar la trayectoria perfectamente, pero no tiene idea de por qué el planeta se mueve de esa manera. No sabe la forma, solo conoce la forma.

Aquí está la historia de cómo arreglaron al robot, dividida en tres lecciones simples.

El Problema: El robot es un "ajustador de curvas", no un "físico"

Piensa en el cerebro del robot como una biblioteca gigante.

• El enfoque de Kepler (lo que el robot hizo naturalmente): El robot observa los últimos 1,000 puntos del viaje de un planeta. Dice: "¡Ajá! Veo el patrón. Es una forma ovalada. Simplemente seguiré dibujando el óvalo". Es como un niño trazando un dibujo. Obtiene el dibujo correctamente, pero si le preguntas "¿Por qué es un óvalo?" o "¿Qué fuerza lo está tirando?", el robot no tiene respuesta. Solo conoce la forma.
• El enfoque de Newton (lo que queremos): Queremos que el robot diga: "El sol está tirando del planeta con gravedad. Si conozco la velocidad y la posición actuales del planeta, puedo calcular la fuerza de atracción y predecir el siguiente paso". Esto es comprender la causa, no solo el efecto.

El artículo muestra que los modelos de IA estándar (Transformers) se convierten naturalmente en "trazadores" (Kepler) y fallan al intentar ser "calculadores" (Newton). Para arreglar esto, los autores añadieron tres "rueditas de entrenamiento" específicas.

---

Lección 1: El problema del "mapa pixelado" (Suavidad espacial)

La analogía: Imagina que intentas enseñar a un robot a navegar por una ciudad.

• El error: Le das al robot un mapa donde cada esquina de la calle es de un color completamente diferente y aleatorio. "Rojo" es la esquina de la 1ª y la Principal. "Azul" es la esquina de la 1ª y la 2ª. Aunque estas esquinas están justo una al lado de la otra, el robot las ve como totalmente ajenas. Tiene que reaprender la relación entre "Rojo" y "Azul" desde cero cada vez.
• El error: Los autores se dieron cuenta de que cuando dividían la posición del planeta en pequeños "contenedores" (como píxeles), rompían la suavidad natural del espacio.
• La solución: Hicieron que los "contenedores" fueran más grandes (menos colores) o dejaron de usar contenedores por completo y simplemente le dieron al robot las coordenadas exactas (como un GPS). Esto permitió que el robot viera que el "Punto A" está justo al lado del "Punto B", ayudándole a construir un mapa mental real del espacio en lugar de un revoltijo confuso de códigos aleatorios.

Lección 2: El problema del "efecto dominó" (Estabilidad espacial)

La analogía: Imagina jugar al juego del "teléfono descompuesto" donde le susurras un número a la siguiente persona.

• El error: Si la primera persona susurra "50.1" y la segunda escucha "50.2", la tercera podría escuchar "50.5", y para cuando llega al final, el número es "100". En física, si el robot comete un pequeño error prediciendo la posición del planeta, ese error se hace cada vez más grande con cada paso, hasta que el planeta sale disparado al espacio profundo o choca contra el sol.
• El error: Los autores se dieron cuenta de que el entrenamiento de la IA estándar es demasiado "perfecto". Solo aprende de datos pasados perfectos.
• La solución: Empezaron a "romper" los datos de entrenamiento del robot a propósito. Añadieron un poco de ruido estático (como la estática de una radio) al historial que el robot estaba leyendo. Esto obligó al robot a aprender cómo recuperarse de los pequeños errores, haciéndolo lo suficientemente robusto para predecir el futuro sin que los errores se acumulen.

Lección 3: El problema de la "memoria larga" vs. "memoria corta" (Localidad temporal)

La analogía: Esta es la parte más importante.

• La Memoria Larga (Kepler): Imagina un robot que recuerda todo lo que sucedió en la última hora. Cuando intenta adivinar qué sucede después, mira toda la hora de historia para dibujar una gran curva. Es como mirar toda la pista de una montaña rusa para adivinar hacia dónde va el carrito. Funciona para la curva, pero no entiende la física.
• La Memoria Corta (Newton): Ahora, imagina un robot al que solo se le permite recordar los últimos dos segundos. No puede ver toda la pista. Debe mirar dónde está el carrito ahora mismo y qué tan rápido se mueve ahora mismo para averiguar hacia dónde va después.
• La solución: Obligaron al robot a tener una memoria corta. Le dijeron: "Solo puedes mirar el pasado inmediato".
• El resultado: Debido a que el robot ya no podía confiar en la "gran imagen" de la curva, se vio obligado a descubrir las reglas del juego. Tuvo que calcular la "atracción" invisible (gravedad) que actúa sobre el planeta en ese momento para predecir el siguiente paso. De repente, el robot dejó de dibujar elipses y empezó a calcular fuerzas. Se convirtió en un físico.

La gran conclusión

El artículo concluye que cómo diseñas el cerebro de la IA determina lo que aprende.

• Si dejas que mire todo y usas un mapa pixelado, se convierte en un ajustador de curvas (Kepler). Dibuja imágenes bonitas pero no entiende el universo.
• Si le das un mapa suave, le enseñas a manejar errores y lo obligas a tener una memoria corta, se convierte en un físico (Newton). Descubre las leyes de la gravedad por sí mismo.

Los autores demuestran que no necesitas programar las leyes de la física en la IA. Solo necesitas darle los "sesgos inductivos" adecuados (las restricciones de entrenamiento correctas), y la IA las descubrirá por sí sola.

Resumen técnico

Resumen Técnico: De Kepler a Newton: Los sesgos inductivos guían los modelos de mundo aprendidos en los Transformers

1. Planteamiento del problema

El artículo aborda una brecha crítica en las capacidades de los modelos fundacionales de propósito general (Transformers) respecto al descubrimiento científico. Mientras que los enfoques previos de "Físico de IA" han recuperado con éxito leyes físicas simbólicas, a menudo dependen de fuertes prioris específicos del dominio que, de hecho, "incorporan" la física de antemano. Por el contrario, el trabajo reciente de Vafa et al. (2025) demostró que los Transformers genéricos, incluso a escala de GPT-2, fallan al adquirir "modelos de mundo": abstracciones causales que explican por qué ocurren los fenómenos. En su lugar, estos modelos logran una alta precisión predictiva mediante el aprendizaje de ajustes de curvas geométricas (modelos keplerianos) sin capturar las leyes dinámicas subyacentes (mecánica newtoniana).

La pregunta central de investigación es: ¿Por qué los Transformers fallan al aprender el modelo de mundo newtoniano para el movimiento planetario y cómo se puede solucionar esto? Los autores postulan que el fallo proviene de la falta de sesgos inductivos mínimos y específicos, más que de una limitación fundamental de la arquitectura.

2. Metodología

Los autores investigan sistemáticamente los modos de fallo de los Transformers en un entorno controlado: la predicción del movimiento planetario en 2D alrededor de una masa central. Introducen tres sesgos inductivos mínimos para cerrar la brecha entre la predicción geométrica y el descubrimiento de la ley física.

Configuración del problema

La tarea consiste en predecir la posición siguiente $\vec{r}_{t+1}$ de un planeta dado un historial de posiciones, formulada como un problema de predicción del siguiente token (NTP) autorregresivo.

• Línea base: La configuración sigue a Vafa et al. (2025), donde las coordenadas continuas se discretizan en tokens (bins) y se predicen mediante una pérdida de entropía cruzada.
• Modificaciones propuestas: Los autores prueban variaciones en la tokenización, las funciones de pérdida y los mecanismos de atención para aislar sesgos inductivos específicos.

Los tres sesgos inductivos

Sesgo 1: Suavidad espacial

• Modo de fallo: La tokenización por defecto discretiza las coordenadas espaciales continuas en bins independientes con embeddings inicializados aleatoriamente. Esto rompe la suavidad espacial; los puntos físicamente cercanos pero en diferentes bins son tratados como no relacionados. Los autores muestran que, incluso con datos masivos (20B de tokens), el espacio de embedding aprendido no logra formar un mapa espacial coherente (baja decodificabilidad lineal, $R^2 \approx 0.86$).
• Solución:
  1. Tokenización optimizada: Reducir significativamente el tamaño del vocabulario ($V$) mejora considerablemente la emergencia de un mapa espacial. Los autores derivan una ley de escala que muestra que el tamaño de los datos de entrenamiento ($D$) debe aumentar al menos tan rápido como el tamaño del vocabulario ($V$) para mantener la calidad del mapa ($1-R^2 \propto D^{-\alpha_D} V^{\alpha_V}$).
  2. Coordenadas continuas: Alternativamente, el uso de coordenadas continuas sin discretización proporciona intrínsecamente suavidad espacial, aunque esto introduce desafíos de estabilidad.

Sesgo 2: Estabilidad espacial

• Modo de fallo: Los modelos autorregresivos sufren de acumulación de errores, lo cual se ve exacerbado cuando se predicen variables continuas (regresión) en comparación con tokens discretos (clasificación). Sin mitigación, los pequeños errores iniciales causan que la trayectoria diverja catastróficamente (por ejemplo, el planeta saliendo volando hacia el infinito o hacia el sol).
• Solución: Aprendizaje de contexto ruidoso. Los autores inyectan ruido gaussiano en el contexto histórico durante el entrenamiento. Esto obliga al modelo a aprender representaciones robustas que no dependan de estados pasados perfectos.
• Resultado: Con el entrenamiento de contexto ruidoso, la regresión (usando coordenadas continuas y pérdida MSE) supera consistentemente a la clasificación (coordenadas discretizadas con entropía cruzada) en todas las escalas de datos.

Sesgo 3: Localidad temporal

• Modo de fallo: Los Transformers estándar utilizan longitudes de contexto largas (ej. 1k+ tokens), lo que permite al modelo acceder a todo el historial de la trayectoria. Esto incentiva al modelo a ajustar formas geométricas globales (elipses) basándose en todos los puntos pasados; un enfoque "kepleriano".
• Solución: Ventana de atención restringida. Los autores restringen la longitud del contexto a los estados inmediatamente anteriores (ej. solo los últimos 2 estados). Esto impone el supuesto físico de que el estado futuro depende solo del estado local (posición y velocidad), consistente con la segunda ley de Newton (una ecuación diferencial de segundo orden).
• Resultado: Esta restricción obliga al modelo a abandonar el ajuste de curvas global y, en su lugar, aprender a estimar las fuerzas gravitatorias locales ($\vec{F} \propto 1/r^2$) para simular la trayectoria paso a paso; un enfoque "newtoniano".

3. Resultados clave

1. Emergencia del mapa espacial: La calidad del mapa espacial aprendido en los modelos tokenizados es altamente sensible al tamaño del vocabulario. Los vocabularios grandes (ej. $V=7000$) requieren cantidades de datos impracticables para aprender un mapa coherente. Reducir $V$ o usar coordenadas continuas resuelve este problema.
2. Regresión vs. Clasificación: Contrario a los hallazgos de Vafa et al., los autores demuestran que la regresión con coordenadas continuas es superior a la clasificación, siempre que se utilice el aprendizaje de contexto ruidoso para estabilizar la inferencia.
3. Modelos Keplerianos vs. Newtonianos:
   • Contexto largo (Kepleriano): El modelo aprende a ajustar la trayectoria elíptica global utilizando todos los estados pasados. Predice continuando la curva.
   • Contexto corto (Newtoniano): Al estar restringido a estados locales, el modelo descubre la ley de fuerza subyacente. Predice mediante la simulación de la ecuación diferencial $F=ma$.
4. Jerarquía de sesgos inductivos: El artículo demuestra que las elecciones arquitectónicas simples (estrategia de tokenización, longitud de contexto) determinan si una IA actúa como un "ajustador de curvas" (Kepler) o como un "físico" (Newton).

4. Significado y afirmaciones

El artículo afirma que las elecciones arquitectónicas simples son el factor determinante en si una IA de propósito general descubre leyes físicas o simplemente ajusta datos.

• Cerrando la brecha: El trabajo une la división entre los modelos "Físico de IA" (que usan prioris fuertes) y los Transformers genéricos (que fallan al aprender física). Muestra que los Transformers genéricos pueden aprender modelos de mundo si se les dota de sesgos inductivos mínimos y ajenos al dominio (suavidad, estabilidad, localidad).
• Descubrimiento científico automatizado: Los resultados sirven como una "prueba de fuego crítica" para la visión de los "Científicos de IA". Si los modelos de arquitectura de propósito general no pueden recuperar las leyes conocidas de la mecánica clásica sin ingeniería específica, no pueden ser confiables para descubrir leyes desconocidas.
• Mecanismo de fallo: El artículo aclara que el fallo de los modelos de gran escala previos no se debió a una falta de capacidad, sino a la ausencia de sesgos inductivos específicos (específicamente la localidad temporal y la estabilidad espacial) necesarios para forzar la emergencia de abstracciones causales sobre las correlaciones geométricas.

Los autores concluyen que, mediante la introducción sistemática de estos sesgos, los Transformers pueden transicionar de predecir qué sucede después a entender por qué sucede, marcando un paso hacia el descubrimiento científico automatizado.