From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers

Este artigo demonstra que, ao introduzir três vieses indutivos mínimos — suavidade espacial, estabilidade e localidade temporal —, Transformers genéricos podem evoluir de meros ajustadores de curvas para agentes capazes de descobrir leis físicas fundamentais, como as forças Newtonianas, estabelecendo assim a ponte entre a alta precisão preditiva e a verdadeira compreensão causal.

O essencial

Imagine que você tem um estudante robô super inteligente. Você quer ensiná-lo como os planetas se movem ao redor do sol. Você dá a ele um livro de história massivo de onde os planetas estiveram e pede que ele adivinhe onde eles estarão a seguir.

A grande questão que este artigo faz é: Este estudante robô apenas memoriza o caminho ou ele realmente compreende as leis da física que causam o movimento?

Os autores descobriram que, sem algumas "rodinhas de treinamento" especiais (que eles chamam de vieses indutivos), o robô é um memorizador brilhante, mas um físico terrível. Ele aprende a desenhar o caminho perfeitamente, mas não tem ideia do porquê o planeta está se movendo daquela maneira.

Aqui está a história de como eles consertaram o robô, dividida em três lições simples.

O Problema: O Robô é um "Ajustador de Curvas", Não um "Físico"

Pense no céreção do robô como uma biblioteca gigante.

• A Abordagem Kepleriana (O que o robô fez naturalmente): O robô olha para os últimos 1.000 pontos da jornada de um planeta. Ele diz: "Aha! Eu vejo o padrão. É uma forma oval. Eu vou apenas continuar desenhando a oval". É como uma criança contornando um desenho. Ela acerta o desenho, mas se você perguntar: "Por que é uma oval?" ou "Qual força está puxando isso?", o robô não tem resposta. Ele apenas conhece a forma.
• A Abordagem Newtoniana (O que queremos): Queremos que o robô diga: "O sol está puxando o planeta com gravidade. Se eu souber a velocidade e a posição atuais do planeta, posso calcular a força e prever o próximo passo". Isso é entender a causa, não apenas o efeito.

O artigo mostra que os modelos de IA padrão (Transformers) naturalmente se tornam "contornadores" (Kepler) e falham em se tornar "calculadores" (Newton). Para consertar isso, os autores adicionaram três "rodinhas de treinamento" específicas.

---

Lição 1: O Problema do "Mapa Pixelado" (Suavidade Espacial)

A Analogia: Imagine que você está tentando ensinar um robô a navegar em uma cidade.

• O Erro: Você dá ao robô um mapa onde cada esquina de rua é de uma cor completamente diferente e aleatória. "Vermelho" é a esquina da 1ª com a Main. "Azul" é a esquina da 1ª com a 2nd. Mesmo que essas esquinas estejam logo ao lado uma da outra, o robô as vê como totalmente não relacionadas. Ele tem que reaprender a relação entre "Vermelho" e "Azul" do zero toda vez.
• O Ajuste: Os autores perceberam que, quando recortavam a posição do planeta em pequenos "compartimentos" (como pixels), eles quebravam a suavidade natural do espaço.
• A Solução: Eles tornaram os "compartimentos" maiores (menos cores) ou pararam de usar compartimentos inteiramente e apenas deram ao robô as coordenadas exatas (como um GPS). Isso permitiu que o robô visse que o "Ponto A" está logo ao lado do "Ponto B", ajudando-o a construir um mapa mental real do espaço em vez de um emaranhado confuso de códigos aleatórios.

Lição 2: O Problema do "Efeito Dominó" (Estabilidade Espacial)

A Analogia: Imagine jogar um jogo de "Telefone Sem Fio" onde você sussurra um número para a próxima pessoa.

• O Erro: Se a primeira pessoa sussurra "50,1" e a segunda ouve "50,2", a terceira pessoa pode ouvir "50,5" e, quando chega ao fim, o número é "100". Na física, se o robô comete um erro minúsculo ao prever a posição do planeta, esse erro aumenta cada vez mais a cada passo, até que o planeta voe para o espaço profundo ou colida com o sol.
• O Ajuste: Os autores perceberam que o treinamento de IA padrão é "perfeito" demais. Ele aprende apenas com dados passados perfeitos.
• A Solução: Eles começaram a "quebrar" os dados de treinamento do robô de propósito. Eles adicionaram um pouco de ruído estático (como estática em um rádio) ao histórico que o robô estava lendo. Isso forçou o robô a aprender como se recuperar de pequenos erros, tornando-o robusto o suficiente para prever o futuro sem que os erros se acumulassem.

Lição 3: O Problema da "Memória Longa" vs. "Memória Curta" (Localidade Temporal)

A Analogia: Esta é a parte mais importante.

• A Memória Longa (Kepler): Imagine um robô que se lembra de tudo o que aconteceu na última hora. Quando ele tenta adivinhar o que acontece a seguir, ele olha para toda a história da última hora para desenhar uma grande curva. É como olhar para toda a pista de uma montanha-russa para adivinhar para onde o carrinho vai a seguir. Funciona para a curva, mas não entende a física.
• A Memória Curta (Newton): Agora, imagine um robô que só tem permissão para lembrar dos últimos dois segundos. Ele não pode ver a pista inteira. Ele precisa olhar para onde o carrinho está agora e quão rápido ele está indo agora para descobrir para onde vai a seguir.
• A Solução: Os autores forçaram o robô a ter uma memória curta. Eles disseram a ele: "Você só pode olhar para o passado imediato".
• O Resultado: Como o robô não podia mais depender da "grande imagem" da curva, ele foi forçado a descobrir as regras do jogo. Ele teve que calcular a "puxada" invisível (gravidade) agindo no planeta naquele momento para prever o próximo passo. De repente, o robô parou de desenhar elipses e começou a calcular forças. Ele se tornou um físico.

A Grande Conclusão

O artigo conclui que como você projeta o cérebro da IA determina o que ela aprende.

• Se você permitir que ela olhe para tudo e use um mapa pixelado, ela se tornará um ajustador de curvas (Kepler). Ela desenha belos quadros, mas não entende o universo.
• Se você der a ela um mapa suave, ensinar a lidar com erros e forçá-la a ter uma memória curta, ela se tornará um físico (Newton). Ela descobrirá as leis da gravidade por conta própria.

Os autores mostram que você não precisa programar as leis da física dentro da IA. Você só precisa dar a ela os "vieses indutivos" corretos (as restrições de treinamento certas), e ela descobrirá as leis por si mesma.

Resumo técnico

Resumo Técnico: De Kepler a Newton: Vieses Indutivos Guiam Modelos de Mundo Aprendidos em Transformers

1. Declaração do Problema

O artigo aborda uma lacuna crítica nas capacidades dos modelos de fundação de uso geral (Transformers) em relação à descoberta científica. Embora abordagens anteriores de "Físico de IA" tenham recuperado com sucesso leis físicas simbólicas, elas frequentemente dependem de priors fortes e específicos do domínio que efetivamente "incorporam" a física. Por outro lado, o trabalho recente de Vafa et al. (2025) demonstrou que Transformers genéricos, mesmo em escala GPT-2, falham em adquirir "modelos de mundo" — abstrações causais que explicam por que os fenômenos ocorrem. Em vez disso, esses modelos alcançam alta precisão preditiva ao aprender o ajuste de curvas geométricas (modelos Keplerianos) sem capturar as leis dinâmicas subjacentes (mecânica Newtoniana).

A questão central de pesquisa é: Por que os Transformers falham em aprender o modelo de mundo Newtoniano para o movimento planetário e como isso pode ser corrigido? Os autores postulam que a falha decorre da falta de vieses indutivos mínimos e específicos, em vez de uma limitação fundamental da arquitetura.

2. Metodologia

Os autores investigam sistematicamente os modos de falha dos Transformers em um ambiente controlado: prevendo o movimento planetário 2D em torno de uma massa central. Eles introduzem três vieses indutivos mínimos para preencher a lacuna entre a previsão geométrica e a descoberta da lei física.

Configuração do Problema

A tarefa consiste em prever a próxima posição $\vec{r}_{t+1}$ de um planeta dado um histórico de posições, formulada como um problema de predição de próximo token (NTP) autorregressivo.

• Baseline: A configuração segue Vafa et al. (2025), onde coordenadas contínuas são discretizadas em tokens (bins) e previstas via perda de entropia cruzada.
• Modificações Propostas: Os autores testam variações na tokenização, funções de perda e mecanismos de atenção para isolar vieses indutivos específicos.

Os Três Vieses Indutivos

Viés 1: Suavidade Espacial

• Modo de Falha: A tokenização padrão discretiza coordenadas espaciais contínuas em bins independentes com embeddings inicializados aleatoriamente. Isso quebra a suavidade espacial; pontos fisicamente próximos, mas em bins diferentes, são tratados como não relacionados. Os autores mostram que, mesmo com dados massivos (20B de tokens), o espaço de embedding aprendido falha em formar um mapa espacial coerente (baixa decodificabilidade linear, $R^2 \approx 0.86$).
• Solução:
  1. Tokenização Otimizada: Reduzir significativamente o tamanho do vocabulário ($V$) melhora drasticamente a emergência de um mapa espacial. Os autores derivam uma lei de escala mostrando que o tamanho dos dados de treinamento ($D$) deve aumentar pelo menos tão rápido quanto o tamanho do vocabulário ($V$) para manter a qualidade do mapa ($1-R^2 \propto D^{-\alpha_D} V^{\alpha_V}$).
  2. Coordenadas Contínuas: Alternativamente, usar coordenadas contínuas sem discretização fornece inerentemente suavidade espacial, embora isso introduza desafios de estabilidade.

Viés 2: Estabilidade Espacial

• Modo de Falha: Modelos autorregressivos sofrem de acumulação de erro, o que é exacerbado ao prever variáveis contínuas (regressão) em comparação com tokens discretos (classificação). Sem mitigação, pequenos erros iniciais fazem com que a trajetória divirja catastroficamente (ex: o planeta voando para o infinito ou para dentro do sol).
• Solução: Aprendizado de Contexto Ruidoso. Os autores injetam ruído Gaussiano no contexto histórico durante o treinamento. Isso força o modelo a aprender representações robustas que não dependem de estados passados perfeitos.
• Resultado: Com o treinamento de contexto ruidoso, a regressão (usando coordenadas contínuas e perda MSE) supera consistentemente a classificação (coordenadas discretizadas com perda de entropia cruzada) em todas as escalas de dados.

Viés 3: Localidade Temporal

• Modo de Falha: Transformers padrão utilizam comprimentos de contexto longos (ex: 1k+ tokens), permitindo que o modelo acesse todo o histórico da trajetória. Isso incentiva o modelo a ajustar formas geométricas globais (elipses) baseadas em todos os pontos passados — uma abordagem "Kepleriana".
• Solução: Janela de Atenção Restrita. Os autores restringem o comprimento do contexto ao passado imediato (ex: apenas os últimos 2 estados). Isso impõe a suposição física de que o estado futuro depende apenas do estado local (posição e velocidade), consistente com a segunda lei de Newton (uma equação diferencial de segunda ordem).
• Resultado: Esta restrição força o modelo a abandonar o ajuste de curvas global e, em vez disso, aprender a estimar forças gravitacionais locais ($\vec{F} \propto 1/r^2$) para simular a trajetória passo a passo — uma abordagem "Newtoniana".

3. Resultados Principais

1. Emergência de Mapa Espacial: A qualidade do mapa espacial aprendido em modelos tokenizados é altamente sensível ao tamanho do vocabulário. Vocabulários grandes (ex: $V=7000$) exigem quantidades impraticáveis de dados para aprender um mapa coerente. Reduzir $V$ ou usar coordenadas contínuas resolve este problema.
2. Regressão vs. Classificação: Contrariando os achados de Vafa et al., os autores demonstram que a regressão com coordenadas contínuas é superior à classificação, desde que o aprendizado de contexto ruidoso seja usado para estabilizar a inferência.
3. Modelos Keplerianos vs. Newtonianos:
   • Contexto Longo (Kepleriano): O modelo aprende a ajustar a trajetória elíptica global usando todos os estados passados. Ele prevê continuando a curva.
   • Contexto Curto (Newtoniano): Quando restrito aos estados locais, o modelo descobre a lei de força subjacente. Ele prevê simulando a equação diferencial $F=ma$.
4. Hierarquia de Viés Indutivo: O artigo demonstra que escolhas arquiteturais simples (estratégia de tokenização, comprimento de contexto) determinam se uma IA atuará como um "ajustador de curvas" (Kepler) ou um "físico" (Newton).

4. Significância e Alegações

O artigo afirma que escolhas arquiteturais simples são o fator determinante para que um IA de propósito geral descubra leis físicas ou apenas ajuste dados.

• Preenchendo a Lacuna: O trabalho une a divisão entre modelos "Físico de IA" (que usam priors fortes) e Transformers genéricos (que falham em aprender física). Mostra que Transformers genéricos podem aprender modelos de mundo se equipados com vieses indutivos mínimos e agnósticos ao domínio (suavidade, estabilidade, localidade).
• Descoberta Científica Automatizada: Os resultados servem como um "teste crítico de litmus" para a visão de "Cientistas de IA". Se arquiteturas de propósito geral não podem recuperar as leis conhecidas da mecânica clássica sem engenharia específica, elas não podem ser confiáveis para descobrir leis desconhecidas.
• Mecanismo de Falha: O artigo esclarece que a falha dos modelos de grande escala anteriores não foi devido à falta de capacidade, mas devido à ausência de vieses indutivos específicos (especialmente localidade temporal e estabilidade espacial) necessários para forçar a emergência de abstrações causais sobre correlações geométricas.

Os autores concluem que, ao introduzir sistematicamente esses vieses, os Transformers podem transitar de prever o que acontece a entender por que acontece, marcando um passo em direção à descoberta científica automatizada.