💬 NLP

From Tokens to States: LLMs as a Special Case of World Models and the Continuous Path Beyond

Este artigo desafia a distinção binária entre modelos de linguagem de grande escala e modelos de mundo ao argumentar que os LLMs são um caso especial degenerado de modelos de mundo, propondo um espectro contínuo de arquiteturas, desde a predição de tokens até a simulação em espaço latente, enquanto destaca os significativos desafios de pesquisa na escala para ambientes rotulados por ações e na adaptação de arquiteturas transformer para a predição de estado contínuo.

Autores originais: Paul Dubois

Publicado 2026-06-29

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Paul Dubois

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Mal-entendido: Dois Mundos Diferentes?

Imagine que a comunidade de IA está discutindo sobre dois tipos diferentes de viajantes.

Grupo A (LLMs): Diz: "Somos apenas preditores de palavras. Olhamos para a última palavra que você digitou e adivinhamos a próxima. Não sabemos nada sobre o mundo real; apenas sabemos como as palavras se encaixam."
Grupo B (Modelos de Mundo): Diz: "Somos simuladores de realidade. Construímos um mapa mental de como o mundo funciona para que possamos planejar com antecedência, como um jogador de xadrez pensando três jogadas à frente."

O artigo argumenta que esses dois grupos estão, na verdade, olhando para a mesma coisa de ângulos diferentes. O autor, Paul Dubois, diz: "Você não está olhando para duas espécies diferentes; você está olhando para um filhote e um lobo adulto. O filhote é apenas uma versão muito restrita do lobo."

Alegação nº 1: O "Filhote" é, na verdade, um "Lobo" em um quarto minúsculo

O artigo afirma que os Modelos de Linguagem de Grande Escala (LLMs) são, na verdade, Modelos de Mundo, mas estão presos em um quarto muito pequeno e entediante.

O Quarto (Estado): Em um Modelo de Mundo normal, o "quarto" é o universo inteiro (carros, clima, pessoas, física). Em um LLM, o "quarto" é apenas uma sequência de palavras.
A Ação: Em um Modelo de Mundo normal, você pode fazer muitas coisas (dirigir, pular, falar). Em um LLM, a única coisa que você pode fazer é adicionar uma palavra.
O Truque: Embora o LLM seja permitido apenas adicionar palavras, ele constrói secretamente um mapa do mundo dentro de seu cérebro (suas camadas ocultas).
- A Analogia: Imagine uma pessoa que só tem permissão para falar palavras isoladas. Se você pedir para ela jogar uma partida de xadrez usando apenas palavras como "Peão", "Rei", "Xeque", ela não pode mover as peças fisicamente. Mas, dentro de sua cabeça, ela está visualizando todo o tabuleiro de xadrez perfeitamente. As palavras são apenas a interface, mas o modelo de mundo vive dentro de sua mente.

O artigo prova isso mostrando que modelos treinados apenas em texto podem realmente "enxergar" coisas como o layout de um tabuleiro de xadrez ou a passagem do tempo, embora nunca tenham sido ensinados diretamente sobre esses conceitos.

Alegação nº 2: É uma Rampa Suave, Não um Abismo

Muitos especialistas (como Yann LeCun) dizem que precisamos abandonar totalmente os modelos de predição de palavras e mudar para um sistema completamente novo chamado JEPA (um sistema que prevê estados futuros em um espaço "latente" ou oculto).

O artigo diz: "Não pule de um abismo. Apenas suba uma rampa."

O autor descreve um espectro contínuo (um deslizamento suave) conectando o simples preditor de palavras ao complexo simulador de realidade. Você não precisa jogar fora o modelo antigo; você apenas relaxa as regras, uma por uma.

Aqui está o caminho pela rampa:

O Ponto de Partida (LLM Padrão): Prediz uma palavra de cada vez.
- Prós: Temos dados infinitos (toda a internet) e uma ferramenta perfeita (a arquitetura Transformer) para isso.
Passo 1: Predição de Múltiplos Tokens: Prediz algumas palavras de uma vez.
- Mudança: Paramos de forçar o modelo a adivinhar uma letra por vez. Ele fica um pouco mais inteligente no raciocínio, mas ainda usamos textos da internet e as mesmas ferramentas.
Passo 2: Resumo do Futuro: Prediz um resumo comprimido do futuro.
- Mudança: Em vez de adivinhar a próxima palavra, ele adivinha a "essência" do próximo parágrafo. Ainda usa textos da internet.
Passo 3: Predição do Próximo Latente: Prediz o próximo "pensamento" (um estado oculto) em vez de uma palavra.
- Mudança: O modelo para de produzir palavras e começa a produzir conceitos internos. Isso é mais difícil de treinar, mas ainda podemos usar textos da internet.
O Topo da Rampa (JEPA): Prediz o próximo estado do mundo real com base em uma ação.
- A Grande Queda: Aqui, as coisas fáceis desaparecem.
  - Problema de Dados: Não podemos mais usar a internet. Precisamos de dados de robôs, carros autônomos ou videogames onde sabemos exatamente qual ação causou qual resultado. Esses dados são raros e difíceis de obter.
  - Problema de Ferramenta: A ferramenta "Transformer" que usamos para palavras pode não funcionar bem para a realidade contínua. Podemos precisar de uma ferramenta totalmente nova.

Os Dois Grandes Gargalos

O artigo identifica duas razões principais pelas quais estamos presos na base da rampa (o estágio LLM) e não chegamos ao topo (o estágio JEPA):

O Abismo dos Dados:
- Na base: Temos trilhões de palavras na internet para aprender. É gratuito e fácil.
- No topo: Precisamos de milhões de interações específicas e rotuladas (como um robô batendo em uma parede). Isso é caro e difícil de coletar.
A Questão da Arquitetura:
- Na base: O Transformer é uma máquina construída especificamente para palavras. É como uma chave de fenda que se ajusta perfeitamente a um parafuso quadrado.
- No topo: Precisamos prever a realidade contínua (como o movimento de um fluido). A chave de fenda pode não servir. Podemos precisar de uma ferramenta totalmente nova, mas ainda não sabemos como ela é.

Conclusão: Não Queime a Ponte

O artigo conclui que não precisamos jogar fora nossos modelos de IA atuais.

LeCun está certo ao dizer que simples preditores de palavras não conseguem realizar planejamentos físicos complexos por conta própria.
Mas ele está errado ao dizer que precisamos começar do zero.

Em vez disso, devemos ver os modelos atuais como o primeiro passo de uma longa jornada. Podemos atualizá-los lentamente, passo a passo, passando da predição de palavras para a predição de conceitos e, finalmente, para a predição da realidade. O destino está claro, mas o caminho é uma subida gradual, não um salto repentino.

Em resumo: LLMs não são modelos de mundo "falsos"; são apenas modelos de mundo com as mãos amarradas nas costas. Se desatarmos essas mãos lentamente, chegaremos à IA poderosa que desejamos, sem precisar inventar um universo completamente novo.

Resumo Técnico: Dos Tokens aos Estados: LLMs como um Caso Especial de Modelos de Mundo e o Caminho Contínuo Além

Declaração do Problema

A comunidade de IA atualmente enquadra a relação entre Grandes Modelos de Linguagem (LLMs) e Modelos de Mundo como uma dicotomia binária: os LLMs são vistos como meros preditores de tokens, enquanto os Modelos de Mundo são definidos como sistemas que simulam a realidade para apoiar o planejamento. Yann LeCun (2022) argumentou que alcançar a inteligência geral exige abandonar a predição autoregressiva de tokens em favor de arquiteturas de espaço latente (especificamente, Arquiteturas de Predição de Embedding Conjunto, ou JEPA). Este artigo desafia esse enquadramento como desnecessariamente binário, argumentando que ele obscurece um espectro natural e contínuo de capacidades e de evolução arquitetural. O problema central abordado é a falta de um framework formal que unifique LLMs e Modelos de Mundo, e a ausência de um roteiro claro para a transição de um para o outro sem descartar as vantagens práticas que permitiram a escala dos LLMs.

Metodologia e Formalismo

O artigo emprega uma abordagem matemática formal para redefinir a relação entre LLMs e Modelos de Mundo, seguida por uma análise estrutural de arquiteturas existentes e emergentes.

1. Incorporação Formal de LLMs
O autor define um Modelo de Mundo como uma tupla $(S, A, T, \rho_0)$ , onde $S$ é o espaço de estados, $A$ é o espaço de ações, $T$ é a função de transição e $\rho_0$ é a distribuição de estado inicial. O artigo incorpora formalmente um LLM autoregressivo neste framework ao fazer escolhas específicas e restritivas:

Espaço de Estados ( $S$ ): O conjunto de todas as sequências finitas de tokens ( $V^*$ ).
Espaço de Ações ( $A$ ): O vocabulário de tokens ( $V$ ), onde a única ação é anexar um token.
Função de Transição ( $T$ ): Uma função determinística que anexa o token escolhido à sequência ( $s \cdot a$ ).
Política ( $\pi_\theta$ ): O próprio LLM, que prevê a distribuição de probabilidade sobre o próximo token.

Sob esta definição, o LLM atua simultaneamente como o simulador do mundo (via função de transição) e como o agente. O artigo argumenta que os LLMs são um "caso especial degenerado" de Modelos de Mundo, onde o espaço de estados é restrito a tokens discretos e a transição é trivial.

2. Análise do Espectro Contínuo
O artigo constrói um espectro que vai da Predição de Próximo Token (NTP) padrão até a JEPA. Ele analisa este espectro como uma sequência de etapas, onde cada etapa relaxa exatamente uma restrição do formalismo padrão de LLM. A análise rastreia como cada relaxamento impacta duas vantagens práticas dos LLMs:

Acesso a dados de auto-supervisão em escala de internet.
Compatibilidade com a arquitetura Transformer (codisenhada para tokens discretos).

Contribuições Principais

1. A Alegação de Continência
A principal contribuição teórica é a prova de que LLMs $\subset$ Modelos de Mundo. O artigo demonstra que os Modelos de Mundo são uma generalização estrita dos LLMs, não um substituto. Isso reenquadra o objetivo de pesquisa de "abandonar os LLMs" para "relaxar progressivamente as restrições dos LLMs".

2. Identificação de Cinco Restrições
O artigo isola cinco restrições específicas que definem o caso especial de LLM dentro da classe mais ampla de Modelos de Mundo:

Representação de Estado: Restrita a sequências de tokens discretos (vs. estados contínuos/latentes arbitrários).
Granularidade de Ação: Restrita a um micro-token por passo (vs. ações semânticas do agente).
Persistência de Estado: O estado deve ser rederivado do contexto a cada passagem (vs. variáveis armazenadas explicitamente).
Supervisão de Treinamento: Depende da predição de próximo token em texto bruto (vs. tuplas pareadas de estado-ação-próximo estado).
Arquitetura de Camadas: Restrita a Transformers codisenhados para tokens discretos.

3. O "Abismo de Dados" e o "Gap de Arquitetura"
O artigo identifica dois gargalos críticos que emergem conforme se avança pelo espectro:

A Questão dos Dados: Enquanto as etapas iniciais do espectro (NTP, Multi-Token Prediction, Future Summary) podem utilizar textos em escala de internet, o passo final para a JEPA requer dados pareados (observação, ação, próxima observação) de ambientes instrumentados. Estes dados são ordens de magnitude mais escassos ( $\sim 10^9$ amostras) do que o texto da internet ( $\sim 10^{13}$ tokens).
A Questão da Arquitetura: A arquitetura Transformer é altamente otimizada para tokens discretos. À medida que os alvos de predição se movem para espaços latentes contínuos (Next-Latent, JEPA), o viés indutivo do Transformer torna-se menos otimável. O artigo sugere que o campo pode carecer de uma arquitetura "cristalizada" para predição de estado contínuo análoga ao Transformer para texto.

4. Reinterpretação Empírica de Representações Internas
O artigo sintetiza descobertas de interpretabilidade mecanística (ex: OthelloGPT, Llama-2) para argumentar que "modelos de mundo" já existem dentro dos LLMs. Eles codificam representações lineares ricas de estados de tabuleiro, espaço geográfico e tempo em suas ativações ocultas, apesar de terem sido treinados apenas em sequências de tokens. Isso apoia a afirmação de que o "modelo de mundo" reside nas ativações latentes, enquanto os tokens servem meramente como a interface.

Resultados e Evidências

O artigo não apresenta novos resultados experimentais, mas sintetiza pesquisas existentes para apoiar suas alegações teóricas:

OthelloGPT & Modelos de Xadrez: Demonstram que as ativações ocultas codificam estados de tabuleiro completos com precisão >99%, provando que a representação de estado-mundo é possível dentro de arquiteturas de predição de tokens.
Multi-Token Prediction (MTP): Cita Gloeckle et al. (2024) e DeepSeek-V3, mostrando que prever $k$ tokens simultaneamente melhora o raciocínio sem sacrificar as vantagens de dados ou arquitetura.
Future Summary & Next-Latent: Cita Mahajan et al. (2026) e Teoh et al. (2026) para mostrar arquiteturas intermediárias que preveem futuros comprimidos ou estados latentes, fazendo a ponte entre NTP e JEPA.
Chain-of-Thought (CoT): Reinterpreta o CoT não como um novo paradigma, mas como um mecanismo para aumentar o horizonte de planejamento dentro do modelo de mundo de token-estado existente, movendo-se efetivamente ao longo do eixo de granularidade do espectro.

Significância e Alegações

O artigo afirma que sua significância reside em dissolver o falso binário entre "preditores de tokens" e "modelos de mundo". Ao enquadrar os LLMs como um subconjunto restrito de Modelos de Mundo, ele sugere um caminho de ascensão gradual em direção à inteligência geral, em vez de um salto descontínuo.

Transição Incremental: O caminho a seguir não é descartar os LLMs, mas relaxar incrementalmente as restrições. Etapas intermediárias (MTP, Future Summary, Next-Latent) oferecem uma forma de melhorar a capacidade de modelo de mundo mantendo a escalabilidade de dados em escala de internet e as arquiteturas Transformer.
Clarificação da Fronteira: O artigo postula que a verdadeira fronteira de pesquisa reside na transição para a JEPA, onde a disponibilidade de dados e o ajuste arquitetural colapsam simultaneamente. Sugere que resolver o problema do "modelo de mundo condicionado por ação" requer não apenas mais dados, mas potencialmente um novo primitivo arquitetural para predição de estado contínuo.
Reavaliação da Crítica de LeCun: O artigo argumenta que LeCun está correto ao dizer que os LLMs atuais não podem realizar planejamento de malha fechada no mundo físico, mas incorreto ao dizer que isso exige abandonar o paradigma de predição de tokens inteiramente. Em vez disso, a visão do espectro mostra que o CoT e a predição de espaço latente são extensões naturais do mesmo formalismo subjacente.

Em conclusão, o artigo afirma que o destino (modelos de mundo de espaço latente condicionados por ação) é claro, mas o caminho é um espectro contínuo de evolução arquitetural e de dados, não uma escolha binária entre duas tecnologias opostas.