💬 NLP

From Tokens to States: LLMs as a Special Case of World Models and the Continuous Path Beyond

Este artículo desafía la distinción binaria entre los modelos de lenguaje de gran tamaño y los modelos de mundo al argumentar que los LLM son un caso especial degenerado de los modelos de mundo, proponiendo un espectro continuo de arquitecturas desde la predicción de tokens hasta la simulación en el espacio latente, al tiempo que destaca los importantes desafíos de investigación para escalar a entornos con etiquetas de acción y adaptar las arquitecturas de transformadores para la predicción de estados continuos.

Autores originales: Paul Dubois

Publicado 2026-06-29

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Paul Dubois

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El gran malentendido: ¿Dos mundos diferentes?

Imagina que la comunidad de la IA está discutiendo sobre dos tipos diferentes de viajeros.

Grupo A (LLMs): Dice: "Solo somos predictores de palabras. Miramos la última palabra que escribiste y adivinamos la siguiente. No sabemos nada sobre el mundo real; solo sabemos cómo encajan las palabras entre sí".
Grupo B (Modelos de Mundo): Dice: "Somos simuladores de la realidad. Construimos un mapa mental de cómo funciona el mundo para poder planificar con antelación, como un jugador de ajedrez que piensa tres movimientos por delante".

El artículo sostiene que estos dos grupos en realidad están mirando lo mismo desde ángulos diferentes. El autor, Paul Dubois, dice: "No estás mirando a dos especies diferentes; estás mirando a un cachorro y a un lobo adulto. El cachorro es solo una versión muy restringida del lobo".

Reclamación n.º 1: El "cachorro" es en realidad un "lobo" en una habitación diminuta

El artículo afirma que los Grandes Modelos de Lenguaje (LLMs) son en realidad Modelos de Mundo, pero están atrapados en una habitación muy pequeña y aburrida.

La Habitación (Estado): En un Modelo de Mundo normal, la "habitación" es todo el universo (coches, clima, personas, física). En un LLM, la "habitación" es solo una cadena de palabras.
La Acción: En un Modelo de Mundo normal, puedes hacer muchas cosas (conducir, saltar, hablar). En un LLM, lo único que puedes hacer es añadir una palabra.
El Truco: Aunque al LLM solo se le permite añadir palabras, este construye secretamente un mapa del mundo dentro de su cerebro (sus capas ocultas).
- La Analogía: Imagina a una persona a la que solo se le permite hablar con palabras sueltas. Si le pides que juegue una partida de ajedrez usando solo palabras como "Peón", "Rey", "Jaque", no puede mover las piezas físicamente. Pero dentro de su cabeza, está visualizando el tablero de ajedrez completo perfectamente. Las palabras son solo la interfaz, pero el modelo de mundo vive dentro de su mente.

El artículo demuestra esto mostrando que los modelos entrenados solo con texto pueden "ver" cosas como la disposición de un tablero de ajedrez o el paso del tiempo, a pesar de que nunca se les enseñaron esos conceptos directamente.

Reclamación n.º 2: Es una rampa suave, no un precipicio

Muchos expertos (como Yann LeCun) dicen que debemos abandonar por completo los modelos de predicción de palabras y cambiar a un sistema completamente nuevo llamado JEPA (un sistema que predice estados futuros en un espacio "latente" u oculto).

El artículo dice: "No saltes al vacío. Solo sube por una rampa".

El autor describe un espectro continuo (un deslizamiento suave) que conecta al simple predictor de palabras con el complejo simulador de la realidad. No tienes que tirar el modelo viejo; solo tienes que relajar las reglas una por una.

Aquí está el camino por la rampa:

El Punto de Partida (LLM Estándar): Predice una palabra a la vez.
- Pros: Tenemos datos infinitos (todo internet) y una herramienta perfecta (la arquitectura Transformer) para esto.
Paso 1: Predicción de Múltiples Tokens: Predice unas pocas palabras a la vez.
- Cambio: Dejamos de forzar al modelo a adivinar una letra a la vez. Se vuelve un poco más inteligente en su razonamiento, pero seguimos usando texto de internet y las mismas herramientas.
Paso 2: Resumen del Futuro: Predice un resumen comprimido del futuro.
- Cambio: En lugar de adivinar la siguiente palabra, adivina la "esencia" del siguiente párrafo. Sigue usando texto de internet.
Paso 3: Predicción del Siguiente Latente: Predice el siguiente "pensamiento" (un estado oculto) en lugar de una palabra.
- Cambio: El modelo deja de producir palabras y empieza a producir conceptos internos. Esto es más difícil de entrenar, pero aún podemos usar texto de internet.
La Cima de la Rampa (JEPA): Predice el siguiente estado del mundo real basado en una acción.
- La Gran Caída: Aquí, lo fácil desaparece.
  - Problema de Datos: Ya no podemos usar internet. Necesitamos datos de robots, coches autónomos o videojuegos donde sepamos exactamente qué acción causó qué resultado. Estos datos son escasos y difíciles de conseguir.
  - Problema de Arquitectura: La herramienta "Transformer" que usamos para las palabras podría no funcionar bien para la realidad continua. Podríamos necesitar una herramienta completamente nueva.

Los Dos Grandes Cuellos de Botella

El artículo identifica dos razones principales por las que estamos estancados en la base de la rampa (la etapa del LLM) y no hemos llegado a la cima (la etapa de JEPA):

El Precipicio de los Datos:
- En la base: Tenemos billones de palabras en internet para aprender. Es gratis y fácil.
- En la cima: Necesitamos millones de interacciones específicas y etiquetadas (como un robot chocando contra una pared). Esto es caro y difícil de recolectar.
La Pregunta de la Arquitectura:
- En la base: El Transformer es una máquina construida específicamente para palabras. Es como una llave inglesa que encaja perfectamente en un tornillo cuadrado.
- En la cima: Necesitamos predecir la realidad continua (como el movimiento de un fluido). La llave inglesa podría no encajar. Podríamos necesitar una herramienta nueva, pero aún no sabemos cómo es.

Conclusión: No quemes el puente

El artículo conclula que no necesitamos desechar nuestros modelos de IA actuales.

LeCun tiene razón en que los simples predictores de palabras no pueden realizar planes físicos complejos por sí solos.
Pero se equivoca al decir que tenemos que empezar de cero.

En su lugar, debemos ver los modelos actuales como el primer paso de un largo viaje. Podemos actualizarlos lentamente, paso a paso, pasando de predecir palabras a predecir conceptos y, finalmente, a predecir la realidad. El destino está claro, pero el camino es un ascenso gradual, no un salto repentino.

En resumen: Los LLM no son modelos de mundo "falsos"; son simplemente modelos de mundo con las manos atadas a la espalda. Si desatamos esas manos poco a poco, llegaremos a la IA poderosa que deseamos, sin necesidad de inventar un universo completamente nuevo.

Resumen Técnico: De los Tokens a los Estados: Los LLM como un Caso Especial de los Modelos de Mundo y el Camino Continuo Más Allá

Planteamiento del Problema

La comunidad de la IA actualmente enmarca la relación entre los Modelos de Lenguaje de Gran Escala (LLM) y los Modelos de Mundo como una dicotomía binaria: los LLM son vistos como meros predictores de tokens, mientras que los Modelos de Mundo se definen como sistemas que simulan la realidad para apoyar la planificación. Yann LeCun (2022) ha argumentado que lograr la inteligencia general requiere abandonar la predicción autorregresiva de tokens en favor de arquitecturas de espacio latente (específicamente, Arquitecturas de Predicción de Incrustación Conjunta, o JEPA). Este documento desafía ese marco por considerarlo innecesariamente binario, argumentando que este oscurece un espectro natural y continuo de capacidades y evolución arquitectónica. El problema central abordado es la falta de un marco formal que unifique los LLM y los Modelos de Mundo, y la ausencia de una hoja de ruta clara para la transición de uno a otro sin descartar las ventajas prácticas que han permitido la escalabilidad de los LLM.

Metodología y Formalismo

El documento emplea un enfoque matemático formal para redefinir la relación entre los LLM y los Modelos de Mundo, seguido de un análisis estructural de las arquitecturas existentes y emergentes.

1. Incrustación Formal de los LLM
El autor define un Modelo de Mundo como una tupla $(S, A, T, \rho_0)$ , donde $S$ es el espacio de estados, $A$ es el espacio de acciones, $T$ es la función de transición y $\rho_0$ es la distribución de estado inicial. El documento incrusta formalmente un LLM autorregresivo en este marco mediante la elección de opciones específicas y restrictivas:

Espacio de Estados ( $S$ ): El conjunto de todas las secuencias finitas de tokens ( $V^*$ ).
Espacio de Acciones ( $A$ ): El vocabulario de tokens ( $V$ ), donde la única acción es la de anexar un token.
Función de Transición ( $T$ ): Una función determinista que anexa el token elegido a la secuencia ( $s \cdot a$ ).
Política ( $\pi_\theta$ ): El propio LLM, que predice la distribución de probabilidad sobre el siguiente token.

Bajo esta definición, el LLM actúa simultáneamente como el simulador del mundo (a través de la función de transición) y como el agente. El documento argumenta que los LLM son un "caso especial degenerado" de los Modelos de Mundo, donde el espacio de estados está restringido a tokens discretos y la transición es trivial.

2. Análisis del Espectro Continuo
El documento construye un espectro que va desde la Predicción del Siguiente Token (NTP) estándar hasta JEPA. Analiza este espectro como una secuencia de pasos, donde cada paso relaja exactamente una restricción del formalismo estándar de los LLM. El análisis rastrea cómo cada relajación impacta en dos ventajas prácticas de los LLM:

Acceso a datos de auto-supervisión a escala de internet.
Compatibilidad con la arquitectura Transformer (codiseñada para tokens discretos).

Contribuciones Clave

1. La Afirmación de Contención
La principal contribcción teórica es la demostración de que LLM $\subset$ Modelos de Mundo. El documento demuestra que los Modelos de Mundo son una generalización estricta de los LLM, no un reemplazo. Esto redefine el objetivo de investigación de "abandonar los LLM" a "relajar progresivamente las restricciones de los LLM".

2. Identificación de Cinco Restricciones
El documento aísla cinco restricciones específicas que definen el caso especial de los LLM dentro de la clase más amplia de los Modelos de Mundo:

Representación del Estado: Restringida a secuencias de tokens discretos (frente a estados continuos/latentes arbitrarios).
Granularidad de la Acción: Restringida a un micro-token por paso (frente a acciones semánticas del agente).
Persistencia del Estado: El estado debe ser derivado nuevamente del contexto en cada pasada (frente a variables almacenadas explícitamente).
Supervisión de Entrenamiento: Depende de la predicción del siguiente token en texto bruto (frente a tuplas de estado-acción-siguiente estado emparejadas).
Arquitectura de Capas: Restringida a Transformers codiseñados para tokens discretos.

3. El "Acantilado de Datos" y la "Brecha de Arquitectura"
El documento identifica dos cuellos de botella críticos que surgen a medida que se avanza por el espectro:

La Cuestión de los Datos: Mientras que los primeros pasos del espectro (NTP, Predicción de Múltiples Tokens, Resumen del Futuro) pueden utilizar texto a escala de internet, el paso final hacia JEPA requiere datos emparejados (observación, acción, siguiente observación) de entornos instrumentados. Estos datos son órdenes de magnitud más escasos ( $\sim 10^9$ muestras) que el texto de internet ( $\sim 10^{13}$ tokens).
La Cuestión de la Arquitectura: La arquitectura Transformer está altamente optimizada para tokens discretos. A medida que los objetivos de predicción se desplazan hacia espacios latentes continuos (Siguiente-Latente, JEPA), el sesgo inductivo del Transformer se vuelve menos óptimo. El documento sugiere que el campo puede carecer de una arquitectura "cristalizada" para la predicción de estados continuos análoga al Transformer para el texto.

4. Reinterpretación Empírica de las Representaciones Internas
El documento sintetiza hallazgos de interpretabilidad mecánica (ej. OthelloGPT, Llama-2) para argumentar que los "modelos de mundo" ya existen dentro de los LLM. Estos modelos codifican representaciones ricas y lineales de estados de tablero, espacio geográfico y tiempo en sus activaciones ocultas, a pesar de haber sido entrenados solo en secuencias de tokens. Esto respalda la afirmación de que el "modelo de mundo" reside en las activaciones latentes, mientras que los tokens sirven meramente como la interfaz.

Resultados y Evidencia

El documento no presenta nuevos resultados experimentales, sino que sintetiza investigaciones existentes para respaldar sus afirmaciones teóricas:

OthelloGPT y Modelos de Ajedrez: Demuestran que las activaciones ocultas codifican estados de tablero completos con una precisión >99%, probando que la representación del estado del mundo es posible dentro de arquitecturas que predicen tokens.
Predicción de Múltiples Tokens (MTP): Cita a Gloeckle et al. (2024) y DeepSeek-V3, mostrando que predecir $k$ tokens simultáneamente mejora el razonamiento sin sacrificar las ventajas de datos o arquitectura.
Resumen del Futuro y Siguiente-Latente: Cita a Mahajan et al. (2026) y Teoh et al. (2026) para mostrar arquitecturas intermedias que predicen futuros comprimidos o estados latentes, tendiendo un puente entre NTP y JEPA.
Cadena de Pensamiento (CoT): Reinterpreta CoT no como un nuevo paradigma, sino como un mecanismo para aumentar el horizonte de planificación dentro del modelo de mundo de estado de token existente, moviéndose efectivamente a lo largo del eje de granularidad del espectro.

Significado y Reivindicaciones

El documento afirma que su significancia radica en disolver la falsa dicotomía entre "predictores de tokens" y "modelos de mundo". Al enmarcar los LLM como un subconjunto restringido de los Modelos de Mundo, sugiere un camino de ascenso gradual hacia la inteligencia general en lugar de un salto discontinuo.

Transición Incremental: El camino a seguir no es descartar los LLM, sino relajar incrementalmente sus restricciones. Los pasos intermedios (MTP, Resumen del Futuro, Siguiente-Latente) ofrecen una forma de mejorar la capacidad del modelo de mundo manteniendo la escalabilidad de los datos a escala de internet y las arquitecturas Transformer.
Clarificación de la Frontera: El documento postula que la verdadera frontera de investigación reside en la transición hacia JEPA, donde tanto la disponibilidad de datos como el ajuste arquitectónico colapsan simultáneamente. Sugiere que resolver el problema del "modelo de mundo condicionado por la acción" requiere no solo más datos, sino potencialmente una nueva primitiva arquitectónica para la predicción de estados continuos.
Reevaluación de la Crítica de LeCun: El documento argumenta que LeCun tiene razón al decir que los LLM actuales no pueden realizar una planificación de bucle cerrado en el mundo físico, pero se equivoca al sugerir que esto requiere abandonar el paradigma de la predicción de tokens por completo. En cambio, la visión del espectro muestra que CoT y la predicción de espacios latentes son extensiones naturales del mismo formalismo subyacente.

En conclusión, el documento sostiene que el destino (modelos de mundo de espacio latente condicionados por la acción) está claro, pero el camino es un espectro continuo de evolución arquitectónica y de datos, no una elección binaria entre dos tecnologías opuestas.