💬 NLP

ZetaGPT: A Reference Implementation of Positional--Encoding--Free State--Space--Attention Language Models

Este artículo presenta ZetaGPT, un modelo de lenguaje pequeño de código abierto que elimina las codificaciones posicionales explícitas al integrar ecuaciones de espacio de estados causales para codificar implícitamente la información secuencial antes de la autoatención, al tiempo que proporciona un proceso de entrenamiento completo de extremo a extremo para fines de investigación y educativos.

Autores originales: Róisín Luo

Publicado 2026-08-11

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Róisín Luo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a leer una historia. Durante mucho tiempo, la mejor manera de hacer esto era darle al robot una "pegatina" especial por cada palabra que leía. Si el robot veía la palabra "gato", sabría que era la primera palabra porque tenía una pegatina de "Primera Palabra", y si veía "perro" más tarde, tendría una pegatina de "Quinta Palabra". Sin estas pegatinas, el robot se confundiría, pensando que "El gato persiguió al perro" era lo mismo que "El perro persiguió al gato" porque las palabras eran solo un montón de ingredientes mezclados. Este método de pegar etiquetas a las palabras se llama "codificación posicional", y ha sido el libro de reglas estándar para casi todos los modelos de lenguaje inteligentes que usamos hoy en día.

Pero, ¿y si el robot no necesitara pegatinas? ¿Qué pasaría si, en lugar de mirar una etiqueta, el robot pudiera sentir el orden de la historia mientras lee? Esa es la gran pregunta que este artículo plantea. Explora una nueva forma de construir modelos de lenguaje que no dependa de esas pegatinas externas. En su lugar, utiliza un "bucle de memoria" que se actualiza a sí mismo mientras lee, recordando naturalmente lo que vino antes. Esto es importante porque si podemos construir modelos que entiendan el orden sin necesidad de que se les diga explícitamente dónde está cada palabra, podríamos ser capaces de hacerlos más inteligentes, más eficientes y mejores para manejar historias muy largas sin perderse.

La gran idea del artículo: ZetaGPT

El autor de este artículo presenta ZetaGPT, un modelo de lenguaje pequeño y de código abierto que intenta hacer exactamente eso: leer sin pegatinas. El principal hallazgo es que, al colocar un "módulo de espacio de estados causal" especial justo antes del mecanismo de atención del modelo, este puede aprender implícitamente el orden de las palabras a través de su propia dinámica interna.

Piensa en un modelo de lenguaje estándar como un estudiante tomando un examen que tiene permitido mirar una hoja de referencia (la codificación posicional) que dice "Pregunta 1", "Pregunta 2", etc. ZetaGPT es como un estudiante que tiene que confiar enteramente en su memoria de la historia hasta el momento. A medida que el estudiante lee cada palabra, su estado interno cambia, creando una "huella digital" única para ese momento en la historia. El artículo sugiere que esta huella digital interna es suficiente para decirle al modelo: "Oye, esta palabra viene después de esa", sin necesidad de ayuda externa.

Cómo funciona: El bucle de memoria

Para entender cómo logra esto ZetaGPT, imagina una carrera de relevos. En una carrera normal, el testigo se pasa y todos simplemente corren. En la versión de ZetaGPT, el corredor (el modelo) lleva una mochila especial (el módulo de espacio de estados) que cambia de forma y peso dependiendo de por dónde acaba de pasar.

La mochila (Módulo de espacio de estados): Antes de que el modelo observe toda la oración para entender las conexiones (un proceso llamado "autoatención"), primero pasa las palabras por esta mochila. La mochila es un sistema "recurrente", lo que significa que recuerda el pasado. A medida que entra cada nueva palabra, la mochila actualiza su estado interno basándose en las palabras anteriores.
La evolución: El artículo muestra que, a medida que el modelo se entrena, la mochila aprende a desarrollar diferentes "horizontes de memoria". Algunas partes de la mochila recuerdan solo las últimas palabras (memoria a corto plazo), mientras que otras recuerdan un tramo largo de la historia (memoria a largo plazo).
El resultado: Para cuando la palabra sale de la mochila y entra en la capa de atención principal, ya no es solo una palabra bruta; es una palabra "consciente de su posición". Lleva consigo la historia de dónde estaba en la oración. El artículo observa que, durante el entrenamiento, el modelo aprende naturalmente a usar estos diferentes tiempos de escala de memoria para codificar la secuencia, reemplando efectivamente la necesidad de las "pegatinas" (codificaciones posicionales) utilizadas por otros modelos.

Lo que el artículo descarta y encuentra

El artículo argumenta explícitamente en contra de la idea de que debemos usar codificaciones posicionales explícitas (como las "pegatinas" mencionadas anteriormente) para construir un modelo de lenguaje funcional. Rechaza la noción de que la información posicional deba ser una "capacidad adquirida arquitectónicamente" inyectada desde el exterior. En su lugar, propone que esta información puede ser una "propiedad inherente" de la propia dinámica del modelo.

El autor descubrió que ZetaGPT funciona. Entrenaron tres versiones del modelo (Pequeño, Mediano y Grande) con 34.4 millones, 159.2 millones y 479.9 millones de parámetros respectivamente. Demostraron que estos modelos podían aprender a predecir la siguiente palabra en una oración sin haber recibido nunca una codificación posicional.

Sin embargo, el artículo es cuidadoso con su confianza. No afirma haber "resuelto" el problema del modelado de lenguaje ni que ZetaGPT sea mejor que los modelos masivos utilizados por las grandes tecnológicas. De hecho, el autor admite que sus modelos son pequeños y fueron entrenados con un conjunto de datos relativamente modesto (el corpus WikiText-103). Señalan que, debido a que los modelos son pequeños, solo fueron entrenados en contextos cortos (256, 512 y 1024 tokens). El artículo sugiere que, si bien la arquitectura funciona para estas escalas pequeñas, aún no sabemos si funcionará igual de bien para los modelos gigantes que leen millones de palabras a la vez.

El viaje completo: Desde cero hasta el razonamiento

Una de las partes más lúdicas y completas de este artículo es que no solo muestra el modelo, sino que muestra toda la "receta" para construirlo. El autor proporciona un flujo de trabajo completo y de código abierto que te lleva desde el texto bruto hasta un modelo capaz de razonar.

El Tokenizador: Primero, construyeron un "tokenizador" (un traductor que convierte texto en números) desde cero, comenzando con bytes brutos y fusionándolos en un vocabulario de 50,259 símbolos.
El Entrenamiento: Preentrenaron el modelo, luego lo ajustaron para seguir instrucciones e incluso entrenaron un "modelo de recompensa" para ayudar a la IA a aprender del feedback humano (RLHF).
El momento "¡Ajá!": Finalmente, utilizaron una técnica llamada Optimización de Política Relativa de Grupo (GRPO) para enseñar al modelo el "Pensamiento de Cadena" (Chain-of-Thought). Esta es la parte en la que el modelo aprende a pensar paso a paso, como un humano resolviendo un problema matemático, sin que se le muestren los pasos explícitamente de antemano. El artículo sugiere que esta capacidad de razonamiento puede "emerger" directamente a través del aprendizaje por refuerzo.

Las Limitaciones

El autor es muy honesto sobre los límites de su trabajo. Afirma que las principales limitaciones se deben a los recursos computacionales que tenían, no a un fallo en la idea en sí misma. Debido a que no tenían acceso a supercomputadoras con potencia infinita, no pudieron entrenar con los conjuntos de datos masivos (billones de tokens) que utilizan los gigantes modernos. En consecuencia, sus modelos no tienen el vasto conocimiento del mundo de esos sistemas más grandes.

También señalan que, debido a que no pudieron entrenar con textos muy largos, no han probado completamente si este enfoque "sin pegatinas" funciona para historias extremadamente largas. El artículo concluye que ZetaGPT es una "implementación de referencia compacta": una prueba de concepto y un patio de recreo para que los investigadores estudien cómo la información posicional puede aprenderse implícitamente, en lugar de un producto terminado listo para reemplazar a los modelos de IA más grandes del mundo.

En resumen, ZetaGPT es un pequeño robot sin pegatinas que demuestra que puedes enseñar a una máquina a entender el orden de una historia simplemente dejándola recordar el viaje, palabra por palabra. Es un pequeño paso, pero abre una nueva puerta para la forma en que podríamos construir la próxima generación de modelos de lenguaje.

Resumen Técnico: ZetaGPT

Planteamiento del Problema

Los modelos de lenguaje de gran escala (LLM) basados en Transformers dependen de mecanismos de autoatención que son inherentemente permutación-equivariantes, lo que significa que carecen de una capacidad intrínseca para representar el orden de los tokens. En consecuencia, las arquitecturas existentes deben inyectar explícitamente información posicional mediante embeddings aprendidos o codificaciones diseñadas a mano (por ejemplo, sinusoidales, RoPE). Aunque estos métodos son efectivos, tratan la información posicional como un componente arquitectónico externo en lugar de una propiedad inherente del modelo. Esta dependencia crea desafíos para la extensión del contexto, requiriendo a menudo adaptaciones específicas del mecanismo de codificación (por ejemplo, interpolación o escalado) en lugar de surgir naturalmente de la dinámica del modelo. Las filosofías de diseño recientes se han desplazado hacia arquitecturas libres de codificación posicional, donde la información secuencial emerge implícitamente a través de la dinámica computacional, aunque las implementaciones de referencia compactas y de código abierto para tales modelos siguen siendo escasas.

Metodología

ZetaGPT introduce una arquitectura híbrida de Estado-Espacio-Atención (SSA) diseñada para codificar implícitamente la información posicional antes de la computación de la autoatención. La metodología central involucra los siguientes componentes:

1. Diseño Arquitectónico

Cada bloque Transformer en ZetaGPT consiste en tres subcapas residuales pre-normalizadas dispuestas en un orden específico:

Módulo de Estado-Espacio Causal (SSM): Situado antes de la autoatención, este módulo procesa la entrada a través de la dinámica de estado recurrente.
Autoatención de Cabezales Múltiples con Compuerta (Gated): Opera sobre las representaciones conscientes de la posición generadas por el SSM.
Red de Alimentación hacia Adelante (FFN): Realiza la transformación de características no lineales.

2. Codificación Posicional Implícita mediante Dinámica de Estado-Espacio

El modelo utiliza ecuaciones de estado-espacio selectivas para transformar representaciones de tokens agnósticas a la posición en representaciones conscientes de la posición. Dada una secuencia de entrada $\{x_t\}$ , el estado oculto $h_t$ evoluciona recursivamente:
$h_t = A(x_t)h_{t-1} + B(x_t)x_t$
$y_t = C(x_t)h_t + D(x_t)x_t$

En la implementación de ZetaGPT:

El operador de transición de estado $A(x_t)$ se define como una matriz diagonal con coeficientes de decaimiento dependientes de la entrada $a_t = \exp(-\text{softplus}(W_a x_t + b_a))$ .
La ruta de entrada implica una proyección, una convolución causal de profundidad (depthwise) y una activación SiLU.
La salida está modulada por una compuerta $g_t$ dependiente de la entrada.

Debido a que el estado oculto $h_t$ resume recursivamente el prefijo causal $\{x_1, \dots, x_t\}$ , las representaciones resultantes contienen inherentemente el orden secuencial. Esto permite que la capa de autoatención subsiguiente opere sobre datos conscientes de la posición sin requerir codificaciones posicionales explícitas.

3. Mecanismo de Atención con Compuerta

Para mitigar los sumideros de atención (attention sinks) y el colapso de activación, ZetaGPT emplea un mecanismo de autoatención de cabezales múltiples con compuerta. Una compuerta dependiente de la entrada modula la salida de la atención antes de la proyección, mejorando la selectividad y la estabilidad en Transformers con normalización de capa previa (pre-layer-normalized).

4. Pipeline de Entrenamiento de Extremo a Extremo

ZetaGPT proporciona un pipeline totalmente de código abierto que cubre:

Tokenizador: BPE (Byte-level Byte-Pair Encoding) a nivel de bytes entrenado en el corpus de preentrenamiento, resultando en un vocabulario de 50,259 tokens.
Preentrenamiento: Entrenado en el corpus WikiText-103.
Ajuste Fino Supervisado (SFT): Alineado utilizando el conjunto de datos de seguimiento de instrucciones Alpaca-GPT4.
Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF): Incluye el entrenamiento del modelo de recompensa y la optimización de preferencias.
Cadena de Pensamiento (CoT): Desarrollado mediante aprendizaje por refuerzo puro utilizando la Optimización de Política Relativa de Grupo (GRPO) en el benchmark GSM8K, permitiendo capacidades de razonamiento sin demostraciones supervisadas de CoT.

Contribuciones Clave

Modelo de Estado-Espacio-Atención Libre de Codificación Posicional: ZetaGPT es un modelo de lenguaje compacto donde ecuaciones de estado-espacio causales preceden a la autoatención en cada bloque. Este diseño permite que la evolución del estado recurrente represente implícitamente la información posicional, eliminando la necesidad de codificaciones posicionales explícitas.
Implementación de Referencia: Hasta donde el autor sabe, ZetaGPT es el primer modelo de lenguaje pequeño de código abierto sin codificación posicional explícita. Sirve como una referencia compacta y reproducible para el estudio empírico de arquitecturas libres de codificación posicional.
Pipeline de Entrenamiento Completo: El trabajo presenta un pipeline completo desde la construcción del conjunto de datos y el entrenamiento del tokenizador hasta el preentrenamiento, SFT, RLHF y razonamiento CoT mediante aprendizaje por refuerzo, proporcionando una receta unificada para construir modelos modernos de lenguaje pequeño (small LLMs).

Resultados y Observaciones

El artículo informa sobre la dinámica de entrenamiento de los módulos de estado-espacio durante el preentrenamiento (sobre 12,800 pasos):

Emergencia de Memoria Multiescala: El modelo aprende múltiples escalas de tiempo de memoria. Las capas superficiales retienen horizontes de memoria más largos, mientras que las capas intermedias desarrollan horizontes más cortos, creando una jerarquía de representaciones temporales.
Selectividad de Entrada: Los coeficientes de decaimiento se vuelven cada vez más dependientes de la entrada, permitiendo que el horizonte de memoria se adapte al contexto local.
Contribución Residual: La contribución del módulo de estado-espacio al flujo residual crece a lo largo del entrenamiento, indicando que la red depende cada vez más de estas dinámicas aprendidas.
Canales Heterogéneos: La distribución de decaimiento evoluciona para incluir canales de memoria larga ( $a > 0.99$ ) y de memoria corta ( $a < 0.5$ ), demostrando una organización automática en distintos rangos temporales.

Las configuraciones del modelo varían desde ZetaGPT-S (34.4M de parámetros, 6 capas) hasta ZetaGPT-L (479.9M de parámetros, 24 capas). Las longitudes de contexto se tratan como configuraciones de entrenamiento (256, 512, 1024 tokens) en lugar de restricciones arquitectónicas.

Significado y Limitaciones

Significado:
ZetaGPT establece una base compacta y reproducible para desarrollar modelos de lenguaje libres de codificación posicional. Al demostrar que la información posicional puede representarse implícitamente a través de la dinámica arquitectónica en lugar de mediante priors inyectados, ofrece una nueva vía para la investigación en el modelado de contexto largo y la extrapolación de contexto que no depende de la modificación de mecanismos de codificación explícitos.

Limitaciones:
El autor señala explícitamente que las limitaciones surgen de las restricciones computacionales más que de la arquitectura misma:

Escala de Datos: El corpus de preentrenamiento (WikiText-103) es modesto, careciendo de la diversidad y el conocimiento del mundo de los modelos entrenados con billones de tokens.
Escala del Modelo: La configuración por defecto (34.4M de parámetros) es pequeña; las dinámicas observadas aquí pueden no transferirse directamente a modelos mucho más grandes.
Longitud de Contexto: El preentrenamiento está limitado a contextos cortos (hasta 1024 tokens), lo que impide una evaluación exhaustiva del modelado de contexto largo o las capacidades de extrapolación.

El trabajo posiciona a ZetaGPT principalmente como una herramienta para la investigación, el prototipado rápido, la verificación de algoritmos y la educación, más que como un modelo de lenguaje a gran escala listo para producción.