💻 computer science

One Vector Is All You Need for O(1) Self-Attention: The Ocean State

Este artículo presenta el "Ocean State", un método que reemplaza la autoatención estándar con un único vector persistente para lograr una complejidad de computación y memoria de O(1), demostrando al mismo tiempo una estabilidad de entrenamiento superior y sin signos de olvido incluso a los 10 millones de pasos de contexto.

Autores originales: SHUYUAN YU

Publicado 2026-09-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: SHUYUAN YU

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La inteligencia artificial moderna a menudo depende de un tipo específico de programa informático llamado Transformer, que se ha convertido en el estándar para tareas como escribir texto, traducir idiomas y responder preguntas. Estos programas funcionan mirando una secuencia de palabras y decidiendo qué palabra viene después. Para hacer esto con precisión, el programa debe recordar las palabras que ya ha visto. En el diseño actual, a medida que el programa lee una oración larga o un libro entero, mantiene una lista creciente de cada palabra que ha procesado hasta el momento. Esta lista actúa como un banco de memoria que se expande con cada nueva palabra. Si bien esto funciona bien para textos cortos, se convierte en una carga pesosa para textos muy largos. La computadora debe escanear constantemente esta lista en constante crecimiento para encontrar información relevante, lo que requiere una cantidad masiva de potencia de procesamiento y memoria. A medida que el texto se vuelve más largo, el tiempo y la energía necesarios para leerlo crecen mucho más rápido que el propio texto, haciendo que eventualmente sea imposible procesar documentos muy largos de manera eficiente.

Un investigador llamado Yu Shuyuan ha propuesto una forma diferente de manejar este problema de memoria. En lugar de mantener una lista creciente de cada palabra, el nuevo método sugiere mantener un solo vector de resumen, al que el autor llama "estado oceánico" (ocean state). Imagine este estado como un contenedor único y denso que contiene la esencia de todo lo que el programa ha leído hasta ahora. A medida que el programa lee una nueva palabra, actualiza este contenedor único para incluir la nueva información, reemplazando el resumen anterior con uno nuevo. El programa utiliza entonces este contenedor único para ayudar a predecir la siguiente palabra. Este enfoque cambia la matemática fundamental del problema: en lugar de que el esfuerzo crezca con la longitud del texto, el esfuerzo se mantiene igual sin importar cuán largo sea el texto. El programa puede leer un millón de palabras con la misma cantidad de trabajo por palabra, y utiliza una cantidad de memoria fija y diminuta independientemente de la longitud.

La idea central detrás de este trabajo es una pregunta simple: ¿qué pasaría si no desecháramos el resumen final de una oración después de usarlo para predecir la siguiente palabra? En los programas estándar, este resumen se calcula y luego se descarta. El nuevo método lo conserva, tratándolo como una memoria persistente que fluye de un paso al siguiente. El programa lee la palabra actual y este resumen único, los combina y produce un nuevo resumen. Este proceso se repite para cada palabra del texto. Crucialmente, el programa aprende a leer y actualizar este único vector por su cuenta. Nadie le dijo cómo comprimir la información en un solo lugar; simplemente aprendió a hacerlo durante el entrenamiento porque el diseño lo permitió. Los investigadores descubrieron que este vector único es sorprendentemente capaz. Puede contener información de una secuencia de diez millones de pasos sin perder nada de ella. En las pruebas, el programa podía recordar palabras específicas del principio de una secuencia de diez millones de pasos con la misma precisión con la que podía hacerlo de los primeros pasos, sin mostrar signos de olvido.

Los investigadores probaron esta idea contra el método estándar utilizando un gran conjunto de datos de texto. Entrenaron ambas versiones para predecir la siguiente palabra en una oración. Los resultados mostraron que el nuevo método, que utiliza solo un vector, funcionó consistentemente mejor que el método estándar que mantiene una lista creciente. Esta ventaja no fue una casualidad; apareció en muchos entornos diferentes, incluyendo diferentes tamaños de modelos y diferentes longitudes de texto. De hecho, el nuevo método fue tan estable que pudo procesar una secuencia de diez millones de pasos sin ningún aumento en el error, mientras que el método estándar se habría quedado sin memoria o habría tomado una cantidad de tiempo imposible para procesar incluso una fracción de esa longitud. Los investigadores también probaron una tarea específica donde el programa tenía que repetir una palabra tras un largo retraso. El nuevo método reprodujo la palabra con una pérdida de 0.0006, mientras que el método estándar falló por completo.

Una preocupación con tal memoria comprimida es que podría volverse ilegible o "borrosa" con el tiempo, perdiendo los detalles necesarios para hacer buenas predicciones. Sin embargo, los experimentos mostraron lo contrario. El vector único se mantuvo nítido y claro, capaz de recuperar información específica incluso después de millones de pasos. Los investigadores también exploraron cómo hacer este método más rápido en computadoras reales. Debido a que el nuevo método procesa las palabras una tras otra en una secuencia estricta, puede ser más lento de entrenar en una sola máquina en comparación con el método estándar, que puede procesar muchas palabras a la vez. Para solucionar esto, los investigadores desarrollaron una forma de dividir el trabajo a través de diferentes capas del programa, permitiendo que múltiples pasos se procesen simultáneamente. Este cambio de ingeniería redujo significamente el tiempo necesario para entrenar el modelo manteniendo el mismo alto rendimiento.

El estudio demuestra que es posible construir un sistema que recuerde una vasta cantidad de información utilizando una cantidad fija de memoria y potencia de procesamiento. Los investigadores demostraron que el programa aprende a organizar esta información eficientemente sin instrucciones especiales. Aunque los experimentos actuales se realizaron con un conjunto de datos específico y modelos relativamente pequeños, y el comportamiento en tamaños del mundo real aún no ha sido probado, los resultados sugieren que el principio subyacente es robusto. El método funciona reposicionando cómo el programa maneja su propio estado interno, convirtiendo un resumen descartado en una memoria persistente. Este cambio elimina el costo estructural que ha limitado la longitud de texto que los sistemas de IA pueden manejar. Los hallazgos indican que, con este enfoque, las limitaciones de la longitud del contexto pueden dejar de ser una barrera, permitiendo que los sistemas puedan leer y comprender documentos de cualquier tamaño con velocidad y precisión constantes.

Resumen Técnico: Un solo vector es todo lo que necesitas para la autoatención O(1): El Estado del Océano

1. Planteamiento del Problema

Los Transformers estándar sufren una limitación estructural: la autoatención incurre en un coste computacional de $O(N^2)$ y requiere un caché de memoria $O(N)$ (caché de Clave-Valor) que crece linealmente con la longitud del contexto. Aunque trabajos recientes (RetNet, RWKV, Mamba, Titans) intentan mitigar esto introduciendo nueva maquinaria como la atención lineal, el gating selectivo o módulos de memoria externa, estos alteran fundamentalmente la arquitectura. Además, los Transformers estándar descartan el estado oculto final después de cada paso hacia adelante, a pesar de que este contiene una absorción de todo el contexto.

El artículo postula que el coste $O(N^2)$ es estructural a la implementación actual de la atención, no inherente al concepto de modelado de contexto. Se pregunta: ¿Qué pasaría si el estado oculto, que absorbe todo el contexto, no se descartara sino que se retuviera y se utilizara como el único objeto de atención para el siguiente token?

2. Metodología: El Estado del Océano

La solución propuesta, "El Estado del Océano", implica dos reposicionamientos específicos de la arquitectura Transformer estándar sin añadir nuevos componentes (por ejemplo, sin gating ni memoria externa).

2.1 Mecanismos Centrales

El Estado del Océano (Reposicionamiento 1):
- En lugar de descartar el estado oculto después de un paso hacia adelante, la salida del procesamiento del token actual reemplaza al estado oculto anterior, el cual se denomina "estado del océano".
- Mecanismo de Atención: La atención se computa estrictamente entre el token actual y el estado del océano persistente (un único vector denso).
- Consecuencias: Esto elimina la necesidad de cachés de Clave-Valor (KV), codificaciones posicionales y máscaras causales. El estado se actualiza mediante un "relevo" (reemplazo 1:1) en lugar de una acumulación, asegurando que la información se reorganice pero no se comprima ni se descarte.
- Solo Lectura: El estado del océano es leído por el token actual pero nunca se procesa a través de la Red de Alimentación hacia Adelante (FFN) o la pila de capas; solo el token pasa a través de la pila.
Ocean BPTT (Reposicionamiento 2):
- Debido a que el estado del océano es una variable recurrente, los gradientes deben desplegarse a través del tiempo (Backpropagation Through Time, BPTT).
- Flujo de Gradiente: Durante el paso hacia atrás, el gradiente del estado del océano en el paso $t$ se computa basándose en el token en el paso $t$ . Este gradiente se añade luego al gradiente del estado oculto del paso $t-1$ .
- Operador de Ruta de Lectura: Un operador específico mapea el gradiente del token de vuelta al estado del océano utilizando los pesos de atención guardados del paso hacia adelante. Cuanto más "lee" un token el océano, más fuerte es la señal del gradiente enviada para actualizar la representación del estado del océano.

2.2 Implementación Algorítmica

El bucle de entrenamiento consiste en:

Paso hacia Adelante (Forward Pass): El token $t$ atiende a $ocean_{t-1}$ . El token pasa a través de la pila de capas (Atención + FFN). La salida reemplaza a $ocean_{t-1}$ para convertirse en $ocean_t$ .
Paso hacia Atrás (Backward Pass): Los gradientes fluyen desde la pérdida en el paso $t$ hacia atrás a través de las capas. Crucialmente, el gradiente del estado del océano se acumula a través de los pasos de tiempo, permitiendo que los errores de tokens futuros actualicen la representación de contextos pasados.

2.3 Variantes de Ingeniería

El artículo explora tres regímenes de entrenamiento para equilibrar coste, tiempo y calidad:

Serial Ocean BPTT: Despliegue completo de la cadena temporal (full time-chain unrolling). Mayor ganancia de calidad, menor coste computacional, pero tiempo de ejecución (wall-clock time) serial.
Ocean on Framework: Ejecuta la cadena completa en frameworks de autograd estándar. Mantiene la ganancia total de calidad pero mejora el rendimiento (throughput) mediante el procesamiento por lotes (batching).
Ocean Detach: Corta la cadena de gradiente temporal (sin BPTT entre pasos). Permite un entrenamiento totalmente paralelo (como los Transformers estándar) pero sacrifica la ganancia de rendimiento derivada de los gradientes temporales.

3. Principales Contribuciones

Reposicionamiento Arquitectónico: Demuestra que la atención $O(1)$ y la memoria $O(1)$ son alcanzables reutilizando el estado oculto descartado como un vector "océano" persistente, eliminando la necesidad de cachés KV y codificaciones posicionales.
Capacidad Emergente: Muestra que un Transformer puede aprender a leer y extraer información de un único vector denso sin instrucciones explícitas, basándose puramente en el entrenamiento de extremo a extremo.
Escalabilidad a Contextos Extremos: Prueba que la arquitectura puede manejar longitudes de contexto de hasta 10 millones de pasos sin degradación, una hazaña imposible para los Transformers estándar debido a las restricciones de memoria y cómputo.
Despliegue de Gradiente (Gradient Unrolling): Introduce "Ocean BPTT", aplicando el BPTT estándar a la salida de la pila de capas completa como el estado recurrente, identificando esto como la fuente principal de las ganancias de rendimiento.

4. Resultados Experimentales

Los experimentos se realizaron sobre el corpus de Shakespeare (a nivel de carácter y palabra) utilizando una implementación personalizada en NumPy (float64) y verificada con PyTorch.

4.1 Rendimiento y Dinámica de Entrenamiento

Superioridad: En todas las configuraciones probadas (anchuras $d \in \{32, 64, 128, 256\}$ , profundidades $L \in \{2, 4, 6\}$ , y varios conteos de cabezales), el régimen "Ocean Full" superó consistentemente al Transformer estándar.
Ganancia Estable: La brecha de rendimiento ( $\Delta = Loss_{std} - Loss_{full}$ ) fue positiva y estable (aprox. +0.15 de reducción de pérdida) en toda la cuadrícula.
Fuente de la Ganancia: La ganancia es principalmente estructural. Cuando la cadena temporal se desconecta (Ocean Detach), el rendimiento cae significamente, lo que indica que el despliegue del gradiente temporal es el factor crítico, no solo el mecanismo de atención en sí mismo.

4.2 Contexto Largo y Memoria

Sin Olvido: En una prueba de prellenado de 10 millones de pasos, la pérdida se mantuvo plana (1.532 en el paso 1M vs. 1.531 en el paso 10M). El estado del océano no mostró signos de saturación de capacidad o de olvido.
Tarea de Eco (Echo Task): El modelo logró una pérdida cercana a cero (0.0006) en una tarea de eco con un retraso de 2 millones de pasos, mientras que el Transformer estándar falló completamente.
Eficiencia de Memoria: El estado del océano requiere solo $O(1)$ de memoria (un único vector de dimensión $d$ ), independiente de la longitud del contexto. En contraste, los Transformers estándar requieren $O(N)$ de memoria para los cachés KV, lo que se vuelve inviable a escalas como 1 millón de tokens (requiriendo ~1 TB para un modelo de 13B).

4.3 Inferencia y Generación

Sin Extrapolación: El océano genera texto coherente sin necesidad de extrapolación de codificación posicional (ej. RoPE, ALiBi) porque la longitud del contexto no es una variable de entrada para el mecanismo de atención.
Tiempo de Ejecución (Wall-Clock Time): Aunque la naturaleza recurrente del proceso hace que el entrenamiento sea más lento por paso que los Transformers estándar paralelos, el artículo señala que el pipelining por capas (Ocean A-2) puede lograr una aceleración de 1.9x en el tiempo de ejecución, y el paralelismo anidado (Ocean A-3) ofrece ganancias teóricas de $10^3$ . El autor enfatiza que el entrenamiento implica un triángulo de compromiso entre coste, tiempo y calidad, donde la implementación práctica requiere seleccionar regímenes específicos (ej. detach para escala industrial, full chain para calidad de investigación).

5. Significado y Reivindicaciones

El artículo sostiene tres puntos principales, que define como falsables:

Consistencia de Entrenamiento: El estado del Océano entrena con la misma forma de curva de aprendizaje que el Transformer estándar, confirmando que es un reposicionamiento válido y no un paradigma de aprendizaje fundamentalmente distinto.
Ganancia Universal: Para cualquier arquitectura Transformer bajo condiciones idénticas, el Estado del Océano produce una ganancia de rendimiento positiva ( $\Delta > 0$ ).
Capacidad Infinita: Con una dimensión suficiente ( $d$ ), el estado del océano no exhibe límite de capacidad, olvido o fallo de recuperación a cualquier escala observable.

El autor concluye que el "Estado del Océano" aborda el principio de inferencia $O(1)$ y entrenamiento para longitudes de contexto arbitrarias, afirmando: "creemos que el principio está resuelto". Al confiar en la capacidad emergente del Transformer para organizar la información dentro de un único vector, el método elimina los cuellos de botella estructurales de la atención cuadrática y el crecimiento lineal de memoria, permitiendo potencialmente Transformers "pequeños y personales" y robots con estados cognitivos continuos similares a los humanos. El trabajo enfatiza que estos resultados se derivan de la experimentación de tipo "¿qué pasaría si?" sobre componentes existentes, respetando las propiedades emergentes de la arquitectura original, al tiempo que reconoce preguntas abiertas sobre configuraciones específicas (ej. por qué el modo detach supera al estándar en algunos casos).