🤖 machine learning

TANGO: Token-Aggregated Nonlinear Gating Operators for Natural and Formal Language Modeling

Este artículo presenta TANGO, una novedosa arquitectura de modelo de lenguaje que reemplaza las subcapas estándar de Transformer con una actualización residual de compuerta entre tokens para lograr un rendimiento superior en conjuntos de datos matemáticos y educativos, junto con su variante de complejidad lineal WANGO, la cual supera a los modelos existentes de tiempo lineal.

Autores originales: Joshua Nunley

Publicado 2026-08-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Joshua Nunley

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, las herramientas más poderosas para comprender el lenguaje se basan en una estructura llamada Transformer. Imagine a un lector escaneando un documento largo; para entender una palabra específica, debe volver a mirar las palabras que la precedieron para captar el contexto. Los modelos de IA estándar hacen esto mediante dos pasos distintos. Primero, escanean todo el historial del texto para reunir información relevante de las palabras pasadas, un proceso similar al de un bibliotecario localizando rápidamente cada libro que podría ser relevante para un tema. Segundo, toman esa información recopilada y la procesan a través de un filtro separado e independiente en cada posición de la oración para refinar el significado. Este baile de dos pasos ha servido bien al campo, pero es computacionalmente pesado, ya que requiere que el modelo realice una cantidad masiva de cálculos por cada nueva palabra que genera, especialmente a medida que el texto se vuelve más largo. Los investigadores han buscado durante mucho tiempo una forma de combinar estos pasos o simplificarlos, con la esperanza de construir modelos que sean tanto más inteligentes como más eficientes, capaces de manejar vastas cantidades de información sin verse estancados por el peso puro de las matemáticas necesarias para procesarla.

Un investigador de la Universidad de Indiana en Bloomington ha introducido un nuevo enfoque que redefine fundamentalmente cómo estos modelos interactúan con el lenguaje. Llaman a su creación TANGO, que significa Operadores de Puerta No Lineales Agregados por Token (Token-Aggregated Nonlinear Gating Operators). En lugar de mantener los pasos de recopilación de información y refinamiento de información por separado, TANGO los fusiona en una única acción unificada. En este nuevo diseño, cada palabra en una oración actúa como una fuente de control. A medida que el modelo lee, cada palabra genera un conjunto específico de instrucciones, o "puertas" (gates), que determinan cuánta importancia se debe otorgar a diferentes características del texto. Cuando el modelo llega a una nueva palabra, no solo mira hacia atrás para encontrar las palabras pasadas más relevantes; mira hacia atrás para ver qué instrucciones han preparado esas palabras pasadas. Luego, promedia estas instrucciones y las utiliza para escalar, o ajustar, las características de la palabra actual antes de añadirla a la memoria del modelo. Esto significa que la influencia de una palabra pasada no trata solo de lo que dice, sino de cómo le dice a la palabra actual que se interprete a sí misma.

El investigador desarrolló dos versiones de este sistema para probar diferentes equilibrios entre precisión y velocidad. La primera, TANGO, observa cada una de las palabras que precedieron a la actual, sin importar qué tan atrás estén en el texto. Este enfoque de "prefijo completo" (full-prefix) permite al modelo nutrirse de todo el historial de la conversación o el documento, lo que resulta en una comprensión altamente precisa del contexto. Sin embargo, debido a que debe comparar la palabra actual con cada palabra anterior, la cantidad de trabajo que tiene que hacer crece rápidamente a medida que el texto se alarga. La segunda versión, llamada WANGO, adopta un enfoque más práctico para textos muy largos. Presta mucha atención a las palabras más recientes, tratándolas con el mismo cuidado detallado de historial completo que el primer modelo. Para las palabras más antiguas que quedan fuera de una ventana reciente, WANGO utiliza un método diferente y más eficiente para resumir su influencia. Mantiene un recuento acumulativo de las instrucciones que generaron esas palabras más antiguas, lo que le permite incorporar su sabiduría sin tener que recalcular la relación con cada una de ellas. Esta modificación hace que la carga de trabajo del modelo Wango crezca de forma lineal a medida que el texto se alarga, en lugar de que su complejidad explote, lo que lo hace mucho más rápido para secuencias largas.

Para ver cómo estos nuevos diseños se comparaban con la tecnología existente, el investigador entrenó seis modelos diferentes utilizando exactamente la misma cantidad de datos, el mismo número de parámetros y el mismo cronograma de entrenamiento. Probaron estos modelos en tres desafíos muy diferentes: una gran colección de textos educativos de la web, una biblioteca de pruebas matemáticas formales escritas en un lenguaje llamado Lean, y una serie de problemas matemáticos de DeepMind. Los resultados mostraron que el modelo TANGO, con su visión de historial completo, alcanzó la mayor precisión en las tres pruebas, produciendo las predicciones más fiables para la siguiente palabra en una secuencia. Superó a todos los demás modelos, incluidos aquellos que utilizan métodos tradicionales de compartir parámetros entre capas. El modelo Wango también funcionó excepcionalmente bien, particularmente en la categoría de modelos diseñados para ser eficientes. Entre las arquitecturas que pueden manejar textos largos sin que su costo computacional se descontrole, Wango produjo los resultados más precisos. Incluso venció a un modelo que utilizaba una cantidad similar de cálculo pero que dependía de técnicas estándar más antiguas.

El estudio destaca un cambio significativo en la forma en que estos sistemas pueden construirse. Al permitir que las palabras controlen el procesamiento de otras palabras a través de estas puertas agregadas, el investigador encontró una manera de crear modelos que son tanto potentes como, en el caso de Wango, eficientes. El modelo TANGO demostró que un paso único y unificado para reunir y refinar la información puede superar el rendimiento del proceso tradicional de dos pasos, incluso cuando el modelo se ve obligado a realizar más trabajo matemático. Mientras tanto, el modelo Wango demostró que este alto nivel de rendimiento no tiene por qué venir a costa de la velocidad; al resumir la información más antigua de manera inteligente, mantuvo una alta precisión mientras mantenía el costo computacional manejable. El investigador fue cuidadoso al señalar que estos hallazgos se basan en la capacidad de los modelos para predecir la siguiente palabra en una secuencia, una medida estándar de la comprensión del lenguaje, y no pretendían afirmar que los modelos pudieran necesariamente resolver los problemas matemáticos o escribir las pruebas por sí solos. Sin embargo, los resultados sugieren que esta nueva forma de gestionar la información mediante puertas ofrece un camino prometedor para construir una IA que pueda comprender el lenguaje complejo y los contextos largos con mayor precisión y eficiencia.

Resumen Técnico: TANGO y WANGO

Planteamiento del Problema

Las arquitecturas Transformer estándar separan la interacción entre tokens (gestionada por la auto-atención) de la transformación no lineal por posición (gestionada por las redes de alimentación hacia adelante o feed-forward). Esta separación requiere dos subcapas distintas por bloque. Aunque es efectiva, este diseño puede ser subóptimo para la eficiencia y la utilización de parámetros. Además, los modelos de secuencia de complejidad lineal existentes suelen depender de aproximaciones que pueden sacrificar la riqueza de la interacción entre tokens o requerir mecanismos de compuerta (gating) complejos que no integran plenamente la transformación no lineal con el mecanismo de atención.

Metodología

Arquitectura Central: Operadores de Compuerta No Lineal Agregados por Token (TANGO)

El artículo introduce TANGO, un bloque de decodificador que reemplaza las subcapas estándar de auto-atención y de alimentación hacia adelante por una única actualización residual con compuerta de agregación de tokens (cross-token gated residual update).

Compuerta SwiGLU Condicionada por la Fuente:
- A diferencia de una SwiGLU (Swish-Gated Linear Unit) convencional donde una compuerta y las características se computan a partir del mismo token, TANGO permite que una compuerta computada en una posición de origen ( $x_j$ ) module las características proyectadas en una posición de destino ( $x_i$ ).
- Cada posición $i$ produce un vector de compuerta $g_i = \text{SiLU}(W_g x_i)$ y un vector de características proyectadas $v_i = W_v x_i$ .
- Para un destino $i$ , el modelo computa un promedio ponderado dependiente del contenido de los vectores de compuerta de todos los orígenes causalmente visibles ( $j \le i$ ), denotado como $\bar{g}_i$ .
- La actualización residual se computa como:
  $h^+_i = h_i + W_o(\bar{g}_i \odot v_i)$
- Aquí, la compuerta agregada $\bar{g}_i$ actúa como un operador de escalado diagonal sobre las características proyectadas $v_i$ del destino antes de la proyección de salida final $W_o$ .
Mecanismos de Agregación de Pesos:
El artículo propone dos variantes que difieren en cómo se computan los pesos para agregar los orígenes:
- TANGO (Full-Prefix): Computa los pesos de softmax basados en similitudes de coseno escaladas entre cada destino y cada origen causalmente visible. Esto resulta en una complejidad cuadrática ( $O(T^2)$ ) con respecto a la longitud de la secuencia $T$ .
- WANGO (Agregación por Ventana): Una variante de complejidad lineal ( $O(T)$ $O (T)$ para dimensiones de ventana/características fijas).
  - Fuentes Recientes (Ventana): Utiliza los mismos puntajes de similitud de coseno exponencial que TANGO para los orígenes dentro de una ventana de retraso $L_i$ .
  - Fuentes Antiguas (Prefijo): Utiliza un mapa de características positivo determinista $\phi(u)$ para computar los puntajes. Esto permite al modelo mantener sumas acumulativas de las claves transformadas y sus productos exteriores con los vectores de compuerta. La contribución de los orígenes más antiguos se computa mediante estas sumas acumulativas, evitando la necesidad de reevaluar todos los pares pasados.

Configuración Experimental

El autor compara TANGO y WANGO contra cuatro líneas de base (baselines):

Recurrent Transformer++: Un bloque Transformer estándar reutilizado cuatro veces con parámetros compartidos.
Untied Transformer++: Cuatro bloques parametrizados de forma independiente.
Full-attention GAU (Gated Attention Unit): Cuatro bloques independientes que utilizan atención de par completo (pairwise attention).
FLASH: Cuatro bloques independientes que combinan la atención de par local con un resumen de atención lineal global.

Restricciones:

Todos los modelos están emparejados por recuento de parámetros de no-embedding (aprox. 44.3M de parámetros distintos).
Los modelos se entrenaron con órdenes de datos, semillas de inicialización y presupuestos de entrenamiento idénticos.
Los experimentos se realizan en FineWeb-Edu (lenguaje natural), Lean (pruebas formales y código fuente) y DeepMind Mathematics.
Las comparaciones se realizan tanto con aplicaciones secuenciales de 4 como de 8 bloques.

Contribuciones Clave

Modelo TANGO: Introduce un bloque unificado que reemplaza la auto-atención y las redes de alimentación hacia adelante con una única actualización con compuerta donde los tokens de origen producen compuertas SwiGLU que modulan las características del destino.
Modelo WANGO: Desarrolla una variante de complejidad lineal que retiene las interacciones de par exactas dentro de una ventana local y utiliza sumas de prefijo de mapas de características para los orígenes más antiguos, manteniendo la misma parametrización que TANGO.
Comparación Rigurosa: Proporciona una comparación controlada de seis arquitecturas bajo recuentos de parámetros, objetivos de entrenamiento y orden de datos estrictamente emparejados, aislando los efectos del diseño arquitectónico de la varianza del entrenamiento.

Resultados

Rendimiento en Benchmarks

FineWeb-Edu:
- TANGO logró el menor log-verosimilitud negativa (NLL) de validación promedio en general (3.293).
- WANGO logró el NLL más bajo entre todas las arquitecturas con escalado de longitud de secuencia lineal (3.355), superando tanto a FLASH (3.465) como a Recurrent Transformer++ (3.392).
- Notablemente, Wango logró un NLL inferior al de Recurrent Transformer++ con un recuento de operaciones de multiplicación-acumulación (MAC) analíticas casi idénticas (1.90T vs 1.94T para una secuencia de 8,192 tokens).
Lean (Código Fuente y Completación de Pruebas):
- TANGO obtuvo el NLL conjunto más bajo (1.719) y el NLL más bajo tanto para el modelado de código fuente como para la completación de pruebas por separado.
- WANGO (2.271) superó a FLASH (2.377), pero no superó a Recurrent Transformer++ (2.530) en el experimento de 4 bloques; sin embargo, en el experimento de 8 bloques, WANGO (2.231) sí superó a Recurrent Transformer++ (2.364).
DeepMind Mathematics:
- TANGO logró el NLL de validación más bajo (0.473).
- WANGO (0.487) funcionó mejor que Recurrent Transformer++ (0.537) y Untied Transformer++ (0.556).

Complejidad Computacional

TANGO: Cuadrática en la longitud de la secuencia ( $O(T^2)$ ). Para una secuencia de 8,192 tokens, requiere ~9.44T MACs.
WANGO: Lineal en la longitud de la secuencia ( $O(T)$ ) para dimensiones fijas. Para la misma secuencia, requiere ~1.90T MACs.
Recurrent Transformer++: Complejidad cuadrática pero con menos MACs que TANGO (~1.94T) debido al uso compartido de parámetros y la falta de agregación de compuerta de interacción de tokens completa.

Significado y Reivindicaciones

El artículo afirma que TANGO logra la verosimilitud de validación de vanguardia (state-of-the-art) entre las arquitecturas probadas en tareas de lenguaje natural, código formal y razonamiento matemático en la escala de parámetros evaluada.

El autor enfatiza que WANGO demuestra que los modelos de complejidad lineal pueden superar a las bases de complejidad cuadrática (como Recurrent Transformer++) cuando se igualan los recuentos de operaciones analíticas y el tamaño de los parámetros, específicamente en FineWeb-Edu. Específicamente, la capacidad de WANGO para agregar compuertas SwiGLU mediante sumas acumulativas le permite mantener un alto rendimiento con escalado lineal.

El autor establece explícitamente las limitaciones de sus afirmaciones:

Los resultados se basan en el NLL de validación bajo teacher forcing y no miden la precisión de la respuesta generada, las tasas de aceptación de pruebas o la velocidad de entrenamiento en tiempo real (wall-clock speed).
Los experimentos no establecen leyes de escala más allá del recuento de parámetros probado (aprox. 70M de parámetros totales).
El NLL más bajo de TANGO no debe interpretarse como una ventaja de velocidad o memoria, ya que incurre en costos computacionales significativamente mayores que WANGO o Recurrent Transformer++.

En resumen, el artículo presenta un nuevo bloque arquitectónico que unifica los mecanismos de atención y de alimentación hacia adelante mediante la compuerta de interacción entre tokens, demostrando que este enfoque produce una verosimilitud predictiva superior, ofreciendo una variante de complejidad lineal (WANGO) como una alternativa competitiva para aplicaciones de contexto largo.