🤖 machine learning

Structured Recurrent Mixers for Massively Parallelized Sequence Generation

Este artículo presenta el Mezclador Recurrente Estructurado (SRM), una arquitectura novedosa que permite la conversión algebraica entre el entrenamiento paralelo y la inferencia recurrente para lograr una eficiencia de entrenamiento, capacidad de información y rendimiento de inferencia superiores en comparación con los modelos existentes de complejidad lineal, al tiempo que demuestra mejoras significativas en el rendimiento tanto en los estándares de referencia como en tareas de aprendizaje por refuerzo.

Autores originales: Benjamin L. Badger

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Benjamin L. Badger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: La "Línea de Ensamblaje" vs. La "Biblioteca"

Imagina que estás intentando escribir una historia, palabra por palabra.

Estilo Clásico (Modelos Recurrentes): Piensa en esto como un único escritor sentado en un escritorio. Escribe una palabra, la recuerda, escribe la siguiente, y así sucesivamente. Son muy eficientes recordando la historia a medida que avanzan (bajo uso de memoria), pero solo pueden escribir una palabra a la vez. Si quieres que se escriban 100 historias, tienes que esperar a que el escritor termine una antes de comenzar la siguiente.
Estándar Moderno (Transformers): Piensa en esto como una biblioteca masiva donde puedes consultar todas las palabras de una historia de una sola vez. Esto es excelente para el entrenamiento porque puedes leer el libro completo en paralelo. Sin embargo, cuando llega el momento de escribir la historia (inferencia), la biblioteca se satura. Para escribir la siguiente palabra, la biblioteca debe volver a escanear todo el libro que has escrito hasta ese momento para encontrar el contexto. A medida que la historia se hace más larga, la biblioteca se vuelve más y más lenta, y necesita una cantidad enorme de espacio (memoria) para albergar todos esos libros.

El Dilema: Queremos la velocidad de la biblioteca para el entrenamiento, pero la eficiencia del único escritor para generar texto.

La Solución: El "Mezclador Recurrente Estructurado" (SRM)

El autor introduce una nueva arquitectura llamada Mezclador Recurrente Estructurado (SRM). Puedes pensar en el SRM como un camaleón o un transformer (en el sentido de superhéroe, no en el de IA) que puede cambiar de forma dependiendo de lo que esté haciendo.

Durante el Entrenamiento (Modo Biblioteca): Cuando el modelo está aprendiendo, actúa como la biblioteca masiva. Observa toda la secuencia de palabras de una sola vez. Esto hace que el aprendizaje sea rápido y estable.
Durante la Inferencia (Modo Escritor): Cuando el modelo está generando texto, cambia instantáneamente a ser el único escritor. No necesita volver a escanear todo el libro; simplemente mantiene un "cuaderno" (caché) diminuto y de tamaño constante de lo que acaba de escribir. Esto lo hace increíblemente rápido y le permite manejar muchas historias a la vez.

El truco de magia es que las matemáticas detrás del SRM le permiten cambiar entre estos dos modos algebraicamente. Es como tener un plano que dice: "Si estamos construyendo, usamos estos ladrillos; si estamos viviendo en él, usamos estos muros", sin tener que derribar el edificio y reconstruirlo.

Por Qué Esto Importa: El "Lote" vs. La "Longitud"

El artículo hace una observación crucial sobre cómo deberíamos escalar la IA:

Escalar la Longitud (La Historia): El artículo argumenta que intentar hacer que estos modelos de "único escritor" lean libros infinitamente largos es una mala idea. Eventualmente, la memoria del escritor (el cuaderno) se llena demasiado y comienzan a olvidar detalles. Es como intentar recordar una novela de 1,000 páginas en un cuaderno de 1 página; perderás información.
Escalar el Lote (La Multitud): Sin embargo, estos modelos son increíbles manejando muchas historias diferentes al mismo tiempo. Como no necesitan una biblioteca enorme para cada historia, puedes tener 100 escritores trabajando en paralelo en 100 historias diferentes sin que tropiecen entre sí.

La Analogía: Imagina una cafetería.

Los Transformers son como una tienda con una sola máquina de espresso gigante que tarda 10 minutos en preparar un solo latte, pero puede preparar 100 tazas a la vez si tienes un mostrador enorme. A medida que el pedido se vuelve más complejo, la máquina se vuelve más lenta.
Los SRM son como una tienda con 100 baristas manuales simples y rápidos. Cada barista prepara una taza rápidamente y recuerda la receta en su cabeza. No puedes preparar un pedido de 100 tazas con un solo barista (demasiada memoria), pero puedes atender a 1,000 clientes simultáneamente utilizando 1,000 baristas diferentes.

Los Resultados: Velocidad y Volumen

El artículo probó esta nueva arquitectura y encontró números impresionantes:

Velocidad: En hardware estándar, el SRM fue 12 veces más rápido generando texto que un Transformer estándar.
Concurrencia: Podía manejar 170 veces más solicitudes simultáneas (usuarios) que un Transformer.
Precisión: Aunque era tan rápido y manejaba tantas solicitudes, no perdió su inteligencia. En pruebas de matemáticas (GSM8k), en realidad resolvió aproximadamente un 30% más de problemas que un Transformer cuando se le dio la misma cantidad de potencia informática.

El Giro del "Aprendizaje por Refuerzo"

El artículo también examinó cómo esto ayuda con el Aprendizaje por Refuerzo (enseñar a la IA mediante prueba y error).

Imagina que estás enseñando a un perro a traer una pelota.

Enfoque Estándar: Envías al perro una vez. Si falla, lo intentas de nuevo.
Enfoque SRM: Como el SRM es tan rápido, puedes enviar 50 perros al mismo tiempo. Verificas cuáles atraparon la pelota y solo recompensas a los ganadores.

El artículo encontró que al generar muchas muestras a la vez y usar un truco especial de "remuestreo" (asegurándose de tener suficientes ejemplos "buenos" de los que aprender), el SRM aprendió mucho mejor que los modelos que solo intentaron unas pocas veces.

Resumen

El Mezclador Recurrente Estructurado es un nuevo diseño de IA que obtiene lo mejor de ambos mundos:

Aprende de manera eficiente como una computadora paralela moderna.
Genera texto de manera eficiente como un escritor simple y ligero en memoria.
Está diseñado para manejar multitudes masivas de usuarios simultáneamente, lo cual se vuelve más importante a medida que la IA pasa de "una gran respuesta" a "muchas respuestas rápidas".

El artículo concluye que, aunque a menudo intentamos hacer que la IA sea más inteligente haciéndole leer libros más largos, deberíamos enfocarnos en hacerla más rápida manejando muchas tareas diferentes a la vez, y el SRM es la herramienta perfecta para ese trabajo.

Resumen Técnico: Mezcladores Recurrentes Estructurados para la Generación de Secuencias Masivamente Paralelizada

Declaración del Problema

El campo del modelado del lenguaje ha cambiado de arquitecturas recurrentes (RNN, LSTM) a modelos no recurrentes y paralelos en secuencia (Transformers) para lograr eficiencia y estabilidad en el entrenamiento. Sin embargo, este cambio incurre en un costo significativo durante la inferencia: los Transformers requieren memoria $O(n)$ y generación secuencial de tokens, lo que conduce a un menor rendimiento y concurrencia de inferencia en comparación con los modelos recurrentes. Por el contrario, aunque los modelos recurrentes ofrecen $O(1)$ de memoria por muestra y una generación secuencial eficiente, históricamente han luchado con la eficiencia y estabilidad del entrenamiento, y a menudo fallan al escalar efectivamente a longitudes de contexto largas debido a los límites de compresión de información.

Los enfoques híbridos (por ejemplo, Mamba, Redes Delta con Puertas) intentan cerrar esta brecha, pero a menudo dependen de kernels especializados de dispositivos y aún enfrentan problemas de escalado de caché. Además, para tareas donde las salidas pueden verificarse rápidamente (por ejemplo, generación de código, pruebas matemáticas), el paradigma de "precisión por computación" sugiere que generar muchas muestras a partir de modelos más pequeños y rápidos puede ser más eficiente que generar menos muestras a partir de modelos más grandes y precisos. El artículo postula que los modelos recurrentes no son adecuados para escalar la longitud de la secuencia para entradas ricas en información, pero son idealmente adecuados para escalar en la dimensión del lote (muestra) debido a su huella de memoria constante por muestra.

Metodología: Mezcladores Recurrentes Estructurados (SRM)

Los autores introducen el Mezclador Recurrente Estructurado (SRM), una arquitectura diseñada para convertir algebraicamente entre una representación paralela en secuencia (para el entrenamiento) y una representación recurrente (para la inferencia) sin requerir kernels especializados ni gestión de memoria específica del dispositivo.

Arquitectura Central

Los SRM se basan en el Mezclador Enmascarado, una arquitectura similar a los Transformers donde la atención se reemplaza por Perceptrones Multicapa (MLP) enmascarados. La innovación clave reside en la parametrización de las matrices de mezcla de tokens:

Mapeo de Características Cualitativas: El análisis de Mezcladores Enmascarados entrenados reveló que las matrices de mezcla de tokens eficientes exhiben características cualitativas específicas: columnas con valores casi idénticos, filas con valores casi idénticos y un decaimiento de pesos que aumenta con la distancia desde la diagonal principal.
Restricciones Estructurales: Para permitir la conversión algebraica a una forma recurrente, los SRM restringen las matrices de mezcla de tokens a estructuras de repetición de filas o repetición de columnas.
- Repetición de Filas: Las filas contienen elementos idénticos.
- Repetición de Columnas: Las columnas contienen elementos idénticos.
- Decaimiento: Se aplica una constante de decaimiento entrenable $\lambda$ a los elementos diagonales o fuera de la diagonal para gestionar la retención de información.
Conversión Algebraica: Estas restricciones permiten que la multiplicación de matrices $Y = XM + B$ se reescriba como una operación recurrente de memoria fija (Ecuación 2 y 3 en el artículo). El estado oculto recurrente (caché) se convierte en un término de suma simple, requiriendo solo memoria constante ( $O(d)$ ) independientemente de la longitud de la secuencia.
Cabezas Híbridas: La arquitectura emplea "cabezas mixtas", donde la mitad de las cabezas utilizan matrices de repetición de filas y la mitad utilizan matrices de repetición de columnas, combinadas mediante proyecciones lineales. Se encontró que esta configuración ofrece el mejor equilibrio entre eficiencia de entrenamiento y retención de información.

Entrenamiento e Inferencia

Entrenamiento: Los SRM se entrenan utilizando paralelismo en secuencia (desplazamiento de tokens) similar a los Transformers. La complejidad cuadrática en el momento del entrenamiento se oculta efectivamente por los sobrecostos de transferencia de memoria, haciéndolos comparables en rendimiento a los Transformers para longitudes de contexto estándar.
Inferencia: El modelo cambia a una representación recurrente donde los tokens se generan uno por uno, actualizando una caché de tamaño constante. Esto elimina la necesidad de grandes cachés KV, reduciendo drásticamente los requisitos de ancho de banda de memoria.

Contribuciones Clave

Mapeo de Características Cualitativas: Un método para mapear las operaciones de mezcla de tokens de modelos de complejidad cuadrática a modelos recurrentes de complejidad lineal mediante la imposición de estructuras de repetición de filas/columnas y decaimiento.
Diseño de Arquitectura Dual: Una arquitectura que soporta paralelismo en secuencia durante el entrenamiento y paralelismo en lotes durante la inferencia, permitiendo la conversión algebraica entre ambos sin cambiar los parámetros del modelo ni las estructuras de caché.
Motor de Inferencia Optimizado: Implementación de SRM utilizando el framework Mojo/MAX, demostrando ganancias de rendimiento significativas sobre las implementaciones estándar de PyTorch.
Muestreo Balanceado para RL: Un método de remuestreo para la Optimización de Políticas Relativas Grupales (GRPO) que mantiene la exploración en el aprendizaje por refuerzo de lotes grandes asegurando una mezcla de muestras "buenas" y "malas" en el lote de entrenamiento.

Resultados Experimentales

Eficiencia de Entrenamiento

Los SRM son ligeramente menos eficientes de entrenar que los Transformers $O(n^2)$ y los Mezcladores Enmascarados por parámetro, pero son más eficientes que los modelos Mamba en diversos conjuntos de datos (FineWeb-edu, FineMath).
A diferencia de los modelos Mamba, que sufren caídas significativas en el rendimiento en hardware antiguo (por ejemplo, V100), los SRM se desempeñan de manera consistente en diferentes arquitecturas de GPU.

Rendimiento en Pruebas de Referencia

Precisión: En pruebas de referencia equivalentes en computación (IFEval, SQuAD, GSM8k, etc.), los Transformers generalmente lideran las pruebas. Los SRM superan a los modelos Mamba en la mayoría de las tareas, pero generalmente se quedan atrás de los Transformers en precisión de muestra única.
Retención de Información: Los SRM exhiben una mayor retención y capacidad de información que los modelos Mamba, comparables a los modelos de complejidad cuadrática. Sin embargo, como todos los modelos recurrentes, enfrentan pérdida de información cuando las longitudes de contexto exceden sus límites de compresión.

Rendimiento y Concurrencia de Inferencia

Rendimiento: Los SRM demuestran mejoras masivas en el rendimiento sobre los Transformers debido a la reducción de la transferencia de memoria.
- En PyTorch (V100): Los SRM logran un rendimiento 9.66x a 43.29x superior al de los Transformers dependiendo de la longitud del contexto.
- En Mojo/MAX (H100): Los SRM logran 12x el rendimiento de los Transformers inferidos mediante vLLM.
Concurrencia: Los SRM soportan tamaños de lote significativamente más grandes.
- En Mojo/MAX (H100): Los SRM logran 170x la concurrencia de los Transformers.
- Comparado con Mamba: Los SRM muestran >500x más concurrencia y ~7x más rendimiento que los modelos Mamba equivalentemente potentes.

Aprendizaje por Refuerzo y Salidas Verificables

Escalado Pass@k: Para GSM8k, los SRM siguen una ley de potencia Pass@k similar a la de los Transformers.
Eficiencia Computacional: Debido al aumento de rendimiento de 10 a 30 veces, los SRM pueden generar muchas más muestras con el mismo presupuesto computacional. El artículo reporta un aumento del 30% en Pass@k de GSM8k para los SRM en comparación con los Transformers cuando la computación se mantiene constante.
Entrenamiento RL: Utilizando muestreo balanceado, los SRM entrenados con GRPO en lotes grandes (50 muestras) logran una mayor precisión de muestra única y mejor exploración que los Transformers entrenados en lotes pequeños (5 muestras).

Significado y Afirmaciones

El artículo concluye que, aunque los modelos recurrentes son poco adecuados para escalar la longitud de la secuencia para entradas densas en información, son excepcionalmente adecuados para escalar en la dimensión del lote. La arquitectura SRM cierra con éxito la brecha entre la eficiencia de entrenamiento de los modelos cuadráticos y la eficiencia de inferencia de los modelos recurrentes.

Los autores afirman que los SRM ofrecen un camino viable para los paradigmas de "precisión por computación", particularmente para tareas con verificación rápida. Al aprovechar la huella de memoria constante de los modelos recurrentes, los SRM pueden explotar las limitaciones de la "pared de memoria" del hardware moderno de manera más efectiva que los Transformers, logrando mejoras de un orden de magnitud en el rendimiento y la concurrencia sin la necesidad de kernels especializados. El trabajo sugiere que para las tendencias futuras de hardware multihilo, arquitecturas como los SRM que maximizan las operaciones aritméticas en relación con los accesos a memoria se volverán cada vez más dominantes.