🤖 machine learning

Length Generalization with Log-Depth Recurrent Units

El artículo presenta MLP-LDRU, una unidad recurrente de profundidad logarítmica que aproxima la recurrencia mediante reducción paralela para lograr una generalización de longitud casi perfecta en tareas de lenguajes regulares y un rendimiento competitivo en benchmarks más amplios, abordando eficazmente los sesgos posicionales de los modelos recurrentes y las limitaciones de profundidad de los transformadores.

Autores originales: Charles Pert, Dalal Alrajeh, Alessandra Russo

Publicado 2026-05-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Charles Pert, Dalal Alrajeh, Alessandra Russo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: La "Memoria Corta" de la IA

Imagina que estás enseñando a un niño a contar. Si solo practicas contar hasta 10, el niño podría confundirse cuando se le pide contar hasta 100. No ha aprendido la regla de contar; simplemente ha memorizado los primeros diez números.

En el mundo de la Inteligencia Artificial (redes neuronales), esto se llama el problema de la Generalización de Longitud.

RNN (La vieja escuela): Piensa en ellas como una carrera de relevos donde el testigo se pasa de una persona a la vez. Si la carrera es larga, el primer corredor tiene que esperar mucho tiempo para que el testigo regrese. Se cansan (olvidan cosas) para cuando la carrera termina.
Transformers (Los gigantes modernos): Piensa en ellos como un grupo de personas de pie en un círculo, gritando todos a la vez. Pueden escucharse inmediatamente, pero si el círculo se vuelve demasiado enorme, el ruido se vuelve caótico y luchan por entender el patrón si el tamaño del grupo cambia respecto a lo que practicaron.

Ambos luchan cuando se les pide manejar secuencias (como frases o código) que son mucho más largas que las que vieron durante el entrenamiento.

La Solución: El "Árbol Equilibrado" (MLP-LDRU)

Los autores proponen un nuevo modelo llamado MLP-LDRU. Para entender cómo funciona, imagina que tienes una pila de 8 libros y quieres encontrar el peso total de todos ellos.

La Vieja Forma (RNN): Tomas el Libro 1, luego sumas el Libro 2, luego sumas el Libro 3, y así sucesivamente, uno por uno. Esto toma mucho tiempo, y el primer libro se "olvida" para cuando llegas al final.
La Nueva Forma (MLP-LDRU): Emparejas los libros.
1. Empareja (Libro 1 + Libro 2) y (Libro 3 + Libro 4) y (Libro 5 + Libro 6) y (Libro 7 + Libro 8).
2. Ahora tienes 4 pares. Empareja de nuevo: (Par 1 + Par 2) y (Par 3 + Par 4).
3. Ahora tienes 2 grupos. Empareja una última vez para obtener la respuesta final.

Esto se llama una Reducción de Profundidad Logarítmica. Es como un árbol equilibrado. No importa cuántos libros tengas, todos llegan a la meta en aproximadamente la misma cantidad de tiempo. El primer libro no está "cansado" porque no tuvo que esperar a que el último libro fuera procesado primero.

El Secreto: El "Pegamento Mágico"

El artículo introduce un "pegamento" especial (un operador matemático) utilizado para combinar estos pares. Los autores diseñaron este pegamento para actuar como matemática asociativa.

Asociatividad significa que el orden de agrupación no importa. $(A + B) + C$ es lo mismo que $A + (B + C)$ .
Los autores forzaron a su "pegamento" a comportarse así. Al enseñarle a la IA que "la agrupación no importa", la IA aprende la regla subyacente de la secuencia en lugar de simplemente memorizar posiciones específicas.

Los Experimentos: La "Prueba de Gramática"

Para probar esto, los autores no usaron lenguaje real desordenado (que es difícil de medir). En su lugar, usaron Lenguajes Regulares.

Analogía: Imagina un robot estricto que solo acepta frases que siguen una regla gramatical perfecta y simple (como "cada 'A' debe ir seguida de una 'B'").
Crearon 21 acertijos gramaticales diferentes. Algunos eran fáciles (como verificar si un número es par), y otros eran difíciles (como mantener el rastro de paréntesis anidados, similar a equilibrar un talonario de cheques).
También inventaron un nuevo acertijo llamado Lenguajes de Prefijo. Esto es como un juego donde las primeras pocas palabras determinan todo el resultado, pero el resto de la frase es solo ruido. Prueba si la IA puede recordar el principio mientras ignora el medio.

Los Resultados: La "Puntuación Perfecta"

Los resultados fueron impresionantes:

El Campeón: El modelo MLP-LDRU obtuvo un 100% de precisión en 18 de los 21 acertijos, incluso cuando las frases de prueba eran de 10 a 12 veces más largas que las frases de entrenamiento.
Venciendo a los Gigantes: Superó a los Transformers estándar y a las RNN más antiguas, que a menudo fallaban completamente cuando las frases se volvían demasiado largas.
El "Por qué": Los autores descubrieron que el modelo falló en los pocos acertijos restantes no porque la estructura de "árbol" fuera incorrecta, sino porque los datos de entrenamiento no mostraron a la IA suficientes tipos de combinaciones. Es como practicar matemáticas solo con números pares; cuando finalmente obtienes un número impar, te quedas atascado. El modelo necesitaba ver más variedad en las "combinaciones" para dominar la regla.

Más Allá de la Gramática: La Prueba de "Lista"

También probaron el modelo en ListOps, una tarea que involucra listas anidadas (como una receta dentro de una receta dentro de una receta).

Aunque los modelos especializados "de estructura arbórea" fueron ligeramente mejores en esto, el MLP-LDRU aún funcionó muy bien, superando a los Transformers estándar y a las LSTM.
También lo probaron en clasificación de texto estándar (como ordenar artículos de noticias), donde funcionó de manera competitiva, mostrando que esta idea de "árbol equilibrado" funciona incluso fuera de reglas gramaticales estrictas.

La Conclusión

El artículo argumenta que para crear una IA que pueda manejar secuencias largas de manera confiable, no debemos simplemente hacer el modelo más grande. En su lugar, debemos cambiar cómo procesa la información. Al usar una estructura de árbol equilibrado y forzar al modelo a aprender reglas asociativas (donde el orden de agrupación no importa), la IA puede generalizar a longitudes que nunca ha visto antes, muy parecido a un niño que entiende el concepto de contar puede contar hasta un millón incluso si solo practicó hasta 10.

Resumen Técnico: Generalización de Longitud con Unidades Recurrentes de Profundidad Logarítmica

Enunciado del Problema

La generalización a longitudes de secuencia fuera de distribución (OOD) sigue siendo un desafío central en el modelado neuronal. Las arquitecturas existentes presentan limitaciones distintas en este dominio:

Redes Neuronales Recurrentes (RNN): Aunque ofrecen computación adaptable a la longitud, sufren de un sesgo posicional donde los tokens anteriores experimentan más pasos recurrentes que los posteriores, lo que conduce a problemas de memoria a largo plazo y dificultades para modelar dependencias en secuencias extendidas.
Transformers: Estos modelos aplican una pila fija de capas independiente de la longitud de la secuencia. Aunque permiten computación paralela, tienden a generalizar menos de manera fiable a longitudes OOD y están limitados por una profundidad computacional fija.

El artículo postula que los lenguajes regulares proporcionan un banco de pruebas riguroso para evaluar la generalización de longitud, ya que permiten una formulación matemática precisa y una validación exacta de la corrección en cualquier longitud de secuencia, conectando directamente con la teoría de autómatas.

Metodología: MLP-LDRU

Los autores proponen MLP-LDRU (Unidad Recurrente de Profundidad Logarítmica), un tipo específico de operador binario diseñado para aproximar la recurrencia mediante reducción paralela. La hipótesis central es que aprender operadores con un sesgo explícito hacia el comportamiento asociativo e identidad puede mejorar la extrapolación de longitud.

Arquitectura y Mecanismo

Reducción de Profundidad Logarítmica: A diferencia de las RNN estándar que procesan secuencias secuencialmente (profundidad $O(n)$ ), MLP-LDRU procesa secuencias utilizando una estructura de árbol binario balanceado. Dada una secuencia de longitud $n$ , el modelo aplica un operador binario $\odot_\theta$ en paralelo a pares adyacentes durante $\lceil \log_2 n \rceil$ pasos. Esto resulta en una profundidad computacional uniforme de $O(\log n)$ para todos los tokens, mitigando el sesgo posicional mientras permite la computación paralela.
El Operador ( $\odot_\theta$ ): El operador central es una función basada en MLP diseñada para inducir un comportamiento aproximadamente asociativo.
- Toma dos incrustaciones de entrada $h_i, h_j$ y las concatena.
- Un MLP produce vectores de puerta $g_i, g_j$ .
- Estas puertas modulan las entradas mediante multiplicación elemento a elemento, seguida de proyecciones lineales aprendidas y sesgos.
- La salida final es una suma ponderada de las entradas proyectadas.
- Sesgo de Inicialización: El operador se inicializa de tal manera que las matrices de proyección son matrices identidad y los sesgos son cero. Combinado con la estructura de suma elemento a elemento, esto sesga al operador para comportarse inicialmente como una simple suma, aproximando una operación asociativa.
Manejo de Relleno (Padding): Si una longitud de secuencia es impar durante la reducción, se rellena con una incrustación cero. El operador está diseñado de tal manera que si alguna entrada es cero, la salida es la otra entrada, tratando al cero como un elemento neutro (identidad) para evitar aprender un mapa de identidad desde cero.
Complejidad: MLP-LDRU logra una complejidad de trabajo de $O(nd^2)$ (lineal en la longitud de la secuencia) con una profundidad computacional de $O(\log n)$ , en contraste con la profundidad $O(n)$ de las RNN y la complejidad de trabajo $O(n^2)$ de los Transformers estándar.

Configuración Experimental

Los autores evaluaron MLP-LDRU en:

21 Tareas de Lenguaje Regular: Incluyendo puntos de referencia estándar (por ejemplo, Verificación de Paridad, Aritmética Modular, Lenguajes Tomita, Lenguajes Dyck $D_n$ ) y una nueva clase de Lenguajes de Prefijo ( $P_{p,q}$ ) diseñados para probar el manejo de dependencias a largo plazo bajo extrapolación de longitud.
ListOps: Una tarea jerárquica para extrapolación composicional más allá de los lenguajes regulares.
Clasificación de NLP: Puntos de referencia que incluyen GLUE, AG's News y DBPedia para sondear el comportamiento en datos no regulares.

Contribuciones Clave

Propuesta de MLP-LDRU: Una Unidad Recurrente de Profundidad Logarítmica específica que utiliza un operador binario sesgado hacia la asociatividad aproximada y el manejo de identidad para inducir recurrencia secuencial mediante reducción paralela.
Introducción de Lenguajes de Prefijo: Una nueva clase de tareas regulares ( $P_{p,q}$ ) diseñada específicamente para aislar y probar el manejo de dependencias a largo plazo bajo extrapolación de longitud.
Evaluación Empírica: Pruebas exhaustivas en 21 tareas regulares, ListOps y puntos de referencia de NLP, demostrando un rendimiento superior o competitivo en comparación con RNN, Transformers y otras redes neuronales recursivas.
Análisis de Requisitos de Entrenamiento: Un análisis que vincula los fallos de generalización con una cobertura insuficiente de composiciones de clases de equivalencia (EC) en los datos de entrenamiento, sugiriendo que las longitudes de entrenamiento limitadas impiden que los modelos observen las composiciones de monoide raras requeridas para una generalización perfecta.

Resultados

Tareas de Lenguaje Regular

Rendimiento: Cuando se entrenó en secuencias de longitud 1–40, MLP-LDRU logró una precisión OOD del 100% en 18 de 21 tareas (evaluadas en longitudes 41–500) y al menos el 99.9% en las 3 restantes al aumentar la longitud máxima de entrenamiento.
Comparación: MLP-LDRU superó a todas las variantes de Transformer (incluyendo aquellas con ALiBi, NoPE y RoPE aleatorizado), Gated DeltaNet y otras líneas base en la mayoría de las tareas. Igualó o superó las capacidades de RNN y LSTM, que a menudo luchan con dependencias a largo plazo en estas tareas.
Sensibilidad del Operador: Los estudios de ablación mostraron que la elección del operador de reducción es crítica. Mientras que las sumas simples elemento a elemento o las proyecciones lineales fallaron en tareas complejas como la Aritmética Modular, el operador basado en MLP con puertas logró una generalización perfecta. Esto sugiere que, aunque la asociatividad es necesaria, también se requiere la capacidad específica de aprender composiciones complejas.

ListOps y NLP

ListOps: En tareas jerárquicas, las líneas base basadas en árboles (BBT-GRC, RIR-GRC) generalmente lograron la mayor precisión. Sin embargo, MLP-LDRU se mantuvo competitivo, superando a las líneas base de LSTM y Transformer en tamaños de conjunto de datos más grandes (500k y 1M muestras). La adición de un término de regularización de asociatividad explícita mejoró aún más el rendimiento, indicando que fomentar la asociatividad aproximada es beneficioso incluso fuera de los lenguajes regulares.
Clasificación de NLP: MLP-LDRU se desempeñó de manera competitiva con líneas base de Transformer entrenadas de manera similar en GLUE, AG's News y DBPedia, logrando la mayor precisión en DBPedia (98.6%).

Interpretabilidad y Análisis de Monoide

Clases de Equivalencia: El análisis de la tarea D6 reveló que MLP-LDRU aprende a agrupar incrustaciones de secuencia según sus clases de equivalencia (EC) correspondientes en el monoide sintáctico.
Brecha de Cobertura: Los mapas de calor de las composiciones de EC mostraron que el entrenamiento en secuencias cortas (longitud 10–40) resulta en una cobertura dispersa del espacio del monoide, perdiendo composiciones raras encontradas en secuencias más largas (longitud 480–500). Esta brecha de dispersión explica por qué los modelos entrenados en secuencias cortas no logran generalizar perfectamente a las más largas; no han estado expuestos a todas las reglas de composición necesarias.

Significado y Afirmaciones

El artículo afirma que MLP-LDRU ofrece una solución robusta a la generalización de longitud en tareas regulares aprovechando las propiedades matemáticas de los monoide. Al inducir un operador aproximadamente asociativo, el modelo puede aproximar una recurrencia secuencial mediante reducción paralela, combinando efectivamente la naturaleza adaptable a la longitud de las RNN con la eficiencia paralela de las estructuras basadas en árboles.

Los autores enfatizan que la longitud máxima de entrenamiento es el principal impulsor del rendimiento OOD. Su análisis sugiere que para lenguajes complejos, lograr una generalización del 100% requiere una exposición suficiente a todas las composiciones posibles de clases de equivalencia, lo que puede necesitar entrenar en secuencias más largas que las longitudes de prueba objetivo.

Si bien el modelo demuestra un rendimiento sólido en lenguajes regulares y resultados competitivos en tareas de NLP, los autores permanecen modestos respecto a su alcance. Señalan que, aunque los lenguajes regulares proporcionan una verificación exacta, la medida en que estas ideas se extienden a problemas composicionales más ricos bajo cambios de distribución en el lenguaje natural requiere mayor investigación. Además, identifican la necesidad de límites teóricos sobre las longitudes mínimas de entrenamiento o la complejidad de muestras requeridas para lograr una cobertura completa de las composiciones de monoide.