🤖 machine learning

A Constrained Optimization Perspective of Unrolled Transformers

Este artículo propone un marco de optimización restringida que impone restricciones de descenso por capas mediante un esquema de entrenamiento primal-dual, permitiendo que los transformers disminuyan la pérdida de forma monótona a través de las capas y logren una mayor robustez y generalización fuera de la distribución mientras mantienen el rendimiento dentro de la distribución.

Autores originales: Javier Porras-Valenzuela, Samar Hadou, Alejandro Ribeiro

Publicado 2026-07-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Javier Porras-Valenzuela, Samar Hadou, Alejandro Ribeiro

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un estudiante a resolver un rompecabezas complejo. En un aula estándar (entrenamiento de IA tradicional), le muestras al estudiante la respuesta final y le dices: "Acércate a esta respuesta". El estudiante podría dar unos pasos hacia adelante, luego accidentalmente dar un paso hacia atrás, luego hacia adelante otra vez, zigzagueando salvajemente hasta que finalmente tropieza con la solución. Podría llegar allí, pero su camino fue desordenado e inestable.

Este artículo propone una forma diferente de enseñar: La Regla del "Paso a Paso".

Los autores, Javier Porras-Valenzuela, Samar Hadou y Alejandro Ribeiro, sugieren que, en lugar de solo mirar la respuesta final, debemos obligar al estudiante a mejorar su posición en cada uno de los pasos del proceso. Si el estudiante da un paso que hace el rompecabezas más difícil o no lo acerca más a la solución, le decimos: "No, inténtalo de nuevo".

Aquí está el desglose de su idea utilizando analogías sencillas:

1. El Problema: El Estudiante que "Zigzaguea"

Los modelos de IA estándar (Transformers) son como esos estudiantes que zigzaguean. Están compuestos por muchas capas (como los pisos de un edificio). A medida que los datos se mueven desde el piso inferior al superior, el modelo intenta corregir errores. Sin embargo, a veces el modelo se confunde en los pisos intermedios. Podría hacer que los datos parezcan peores antes de que mejoren. Esto es como un excursionista que, mientras intenta subir una montaña, accidentalmente camina hacia un valle antes de encontrar el camino hacia arriba.

Este "zigzagueo" hace que el modelo sea frágil. Si le das un input ligeramente diferente o con ruido (como una foto borrosa o una frase con un error tipográfico), podría perderse por completo porque no fue entrenado para manejar los baches en el camino.

2. La Solución: La Regla de la "Descendencia Monotónica"

Los autores introducen un nuevo método de entrenamiento llamado Optimización Restringida. Piensa en esto como un entrenador estricto que está parado en cada piso del edificio.

La Regla: "Debes estar al menos un 10% más cerca de la solución en este piso de lo que estabas en el piso de abajo".
La Analogía: Imagina una pelota rodando por una colina. Un modelo estándar podría rodar hacia abajo, golpear un bache, rodar un poco hacia arriba y luego rodar hacia abajo de nuevo. El modelo de los autores es como una pelota en un tobogán perfectamente liso y empinado. Debe bajar en cada momento. Nunca vuelve a subir.

Ellos llaman a esto "Desenrollar" (Unrolling) el transformer. Usualmente, "desenrollar" significa construir una red neuronal específicamente para resolver un problema matemático. Aquí, están tomando una arquitectura de IA estándar y existente y forzándola a comportarse como un algoritmo de descenso perfecto y paso a paso.

3. Cómo lo Hacen: La Danza "Primal-Dual"

Entrenar un modelo con esta estricta regla de "no retroceder" es matemáticamente difícil. Es como intentar enseñarle a un perro a sentarse mientras también te aseguras de que no ladre, mientras también te aseguras de que se mantenga dentro de una valla específica.

Los autores utilizan un truco matemático ingenioso llamado Entrenamiento Primal-Dual:

El Primal (El Estudiante): El modelo de IA intenta aprender la tarea (como clasificar texto o limpiar un video).
El Dual (El Entrenador): Un conjunto separado de números (llamados multiplicadores de Lagrange) actúa como un árbitro estricto. Si la IA intenta dar un paso que viola la regla de "no retroceder", el Entrenador aplica una penalización.
La Danza: Se entrenan juntos. La IA intenta mejorar y el Entrenador ajusta las penalizaciones para asegurar que la IA siga las reglas. El artículo afirma que esta danza es muy eficiente y no ralentiza mucho a la computadora.

4. Los Resultados: El Modelo "Robusto"

El artículo probó este método en dos tareas principales: Clasificación de Texto (comprender el lenguaje) y Eliminación de Ruido en Video (limpiar video granulado).

La Prueba de "Ruido": Probaron los modelos añadiendo "ruido" (como estática en una televisión o errores tipográficos en una oración).
- El Modelo Estándar: Cuando el ruido era alto, el rendimiento del modelo estándar colapsaba. Era como una casa de naipes cayéndose ante una brisa.
- El Modelo Restringido: Cuando el ruido era alto, este modelo no colapsaba. Se degradaba de forma gradual, como un árbol robusto que se dobla ante el viento pero no se rompe. Siguió funcionando incluso cuando el input era desordenado.
La Prueba de "Fuera de Distribución" (Out-of-Distribution): Probaron los modelos con datos que nunca habían visto antes (como un modelo RoBERTa entrenado en reseñas de películas pero probado en un tipo de texto diferente). El modelo restringido mantuvo su posición mucho mejor que el estándar.

5. Por qué esto Importa (Según el Artículo)

El artículo no afirma que esto curará enfermedades o construirá coches autónomos de inmediato. En cambio, afirma que resuelve un problema específico: Robustez.

Al obligar a la IA a mejorar en cada paso de su proceso de pensamiento, el modelo se vuelve:

Más Estable: No se confunde por pequeños errores en el input.
Más Confiable: Funciona mejor con datos que no ha visto antes (Fuera de Distribución).
Predecible: Sabemos exactamente cómo se comporta el modelo a medida que procesa la información porque sigue un camino estricto de "descenso".

En resumen, los autores tomaron una herramienta de IA poderosa pero a veces caótica y le añadieron un "riel de seguridad" que la obliga a avanzar de manera constante, haciéndola mucho más resistente ante el ruido y el caos del mundo real.

Resumen Técnico: Una Perspectiva de Optimización Restringida de los Transformers Desenrollados

Planteamiento del Problema

Si bien la literatura reciente ha interpretado las arquitecturas Transformer como algoritmos de descenso iterativos que resuelven problemas de optimización (e.g., Yang et al., 2022; De Weerdt et al., 2023), el entrenamiento estándar mediante Minimización del Riesgo Empírico (ERM) a menudo falla en imponer el comportamiento de descenso monotónico esperado de tales optimizadores. Cuando se entrenan con ERM, las representaciones intermedias de los Transformers desenrollados no necesariamente disminuyen la función de pérdida de forma monotónica a través de las capas. Esta inconsistencia surge porque el entrenamiento estándar no garantiza que los parámetros aprendidos satisfagan las condiciones requeridas para la minimización de la energía, ni tiene en cuenta la naturaleza bilineal del entrenamiento de arquitecturas desenrolladas. En consecuencia, estos modelos pueden exhibir patrones de pérdida no monotónicos y una reducción en la robustez ante perturbaciones de entrada y cambios de distribución.

Metodología

Los autores proponen un marco que trata el entrenamiento del Transformer como un problema de aprendizaje restringido. En lugar de minimizar la pérdida promedio sobre la salida de toda la red, el método impone que la pérdida esperada disminuya monótonamente en cada capa.

1. Formulación Restringida

La contribución central es la formulación de un problema de optimización restringida donde se requiere que la salida de cada capa $l$ reduzca la pérdida esperada $f$ por un factor $(1 - \alpha_l)$ en relación con la capa anterior $l-1$ :
$\begin{aligned} T^* = \arg\min_{T} \quad & \mathbb{E}[f(X, \Phi(X; T))] \\ \text{sujeto a} \quad & \mathbb{E}[f(X, \Phi_l(X; T))] \leq (1 - \alpha_l) \mathbb{E}[f(X, \Phi_{l-1}(X; T))], \quad \forall l \end{aligned}$
Aquí, $\Phi_l$ representa la salida de la capa $l$ , y $\alpha_l$ es un esquema de tamaño de paso (stepsize schedule). Esta formulación obliga al Transformer a comportarse como un algoritmo de descenso, asegurando que las representaciones intermedias mejoren progresivamente el objetivo.

2. Algoritmo de Entrenamiento Primal-Dual

Para resolver este problema restringido no convexo, los autores emplean un esquema de entrenamiento primal-dual en el dominio dual. Construyen una función Lagrangiana:
$\mathcal{L}(T, \lambda) = \mathbb{E}[f(X, \Phi(X; T))] + \sum_{l=1}^L \lambda_l \mathbb{E}[f(X, \Phi_l(X; T)) - (1 - \alpha_l)f(X, \Phi_{l-1}(X; T))]$
El procedimiento de entrenamiento (Algoritmo 1) alterna entre:

Actualización Primal: Minimización de la Lagrangiana empírica con respecto a los parámetros del Transformer $T$ utilizando el descenso de gradiente estocástico.
Actualización Dual: Maximización de la función dual con respecto a los multiplicadores de Lagrange $\lambda$ utilizando el ascenso de gradiente proyectado.

Los autores aprovechan resultados recientes que muestran que las redes neuronales profundas exhiben brechas de dualidad pequeñas (Chamon et al., 2023), permitiendo que el problema dual produzca soluciones casi óptimas y casi factibles. Para asegurar la factibilidad estricta, se introduce una relajación resiliente con una variable de holgura y una penalización cuadrática.

Principales Contribuciones

El artículo describe cuatro contribuciones primarias:

Formulación de Aprendizaje Restringido: Los autores formulan un problema de aprendizaje donde las capas del Transformer están explícitamente restringidas para reducir la pérdida esperada de forma monotónica, divergiendo del ERM estándar.
Algoritmo de Entrenamiento Dual y Garantías de Convergencia: Desarrollan un algoritmo de entrenamiento primal-dual y proporcionan garantías teóricas (Teorema 2) de que el Transformer desenrollado restringido converge asintóticamente al valor óptimo de la pérdida estadística. Además, establecen garantías de generalización fuera de la distribución (OOD) (Teorema 4), demostrando que las propiedades de descenso se mantienen bajo cambios de distribución.
Robustez a Perturbaciones en Embeddings: En tareas de clasificación de texto (IMDb, MNLI), los autores demuestran que los modelos restringidos mantienen una mayor precisión bajo perturbaciones gaussianas, uniformes y discretas en los embeddings de los tokens en comparación con los modelos base no restringidos.
Robustez en la Reducción de Ruido de Video: Aplicado a la reducción de ruido de video (CUHK Avenue, UCSD, ShanghaiTech), el método produce modelos que son más robustos a niveles de ruido OOD, medidos por el Error Cuadrático Medio (RMSE), preservando al mismo tiempo el rendimiento dentro de la distribución.

Resultados Experimentales

Los autores evaluaron su método tanto en Transformers pre-entrenados convencionales (DistilBERT, RoBERTa, Llama 3.1) como en arquitecturas desenrolladas (Deep Unrolled Sequential Transformer - DUST, Unrolled Transformer - UT).

Descenso Monotónico: Los modelos restringidos exhibieron disminuciones monótonas suaves en la pérdida por capa, mientras que los modelos base no restringidos mostraron patrones no monotónicos con picos (por ejemplo, un pico en la capa 19 en RoBERTa).
Robustez OOD:
- Clasificación de Texto: A medida que aumentaban los niveles de perturbación ( $\gamma$ ), los modelos restringidos se degradaban de forma más gradual. Por ejemplo, en RoBERba con IMDb, el modelo restringido retuvo una precisión significativamente mayor bajo altos niveles de ruido en comparación con la versión no restringida.
- Reducción de Ruido de Video: Los modelos restringidos alcanzaron consistentemente un RMSE más bajo bajo altos niveles de perturbación de prueba ( $\gamma \geq 1.0$ ) en varios conjuntos de datos y arquitecturas.
- Ajuste Fino de LLM: En Llama 3.1 8B, el modelo restringido mantuvo el rendimiento dentro de la distribución (50% de tasa de victoria en AlpacaEval sin ruido) mientras superaba significativamente al modelo no restringido bajo ruido (69.93% de tasa de victoria con $\gamma=1.5$ ).
Compromisos (Trade-offs): El método generalmente preservó el rendimiento dentro de la distribución con una degradación insignificante (a menudo < 0.3%), lo que sugiere que imponer restricciones de descenso no sacrifica la precisión estándar por la robustez.

Significado y Reivindicaciones

El artículo sostiene que imponer restricciones de descenso alinea la dinámica interna de los Transformers con las propiedades de estabilidad de los algoritmos de optimización clásicos. Esta alineación proporciona una base teórica y empírica para una mejor robustez contra perturbaciones de entrada y cambios de distribución.

Los autores posicionan este trabajo como un puente entre el desenrollado algorítmico (donde las redes resuelven problemas de optimización) y el aprendizaje restringido. Argumentan que, al entrenar explícitamente a los Transformers para que desciendan, se puede lograr modelos que sean inherentemente más robustos al ruido, una propiedad particularmente valiosa para aplicaciones que involucran la privacidad diferencial local, donde las perturbaciones de entrada son necesarias para la privacidad del usuario. El trabajo sugiere que la perspectiva "desenrollada" no es meramente una interpretación teórica, sino un objetivo de entrenamiento práctico que produce mejoras tangibles en la generalización y la robustez sin requerir cambios arquitectónicos.