Ouroboros: Dynamic Weight Generation for Recursive Transformers via Input-Conditioned LoRA Modulation

Resumen Técnico: OUROBOROS

1. El Problema: Limitaciones de los Transformadores Recursivos

Los transformadores recursivos (o en bucle) buscan reducir la cantidad de parámetros reutilizando el mismo bloque de pesos a lo largo de múltiples pasos de profundidad (iteraciones), intercambiando parámetros por cómputo. Sin embargo, enfrentan una limitación fundamental: la uniformidad.

• Si se aplican los mismos pesos en cada paso, cada iteración realiza la misma transformación.
• A diferencia de un modelo profundo estático (donde la capa 5, la 18 y la 33 aprenden operaciones distintas), un modelo en bucle no puede componer operaciones distintas a través de la profundidad si no se modifica la dinámica de los pesos.
• Soluciones anteriores (como adaptadores estáticos por paso) son fijas durante el entrenamiento y no dependen del contenido de la entrada (un problema matemático y un poema recibirían las mismas modificaciones).

Pregunta clave: ¿Puede una pequeña red hiper (hypernetwork) observar lo que el modelo ha calculado hasta el momento y generar dinámicamente las modificaciones de pesos para el siguiente paso?

2. Metodología: La Arquitectura OUROBOROS

OUROBOROS introduce un sistema que combina tres mecanismos clave para permitir una recursión estable y dependiente de la entrada.

A. Arquitectura Dividida (Prelude / Recurrent / Coda)
El modelo base preentrenado (Qwen2.5-3B) se divide en tres secciones:

1. Prelude (8 capas): Congeladas. Mapean los embeddings de tokens a un espacio de razonamiento latente.
2. Bloque Recurrente (1 capa): Una sola capa de transformador que se ejecuta en bucle $N$ veces. Es aquí donde ocurre la modulación dinámica.
3. Coda (8 capas): Congeladas. Decodifican el espacio latente a predicciones del siguiente token.

• Nota: Las capas intermedias eliminadas (17 de 36 en total) no se descartan; su conocimiento se captura mediante inicialización SVD.

B. Bases LoRA Fijas Inicializadas con SVD
Para compensar la eliminación de capas, se calculan los residuos de los pesos de las capas eliminadas respecto a la capa recurrente. Se realiza una Descomposición en Valores Singulares (SVD) truncada sobre estos residuos promediados.

• Se generan matrices $A$ y $B$ (bases LoRA) que se congelan.
• Estas bases capturan las direcciones principales de cambio necesarias. El sistema no necesita aprender las direcciones, solo la magnitud.

C. El Controlador (Hypernetwork)
Es el núcleo de la innovación. Es una red compacta (0.7M parámetros) que:

• Entrada: Observa el estado oculto promedio ($\bar{h}$) y la incrustación del paso ($e_t$).
• Salida: Genera un vector de modulación diagonal ($\delta_k$) para cada uno de los 7 objetivos LoRA (proyecciones Q, K, V, O, Gate, Up, Down).
• Mecanismo: Aplica la actualización de pesos $\Delta W_k = \alpha \cdot B_k \cdot \text{diag}(\delta_k) \cdot A_k$.
• Ventaja: La modulación es dependiente de la entrada, permitiendo que el modelo aplique diferentes operaciones en cada paso según el contexto.

D. Estabilidad en la Recursión Profunda
Para evitar la deriva de representación y la inestabilidad en iteraciones profundas, se implementan dos mecanismos adicionales:

1. Recurrencia con Puerta (Gated Recurrence): Se reemplaza la conexión residual estándar por una puerta aprendida: $h^{(t)} = g^{(t)} \odot h^{(t)}_{new} + (1 - g^{(t)}) \odot h^{(t-1)}$. La puerta se inicializa con un sesgo de -2.0, reteniendo el 88% del estado anterior al inicio. Esto crea una "autopista de gradientes" y permite que el modelo aprenda a abrir la puerta cuando sea necesario.
2. Normalización de Capa por Paso (Per-Step LayerNorm): Cada paso de recursión utiliza su propia capa de normalización (RMSNorm) con escalas aprendibles, permitiendo que diferentes pasos operen a diferentes escalas.

3. Contribuciones Clave

1. Generación Dinámica de Pesos: Un controlador que produce modulación LoRA condicionada al estado oculto, superando a los adaptadores estáticos.
2. Iniciación SVD Eficiente: Uso de bases LoRA fijas derivadas de residuos de capas eliminadas, minimizando los parámetros entrenables.
3. Necesidad de la Puerta de Recurrencia: Demostración empírica de que sin la puerta (gated recurrence), la aplicación iterativa degrada el rendimiento.
4. Eficiencia de Parámetros: El sistema completo añade solo 9.2M parámetros entrenables (0.6% del modelo base) frente a los miles de millones congelados.
5. Análisis de Generalización: Identificación honesta de que, aunque mejora la pérdida en la distribución de entrenamiento, la generalización a texto no visto aún no se logra debido a las capas finales congeladas.

4. Resultados Experimentales

Los experimentos se realizaron sobre Qwen2.5-3B (36 capas) reducido a 17 capas activas (8 Prelude + 1 Recurrente x N + 8 Coda).

• Reducción de Pérdida: OUROBOROS reduce la pérdida de entrenamiento en un 43.4% en comparación con la línea base de 17 capas sin recursión. Recupera el 51.3% de la brecha de rendimiento respecto al modelo completo de 36 capas.
• Superioridad sobre LoRA Estático:
  • En profundidad 1, OUROBOROS supera a la variante con LoRA estático por 1.44 puntos de pérdida.
  • Mantiene la ventaja en todas las profundidades probadas (1, 4, 8, 16) y rangos (8, 32, 64).
• Robustez a Hiperparámetros: El sistema converge a una pérdida casi idéntica (≈5.08) independientemente de la profundidad, el rango o la tasa de aprendizaje, sugiriendo un "atractor" estable durante la optimización.
• Importancia de la Puerta: En experimentos de ablación, eliminar la puerta de recurrencia hizo que el modelo fuera estrictamente peor que el modelo base (aumento de pérdida de 0.20), mientras que con la puerta la pérdida disminuyó drásticamente (3.49 puntos).
• Limitación de Generalización: En datos de prueba (held-out text), OUROBOROS no superó a la línea base de 17 capas. El controlador optimiza la distribución de entrenamiento, pero las capas de "Coda" congeladas no pueden adaptarse a los cambios en la distribución de estados ocultos generados por el controlador.

5. Significado y Conclusión

OUROBOROS demuestra que es posible crear transformadores recursivos altamente eficientes que no sufren de la limitación de "uniformidad" de los pesos compartidos. Al combinar una modulación dinámica dependiente de la entrada con una inicialización inteligente de bases fijas (SVD) y mecanismos de estabilidad (puertas), se logra un rendimiento cercano a modelos mucho más grandes con una fracción mínima de parámetros entrenables.

Implicaciones Futuras:

• El sistema sugiere que, para la mayoría de las tareas, una sola pasada (profundidad 1) con modulación dinámica es suficiente, lo que es extremadamente eficiente.
• El principal obstáculo para la aplicación práctica en texto general es la generalización, que requiere desbloquear o adaptar las capas finales (Coda) para que puedan ajustarse a las representaciones modificadas dinámicamente.
• El código y los checkpoints están disponibles de forma abierta, facilitando la investigación en arquitecturas recursivas adaptativas.