Resumen Técnico: Residuales de Atención Dual (DAR)

Planteamiento del Problema

Los avances recientes en las arquitecturas Transformer han extendido las vías residuales a lo largo de dos ejes complementarios: la recuperación histórica y los residuales de múltiples flujos.

• Recuperación Histórica: Métodos como Transparent Attention, DenseFormer y Attention Residuals (AttnRes) permiten que las capas posteriores accedan a representaciones de profundidades anteriores. En la recuperación de flujo único estándar, la representación que determina los pesos de profundidad (la "dirección") y el contenido recuperado (el "valor") se originan de la misma trayectoria residual. Esto crea un "acoplamiento dirección-contenido" donde el mecanismo de selección está restringido por el estado del flujo único.
• Residuales de Múltiples Flujos: Métodos como Hyper-Connections y mHC expanden la vía hacia múltiples trayectorias aprendidas (flujos) para transportar y mezclar información.

Aunque estos enfoques se han estudiado de forma aislada, una combinación directa —dotar a cada flujo con un recuperador histórico independiente— no logra aprovechar la interacción entre flujos. En tal configuración, cada trayectoria determina su propia selección de profundidad sin influencia de la otra, lo que impide que las señales complementarias de un flujo guíen la recuperación del otro. El problema central abordado es si estos dos grados de libertad (selección de profundidad y mantenimiento de la trayectoria) pueden interactuar productivamente para mejorar la diversidad de la representación y la eficiencia de la recuperación.

Metodología: Residuales de Atención Dual (DAR)

Los autores proponen los Residuales de Atención Dual (DAR), un mecanismo que integra la interacción de múltiples flujos en la recuperación histórica por profundidad mediante la direccionamiento cruzado recíproco entre flujos.

Mecanismo Central

DAR modifica la vía residual alrededor de cada rama del Transformer sin alterar el cómputo interno de la rama (atención o alimentación hacia adelante/feed-forward). Para un sistema con dos flujos ($j \in \{0, 1\}$):

1. Enrutamiento Recíproco de Clave-Valor: Para un flujo objetivo $j$, los pesos de profundidad se computan utilizando claves derivadas del flujo opuesto ($1-j$), mientras que los valores se recuperan del propio historial del flujo objetivo ($j$).
   • $k^j_r = \text{Norm}(H^{1-j}_r)$ (Clave del flujo opuesto)
   • $v^j_r = H^j_r$ (Valor del propio flujo)
   • Esto permite que el flujo opuesto proporcione una señal complementaria para seleccionar las profundidades históricas, incluso si la propia representación del flujo objetivo no coincidiría fuertemente con la consulta.
2. Mezcla de Estado y Escritura con Compuerta: Los estados recuperados de ambos flujos se mezclan para formar la entrada para la rama Transformer inalterada. La salida de la rama se utiliza luego para actualizar ambas trayectorias residuales mediante escrituras con compuerta y mezcla restringida.
   • Un mecanismo de compuerta ($\alpha$) mezcla los estados recuperados.
     Clave: Un mecanismo de transporte ($\rho$) y una compuerta de escritura ($\beta$) actualizan el estado parcial del bloque, asegurando el transporte estable de los estados parciales existentes dentro de un bloque.

Variantes

• Full DAR: Opera a nivel de granularidad de capa ($K=1$), donde cada capa Transformer contribuye con una entrada completada al historial recuperable.
• Block DAR: Particiona las capas en bloques de tamaño $K$. Recupera de los historiales de bloques completados e incluye opcionalmente el estado parcial del bloque actual como un candidato. Esto reduce la sobrecarga al operar en granularidades de profundidad más gruesas.

Comparaciones de Diseño

El artículo evalúa varias variantes de enrutamiento para aislar la contribución de la interacción entre flujos:

• DAR-SelfKV: Las claves y los valores provienen del mismo flujo (recuperación estándar de flujo único por flujo).
• DAR-CrossV: Claves del flujo propio, valores del flujo opuesto.
• DAR-FixedKV: Asignación fija (Flujo 0 claves, Flujo 1 valores para ambos).
• DAR (Propuesto): Claves recíprocas entre flujos con valores del propio flujo.

Contribuciones Clave

1. Interacción de Trayectorias: El artículo demuestra que las trayectorias residuales que evolucionan de forma independiente pueden servir no solo como vías de información paralelas, sino también como señales complementarias para la selección de profundidades históricas.
2. Arquitectura DAR: La propuesta de un mecanismo que realiza esta interacción a través de claves recíprocas entre flujos y valores del propio flujo, dejando inalteradas las ramas del Transformer.
3. Validación Empírica: Experimentos exhaustivos en modelos densos (de 0.1B a 1B de parámetros) y un modelo sparse-MoE de 7B, mostrando mejoras consistentes sobre los residuales estándar y los Attention Residuals.
4. Análisis de Redundancia: A través de la geometría de la representación (CKA) y el análisis de intervención, los autores muestran que DAR preserva la diversidad de la profundidad y evita el desequilibrio funcional o la redundancia observada en otras configuraciones de dos flujos.

Resultados Experimentales

Los autores evaluaron DAR bajo presupuestos de entrenamiento equivalentes frente a las conexiones residuales estándar, Attention Residuals (AttnRes) y mHC.

• Pérdida de Validación: DAR alcanzó consistentemente la pérdida de validación más baja.
  • En la configuración densa de 1B, DAR-Block superó tanto al baseline residual como a AttnRes-Block.
  • En la configuración sparse-MoE de 7B, DAR logró la pérdida más baja, con curvas de entrenamiento que se mantuvieron por debajo de los baselines durante todo el entrenamiento.
  • En los modelos densos de 0.1B, 0.3B y 0.5B, las variantes de DAR redujeron la pérdida de validación entre un 2.03% y un 5.12% en relación con el baseline residual.
• Eficiencia: Aunque DAR incurre en un costo computacional mayor que los residuales estándar (aproximadamente un 17.5% de reducción de rendimiento/throughput en el MoE de 7B debido a la recuperación entre flujos y la compuerta), sigue siendo competitivo con AttnRes. La sobrecarga de memoria es impulsada principalmente por el propio mecanismo de recuperación histórica, siendo el enrutamiento entre flujos un costo adicional menor pero medible.
• Estudios de Ablación:
  • Enrutamiento: La ganancia no se explica por proyecciones de valor adicionales (SepV) o una simple agregación de valores entre flujos. El enrutamiento específico de clave recíproca entre flujos / valor del propio flujo (DAR) produjo el mejor rendimiento.
  • Redundancia: El análisis de CKA lineal entre flujos mostró que DAR mantiene una baja similitud entre profundidades no emparejadas, indicando trayectorias distintas. En contraste, variantes como DAR-SelfKV y mHC-2 mostraron regiones de alta similitud generalizada, sugiriendo redundancia.
  • Intervención: El análisis de "ganancia de rescate" reveló que en DAR, retener cualquiera de los flujos recupera la salida limpia significativamente mejor que no retener ninguno. En contraste, otras variantes (como DAR-SelfKV) mostraron una fuerte asimetría, donde un flujo se volvió funcionalmente dominante mientras que el otro fue subutilizado.

Significado y Reivindicaciones

El artículo afirma que DAR logra integrar la flexibilidad de múltiples flujos en la recuperación por profundidad. Al permitir que una trayectoria influya en la selección de profundidad de otra, DAR permite al modelo acceder a contextos históricos que podrían pasarse por alto con un recuperador de flujo único.

Los autores enfatizan que las ganancias de rendimiento no se deben simplemente a la presencia de un flujo adicional o una proyección de valor adicional, sino específicamente al mecanismo de selección recíproca entre flujos. Este diseño preserva la diversidad de la profundidad y evita el desequilibrio funcional donde un flujo domina al otro, un problema común en otras configuraciones de dos flujos. El trabajo sugiere que la recuperación histórica y las topologías de múltiples flujos no son mutuamente excluyentes, sino que pueden combinarse sinérgicamente para mejorar el aprendizaje de representaciones en Transformers.