Resumen Técnico: Residuos de Atención Delta

Enunciado del Problema

Las conexiones residuales estándar en transformadores profundos acumulan todas las salidas de subcapas anteriores mediante coeficientes aditivos fijos ($h_l = h_{l-1} + f(h_{l-1})$). Aunque esto proporciona autopistas de gradiente, carece de un mecanismo para agregar selectivamente información a través de la profundidad. Los Residuos de Atención (Kimi, 2025) propusieron reemplazar la agregación fija con una atención softmax aprendida sobre las salidas de capas anteriores para permitir un enrutamiento selectivo entre capas.

Sin embargo, este artículo identifica un modo de fallo crítico en los Residuos de Atención estándar: colapso del enrutamiento debido a la redundancia de la fuente. En los Residuos de Atención, las representaciones de fuente ($s_i$) son estados ocultos acumulativos ($h_i = \sum v_j$). A medida que aumenta la profundidad, los estados acumulativos adyacentes comparten un gran prefijo común, lo que hace que su similitud par a par crezca. Esta redundancia reduce el contraste en los candidatos de enrutamiento, forzando los pesos de atención softmax hacia una distribución casi uniforme. Empíricamente, el peso de enrutamiento máximo en capas profundas se degrada a aproximadamente 0.2, volviendo al mecanismo ineficaz para seleccionar estados informativos y promediando efectivamente sobre todas las fuentes.

Metodología: Residuos de Atención Delta

Para abordar la redundancia de la fuente, los autores proponen Residuos de Atención Delta, que enrutan sobre deltas (el cambio introducido por cada subcapa) en lugar de estados acumulativos.

Mecanismo Central

En lugar de enrutar sobre $s_i = h_i$, el método enruta sobre $v_i = h_{i+1} - h_i$, representando la contribución específica de una subcapa. Esto se implementa mediante una formulación de enrutamiento aditivo:
$$\hat{h}_l = \tilde{h}_l + \sum_i \alpha_{i \to l} \cdot v_i$$
Donde:

• $\tilde{h}_l$ es la corriente residual actual (preservada por defecto).
• $v_i$ son las fuentes delta (salidas por subcapa).
• $\alpha_{i \to l}$ son pesos de atención aprendidos calculados mediante softmax sobre deltas normalizados.

Variantes de Granularidad

El principio se aplica en dos granularidades:

1. AttnRes Delta: Enruta sobre la salida de cada subcapa individual (Atención y MLP), proporcionando $2L$ fuentes para $L$ capas.
2. Bloque Delta: Agrupa las salidas de subcapas consecutivas dentro de un bloque en un solo delta de bloque ($\Delta_b$), reduciendo el número de fuentes a $\approx L/B$ para mayor eficiencia.

Ventajas Clave de Diseño

1. Diversidad Estructural: A diferencia de los estados acumulativos que convergen hacia relaciones casi lineales, los deltas son estructuralmente diversos porque las salidas de atención y MLP ocupan subespacios diferentes y capturan diferentes niveles de abstracción. Esto mantiene un alto contraste de enrutamiento (peso máximo $\approx 0.6$).
2. Preservación Residual: La formulación aditiva preserva la corriente residual, asegurando que no se pierda información en los límites de los bloques (a diferencia del enrutamiento de reemplazo que descarta la corriente).
3. Inicialización Segura: Con pesos de consulta inicializados en cero, los pesos de enrutamiento se vuelven uniformes y la salida de enrutamiento se convierte en una perturbación acotada. Esto reduce el mecanismo a un mapa identidad en la inicialización, permitiendo el ajuste fino de modelos preentrenados sin interrumpir la corriente residual aprendida.

Contribuciones Clave

1. Identificación del Colapso del Enrutamiento: El artículo demuestra que la redundancia de la fuente en los Residuos de Atención de estado acumulativo causa que la nitidez del enrutamiento se degrade a $\sim 0.2$ en capas profundas, lo que lleva a distribuciones de atención casi uniformes.
2. Residuos de Atención Delta: Una nueva arquitectura que enruta sobre deltas en lugar de estados acumulativos. Esto mantiene un enrutamiento nítido ($\sim 0.6$) y supera consistentemente tanto a los residuos estándar como a los Residuos de Atención en escalas desde 220M hasta 7.6B de parámetros.
3. Compatibilidad con Ajuste Fino: La formulación aditiva permite convertir transformadores preentrenados existentes en Residuos de Atención Delta mediante ajuste fino estándar, superando el problema del "valle del paisaje de pérdida" donde los modelos fallan en utilizar pesos entre capas durante el ajuste fino.

Resultados Experimentales

Los autores evaluaron el método en modelos con arquitectura Qwen3 entrenados desde cero en FineWeb-Edu y ajustados finamente en tareas posteriores.

• Entrenamiento desde Cero:

  • Rendimiento: Los métodos Delta superaron consistentemente a los puntos de referencia. En la escala de 1044M, Delta AttnRes logró una perplejidad de validación de 29.13 (vs. 29.70 para el punto de referencia, -1.9% de mejora). En la escala de 7.6B, Delta Block logró 16.00 PPL (vs. 17.43 para el punto de referencia, -8.2% de mejora).
  • Fallo de Alternativas: Los Residuos de Atención estándar (AttnRes) se degradaron significativamente en escalas mayores (por ejemplo, +6.9% peor que el punto de referencia en 1044M) debido a la pérdida de información compuesta por el enrutamiento de reemplazo y los reinicios periódicos.
  • Eficiencia: Aunque Delta AttnRes por subcapa ofrece la mejor perplejidad, incurre en una alta sobrecarga de memoria. Delta Block (agrupación a nivel de bloque) ofrece un predeterminado práctico, igualando la calidad de Delta AttnRes con costos significativamente menores de memoria y rendimiento (por ejemplo, 26% de sobrecarga de memoria vs. 3.5x para Delta AttnRes completo en 1044M).

• Ajuste Fino:

  • Al ajustar finamente un modelo preentrenado Qwen3-0.6B, Delta Block logró un 55.6% de precisión promedio en 8 puntos de referencia posteriores, superando al punto de referencia estándar (55.0%) y a AttnRes (54.1%).
  • Crucialmente, Delta Block evitó el gran pico de pérdida observado en AttnRes en la inicialización, convergiendo suavemente debido a sus propiedades de inicialización segura.

• Análisis de Enrutamiento:

  • Las visualizaciones confirman que Delta Block mantiene un enrutamiento nítido (peso máximo $\sim 0.6$–$1.0$) a lo largo de la profundidad, mientras que AttnRes colapsa a $\sim 0.2$ en capas profundas.
  • Las capas profundas en los modelos Delta concentran selectivamente los pesos en salidas tempranas específicas (incluidas las incrustaciones de tokens), mientras que AttnRes distribuye la atención de manera difusa.

Significado y Afirmaciones

El artículo afirma que los Residuos de Atención Delta resuelven el problema fundamental de la redundancia de la fuente en el enrutamiento entre capas. Al enrutar sobre "lo que cambió" (deltas) en lugar de "lo que se acumuló" (estados acumulativos), el método permite un enrutamiento selectivo y de alto contraste que escala efectivamente a redes profundas.

Los autores enfatizan que este enfoque es ortogonal a otras mejoras arquitectónicas. Su significado principal radica en:

1. Escalabilidad: Permite conexiones entre capas más profundas y efectivas sin la degradación observada en métodos residuales basados en atención anteriores.
2. Practicidad: La formulación aditiva y la inicialización segura permiten la integración transparente del enrutamiento entre capas en puntos de control preentrenados existentes mediante ajuste fino, una capacidad previamente obstaculizada por la inestabilidad en la inicialización.
3. Eficiencia: La variante Delta Block proporciona una solución de alto rendimiento y baja sobrecarga adecuada para el entrenamiento a gran escala, equilibrando la expresividad del enrutamiento con las restricciones computacionales.