💻 computer science

All Routes Lead to Collapse

Autores originales: K. R. Balasubramanian

Publicado 2026-06-23

📖 7 min de lectura🧠 Análisis profundo

Autores originales: K. R. Balasubramanian

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: El Problema del "Juez Ciego"

Imagina que eres un juez en un concurso de talentos. Tu trabajo es elegir a los mejores artistas (tokens) para darles el protagonismo. Tienes un libro de reglas (el algoritmo) que te dice cómo puntuarlos.

El artículo sostiene que todos los modelos de IA modernos (como Transformers, Mamba, RWKV, etc.) utilizan un libro de reglas que es "ciego" a un detalle específico.

El Libro de Reglas: Califica a los artistas basándose en qué tan bien su "contenido" coincide con tu consulta.
El Punto Ciego: El libro de reglas ignora por completo qué tan fuerte o grande es el artista. Solo le importa la forma de su voz, no el volumen.

Como el juez es ciego al volumen, el sistema se confunde. Para tomar una decisión, el sistema se ve obligado a hacer algo extremo: deja de repartir el protagonismo y, en su lugar, amontona toda la atención en solo uno o dos artistas.

El artículo llama a esto "Colapso" (Collapse). No es un error en el código; es una necesidad matemática. Si tu cinta métrica está rota (es ciega al tamaño), el sistema tiene que compensarlo apretando todo en un rincón diminuto para poder entenderlo.

Los Tres Síntomas (La "Firma")

El artículo identifica tres cosas que suceden cada vez que este "juez ciego" está al mando. Piensa en ellos como los síntomas de la misma enfermedad:

El "Sumidero de Atención" (El amontonamiento de focos):
En lugar de que el foco de luz se mueva suavemente entre muchos actores, se queda estancado en solo unos pocos. En términos de IA, un número diminuto de tokens (como la primera palabra de una oración) absorbe casi toda la atención.
- Analogía: Imagina un salón de clases donde el profesor deja de hacer preguntas a toda la clase y, de repente, comienza a mirar fijamente solo al estudiante que está sentado en la primera fila, ignorando a todos los demás.
Colapso de Rango (El aplastamiento):
Los "pensamientos" internos de la IA (representaciones) dejan de ser diversos. Todos empiezan a verse iguales, encogiéndose en una forma simple y de baja dimensión.
- Analogía: Imagina una escultura en 3D que se aplasta lentamente hasta que parece un dibujo en 2D. Toda la profundidad y el matiz se pierden, y todo se convierte en una hoja plana.
Estratificación de la Norma (La explosión del volumen):
Debido a que el juez ignora el volumen, la IA intenta "hacer trampa" haciendo que algunos tokens sean increíblemente fuertes (norma alta) y otros silenciosos, con la esperanza de que los fuertes destaquen.
- Analogía: Como el juez no puede oír la diferencia de volumen, los actores empiezan a gritar a todo pulmón solo para ser notados, mientras otros susurran.

El Gran Descubrimiento: No es Solo la "Atención"

Durante mucho tiempo, los científicos pensaron que estos problemas solo ocurrían en los Transformers (el tipo específico de IA que utiliza "Atención"). Pensaban que era un fallo en el propio mecanismo de "Atención".

El artículo demuestra que esto es falso.

Los autores probaron esta teoría del "juez ciego" en cuatro tipos diferentes de arquitecturas de IA que no utilizan la Atención estándar:

Atención de Grafos (Graph Attention): Dirigiendo información entre nodos de una red.
Mamba: Un modelo que utiliza "espacios de estados" (como un búfer de memoria) en lugar de atención.
RWKV: Un modelo que mezcla información a través del tiempo como una recurrencia.
Residuales de Atención (Attention Residuals): Un modelo que dirige la información basándose en la profundidad (capas) en lugar del tiempo.

El Resultado: Los cuatro sistemas diferentes desarrollaron exactamente los mismos síntomas (el amontonamiento de focos, el aplastamiento y la explosión de volumen).

La Conclusión: El problema no es la "Atención". El problema es el Enrutamiento Basado en Contenido cuando la herramienta de medición es "ciega a la norma". Si diriges la información basándote en el contenido pero ignoras la magnitud (el tamaño), el sistema colapsará, sin importar qué arquitectura construyas.

La Analogía del "Freno": Por qué algunos modelos colapsan más rápido

Si el mecanismo es el mismo, ¿por qué algunos modelos colapsan inmediatamente (como los Transformers) mientras que otros tardan mucho tiempo (como Mamba)?

El artículo introduce el concepto de un "Freno Posicional".

El Motor: El "Score de Contenido" es el motor que intenta empujar el sistema hacia el colapso (eligiendo el mejor contenido).
El Freno: Cada modelo tiene una regla secundaria que dice: "Pero espera, ¿de dónde viene esto?" (por ejemplo, "No olvides la palabra más reciente" o "No olvides la primera palabra").

Cómo funciona el freno:

Freno Fuerte: Si el freno es fuerte (como en Mamba o RWKV, que tienen reglas de decaimiento temporal fuertes), este lucha contra el motor. El sistema resiste el colapso durante mucho tiempo. Toma un tiempo para que el "contenido" gane la batalla.
Freno Débil: Si el freno es débil (como en los Transformers estándar con "Codificación Posicional Rotatoria"), el motor gana rápidamente. El sistema colapsa temprano y con fuerza.

El Experimento:
Los autores tomaron un modelo (RWKV) y ajustaron manualmente el freno.

Cuando apretaron el freno (hicieron el decaimiento temporal más fuerte), el colapso ocurrió más tarde y con menos fuerza.
Cuando eliminaron el freno (dejaron que el contenido corriera libremente), el colapso ocurrió casi instantáneamente.

Esto demuestra que el mecanismo (el colapso) siempre está ahí, pero el tiempo depende de qué tan fuerte sea el freno.

El Truco del "Volumen" (Estratificación de la Norma)

Uno de los hallazgos más interesantes es sobre la "Explosión de Volumen" (Estratificación de la Norma).

La Teoría: La IA crea tokens fuertes para compensar que el juez es ciego al volumen.
La Prueba: Los autores observaron un modelo (AttnRes) donde los tokens fueron forzados a tener el mismo volumen (normalizados). Uno pensaría que esto detendría el colapso.
El Resultado: El colapso seguía ocurriendo. El sistema simplemente encontró otra forma de hacer trampa. Dejó de usar el volumen y empezó a centrarse puramente en los núcleos de contenido.

La Lección: La "explosión de volumen" es solo una forma en que la IA intenta arreglar la regla rota. Es un síntoma, no la causa. La verdadera causa es la regla ciega misma.

Resumen: Qué significa esto

Es una Ley Universal: Esto no es un error en un modelo de IA específico. Es una consecuencia matemática fundamental de cómo funcionan estos sistemas de enrutamiento. Si diriges basándote en el contenido pero ignoras el tamaño, obtendrás un colapso.
La Geometría es un Diagnóstico, no una Cura: Los autores utilizan un lenguaje geométrico (distancias, variedades/manifolds) para describir por qué sucede esto, pero no están diciendo que la IA esté realizando una geometría compleja. Dicen que la IA está luchando porque su "regla" es plana y ciega.
El Freno Controla el Tiempo: No podemos detener el colapso por completo (según este artículo), pero podemos controlar cuándo ocurre ajustando el "freno posicional" (cuánto le importa al modelo la posición frente al contenido).

En resumen: El artículo dice: "Dejen de culpar al tipo específico de IA (Transformer). El problema es la cinta métrica. Mientras la cinta sea ciega al tamaño, el sistema eventualmente apretará todo en un rincón para poder darle sentido".

Resumen Técnico: "Todas las rutas conducen al colapso"

Declaración del Problema
Los modelos transformer entrenados exhiben tres patologías distintas y frecuentemente citadas: sumideros de atención (attention sinks; unos pocos tokens absorben una masa de atención desproporcionada), colapso de rango (rank collapse; las representaciones ocultas derivan hacia un subespacio de bajo rango con la profundidad) y estratificación de norma (norm stratification; las normas de las llaves (keys) y consultas (queries) se dispersan en lugar de permanecer uniformes). Estos fenómenos suelen tratarse como fallos específicos del mecanismo de atención, diagnosticados y parcheados modelo por modelo. Este artículo argumenta que estos no son patologías de la atención per se, sino el comportamiento inevitable del enrutamiento basado en contenido operando bajo una métrica de similitud fija y ciega a la norma. Los autores postulan que cuando la métrica de un enrutador no coincide con las representaciones que procesa, el sistema compensa concentrando los pesos de enrutamiento y colapsando las representaciones.

Metodología y Reencuadre de la Identidad
La contribución teórica central es una identidad de reencuadre que reinterpreta la atención softmax. Los autores demuestran que la atención softmax es matemáticamente equivalente a la agregación ponderada por Boltzmann sobre distancias euclidianas, siempre que las llaves (keys) se encuentren en una hiperesfera (norma constante).

La Identidad: La puntuación estándar de producto punto $\langle q, k \rangle$ se deriva de una métrica de distancia al cuadrado $D(q, k)^2 = \|q\|^2 - 2\langle q, k \rangle + \|k\|^2$ . La normalización softmax cancela el término $\|q\|^2$ , y la suposición de normas de llave constantes ( $\|k\| = c$ ) cancela el término $\| \|k\|^2$ .
La Ceguera: En consecuencia, la puntuación de atención estándar omite el término $-\|k\|^2$ , lo que hace que el enrutador sea ciego a la magnitud de la llave.
La Predicción: Si las representaciones aprendidas no satisfacen la suposición de norma constante (es decir, si las normas de las llaves varían), el enrutador debe compensar esta inadecuación de la métrica. La firma de compensación predicha es: (1) concentración de los pesos de enrutamiento en unas pocas fuentes, (2) colapso de las representaciones enrutadas en un subespacio de bajo rango, y (3) estratificación de las normas de las llaves.

Alcance Experimental
Los autores prueban esta hipótesis a través de cinco arquitecturas de enrutamiento distintas para determinar si la firma es universal al enrutamiento basado en contenido o específica de los transformers:

Transformers Estándar: Nueve modelos preentrenados (variantes de GPT-2 y variantes de Pythia) enrutando sobre tokens.
Atención de Grafos (GAT): Enrutando sobre nodos en grafos heterofílicos.
Modelos de Espacio de Estados Selectivos (Mamba): Enrutando a través del tiempo mediante un operador controlado por datos sin atención explícita.
Mixers Recurrentes (RWKV): Enrutando a través del tiempo con un decaimiento softmax.
Residuos de Atención (AttnRes): Enrutando sobre la profundidad (subcapas) en lugar de tokens.

Resultos Clave

Violación de Suposiciones: En los nueve modelos transformer, las normas de las llaves no son uniformes (violando la suposición de norma constante), y las llaves ocupan un subespacio de bajo rango significativamente menor que las líneas de base aleatorias (Gaussianas o permutadas).
Firma Universal: La "firma de compensación" (concentración, colapso y estratificación de norma) aparece en las cinco arquitecturas, incluyendo modelos no transformer como Mamba y RWKV.
- Los transformers muestran un inicio temprano (9–25% de profundidad) y una fuerte concentración.
- Los modelos recurrentes (Mamba, RWKV) muestran un inicio tardío (42–81% de profundidad) y una concentración más débil.
- AttnRes (enrutando sobre la profundidad) también se concentra, demostrando que el fenómeno no es específico del eje de los tokens.
Ablaciones Causales:
- Mamba: Congelar la compuerta dependiente de la entrada ( $\Delta$ ) elimina la concentración, probando que el mecanismo de selectividad causa el colapso, no la recurrencia genérica.
- RWKV: Modificar el parámetro de decaimiento temporal (el "freno posicional") desplaza el inicio de la profundidad y la fuerza de la concentración. Eliminar el transporte (carry) elimina la concentración por completo; aumentar el transporte la acelera.
- AttnRes: A pesar de utilizar RMSNorm (que fuerza a que las normas de las llaves sean constantes por construcción, eliminando la estratificación de la norma), el enrutador sigue concentrándose. Esto demuestra que la estratificación de la norma es una estrategia de compensación, no la causa del colapso.
Control de Grafos: Una comparación entre las Redes de Atención de Grafos (GAT) y las Redes Convolucionales de Grafos (GCN) muestra que GAT colapsa más que GCN, aislando el efecto a la atención aprendida en lugar del suavizado generalizado (oversmoothing).

La Hipótesis: Mecanismo Invariante vs. Forma Contingente
El artículo propone una hipótesis que separa el mecanismo invariante de la forma contingente:

Mecanismo Invariante: El enrutamiento basado en contenido bajo una métrica fija y ciega a la norma desarrolla inevitablemente un atractor de representación (concentración y colapso). Esto se mantiene independientemente de la arquitectura (transformer, SSM, recurrente) o del eje de enrutamiento (tokens, nodos, tiempo, profundidad).
Forma Contingente: El momento (profundidad de inicio), la fuerza y el subespacio específico del colapso están determinados por el "freno posicional". Este es el término posicional (por ejemplo, la fase rotatoria en transformers, el decaimiento temporal en RWKV, el sesgo de recencia en AttnRes) que atrae el enrutamiento hacia fuentes recientes o locales, contrapesando el atractor basado en el contenido.
- Frenos débiles (por ejemplo, las fases rotatorias de los transformers) conducen a un colapso temprano y fuerte.
- Frenos fuertes (por ejemplo, el decaimiento explícito de RWKV) retrasan y debilitan el colapso.

Significancia y Reivindicaciones
El artículo no afirma que los modelos implementen geometría riemanniana; más bien, la visión geométrica sirve como una herramienta de diagnóstico para nombrar la insuficiencia de la métrica plana y ciega a la norma utilizada en el enrutamiento estándar.

Reencuadre: Los autores cambian la interpretación de los sumideros de atención y el colapso de rango de "errores" (bugs) a "características" (features) de un desajuste entre una mét la métrica fija y las representaciones aprendidas.
Generalidad: Se demuestra que el mecanismo es independiente de la arquitectura, apareciendo en modelos sin softmax, sin atención consulta-llave y sin enrutamiento basado en tokens.
Intervención: El artículo sugiere que restaurar el término $-\|k\|^2$ omitido podría proporcionar un nuevo grado de libertad para corregir la métrica, aunque esto queda para trabajos futuros.
Modestia: Los autores declaran explícitamente que reclaman suficiencia, no necesidad. No afirman que todo el comportamiento de bajo rango sea causado por este mecanismo (por ejemplo, el oversmoothing en GNN es un camino diferente), ni que el atractor sea siempre una patología (en algunos casos de grafos, el colapso sin atención aprendida generaliza mejor). La hipótesis es falsable: un enrutador ciego a la norma que no desarrolle esta firma refutaría la afirmación de invarianza.

En resumen, el artículo argumenta que "todas las rutas conducen al colapso" porque la métrica estándar utilizada para el enrutamiento basado en contenido es fundamentalmente ciega a la magnitud, obligando al sistema a compensar concentrando su enrutamiento y colapsando sus representaciones, un comportamiento modulado pero no prevenido por los sesgos posicionales arquitectónicos.