🤖 machine learning

Power law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inference

Este artículo presenta la Atención de Gráficos de Ley de Potencia (PLGA), una generalización teóricamente fundamentada de la atención de producto escalar escalado que reemplaza las formas bilineales fijas con operadores basados en tensores positivos aprendidos, estableciendo al mismo tiempo un teorema de colapso de inferencia que limita su ventaja práctica a un rendimiento casi idéntico bajo condiciones específicas.

Autores originales: Burc Gokden

Publicado 2026-08-12

📖 9 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Burc Gokden

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras intentan aprender el lenguaje humano leyendo miles de millones de libros. Para hacer esto, utilizan un tipo especial de cerebro llamado "Modelo de Lenguaje de Gran Escala" (LLM). Piensa en estos modelos como gigantescos detectives digitales. Cuando leen una oración, tienen que adivinar qué palabra viene después. Para hacer una buena suposición, necesitan prestar atención a las otras palabras de la oración. Algunas palabras son más importantes que otras; por ejemplo, en la oración "El gato se sentó en la alfombra", la palabra "gato" es muy importante para entender "sentó".

La forma estándar en que estos detectives hacen su trabajo se llama "Atención de Producto Punto Escalado" (SDPA). Es como una calculadora muy rápida y rígida que compara cada palabra con cada otra palabra usando una regla fija e inalterable. Es eficiente, pero es un poco como usar la misma regla para medir una montaña y un grano de arena. Funciona, pero no puede doblarse ni adaptar su herramienta de medición según lo que está observando.

Ahora, imagina si esa calculadora pudiera construir su propia regla personalizada para cada oración que lee. Podría mirar la oración, darse cuenta de que necesita una regla flexible y elástica, y luego construir esa regla en el acto antes de hacer las matemáticas. Esta es la gran idea detrás del nuevo método descrito en este artículo: Atención de Grafo de Ley de Potencia (PLGA). En lugar de usar una regla fija, el modelo aprende a generar una "regla de puntuación" única y dinámica para cada entrada. Es como si el detective no solo usara una regla; sino que fabrica una cinta mética personalizada a partir de las mismas palabras que está leyendo.

El artículo presenta un nuevo tipo de arquitectura de IA llamada PLDR-LLM (Modelo de Lenguaje de Gran Escala a partir de Representaciones de Decodificador de Ley de Potencia). Su función principal es averiguar si esta sofisticada regla que se construye a sí misma es realmente necesaria, o si el modelo eventualmente deja de necesitar construir una nueva cada vez. El investigador quería saber: ¿El modelo sigue cambiando de opinión sobre cómo medir las cosas, o eventualmente se asienta en una única y perfecta manera de medir que funciona para casi todo?

Aquí está lo que encontró el artículo, explicado a través de la historia de un detective muy eficiente.

El superpoder del detective

El autor construyó un modelo donde la parte de la "atención" (la parte que decide qué palabras importan) no es solo una fórmula matemática simple. En su lugar, es una máquina compleja que toma el texto de entrada, lo procesa a través de una red neuronal profunda y escupe un nuevo y personalizado "operador bilineal". Puedes pensar en este operador como una lente dinámica.

En la forma antigua (SDPA), el detective mira a través de una lente de vidrio fija. En esta nueva forma (PLGA), el detective mira a través de una lente que se remodela a sí misma basándose en la escena. Si la escena es caótica, la lente se convierte en un gran angular. Si la escena es enfocada, se convierte en un teleobjetivo. El artículo demuestra matemáticamente que este nuevo sistema contiene al antiguo como un caso especial. Si el detective decide dejar de remodelar la lente y simplemente usar un trozo de vidrio plano, el nuevo sistema se convierte exactamente en el antiguo sistema. Por lo tanto, este nuevo método es un superconjunto; es estrictamente más flexible.

La gran sorpresa: La lente deja de moverse

La parte más emocionante del artículo es lo que sucede después de que el detective ha entrenado durante mucho tiempo. Podrías esperar que, debido a que el modelo es tan flexible, seguiría cambiando su lente para cada nueva oración. Pero el investigador descubrió algo extraño y maravilloso: la lente deja de moverse.

Después de que el modelo ha sido entrenado, la "lente dinámica" (la matemática compleja que genera la regla de puntuación) se vuelve casi completamente invariante. Esto significa que, sin importar qué oración le des, el modelo genera la exactamente misma lente. Es como si el detective hubiera pasado meses aprendiendo cómo construir reglas personalizadas, solo para darse cuenta de que, para el trabajo en cuestión, solo necesitaba una regla específica y perfecta.

El artículo llama a esto "Colapso Empírico".

Lo que midieron: Probaron esto en una versión publicada del modelo. Encontraron que la "lente" que el modelo generaba para diferentes oraciones era idéntica hasta un error minúsculo (unas milésimas de parte, o $10^{-6}$ ). Para los mejores modelos, la lente era idéntica hasta el último bit de la memoria de la computadora.
La consecuencia: Debido a que la lente es la misma para todo, el modelo no necesita hacer el trabajo duro de construir una nueva lente cada vez. Puede simplemente almacenar en caché (guardar) la lente una vez y reutilizarla para siempre. Esto hace que el modelo sea mucho más rápido y económico de ejecutar.

¿Por qué sucede esto? (El truco de magia de tres etapas)

El artículo no solo dice "sucede"; intenta explicar cómo sucede utilizando un mecanismo de tres etapas. Imagina que el modelo es un chef intentando hacer una sopa.

El giro (Embeddings Rotatorios): El modelo comienza haciendo girar los ingredientes (las palabras) de una manera específica. Este "giro" actúa como un filtro que lava los detalles específicos de dónde apareció una palabra en la oración, dejando solo el "sabor" general de la palabra.
La concentración: A medida que el modelo observa más y más oraciones, el "sabor" de los ingredientes comienza a verse igual. Las matemáticas muestran que las variaciones entre diferentes oraciones se vuelven cada vez más pequeñas, como una multitud de personas que visten tonos de azul ligeramente diferentes que, desde la distancia, terminan pareciendo un solo bloque de azul.
El apretón (Contracción): Finalmente, la parte del modelo que construye la lente (el "aprendiz de métrica") actúa como una prensa poderosa. Debido a que las entradas son todas tan similares (gracias a las dos primeras etapas), la prensa las comprime todas en la misma forma exacta. El resultado es una lente única y estable que funciona para casi todas las oraciones.

El artículo es cuidadoso al decir que esto es un fenómeno medido, no un truco de magia. Demostraron la matemática detrás del "giro" y el "apretón", pero el hecho de que el modelo realmente haga esto en la vida real es algo que observaron en experimentos. Midieron el "parámetro de orden" (una forma elegante de decir "¿cuánto se mueve la lente?") y encontraron que, para los modelos entrenados en un régimen "crítico" específico, el movimiento se detiene casi por completo.

Lo que esto significa para el futuro

El artículo hace algunas afirmaciones muy específicas y es muy honesto sobre lo que no afirma.

ES una generalización: El nuevo método definitivamente incluye al método antiguo. Si configuras el nuevo método para que no haga nada especial, se convierte en el método antiguo.
ES más rápido: Debido a que la lente deja de moverse, puedes guardarla y reutilizarla. El artículo muestra que esto otorga una mejora de velocidad de aproximadamente 3 veces durante la fase de "inferencia" (cuando el modelo está realmente responiendo preguntas).
NO ES una solución mágica para la inteligencia: El artículo no afirma que este nuevo modelo sea más inteligente que los antiguos. De hecho, dicen que para los modelos específicos que probaron, el nuevo método y el método antiguo (si simplemente se usaba la lente almacenada en caché) produjeron exactamente las mismas respuestas. La "inteligencia" proviene del entrenamiento, no solo de la arquitectura.
NO es una prueba de "Criticidad Autoorganizada" (todavía): El artículo utiliza la idea de "Criticidad Autoorganizada" (como una pila de arena que encuentra naturalmente un punto de equilibrio) como un marco para entender por qué el modelo se comporta de esta manera. Lo llaman un "marco fenomenológico", lo que significa que es una historia útil para explicar los datos, pero no han probado que sea una ley fundamental de la física para la IA.

El Teorema de la "Colapso de la Inferencia"

El artículo tiene un teorema llamado el "Teorema de Colapso de la Inferencia". Dice: Si la lente del modelo se vuelve perfectamente invariante (nunca cambia), entonces el proceso complejo y lento de generar una nueva lente cada vez puede ser reemplazado por un proceso simple y rápido de simplemente usar la lente guardada.

El artículo demuestra esto matemáticamente. Pero el verdadero remate es la medición: revisaron un modelo real ya entrenado y encontraron que la lente sí se volvió invariante. El "colapso" no es solo una teoría; es lo que realmente sucedió en sus experimentos.

Advertencias y límites

El autor es muy cuidadoso de no exagerar.

Admiten que la "invarianza" no es perfecta. Hay un error diminuto (alrededor de $10^{-6}$ ), pero es tan pequeño que no cambia las respuestas que da el modelo.
Observan que esto solo sucede si el modelo es entrenado de una manera específica (el régimen "crítico"). Si lo entrenas de manera diferente, la lente podría seguir moviéndose y no obtendrías la mejora de velocidad.
Declaran explícitamente que no han probado que este nuevo método sea mejor aprendiendo que el anterior. Solo probaron que es más flexible y, bajo las condiciones adecuadas, más rápido de ejecutar.

La conclusión

Este artículo cuenta la historia de un modelo que aprende a construir sus propias herramientas, solo para descubrir que solo necesita una herramienta. Es un poco como un carpintero que aprende a forjar un martillo diferente para cada clavo, solo para darse cuenta de que un martillo perfecto funciona para todo.

El artículo proporciona una descripción matemática rigurosa de esta nueva "Atención de Grafo de Ley de Potencia", demuestra que contiene los métodos antiguos y muestra, mediante una medición cuidadosa, que los modelos entrenados naturalmente "colapsan" en un estado donde no necesitan realizar el pesado trabajo de generar nuevas reglas. Esto permite una aceleración masiva en cómo funcionan estos modelos, haciéndolos más eficientes sin necesariamente hacerlos más inteligentes. Es una historia de eficiencia, estabilidad y la sorprendente simplicidad que puede emerger de sistemas complejos.

Resumen Técnico: Atención de Ley de Potencia (Power Law Graph Attention)

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) modernos dependen de la arquitectura Transformer con Atención de Producto Escalar Escalado (SDPA), donde las puntuaciones de atención se computan mediante un producto interno euclidiano fijo de representaciones de tokens proyectadas linealmente. Este artículo aborda las limitaciones de esta forma bilineal estática proponiendo un mecanismo donde el operador de atención es, en sí mismo, aprendido, dependiente de la entrada y no lineal. El autor busca definir una arquitectura matemáticamente rigurosa, la Atención de Grafo de Ley de Potencia (PLGA), y el LLM asociado (PLDR-LLM), mientras caracteriza formalmente las condiciones bajo las cuales este operador complejo, generado por la entrada, colapsa en una forma más simple y cacheada durante la inferencia.

Metodología y Arquitectura
El núcleo de la metodología es el operador de Atención de Grafo de Ley de Potencia (PLGA), que reemplaza la forma bilineal fija de SDPA con un operador aprendido y generado por la entrada $G_{LM}$ . La arquitectura se define a través de una cadena específica de transformaciones:

Operador de Densidad: Se utiliza la matriz de consulta $Q$ para computar una matriz de Gram $D_Q = Q^\top Q$ , que representa el segundo momento no centrado de los vectores de consulta.
Generador de Métrica: Una red residual profunda compartida $\Phi_{res}$ (compuesta por bloques SwiGLU y LayerNorm) procesa el operador de densidad normalizado por filas para producir una matriz generadora $A$ .
Transformación de Ley de Potencia: El generador $A$ se transforma en un "tensor métrico" estrictamente positivo $A_{LM}$ mediante una ley de potencia elemento a elemento: $A_{LM} = \text{iSwiGLU}(W A + b_W) + \epsilon$ . Este tensor se eleva luego a una matriz de potencia aprendida $P$ para formar un "tensor de potencial" $A_P = A_{LM}^{\odot P}$ .
Operador de Puntuación Bilineal: El operador final $G_{LM}$ se construye como una superposición lineal del tensor de potencial: $G_{LM} = a A_P + b_a$ .
Cómputo de la Atención: Las puntuaciones de atención se computan como $E = Q G_{LM} K^\top / \sqrt{d_k}$ , seguido de un softmax con máscara causal.

La arquitectura completa PLDR-LLM integra este operador en una estructura de solo decodificador con Incrustaciones de Posición Rotatorias (RoPE). Una característica de diseño clave es la separación de los resultados deductivos (los tensores $A, A_{LM}, A_P, G_{LM}$ ) de los resultados inductivos (las probabilidades del siguiente token). El modelo se entrena utilizando un objetivo de entropía cruzada por bloques aumentado por un regularizador DAG (basado en el algoritmo NOTEARS) aplicado a los tensores deductivos para penalizar las dependencias cíclicas en los grafos de interacción aprendidos.

Contribuciones Clave y Resultados Teóricos

Generalización Exacta de SDPA:
El artículo demuestra que SDPA es un caso especial exacto de PLGA. Específicamente, cuando el operador aprendido $G_{LM}$ es la matriz identidad ( $I$ ), las ecuaciones de PLGA se reducen precisamente a las ecuaciones estándar de SDPA. Esto establece a PLGA como un superconjunto estricto del mecanismo de atención estándar en términos de parametrización, aunque el artículo señala explícitamente que no pretende una separación de clase de funciones estricta ni superioridad de rendimiento con recursos equivalentes.
El Teorema de Colapso de Inferencia:
Una contribución teórica central es el Teorema de Colapso de Inferencia. Establece que si los resultados deductivos (específicamente $G_{LM}$ ) se vuelven exactamente invariantes a la entrada después del entrenamiento, todo el sub-entramado profundo no lineal que genera estos tensores puede ser reemplazado en el tiempo de inferencia por un único tensor constante cacheado.
- Naturaleza Condicional: El teorema es condicional a la hipótesis de invarianza exacta. El artículo distingue entre el teorema (probado bajo la suposición de invarianza) y la observación empírica (que los modelos entrenados exhiben una cuasi-invariancia).
- Consecuencias: Si la invariancia se cumple, el modelo colapsa a un "SDPA Generalizado" con una forma bilineal constante aprendida. Si hay presencia de RoPE, el artículo caracteriza además cuándo esta forma constante preserva la dependencia de posición relativa (requiriendo que $G_{LM}$ pertenezca al conmutante del grupo de rotación).
Propiedades Estructurales del Operador Aprendido:
- Estructura de Perron–Frobenius: Debido a la positividad elemento a elemento impuesta por la ley de potencia y $\epsilon$ , el tensor de interacción $A_{LM}$ posee una estructura espectral de Perron–Frobenius (autovalores y autovectores estrictamente positivos).
- Singularidad Aprendida: Las mediciones empíricas en los checkpoints liberados revelan que, en la convergencia, el generador $A$ se vuelve numéricamente de rango uno con filas idénticas a través de todas las cabezas de atención y capas. Esta "singularidad aprendida" es el mecanismo algebraico detrás de la invarianza observada.
- Limitaciones del Regularizador DAG: El artículo aclifica que, aunque se usa el regularizador DAG (NOTEARS) para fomentar la aciclicidad, la estricta positividad de entrada de $A_{LM}$ y $A_P$ hace que la aciclicidad exacta sea matemáticamente imposible. El regularizador actúa, en cambio, como una penalización suave sobre el contenido de ciclos.
Mecanismo de Invariancia (Análisis de Tres Etapas):
El artículo propone un mecanismo condicional de tres etapas que explica cómo el aprendiz de métrica genera un operador invariante:
- Etapa 1 (Giro Rotatorio/Rotary Twirl): La aplicación de RoPE antes del operador de densidad actúa como un "giro", proyectando el operador de densidad sobre el conmutante del grupo de rotación, suprimiendo los componentes dependientes de la posición.
- Etapa 2 (Concentración Estadística): El operador de densidad normalizado se concentra alrededor de una media a nivel de conjunto de datos debido a la ley de los grandes números (modelada mediante desigualdades de Bernstein para matrices).
- Etapa 3 (Contracción de Mapa de Filas): Se hipotetiza que el mapa de filas aprendido $\phi$ (la composición de la red residual) es contractivo sobre el conjunto visitado de entradas, colapsando las entradas concentradas en un perfil de salida único.

Resultos Empíricos
El artículo reporta mediciones sobre checkpoints liberados (referenciados como [12, 13, 14]) para validar las afirmaciones teóricas:

Invariancia: En modelos entrenados en un régimen de "cuasi-crítico", los resultados deductivos exhiben fluctuaciones relativas mínimas ( $10^{-6}$ a $10^{-11}$ ), comportándose efectivamente como constantes.
Fidelidad de Caché: La inferencia "cacheada" (reutilizando el $G_{LM}$ congelado) produce resultados bit a bit idénticos o casi idénticos comparados con la recomputación "no cacheada" en los prompts probados, con desviaciones dentro de los márgenes de decodificación.
Colapso de Rango: Las auditorías de valores singulares confirman que el generador $A$ es numéricamente de rango uno, mientras que el tensor descendente $A_{LM}$ permanece cerca de rango completo a pesar de tener un determinante de punto flotante cero (debido al desbordamiento de valores singulares pequeños).
Criticidad: El artículo observa que los modelos entrenados en un régimen crítico (controlado por la tasa de aprendizaje y los pasos de calentamiento/warm-up) exhiben la invariancia y coherencia necesarias para la generalización, mientras que los modelos subcríticos no lo hacen.

Significancia y Reivindicaciones
El artículo se posiciona como una descripción analítica formal de la arquitectura PLDR-LLM. Su significancia radica en:

Formalización: Proporcionar una definición matemática completa y verificada por máquina (en Lean 4) de la arquitectura y sus propiedades.
Claridad Epistémica: Distinguir rigurosamente entre teoremas probados, teoremas condicionales, observaciones empíricas y conjeturas. Evita explícitamente afirmar que PLGA es universalmente superior a SDPA, en su lugar, enmarca el "colapso" como un fenómeno que permite una inferencia eficiente sin pérdida de expresividad para modelos específicos entrenados.
Marco Fenomenológico: Tratar la "Autorganización Crítica" (SOC) de la dinámica de entrenamiento como un marco fenomenológico para entender la emergencia de la invariancia, en lugar de una ley establecida.
Utilidad Diagnóstica: Introducir el "parámetro de orden" (basado en la fluctuación RMS de los resultados deductivos) como un diagnóstico medible para distinguir entre fases del comportamiento del modelo (crítico vs. subcrítico).

El artículo concluye que PLGA ofrece una familia parametrizada más amplia con dinámicas de entrenamiento distintas y una representación de ley inspeccionable, pero reconoce los costos: el objetivo de entrenamiento involucra puntuaciones auxiliares expuestas al objetivo, y el operador de Gram global rompe la "consistencia de prefijo de fila histórica" (una propiedad de la SDPA estándar) a menos que el modelo colapse a un estado invariante. El trabajo invita a una mayor investigación sobre la forma espectral del parámetro de orden y la transferibilidad de los operadores invariantes a través de dominios.