🤖 machine learning

On the Geometry of Positional Encodings in Transformers

Este artículo establece una teoría matemática para las codificaciones posicionales en los Transformers, demostrando su necesidad para el orden de las palabras, probando que el entrenamiento genera representaciones posicionales distintas, y proponiendo un método óptimo basado en el escalado multidimensional clásico que minimiza el estrés y reduce la parametrización, validado experimentalmente con modelos como BERT.

Autores originales: Giansalvo Cirrincione

Publicado 2026-04-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Giansalvo Cirrincione

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los modelos de lenguaje (como los que impulsan a los chatbots o traductores) son como un grupo de chefs muy inteligentes, pero con un problema de memoria: no saben en qué orden se les entregaron los ingredientes.

En matemáticas, las operaciones que usan estos "chefs" son tan rápidas y eficientes que, si les das una lista de palabras como "gato", "persigue", "ratón", las tratan exactamente igual que si les dieras "ratón", "gato", "persigue". Para ellos, el orden no existe; es como si mezclaran todos los ingredientes en una olla gigante sin importar la secuencia.

Aquí es donde entran los Códigos de Posición (Positional Encodings). Son como una etiqueta de "primero", "segundo", "tercero" que pegamos a cada palabra para que el modelo sepa quién llegó primero a la cocina.

Este artículo de investigación hace tres cosas fundamentales para entender mejor estas etiquetas:

1. ¿Son realmente necesarias? (El Teorema de la Necesidad)

La analogía: Imagina que intentas armar un rompecabezas, pero todas las piezas son idénticas y no tienen bordes. No importa cómo las coloques, el resultado será un desorden.
La conclusión: El paper demuestra matemáticamente que si quitas las etiquetas de posición, el modelo se vuelve "ciego al orden". No puede distinguir entre una frase que tiene sentido y una que es solo un desorden de palabras. Por lo tanto, las etiquetas son obligatorias para cualquier tarea que requiera entender el orden de las cosas.

2. ¿Qué aprenden cuando se entrenan? (El Teorema de la Separación)

La analogía: Imagina que tienes un salón de baile con 100 personas (las palabras) y 100 sillas (las posiciones). Si no hay reglas, todos podrían sentarse en la misma silla o en la misma posición. Pero el paper demuestra que, si el modelo intenta aprender la mejor forma de sentarse para ganar un juego (minimizar el error), nunca pondrá a dos personas diferentes en la misma silla.
La conclusión: Cuando el modelo aprende, asigna automáticamente una "identidad" única a cada posición. Nunca confundirá la posición 1 con la posición 2. Son como huellas dactilares únicas para cada lugar en la oración.

3. ¿Cuál es la forma perfecta de estas etiquetas? (La Geografía de las Palabras)

Aquí es donde el paper se pone creativo.
La analogía: Piensa en las posiciones de una oración como ciudades en un mapa.

La posición 1 (al inicio) suele tener "ciudades" con muchos sustantivos y mayúsculas.
La posición del medio tiene "ciudades" con verbos y adjetivos.
La posición final tiene "ciudades" con puntos y signos de interrogación.

El paper dice: "La mejor etiqueta de posición es un mapa que distorsione las distancias entre estas ciudades exactamente igual a como son en la realidad". Si dos posiciones suelen tener palabras muy diferentes, sus etiquetas deben estar muy lejos en el espacio matemático. Si son similares, deben estar cerca.

El problema: El mapa real es curvo (como la superficie de la Tierra), pero los modelos de IA viven en un espacio plano (como un mapa de papel). No puedes doblar un mapa plano para que coincida perfectamente con una esfera sin romperlo.
La solución propuesta: Usan una técnica llamada Escala Multidimensional Clásica (MDS). Es como tomar una foto de la Tierra y proyectarla en un mapa de papel de la mejor manera posible, minimizando los errores.

El resultado: Crean un "mapa ideal" (llamado PMDS) que es mucho más preciso que las etiquetas que usamos actualmente (como las ondas sinusoidales, que son como una cuadrícula fija).

Hallazgos Sorprendentes y Analogías Finales

ALiBi (El "Cinturón Elástico"): El paper descubre que una técnica llamada ALiBi funciona increíblemente bien. Imagina que en lugar de poner una etiqueta fija en cada posición, simplemente le dices al modelo: "Cuanto más lejos esté una palabra de otra, más débil será su conexión". Es como un elástico: si estiras la oración, la relación se mantiene. Esto funciona porque, en muchos textos, la distancia entre palabras es lo que realmente importa, no su posición absoluta.
La "Capa 3" (El Arquitecto): Al analizar el modelo BERT (un modelo famoso), descubrieron que la tercera capa de la red neuronal es la que más "reorganiza" el mapa de posiciones. Es como si fuera el arquitecto que toma el plano básico y le da la estructura final antes de que el edificio se complete.
Ahorro de Espacio: El paper muestra que no necesitas un mapa gigante para todo. A veces, con un mapa muy pequeño y simple (de baja dimensión), puedes capturar el 99% de la información necesaria. Es como decir que no necesitas un mapa de 1000x1000 píxeles para saber que París está al norte de Madrid; un mapa pequeño y bien hecho basta.

En resumen

Este paper no solo dice "las etiquetas de posición son importantes", sino que dibuja el mapa perfecto para ellas.

Sin etiquetas, no hay orden.
El aprendizaje automático siempre crea etiquetas únicas.
La mejor etiqueta es un mapa que refleja la "geografía" real de las palabras en el texto.

Y lo mejor de todo: demuestran que las etiquetas que usamos hoy (las sinusoidales) son una buena aproximación, pero podemos hacer mapas mucho mejores y más eficientes si entendemos la geometría detrás de las palabras. Es como pasar de usar un mapa dibujado a mano a usar un GPS de alta precisión.

Resumen Técnico: La Geometría de los Codificadores Posicionales en Transformers

1. Planteamiento del Problema

Los modelos de lenguaje neuronal procesan secuencias de palabras, pero las operaciones matemáticas subyacentes en los Transformers (multiplicaciones de matrices y mecanismos de atención) son insensibles al orden de los tokens. Para remediar esto, se utilizan codificadores posicionales (PE), que inyectan información sobre la posición de cada palabra en su representación vectorial.

A pesar de su importancia crítica, el diseño de los PE ha sido históricamente empírico ("prueba y error"), careciendo de una teoría matemática sólida que defina:

¿Son estrictamente necesarios?
¿Qué estructura adquiere un PE aprendido durante el entrenamiento?
¿Cómo se vería un codificador posicional óptimo?

El campo ha proliferado con variantes (sinusoidal, RoPE, ALiBi, etc.) sin un marco teórico común que explique por qué funcionan o qué propiedades deberían poseer.

2. Metodología y Marco Teórico

El autor desarrolla una teoría matemática rigurosa basada en la geometría de la información y la teoría de optimización. Los pilares metodológicos incluyen:

Distancia de Hellinger: Se utiliza la distancia de Hellinger ( $d_H$ ) entre las distribuciones marginales de tokens en cada posición ( $\mu_i$ ) como la métrica fundamental. Esta distancia es preferida sobre la divergencia KL porque es una métrica verdadera, acotada y es la distancia geodésica natural en el simplex de probabilidad bajo la métrica de información de Fisher.
Criterio de "Stress" (Estrés): Se define una métrica para evaluar la fidelidad geométrica de cualquier codificador $P$ :
$\text{stress}(P) = \frac{\sum_{i<j} (\|p_i - p_j\| - d_H(\mu_i, \mu_j))^2}{\sum_{i<j} d_H(\mu_i, \mu_j)^2}$
Un estrés cero implica una reproducción isométrica perfecta de la geometría estadística del corpus.
Análisis en el Régimen NTK (Neural Tangent Kernel): Para probar conjeturas sobre la dinámica de entrenamiento, el autor utiliza el régimen NTK, donde la matriz de pesos de atención se considera casi estacionaria, permitiendo linealizar el flujo de gradiente.
Escalado Multidimensional Clásico (MDS): Se propone el uso de MDS sobre la matriz de distancias de Hellinger para construir un codificador óptimo.

3. Contribuciones Clave y Resultados Teóricos

El artículo presenta cuatro resultados principales que forman una jerarquía teórica:

A. Teorema de Necesidad (Teorema 1)

Resultado: Se demuestra que cualquier Transformer sin señal posicional es equivariante a las permutaciones de la entrada.
Implicación: Sin codificación posicional, el modelo no puede distinguir entre una secuencia y sus permutaciones, haciendo imposible resolver cualquier tarea sensible al orden de las palabras.

B. Teorema de Separación Posicional (Teorema 4)

Resultado: Bajo condiciones genéricas (no estacionariedad de las distribuciones de tokens, sensibilidad al orden y no degeneración de la matriz de atención), todo minimizador global de la función de pérdida asigna vectores de representación distintos a posiciones distintas ( $p_i^* \neq p_j^*$ para $i \neq j$ ).
Significado: El entrenamiento por gradiente descendente garantiza que el modelo no colapse dos posiciones diferentes en el mismo vector, siempre que la tarea requiera distinguir el orden.

C. Construcción Óptima y Criterio de Stress (Proposición 6 y Algoritmo 1)

Resultado: Se demuestra que una isometría exacta (reproducir $d_H$ exactamente con distancias euclídeas) es generalmente imposible porque la variedad estadística es curva.
Solución: La mejor aproximación se logra mediante Escalado Multidimensional Clásico (MDS) sobre la matriz de distancias de Hellinger.
Justificación Teórica de la Codificación Sinusoidal: Se demuestra que la codificación sinusoidal (Vaswani et al., 2017) es la solución óptima de MDS aproximada para corpora donde las estadísticas posicionales varían suavemente (estacionariedad aproximada). Esto proporciona la justificación teórica que faltaba en el trabajo original.

D. Parametrización Mínima y Rank Bajo (Observación 8)

Resultado: La información posicional óptima tiene un rango efectivo $r = \text{rank}(B)$ , donde $B$ es la matriz de Gram doblemente centrada de las distancias de Hellinger.
Implicación: En lugar de usar una matriz completa $n \times d$ , se puede representar el codificador óptimo con una matriz de bajo rango $P = AB^T$ usando solo $r(n+d)$ parámetros.
Ejemplo: En un corpus sintético, un rango $r=3$ redujo el estrés en un 99.8% con un 88% menos de parámetros que una matriz libre.

E. Conjetura de Monotonía (Conjetura 5 y Apéndice A)

Hipótesis: Si la distancia de Hellinger entre posiciones es monótona respecto a la distancia en la secuencia ( $|i-j| \le |i-k| \implies d_H(\mu_i, \mu_j) \le d_H(\mu_i, \mu_k)$ ), entonces el codificador aprendido también será monótono en sus distancias euclídeas.
Prueba: Se demuestra rigurosamente dentro del régimen NTK para pérdidas de Modelado de Lenguaje enmascarado (MLM) y clasificación con token [CLS].

4. Resultados Experimentales

Los experimentos validaron las predicciones teóricas en tres escenarios: un corpus sintético controlado, SST-2 (análisis de sentimiento de frases cortas) e IMDB (reseñas largas).

Validación del MDS: El codificador construido mediante MDS ( $P_{MDS}$ ) logró un estrés casi cero (0.009 en sintético, $\approx 0$ en reales), confirmando que es la representación geométrica óptima.
Comparación de Codificadores:
- ALiBi: Mostró un estrés sorprendentemente bajo en SST-2 (0.563), mucho menor que el sinusoidal (272) o RoPE (279). Esto sugiere que las estadísticas de SST-2 son aproximadamente invariantes a traslaciones (rank-1), lo que favorece la estructura de sesgo lineal de ALiBi.
- Sinusoidal vs. RoPE: Ambos mostraron valores de estrés casi idénticos, indicando que su rendimiento geométrico depende de la estructura de frecuencias compartida, no de si son absolutos o relativos.
Teorema de Separación: Se verificó que tanto modelos entrenados desde cero como pre-entrenados mantienen una separación estrictamente positiva entre vectores posicionales durante todo el entrenamiento.
Monotonía: El codificador MDS y el modelo pre-entrenado mostraron tasas de violación de monotonía significativamente menores (22% y 25.4%) que el azar (50%), apoyando la conjetura.
Geometría por Capas: En el modelo pre-entrenado, la capa 3 mostró un pico de estrés muy alto al proyectar el PE sinusoidal, lo que sugiere una reorganización agresiva de la señal posicional, consistente con la especialización sintáctica conocida de esta capa en BERT.

5. Significado e Impacto

Este trabajo transforma el entendimiento de los codificadores posicionales de un componente heurístico a uno con fundamentos matemáticos sólidos:

Diagnóstico Principiado: Introduce el "stress" como una métrica universal para evaluar la calidad geométrica de cualquier PE, independiente de la tarea final.
Justificación Teórica: Explica por qué funciona la codificación sinusoidal (es óptima para estadísticas suaves) y por qué funciona ALiBi (es una aproximación de rango 1 para estadísticas invariantes a traslaciones).
Eficiencia de Parámetros: Demuestra que la mayoría de los codificadores aprendidos están sobredimensionados; la información posicional real reside en un subespacio de rango bajo, permitiendo reducciones masivas de parámetros sin perder información geométrica.
Nueva Dirección: Abre la puerta a diseñar codificadores específicos para el corpus (usando MDS) en lugar de usar esquemas genéricos, y plantea el desafío de extender las pruebas de monotonía más allá del régimen NTK.

En conclusión, el artículo establece que la geometría de los codificadores posicionales no es arbitraria, sino que está dictada por la estructura estadística intrínseca del corpus, y que el entrenamiento busca (bajo ciertas condiciones) recuperar esta geometría.