Mitigating Position Bias in Transformers via Layer-Specific Positional Embedding Scaling

Resumen Técnico: Mitigación del Sesgo de Posición en Transformers mediante el Escalamiento de Incrustaciones Posicionales Específicas por Capa

Planteamiento del Problema
Los Grandes Modelos de Lenguaje (LLMs) basados en Transformers, particularmente aquellos que utilizan Incrustaciones de Posición Rotatorias (RoPE), sufren un fenómeno de "pérdida en el medio" (lost-in-the-middle). A medida que la longitud del contexto aumenta, estos modelos tienden a prestar excesiva atención a los tokens al principio y al final de la secuencia de entrada, descuidando la información crítica ubicada en el medio. Las soluciones existentes, como Attention Buckets y MoICE, intentan mitigar esto combinando múltiples RoPEs con diferentes bases o factores de escala. Sin embargo, estos enfoques dependen típicamente de reglas diseñadas manualmente y requieren múltiples pasadas hacia adelante (ensambles a nivel de modelo o de módulo) durante la inferencia. Esto resulta en una sobrecarga computacional significativa, mayor latencia y altos costos de inferencia, lo que limita su aplicabilidad práctica. Además, determinar los factores de escala óptimos es un problema de optimización combinatoria que es computacionalmente intratable para una búsqueda exhaustiva y difícil de resolver mediante métodos basados en gradientes debido a la naturaleza discreta de las asignaciones específicas por capa.

Metodología
Los autores proponen el Escalamiento de Incrustaciones Posicionales Específicas por Capa (LPES), un método que no requiere entrenamiento que asigna distintos factores de escala a cada capa del Transformer sin modificar los parámetros del modelo ni aumentar la latencia de inferencia.

1. Escalamiento Específico por Capa: A diferencia de los métodos que aplican un único factor de escala global o múltiples bases por cabeza de atención, LPES asigna un factor de escala único $s_h$ a cada capa $h$. Esto permite que el modelo combine información de múltiples RoPEs escalados dentro de una sola pasada hacia adelante.
2. Restricción de Curva de Bézier: Para abordar la intratabilidad de buscar $L$ factores de escala independientes (donde el tamaño del espacio de búsqueda es $M^L$), los autores modelan la relación entre la profundidad de la capa y los factores de escala utilizando curvas de Bézier. Al definir la curva con un pequeño conjunto de puntos de control discretos $P_k$, el espacio de búsqueda se reduce drásticamente de $M^L$ a $(M \times L)^C$, donde $C$ es el número de puntos de control. Este enfoque aprovecha la observación de que las variaciones suaves y continuas en los factores de escala sirven como un sesgo inductivo beneficioso, preservando la estructura representacional capa por capa del modelo.
3. Algoritmo Genético Restringido por Curvas: Los autores emplean un algoritmo genético especializado para optimizar los puntos de control de la curva de Bézier.
   • Función de Aptitud (Fitness Function): El algoritmo evalúa a los individuos basándose en el rendimiento del modelo a través de tres subconjuntos de datos donde la información relevante aparece al principio, en el medio y al final de la entrada.
   • Restricciones: Los operadores de mutación y cruce imponen la monotonicidad en las coordenadas x de los puntos de control y limitan el rango de cambios en las coordenadas y para asegurar la suavidad y prevenir cambios de escala abruptos.
   • Eficiencia: La configuración de escala óptima puede encontrarse utilizando solo unos pocos cientos de ejemplos (por ejemplo, 200 instancias) en hardware estándar (cuatro GPUs H100) en 3–4 horas.

Contribuciones Clave

• Marco LPES: Un método novedoso que mitiga el sesgo posicional asignando factores de escala específicos por capa, logrando una distribución de atención equilibrada sin realizar un ajuste fino (fine-tuning) de los pesos del modelo ni incurrir en latencia de inferencia adicional.
• Optimización Eficiente: La introducción de un algoritmo genético restringido por curvas de Bézier, que resuelve eficientemente el problema de optimización combinatoria de encontrar los factores de escala óptimos, reduciendo el espacio de búsqueda y permitiendo una convergencia rápida.
• Validación Empírica: Experimentos exhaustivos que demuestran que LPES preserva las capacidades generales mientras mejora significativamente el rendimiento en contextos largos a través de múltiples benchmarks y arquitecturas de modelos.

Resultados
Se realizaron experimentos extensos en modelos incluyendo Vicuna-7B, StableBeluga-7B y Qwen2.5-7B en benchmarks como MDQA, Key-Value Retrieval, ZeroSCROLLS y L-Eval.

• Ganancias de Rendimiento: LPES superó consistentemente a los baselines (incluyendo Positional Interpolation, Attention Buckets, Ms-PoE y MoICE). Notablemente, logró una ganancia de precisión de hasta un 11.2% en el conjunto de datos Key-Value Retrieval para Vicuna-7B.
• Mitigación del Sesgo de Posición: El método mejoró significamente la precisión para la información ubicada en el medio del contexto (posición 50%), abordando el problema de "pérdida en el medio" de manera más efectiva que los métodos existentes.
• Eficiencia de Inferencia: LPES requiere una sola pasada hacia adelante. Se reporta que es 2.42× más rápido que MoICE y 1.45× más rápido que Ms-PoE, manteniendo el mismo tiempo de inferencia que el baseline.
• Generalización: Los factores de escala aprendidos en un conjunto de datos (MDQA) se transfirieron efectivamente a otras tareas de texto largo (ZeroSCROLLS, L-Eval) y a diferentes modelos, sin degradar las capacidades generales en los benchmarks MMLU y C-Eval.
• Sesgo Inductivo: El análisis de la desviación de la estructura representacional mostró que el escalamiento suave basado en Bézier causa una interrupción mínima en las representaciones internas por capa del modelo en comparación con las estrategias de escalamiento ruidosas o desordenadas.

Significancia
El artículo afirma que LPES ofrece una solución ampliamente aplicable y eficiente al problema del sesgo de posición en los LLMs de contexto largo. Al evitar la sobrecarga computacional de la inferencia de múltiples pasadas y la complejidad del ajuste fino completo del modelo, LPES permite el despliegue de capacidades de contexto largo en modelos ya entrenados. Los autores enfatizan que su enfoque transforma un difícil problema de búsqueda combinatoria en un problema de optimización tratable mediante curvas de Bézier, proporcionando un camino práctico para una distribución de atención equilibrada sin las penalizaciones de latencia asociadas con los métodos anteriores basados en ensambles. El trabajo destaca que el escalamiento específico por capa y suave actúa como un poderoso sesgo inductivo, emergiendo naturalmente como una configuración de alto rendimiento.