Mitigating Position Bias in Transformers via Layer-Specific Positional Embedding Scaling

Resumo Técnico: Mitigação do Viés de Posição em Transformers via Escalonamento de Embeddings Posicionais Específicos por Camada

Definição do Problema
Grandes Modelos de Linguagem (LLMs) baseados em Transformers, particularmente aqueles que utilizam Rotary Position Embeddings (RoPE), sofrem de um fenômeno de "perda no meio" (lost-in-the-middle). À medida que o comprimento do contexto aumenta, esses modelos tendem a dar atenção excessiva aos tokens no início e no fim da sequência de entrada, negligenciando informações críticas localizadas no meio. Soluções existentes, como Attention Buckets e MoICE, tentam mitigar isso combinando múltiplos RoPEs com diferentes bases ou fatores de escala. No entanto, essas abordagens dependem tipicamente de regras projetadas manualmente e exigem múltiplas passagens de forward (ensembling de nível de modelo ou de módulo) durante a inferência. Isso resulta em um overhead computacional significativo, aumento de latência e altos custos de inferência, limitando sua aplicabilidade prática. Além disso, determinar os fatores de escala ideais é um problema de otimização combinatória que é computacionalmente intratável para busca exaustiva e difícil de resolver via métodos baseados em gradiente devido à natureza discreta das atribuições específicas por camada.

Metodologia
Os autores propõem o Layer-Specific Positional Embedding Scaling (LPES), um método que não requer treinamento, que atribui fatores de escala distintos a cada camada do Transformer sem modificar os parâmetros do modelo ou aumentar a latência de inferência.

1. Escalonamento Específico por Camada: Diferente de métodos que aplicam um único fator de escala global ou múltiplos RoPEs por cabeça de atenção, o LPES atribui um fator de escala único $s_h$ para cada camada $h$. Isso permite que o modelo combine informações de múltiplos RoPEs escalonados dentro de uma única passagem de forward.
2. Restrição de Curva de Bézier: Para abordar a intratabilidade de buscar $L$ fatores de escala independentes (onde o tamanho do espaço de busca é $M^L$), os autores modelam a relação entre a profundidade da camada e os fatores de escala usando curvas de Bézier. Ao definir a curva com um pequeno conjunto de pontos de controle discretos $P_k$, o espaço de busca é drasticamente reduzido de $M^L$ para $(M \times L)^C$, onde $C$ é o número de pontos de controle. Essa abordagem aproveita a observação de que variações suaves e contínuas nos fatores de escala servem como um viés indutivo benéfico, preservando a estrutura representacional camada a camada do modelo.
3. Algoritmo Genético Restrito por Curva: Os autores empregam um algoritmo genético especializado para otimizar os pontos de controle da curva de Bézier.
   • Função de Aptidão (Fitness Function): O algoritmo avalia os indivíduos com base no desempenho do modelo em três subconjuntos de dados onde a informação relevante aparece no início, no meio e no fim da entrada.
   • Restrições: Os operadores de mutação e crossover impõem monotonicidade nas coordenadas x dos pontos de controle e limitam a amplitude das mudanças nas coordenadas y para garantir suavidade e evitar mudanças abruptas de escala.
   • Eficiência: A configuração de escala ideal pode ser encontrada usando apenas algumas centenas de exemplos (ex: 200 instâncias) em hardware padrão (quatro GPUs H100) dentro de 3 a 4 horas.

Principais Contribuições

• Framework LPES: Um método inovador que mitiga o viés posicional ao atribuir fatores de escala específicos por camada, alcançando uma distribuição de atenção equilibrada sem realizar ajuste fino (fine-tuning) dos pesos do modelo ou incorrer em latência adicional de inferência.
• Otimização Eficiente: A introdução de um algoritmo genético restrito por curvas de Bézier, que resolve eficientemente o problema de otimização combinatória de encontrar fatores de escala ideais, reduzindo o espaço de busca e permitindo uma convergência rápida.
• Validação Empírica: Experimentos abrangentes demonstrando que o LPES preserva as capacidades gerais enquanto melhora significativamente o desempenho em contextos longos através de múltiplos benchmarks e arquiteturas de modelos.

Resultados
Experimentos extensivos foram conduzidos em modelos incluindo Vicuna-7B, StableBeluga-7B e Qwen2.5-7B em benchmarks como MDQA, Key-Value Retrieval, ZeroSCROLLS e L-Eval.

• Ganhos de Desempenho: O LPES superou consistentemente os baselines (incluindo Positional Interpolation, Attention Buckets, Ms-PoE e MoICE). Notavelmente, alcançou um ganho de precisão de até 11,2% no dataset de Key-Value Retrieval para o Vicuna-7B.
• Mitigação do Viés Posicional: O método melhorou significativamente a precisão para informações localizadas no meio do contexto (posição 50%), abordando o problema de "perda no meio" de forma mais eficaz do que os métodos existentes.
• Eficiência de Inferência: O LPES requer apenas uma única passagem de forward. Relata-se que é 2,42× mais rápido que o MoICE e 1,45× mais rápido que o Ms-PoE, mantendo o mesmo tempo de inferência do baseline.
• Generalização: Os fatores de escala aprendidos em um dataset (MDQA) transferiram-se efetivamente para outras tarefas de texto longo (ZeroSCROLLS, L-Eval) e diferentes modelos, sem degradar as capacidades gerais nos benchmarks MMLU e C-Eval.
• Viés Indutivo: A análise do desvio da estrutura representacional mostrou que o escalonamento suave baseado em Bézier causa uma interrupção mínima nas representações internas de camada do modelo em comparação com estratégias de escalonamento ruidosas ou embaralhadas.

Significância
O artigo afirma que o LPES oferece uma solução amplamente aplicável e eficiente para o problema do viés posicional em LLMs de contexto longo. Ao evitar o overhead computacional de inferência de múltiplas passagens e a complexidade do ajuste fino total do modelo, o LPES permite a implantação de capacidades de contexto longo em modelos já treinados. Os autores enfatizam que sua abordagem transforma uma busca combinatória difícil em um problema de otimização tratável via curvas de Bézier, fornecendo um caminho prático para uma distribuição de atenção equilibrada sem as penalidades de latência associadas aos métodos anteriores baseados em ensemble. O trabalho destaca que o escalonamento suave, específico por camada, atua como um poderoso viés indutivo, emergindo naturalmente como uma configuração de alto desempenho.