ReAttn: Improving Attention-based Re-ranking via Attention Re-weighting

1. Problema Identificado

O artigo aborda as limitações dos métodos de re-ordenamento (re-ranking) baseados em atenção em Grandes Modelos de Linguagem (LLMs). Embora os LLMs tenham mostrado capacidades notáveis em tarefas de re-ordenamento zero-shot (sem treinamento específico), os métodos que derivam scores de relevância diretamente dos pesos de atenção interna enfrentam dois problemas fundamentais:

• Concentração de Sinal (Signal Concentration): A massa de atenção tende a se concentrar excessivamente em um pequeno subconjunto de tokens dentro de poucos documentos. Isso deixa a maioria dos documentos candidatos com scores de atenção negligenciáveis, dificultando a distinção entre documentos de relevância moderada.
• Viés Lexical (Lexical Bias): O mecanismo de atenção frequentemente superestima frases que são lexicalmente similares à consulta (query), mesmo que semanticamente irrelevantes. Isso resulta em documentos com sobreposição de palavras-chave superficiais recebendo scores de relevância inflados, prejudicando a precisão da classificação.

2. Metodologia: ReAttn

Os autores propõem o ReAttn, uma estratégia de re-pesagem post-hoc (após a inferência) que ajusta os scores de atenção sem exigir treinamento adicional, supervisão ou atualização de parâmetros. O método opera em duas etapas sequenciais:

A. Re-pesagem IDF Inter-documentos (Cross-Document IDF Weighting)

• Objetivo: Mitigar o viés lexical.
• Mecanismo: Calcula a frequência de cada token da consulta que aparece em todo o conjunto de documentos candidatos.
• Lógica: Se um token da consulta aparece em muitos documentos, ele fornece pouca informação discriminativa. O método aplica um peso de IDF (Frequência Inversa de Documento) normalizado para reduzir a contribuição desses tokens ubíquos.
• Resultado: Tokens distintivos (raros no conjunto, mas presentes na consulta) ganham maior peso, enquanto tokens comuns são penalizados, reduzindo a influência de sobreposições lexicais superficiais.

B. Regularização Baseada em Entropia (Entropy-Based Regularization)

• Objetivo: Aliviar a concentração de sinal e promover uma distribuição mais equilibrada.
• Mecanismo: Para cada documento, os scores de atenção dos tokens são normalizados em uma distribuição de probabilidade. Calcula-se a entropia de Shannon dessa distribuição.
  • Alta Entropia: Indica que a atenção está bem distribuída por vários tokens informativos (desejável).
  • Baixa Entropia: Indica uma concentração excessiva em poucos tokens (indesejável).
• Ajuste: Aplica-se um peso no nível do documento baseado no desvio da entropia média. Documentos com baixa entropia (foco estreito) são penalizados, enquanto aqueles com alta entropia (cobertura ampla) recebem um pequeno bônus.
• Resultado: Isso força uma alocação de atenção mais equilibrada entre os documentos, melhorando a discriminação de documentos moderadamente relevantes.

3. Principais Contribuições

1. Identificação de Limitações: Mapeamento claro de dois problemas intrínsecos (concentração de sinal e viés lexical) que limitam a eficácia do re-ordenamento baseado em atenção.
2. Proposta ReAttn: Um método parameter-free (sem parâmetros treináveis) que combina ponderação IDF e regularização de entropia para refinar scores de atenção existentes.
3. Eficiência e Generalização: Demonstração de que o método funciona diretamente sobre os pesos de atenção de LLMs existentes, sem necessidade de fine-tuning, mantendo baixo custo computacional.

4. Resultados Experimentais

Os autores realizaram extensos experimentos em benchmarks de re-ordenamento (BEIR) e tarefas de raciocínio de contexto longo (LongMemEval, CLIPPER), utilizando diversos modelos base (Llama-3.2-3B, Llama-3.1-8B, Qwen-2.5-7B).

• Desempenho no BEIR: O ReAttn melhorou consistentemente o desempenho de baselines baseados em atenção (ICR e QRhead).
  • No modelo Llama-3.1-8B, a combinação QRhead+ReAttn alcançou uma média de nDCG@10 de 50.9, superando modelos supervisionados tradicionais como MSMARCO-MiniLM (48.0) e GTR-T5-base (45.2).
  • As melhorias foram mais pronunciadas em conjuntos de dados com alta sobreposição lexical (ex: DBPedia, FiQA) e em modelos menores (3B), onde a "colapso de atenção" é mais severo.
• Tarefas de Contexto Longo: O método demonstrou ganhos consistentes em Recall@K e precisão de raciocínio final, ajudando a identificar evidências esparsas em documentos longos que seriam ignoradas pela atenção bruta.
• Estudo de Ablação: A análise mostrou que o componente IDF é crucial para conjuntos dominados por palavras-chave, enquanto a regularização de entropia é vital para documentos longos e heterogêneos. A combinação de ambos (ReAttn completo) superou o uso isolado de cada componente.

5. Significado e Impacto

O trabalho é significativo porque oferece uma solução simples, eficiente e interpretável para melhorar a recuperação de informações sem depender de grandes volumes de dados rotulados ou custos de treinamento.

• Interpretabilidade: Reforça a ideia de que os sinais de atenção interna dos LLMs contêm informações valiosas sobre relevância, mas precisam de correções estatísticas para serem totalmente confiáveis.
• Acessibilidade: Permite que sistemas de busca e recuperação utilizem LLMs de código aberto (open-weight) com desempenho competitivo em relação a modelos supervisionados, reduzindo a barreira de entrada para re-ordenamento de alta qualidade.
• Direções Futuras: O artigo sugere que ajustes post-hoc na atenção podem ser uma via promissora para otimizar LLMs em tarefas de IR, embora ainda existam desafios relacionados à generalização para modelos especializados em IR e a idiomas não ingleses.

Em resumo, o ReAttn demonstra que a simples re-calibração dos pesos de atenção existentes pode transformar LLMs genéricos em re-ordenadores robustos e precisos, superando as limitações de viés e concentração inerentes aos mecanismos de atenção padrão.