Attention Expansion: Enhancing Keyphrase Extraction from Long Documents with Attention-Augmented Contextualized Embeddings

Resumo Técnico: Expansão de Atenção para Extração de Palavras-Chave em Documentos Longos

Definição do Problema
A extração de palavras-chave (KPE - Keyphrase Extraction) é uma tarefa crítica para a compreensão de documentos, mas enfrenta desafios significativos quando aplicada a documentos longos. Embora os Modelos de Linguagem Pré-treinados (PLMs) tenham alcançado um forte desempenho em KPE devido à sua capacidade de gerar representações contextualizadas ricas, eles são limitados por janelas de contexto restritas (tipicamente 5 512 tokens). Em documentos longos, evidências salientes para uma palavra-chave estão frequentemente espalhadas por seções distantes. As abordagens padrão dividem os documentos em janelas não sobrepostas e os processam de forma independente, o que impede o modelo de capturar dependências que abrangem múltiplas janelas.

Embora os Grandes Modelos de Linguagem (LLMs) de contexto longo e codificadores de contexto estendido (ex: Longformer, ModernBERT) possam processar contextos mais amplos, eles incorrem em altos custos computacionais e uso de memória, tornando-os menos práticos para pipelines de KPE de alto rendimento (high-throughput). Por outro lado, substituir modelos especializados compactos por LLMs genéricos é frequentemente ineficiente. O problema central abordado é como fornecer aos modelos especializados de KPE acesso a evidências de documentos longos sem incorrer no custo da atenção de contexto total ou da inferência baseada em LLM.

Metodologia: Expansão de Atenção
Os autores propõem um mecanismo de Expansão de Atenção que aumenta as representações de tokens de PLMs padrão com informações de fragmentos de documentos "fora de contexto" circundantes. A abordagem opera da seguinte forma:

1. Codificação de Janela Deslizante: O documento de entrada é particionado em fragmentos ($c_i$) de comprimento $L$ (ex: 512 tokens). Cada fragmento é processado independentemente pelo PLM para produzir representações de tokens contextualizadas ($H_i$).
2. Representação Fora de Contexto: Os fragmentos circundantes ($c_{i-w/2}, \dots, c_{i-1}, c_{i+1}, \dots, c_{i+w/2}$) são codificados usando um modelo de Embeddings de Palavras Pré-treinado (PWE) leve (especificamente o Model2Vec). Isso gera representações vetoriais estáticas ($S_i$) para o texto circundante sem exigir uma segunda passagem direta através do transformer.
3. Integração de Atenção Cruzada (Cross-Attention): Uma camada de atenção cruzada permite que os tokens em um fragmento atual ($H_i$) consultem as representações PWE dos fragmentos circundantes ($S_i$). O mecanismo utiliza um único cabeçalho de atenção cruzada, onde as queries são derivadas de $H_i$, e as keys/values são derivadas de $S_i$. Notavelmente, as projeções de key e value são vinculadas (usando a mesma matriz) para reduzir parâmetros.
4. Classificação Enriquecida: A saída da atenção cruzada é concatenada com os estados ocultos originais do PLM. Esta representação enriquecida é enviada para um cabeçalho de classificação linear para marcação de sequência BIO (Begin, Inside, Outside).
5. Variante Multi-Cabeçalho: Uma variante multi-cabeçalho (MH-AE) divide os estados ocultos e as representações PWE em fatias, aplicando blocos de atenção cruzada independentes a cada fatia antes da concatenação.

Este design expande o contexto efetivo do modelo (permitindo, por exemplo, o acesso a até 5x o tamanho da janela nativa para backbones de 512 tokens) sem aumentar o comprimento da sequência processada pelo PLM em si.

Principais Contribuições

• Mecanismo Inovador: Introdução de um mecanismo de expansão de atenção que faz a ponte entre embeddings de PLM em contexto e representações lexicais fora de contexto via atenção cruzada, evitando a atenção de contexto total ou a inferência de LLM.
• Eficiência: O método é leve em parâmetros e computacionalmente eficiente. O crescimento de parâmetros é limitado pela dimensão do embedding estático, e o cálculo adicional por token é linear. Ele adiciona um overhead mínimo (aproximadamente 3,6% de aumento no tempo médio de passagem direta) enquanto expande significativamente o contexto acessível.
• Complementaridade: O mecanismo fornece informações complementares em vez de meramente compensar a limitação do comprimento de entrada. Ele melhora o desempenho mesmo em codificadores especializados em domínios (SciBERT, KBIR) e de contexto longo nativo (ModernBERT).

Resultados Experimentais
A abordagem foi avaliada em cinco backbones de codificador (DistilBERT, SciBERT, KBIR, DeBERTa-v3, ModernBERT), dois regimes de treinamento (SemEval-2010 e LDKP3K) e cinco corpora de referência (Inspec, DUC-2001, SemEval-2010, LDKP3K, NUS).

• Documentos Longos: A expansão de atenção melhorou consistentemente o desempenho de KPE em todas as configurações de avaliação. Em 48 de 50 comparações de backbone-dataset-treinamento, as variantes com expansão de atenção superaram seus baselines.
  • Modelos Gerais e Especializados: Melhorias foram observadas para modelos de propósito geral e aqueles especializados em domínios científicos (SciBERT) ou tarefas de palavras-chave (KBIR).
  • Modelos de Contexto Longo: Mesmo o ModernBERT, que suporta nativamente 8.192 tokens, mostrou ganhos de desempenho, indicando que o mecanismo agrega valor além de apenas estender a janela.
  • Transversalidade de Domínio: As melhorias foram observadas principalmente ao transferir de dados de treinamento científicos para domínios de notícias (DUC-2001), embora os resultados não tenham sido uniformes em todos os backbones.
• Documentos Curtos: No dataset Inspec (abstracts que cabem dentro dos limites nativos), o mecanismo não degradou o desempenho e, em alguns casos (ex: ModernBERT), gerou ganhos significativos, sugerindo que o componente influencia positivamente a dinâmica de fine-tuning mesmo sem evidência fora de contexto.
• Custo: A variante multi-cabeçalho (MH-AE) geralmente teve um desempenho ligeiramente superior ou comparável à variante de cabeçalho único (AE) com um overhead de parâmetros desprezível (aprox. 0,05% de aumento para MH-AE vs. 0,21% para AE).

Significância e Alegações
O artigo afirma que a expansão de atenção estabelece uma estratégia eficiente e eficaz para KPE em documentos longos. Demonstra que modelos especializados podem ser aprimorados com evidências distribuídas do documento sem os custos proibitivos da atenção de contexto total ou da inferência baseada em LLM. Os autores posicionam isso como uma solução prática para pipelines de alto rendimento (ex: indexação em larga escala, geração aumentada por recuperação) onde a eficiência é crítica.

Os resultados sugerem que o mecanismo fornece informação complementar que enriquece as representações de tokens, em vez de atuar meramente como um remendo para janelas de contexto curtas. O trabalho reforça o argumento de que componentes específicos de tarefas, rápidos e eficientes, devem complementar, em vez de substituir, raciocinadores genéricos maiores. Os autores observam modestamente que, embora o método melhore a transferência em muitos casos, a melhoria na transferência entre domínios não é automática e depende da interação entre o backbone e a distribuição alvo. Um trabalho futuro é sugerido para explorar a seleção adaptativa de contexto e representações estáticas mais ricas.