Attention Expansion: Enhancing Keyphrase Extraction from Long Documents with Attention-Augmented Contextualized Embeddings

Resumen Técnico: Expansión de la Atención para la Extracción de Frases Clave en Documentos Largos

Planteamiento del Problema
La extracción de frases clave (KPE, por sus siglas en inglés) es una tarea crítica para la comprensión de documentos, pero enfrenta desafíos significativos cuando se aplica a documentos largos. Aunque los Modelos de Lenguaje Preentrenados (PLM) han logrado un alto rendimiento en KPE debido a su capacidad para generar representaciones contextualizadas ricas, están limitados por ventanas de contexto restringidas (típicamente 512 tokens). En documentos largos, la evidencia relevante para una frase clave suele estar dispersa en secciones distantes. Los enfoques estándar dividen los documentos en ventanas no superpuestas y los procesan de forma independiente, lo que impide que el modelo capture dependencias que abarcan múltiples ventanas.

Aunque los Modelos de Lenguaje de Gran Escala (LLM) de contexto largo y los codificadores de contexto extendido (por ejemplo, Longformer, ModernBERT) pueden procesar contextos más amplios, incurren en altos costos computacionales y de memoria, lo que los hace menos prácticos para canales de KPE de alto rendimiento. Por el contrario, reemplazar modelos especializados compactos por LLM genéricos suele ser ineficiente. El problema central abordado es cómo proporcionar a los modelos especializados de KPE acceso a la evidencia de documentos largos sin incurrir en el costo de la atención de contexto completo o de la inferencia basada en LLM.

Metodología: Expansión de la Atención
Los autores proponen un mecanismo de Expansión de la Atención que aumenta las representaciones de tokens de los PLM estándar con información de fragmentos de documentos circundantes "fuera de contexto". El enfoque opera de la siguiente manera:

1. Codificación de Ventana Deslizante: El documento de entrada se particiona en fragmentos ($c_i$) de longitud $L$ (por ejemplo, 512 tokens). Cada fragmento se procesa de forma independiente mediante el PLM para producir representaciones de tokens contextualizadas ($H_i$).
2. Representación Fuera de Contexto: Los fragmentos circundantes ($c_{i-w/2}, \dots, c_{i-1}, c_{i+1}, \dots, c_{i+w/2}$) se codifican utilizando un modelo de Incrustación de Palabras Preentrenada (PWE) ligera (específicamente Model2Vec). Esto genera representaciones vectoriales estáticas ($S_i$) para el texto circundante sin requerir una segunda pasada hacia adelante a través del transformador.
3. Integración de Atención Cruzada: Una capa de atención cruzada permite que los tokens en el fragmento actual ($H_i$) consulten las representaciones PWE de los fragmentos circundantes ($S_i$). El mecanismo utiliza un único cabezal de atención cruzada donde las consultas (queries) se derivan de $H_i$, y las claves (keys) y valores (values) se derivan de $S_i$. Notablemente, las proyecciones de clave y valor están vinculadas (usando la misma matriz) para reducir los parámetros.
4. Clasificación Enriquecida: La salida de la atención cruzada se concatena con los estados ocultos originales del PLM. Esta representación enriquecida se introduce en un cabezal de clasificación lineal para el etiquetado de secuencias BIO (Begin, Inside, Outside).
5. Variante de Multi-Cabezal: Una variante multi-cabezal (MH-AE) divide los estados ocultos y las representaciones PWE en segmentos, aplicando bloques de atención cruzada independientes a cada segmento antes de la concatenación.

Este diseño expande el contexto efectivo del modelo (por ejemplo, permitiendo el acceso a hasta 5 veces el tamaño de la ventana nativa para backbones de 512 tokens) sin aumentar la longitud de la secuencia procesada por el PLM en sí mismo.

Contribuciones Clave

• Mecanismo Novedoso: Introducción de un mecanismo de expansión de atención que une las incrustaciones de los PLM en contexto con las representaciones léxicas fuera de contexto mediante atención cruzada, evitando la atención de contexto completo o la inferencia de LLM.
• Eficiencia: El método es ligero en parámetros y computacionalmente eficiente. El crecimiento de parámetros está limitado por la dimensión de la incrustación estática y el cálculo adicional por token es lineal. Añade un overhead mínimo (aproximadamente un aumento del 3.6% en el tiempo de la pasada hacia adelante promedio) mientras expande significativamente el contexto accesible.
• Complementariedad: El mecanismo proporciona información complementaria en lugar de simplemente compensar la longitud limitada de la entrada. Mejora el rendimiento incluso en codificadores de dominio especializado (SciBERT, KBIR) y de contexto largo nativo (ModernBERT).

Resultados Experimentales
El enfoque fue evaluado a través de cinco backbones de codificador (DistilBERT, SciBERT, KBIR, DeBERTa-v3, ModernBERT), dos regímenes de entrenamiento (SemEval-2010 y LDKP3K) y cinco corpora de referencia (Inspec, DUC-2001, SemEval-2010, LDKP3K, NUS).

• Documentos Largos: La expansión de la atención mejoró consistentemente el rendimiento de KPE en todos los entornos de evaluación. En 48 de las 50 comparaciones de backbone-dataset-entrenamiento, las variantes con expansión de atención superaron a sus bases de comparación.
  • Modelos Generales y Especializados: Se observaron mejoras para modelos de propósito general y aquellos especializados en dominios científicos (SciBERT) o tareas de frases clave (KBIR).
  • Modelos de Contexto Largo: Incluso ModernBERT, que soporta nativamente 8,192 tokens, mostró ganancias de rendimiento, indicando que el mecanismo aporta valor más allá de la simple extensión de la ventana.
  • Transversalidad de Dominio: Las mejoras se observaron principalmente al transferir de datos de entrenamiento científicos al dominio de noticias (DUC-2001), aunque los resultados no fueron uniformes en todos los backbones.
• Documentos Cortos: En el conjunto de datos Inspec (resúmenes que caben dentro de los límites nativos), el mecanismo no degradó el rendimiento y, en algunos casos (por ejemplo, ModernBERT), produjo ganancias significativas, lo que sugiere que el componente influye de manera beneficiosa en la dinámica de ajuste fino incluso sin evidencia fuera de contexto.
• Costo: La variante multi-cabezal (MH-AE) generalmente funcionó de manera ligeramente superior o comparable a la variante de un solo cabezal (AE) con un aumento de parámetros insignificante (aproximadamente 0.05% para MH-AE frente a 0.21% para AE).

Significancia y Reivindicaciones
El artículo afirma que la expansión de la atención establece una estrategia eficiente y efectiva para la KPE en documentos largos. Demuestra que los modelos especializados pueden mejorarse con evidencia distribuida del documento sin los costos prohibitivos de la atención de contexto completo o la inferencia basada en LLM. Los autores posicionan esto como una solución práctica para canales de alto rendimiento (por ejemplo, indexación a gran escala, generación aumentada por recuperación) donde la eficiencia es crítica.

Los resultados sugieren que el mecanismo proporciona información complementaria que enriquece las representaciones de los tokens, en lugar de actuar simplemente como un parche para las ventanas de contexto cortas. El trabajo refuerza el argumento de que los componentes específicos de la tarea, rápidos y eficientes, deben complementar, en lugar de ser reemplazados por, razonadores genéricos más grandes. Los autores señalan modestamente que, si bien el método mejora la transferencia en muchos casos, la mejora en la transferencia entre dominios no es automática y depende de la interacción entre el backbone y la distribución objetivo. Se sugiere como trabajo futuro explorar la selección adaptativa de contexto y representaciones estáticas más ricas.