Attention Expansion: Enhancing Keyphrase Extraction from Long Documents with Attention-Augmented Contextualized Embeddings

Sintesi Tecnica: Espansione dell'Attenzione per l'Estrazione di Chiave-Frasi da Documenti Lunghi

Definizione del Problema
L'estrazione di chiave-frasi (Keyphrase Extraction, KPE) è un compito critico per la comprensione dei documenti, ma affronta sfide significative quando applicata a documenti lunghi. Sebbene i Modelli di Linguaggio Pre-addestrati (PLM) abbiano raggiunto prestazioni elevate nella KPE grazie alla loro capacità di generare rappresentazioni contestualizzate ricche, essi sono vincolati da finestre di contesto limitate (tipicamente 512 token). Nei documenti lunghi, le evidenze salienti per una chiave-frasi sono spesso sparse in sezioni distanti. Gli approcci standard suddividono i documenti in finestre non sovrapponibili e li elaborano indipendentemente, impedendo al modello di catturare dipendenze che si estendono su più finestre.

Sebbene i Large Language Models (LLM) a lungo contesto e gli encoder a contesto esteso (ad es., Longformer, ModernBERT) possano elaborare contesti più ampi, essi comportano costi computazionali e un uso della memoria elevati, rendendoli meno pratici per pipeline di KPE ad alto throughput. Al contrario, sostituire modelli specializzati compatti con LLM generici è spesso inefficiente. Il problema centrale affrontato è come fornire ai modelli specializzati di KPE l'accesso alle evidenze di documenti lunghi senza incorrere nel costo dell'attenzione a lungo contesto completa o dell'inferenza basata su LLM.

Metodologia: Espansione dell'Attenzione (Attention Expansion)
Gli autori propongono un meccanismo di Espansione dell'Attenzione che aumenta le rappresentazioni dei token dei PLM standard con informazioni provenienti da chunk di documento "fuori contesto" circostanti. L'approccio opera come segue:

1. Codifica a Finestra Scorrevole (Sliding Window Encoding): Il documento di input viene partizionato in chunk ($c_i$) di lunghezza $L$ (ad es., 512 token). Ogni chunk viene elaborato indipendentemente dal PLM per produrre rappresentazioni di token contestualizzate ($H_i$).
2. Rappresentazione Fuori Contesto: I chunk circostanti ($c_{i-w/2}, \dots, c_{i-1}, c_{i+1}, \dots, c_{i+w/2}$) vengono codificati utilizzando un modello leggero di Pre-trained Word Embedding (PWE) (specificamente Model2Vec). Questo genera rappresentazioni vettoriali statiche ($S_i$) per il testo circostante senza richiedere un secondo passaggio in avanti attraverso il transformer.
3. Integrazione Cross-Attention: Uno strato di cross-attention permette ai token in un chunk corrente ($H_i$) di interrogare le rappresentazioni PWE dei chunk circostanti ($S_i$). Il meccanismo utilizza un singolo capo di cross-attention dove le query sono derivate da $H_i$, e le chiavi/valori sono derivati da $S_i$. Notevolmente, le proiezioni di chiave e valore sono legate (utilizzando la stessa matrice) per ridurre i parametri.
4. Classificazione Arricchita: L'output della cross-attention viene concatenato con gli stati nascosti originali del PLM. Questa rappresentazione arricchita viene inviata a un capo di classificazione lineare per il tagging di sequenze BIO (Begin, Inside, Outside).
5. Variante Multi-Testa (Multi-Head Variant): Una variante multi-testa (MH-AE) suddivide gli stati nascosti e le rappresentazioni PWE in segmenti, applicando blocchi di cross-attention indipendenti a ciascun segmento prima della concatenazione.

Questo design espande il contesto effettivo del modello (ad es., permettendo l'accesso fino a 5 volte la dimensione della finestra nativa per backbone da 512 token) senza aumentare la lunghezza della sequenza elaborata dal PLM stesso.

Contributi Chiave

• Meccanismo Innovativo: Introduzione di un meccanismo di espansione dell'attenzione che colma il divario tra gli embedding dei PLM in-context e le rappresentazioni lessicali fuori contesto tramite cross-attention, evitando l'attenzione a lungo contesto completa o l'inferenza LLM.
• Efficienza: Il metodo è leggero in termini di parametri e computazionalmente efficiente. La crescita dei parametri è limitata dalla dimensione dell'embedding statico e il calcolo aggiuntivo per token è lineare. Aggiunge un overhead minimo (circa il 3,6% di aumento medio nel tempo di passaggio in avanti) pur espandendo significativamente il contesto accessibile.
• Complementarità: Il meccanismo fornisce informazioni complementari piuttosto che limitarsi a compensare la lunghezza limitata dell'input. Migliora le prestazioni anche su encoder general-purpose (SciBERT, KBIR) e a contesto nativo lungo (ModernBERT).

Risultati Sperimentali
L'approccio è stato valutato su cinque backbone di encoder (DistilBERT, SciBERT, KBIR, DeBERTa-v3, ModernBERT), due regimi di addestramento (SemEval-2010 e LDKP3K) e cinque corpora di benchmark (Inspec, DUC-2001, SemEval-2010, LDKP3K, NUS).

• Documenti Lunghi: L'espansione dell'attenzione ha migliorato costantemente le prestazioni di KPE in tutte le impostazioni di valutazione. In 48 casi su 50 confronti tra backbone-dataset-addestramento, le varianti con espansione dell'attenzione hanno superato le loro baseline.
  • Modelli Generici e Specializzati: Sono stati osservati miglioramenti per i modelli general-purpose e per quelli specializzati in domini scientifici (SciBERT) o task di chiave-frasi (KBIR).
  • Modelli a Lungo Contesto: Anche ModernBERT, che supporta nativamente 8.192 token, ha mostrato guadagni di prestazione, indicando che il meccanismo aggiunge valore oltre la semplice estensione della finestra.
  • Cross-Domain: I miglioramenti sono stati osservati principalmente quando si trasferiva dai dati di addestramento scientifici al dominio delle news (DUC-2001), sebbene i risultati non siano stati uniformi in tutti i backbone.
• Documenti Corti: Sul dataset Inspec (abstract che rientrano nei limiti nativi), il meccanismo non ha degradato le prestazioni e, in alcuni casi (ad es., ModernBERT), ha prodotto guadagni significativi, suggerendo che la componente influenza beneficamente la dinamica di fine-tuning anche senza evidenze fuori contesto.
• Costo: La variante multi-testa (MH-AE) ha generalmente ottenuto prestazioni leggermente migliori o comparabili alla variante a testa singola (AE) con un overhead di parametri trascurabile (circa lo 0,05% di aumento per MH-AE rispetto allo 0,21% per AE).

Significatività e Rivendicazioni
L'articolo sostiene che l'espansione dell'attenzione stabilisca una strategia efficiente ed efficace per la KPE su documenti lunghi. Dimostra che i modelli specializzati possono essere potenziati con evidenze distribuite del documento senza i costi proibitivi dell'attenzione a lungo contesto completa o dell'inferenza basata su LLM. Gli autori pongono questo lavoro come una soluzione pratica per pipeline ad alto throughput (ad es., indicizzazione su larga scala, generazione aumentata dalla ricerca/RAG) dove l'efficienza è critica.

I risultati suggeriscono che il meccanismo fornisce informazioni complementari che arricchiscono le rappresentazioni dei token, piuttosto che agire semplicemente come una patch per le finestre di contesto brevi. Il lavoro rafforza l'argomento secondo cui componenti specifiche del task, veloci ed efficienti, dovrebbero completare, piuttosto che essere sostituite da, ragionatori generici più grandi. Gli autori notano con modestia che, sebbene il metodo migliori il trasferimento in molti casi, il miglioramento del trasferimento cross-domain non è automatico e dipende dall'interazione tra il backbone e la distribuzione target. Il lavoro futuro suggerisce di esplorare la selezione adattiva del contesto e rappresentazioni statiche più ricche.