Attention Expansion: Enhancing Keyphrase Extraction from Long Documents with Attention-Augmented Contextualized Embeddings

Technische Samenvatting: Attention Expansion voor Keyphrase Extractie bij Lange Documenten

Probleemstelling
Keyphrase extractie (KPE) is een cruciale taak voor documentbegrip, maar het staat voor aanzienlijke uitdagingen wanneer het wordt toegepast op lange documenten. Hoewel Pre-trained Language Models (PLMs) sterke prestaties hebben bereikt in KPE vanwege hun vermogen om rijke gecontextualiseerde representaties te genereren, worden ze beperkt door een beperkt contextvenster (meestal 512 tokens). In lange documenten is doorslagend bewijs voor een keyphrase vaak verspreid over verre secties. Standaardbenaderingen splitsen documenten op in niet-overlappende vensters en verwerken deze onafhankelijk, wat voorkomt dat het model afhankelijkheden kan vastleggen die meerdere vensters overspannen.

Hoewel Long-Context Large Language Models (LLMs) en uitgebreide context-encoders (bijv. Longformer, ModernBERT) een bredere context kunnen verwerken, brengen zij hoge computationele kosten en geheugengebruik met zich mee, wat ze minder praktisch maakt voor KPE-pipelines met een hoge doorvoer. Daarentegen is het vervangen van compacte gespecialiseerde modellen door generieke LLMs vaak inefficiënt. Het kernprobleem dat wordt aangepakt, is hoe men gespecialiseerde KPE-modellen toegang kan geven tot bewijsmateriaal uit lange documenten zonder de kosten van volledige long-context attention of LLM-gebaseerde inferentie te dragen.

Methodologie: Attention Expansion
De auteurs stellen een Attention Expansion-mechanisme voor dat de standaard PLM-tokenrepresentaties aanvult met informatie uit omliggende "out-of-context" documentchunks. De aanpak werkt als volgt:

1. Sliding Window Encoding: Het invoerdocument wordt gepartitioneerd in chunks ($c_i$) van lengte $L$ (bijv. 512 tokens). Elke chunk wordt onafhankelijk door de PLM verwerkt om gecontextualiseerde tokenrepresentaties ($H_i$) te produceren.
2. Out-of-Context Representatie: Omliggende chunks ($c_{i-w/2}, \dots, c_{i-1}, c_{i+1}, \dots, c_{i+w/2}$) worden gecodeerd met behulp van een lichtgewicht Pre-trained Word Embedding (PWE)-model (specifiek Model2Vec). Dit genereert statische vectorrepresentaties ($S_i$) voor de omliggende tekst zonder dat een tweede forward pass door de transformer nodig is.
3. Cross-Attention Integratie: Een cross-attention laag stelt tokens in de huidige chunk ($H_i$) in staat om te query'en op de PWE-representaties van de omliggende chunks ($S_i$). Het mechanisme gebruikt een enkele cross-attention head waarbij queries worden afgeleid van $H_i$, en keys/values worden afgeleid van $S_i$. Opvallend genoeg zijn de key en value projecties gekoppeld (gebruikmakend van dezelfde matrix) om het aantal parameters te verminderen.
4. Verrijkte Classificatie: De output van de cross-attention wordt geconcateneerd met de oorspronkelijke PLM hidden states. Deze verrijkte representatie wordt gevoed aan een lineaire classificatiekop voor BIO (Begin, Inside, Outside) sequentietagging.
5. Multi-Head Variant: Een multi-head variant (MH-AE) splitst de hidden states en PWE-representaties in slices, waarbij onafhankelijke cross-attention blokken op elke slice worden toegepast vóór concatenatie.

Dit ontwerp breidt het effectieve context van het model uit (bijv. toegang tot tot wel 5x de natuurlijke venstergrootte voor 512-token backbones) zonder de sequentielengte die door de PLM wordt verwerkt zelf te vergroten.

Belangrijkste Bijdragen

• Nieuw Mechanisme: Introductie van een attention expansion mechanisme dat in-context PLM embeddings verbindt met out-of-context lexicale representaties via cross-attention, waardoor volledige long-context attention of LLM-inferentie wordt vermeden.
• Efficiëntie: De methode is parameter-licht en computationeel efficiënt. De groei van parameters is begrensd door de statische embedding dimensie, en de extra berekening per token is lineair. Het voegt minimale overhead toe (ongeveer 3,6% gemiddelde toename in forward-pass tijd) terwijl het de toegankelijke context aanzienlijk uitbreidt.
• Complementariteit: Het mechanisme biedt complementaire informatie in plaats van enkel de beperkte inputlengte te compenseren. Het verbetert de prestaties zelfs op domeinspecifieële (SciBERT, KBIR) en native long-context (ModernBERT) encoders.

Experimentele Resultaten
De aanpak is geëvalueerd over vijf encoder backbones (DistilBERT, SciBERT, KBIR, DeBERTa-v3, ModernBERT), twee trainingsregimes (SemEval-2010 en LDKP3K) en vijf benchmark corpora (Inspec, DUC-2001, SemEval-2010, LDKP3K, NUS).

• Lange Documenten: Attention expansion verbeterde de KPE-prestaties consistent over alle evaluatiesettings. In 48 van de 50 backbone-dataset-training vergelijkingen presteerden de attention-expanded varianten beter dan hun baselines.
  • Generieke & Gespecialiseerde Modellen: Verbeteringen werden waargenomen voor generieke modellen en modellen die gespecialiseerd zijn voor wetenschappelijke domeinen (SciBERT) of keyphrase taken (KBIR).
  • Long-Context Modellen: Zelfs ModernBERT, dat van nature 8.192 tokens ondersteunt, vertoonde prestatiewinst, wat aangeeft dat het mechanisme waarde toevoegt die verder gaat dan alleen het uitbreiden van het venster.
  • Cross-Domain: Verbeteringen werden grotendeels waargenomen bij het overdragen van wetenschappelijke trainingsdata naar nieuwsdomeinen (DUC-2001), hoewel de resultaten niet uniform waren over alle backbones.
• Korte Documenten: Op de Inspec dataset (abstracten die binnen de natuurlijke limieten passen), verslechterde het mechanisme de prestaties niet en leverde het in sommige gevallen (bijv. ModernBERT) significante winst op, wat suggereert dat de component zelfs zonder out-of-context bewijs de fine-tuning dynamiek gunstig beïnvloedt.
• Kosten: De multi-head variant (MH-AE) presteerde over het algemeen iets beter of vergelijkbaar met de single-head variant (AE) met een verwaarloosbare extra parameter overhead (ongeveer 0,05% toename voor MH-AE versus 0,21% voor AE).

Betekenis en Claims
Het artikel claimt dat attention expansion een efficiënte en effectieve strategie vormt voor KPE bij lange documenten. Het demonstreert dat gespecialiseerde modellen kunnen worden versterkt met gedistribueerd documentbewijs zonder de prohibitieve kosten van volledige long-context attention of LLM-gebaseerde inferentie. De auteurs positioneren dit als een praktische oplossing voor high-throughput pipelines (bijv. grootschalige indexering, retrieval-augmented generation) waar efficiëntie cruciaal is.

De resultaten suggereren dat het mechanisme complementaire informatie biedt die tokenrepresentaties verrijkt, in plaats van louter te fungeren als een patch voor korte contextvensters. Het werk versterkt het argument dat snelle, efficiënte, taakspecifieke componenten grotere generieke redeneerders moeten aanvullen, in plaats van te vervangen. De auteurs merken bescheiden op dat hoewel de methode de transfer in veel gevallen verbetert, verbeterde cross-domain transfer niet automatisch is en afhangt van de interactie tussen de backbone en de doeldistributie. Toekomstig werk wordt gesuggereerd om adaptieve contextselectie en rijkere statische representaties te verkennen.