Text Summarization With Graph Attention Networks

Probleemstelling

Automatische tekstsamenvatting (Text Summarization) blijft een uitdagende taak binnen de Natural Language Processing (NLP), waarbij systemen nog ver verwijderd zijn van menselijke prestaties. Hoewel transformer-modellen (zoals BART en Longformer) de standaard zijn geworden voor abstractive samenvatting, worstelen ze met het beheersen van lange afhankelijkheden en het redeneren over de belangrijkheid van zinnen binnen een document.

Bestaande onderzoeken suggereren dat het integreren van grafische informatie, zoals Rhetorical Structure Theory (RST) en Co-referentie (Coref) grafen, de prestaties kan verbeteren. Echter, er is een gebrek aan grafisch geannoteerde datasets voor samenvatting, en de effectiviteit van complexe Graph Neural Networks (GNNs), zoals Graph Attention Networks (GATs), in dit specifieke domein was nog niet volledig onderzocht of geoptimaliseerd.

Methodologie

De auteurs hebben een hybride samenvattingmodel ontwikkeld dat bestaat uit twee fasen: extractie (encoder) en abstractie (decoder).

1. Encoder (Extractie):

   • Het doel is om Elementary Discourse Units (EDUs) te classificeren als "belangrijk" of "triviaal".
   • Architectuur: Het model gebruikt een voorgeprogrammeerde taalmodel (BERT of Longformer) om token-representaties te genereren. Deze worden geaggregeerd tot span-representaties voor elke EDU.
   • Grafische Integratie: In plaats van alleen tekstuele data te gebruiken, worden RST- en Coref-relaties geïntegreerd.
     • Eerste poging: De auteurs probeerden Graph Attention Networks (GATs) om deze grafen te verwerken.
     • Tweede poging (succesvol): Ze ontdekten dat een eenvoudige Multi-layer Perceptron (MLP) beter werkte. De grafische informatie (RST-relatietypes en Coref-aandelen) werd omgezet in one-hot vectoren en percentages, die als input werden gegeven aan de MLP in de latere lagen van de encoder.
   • Optimalisatie: Om het onbalansprobleem op te lossen (waarbij ~90% van de EDUs onbelangrijk is), werd de loss-functie aangepast (van Binary Cross Entropy naar MSE met gewogen labels) en werden dropout-technieken toegepast.

2. Decoder (Abstractie):

   • De geselecteerde EDUs worden samengevoegd en ingevoerd in een BART-model (BART-base voor CNN/DM, BART-large voor XSum) om de definitieve samenvatting te genereren.

3. Datasets:

   • CNN/DM: Een bestaand dataset voor extractieve samenvatting.
   • XSum: Een dataset voor abstractive samenvatting. De auteurs hebben deze dataset voor het eerst geannoteerd met RST-grafen en Coref-informatie, wat een nieuwe benchmark creëert.

Belangrijkste Bijdragen

1. Ontwikkeling van een Hybride Model: Een effectief model dat extractie en abstractie combineert, waarbij grafische structuurinformatie wordt gebruikt om de selectie van zinnen te verbeteren.
2. Verrassende Architecturale Bevinding: De studie toont aan dat complexe GNN-architecturen (GATs) niet leiden tot betere resultaten dan een simpele MLP voor het integreren van grafische informatie in tekstsamenvatting. De MLP-variant presteerde beter dan de GAT-variant.
3. XSum Dataset Annotatie: De auteurs hebben de XSum-dataset uitgebreid met RST-grafen en Coref-informatie. Dit is een significante bijdrage omdat er eerder een gebrek was aan dergelijk geannoteerd materiaal voor abstractive samenvatting.
4. Openbare Beschikbaarheid: De code, het geannoteerde dataset en de instructies voor replicatie zijn beschikbaar gesteld via GitHub.

Resultaten

De prestaties werden gemeten aan de hand van ROUGE-scores (R-1, R-2, R-L) en F1-scores voor de selectie van EDUs.

• CNN/DM Dataset:
  • Het model met MLP voor grafische integratie (Longformer + MLP voor RST & Coref) behaalde de beste resultaten: R-1: 43.73, R-2: 20.91, R-L: 40.72.
  • Dit presteerde beter dan de baselines (zonder grafen) en andere state-of-the-art modellen (zoals DiscoBERT en BERTSUMEXTABS).
  • De GAT-varianten presteerden vaak slechter dan of gelijk aan de "zonder grafen" baselines.
• XSum Dataset:
  • Hier waren de resultaten complexer. Hoewel de MLP-variant de beste resultaten gaf binnen de eigen experimenten (R-1: 36.82), presteerde het model overall lager dan pure abstractive baselines zoals BART-large.
  • De analyse toonde aan dat de extractie-fase (greedy labeling) minder effectief is voor zeer abstractive en korte datasets zoals XSum in vergelijking met CNN/DM.
• Grafische Effectiviteit: Grafische informatie bleek vooral nuttig voor langere documenten (CNN/DM). Voor kortere, abstractive documenten (XSum) was de winst minder duidelijk, wat suggereert dat de complexiteit van de grafen soms niet opweegt tegen de kosten voor kortere teksten.

Betekenis en Toekomstperspectief

Dit paper is significant omdat het de aannames over de noodzaak van complexe GNN-architecturen voor tekstsamenvatting uitdaagt. Het bewijst dat een eenvoudige MLP vaak voldoende is om waardevolle grafische structuren (zoals discoursrelaties) te integreren, wat leidt tot efficiëntere en effectievere modellen.

De auteurs identificeren volgende richtingen voor onderzoek:

• End-to-End Modellen: Het ontwikkelen van modellen die extractie en generatie in één module combineren om gradient-disconnecties te voorkomen.
• Geavanceerde Evaluatie: Het gebruik van semantische metrics (zoals BERTScore) in plaats van alleen syntax-gevoelige metrics zoals ROUGE.
• Dataverwerking: Het genereren van Coref-grafen voor meer datasets en het verbeteren van de grafische representatie voor langere documenten.

Kortom, de studie biedt een robuust kader voor het gebruik van discoursstructuur in samenvatting en levert een waardevolle nieuwe dataset (geannoteerde XSum) voor de gemeenschap.