Not Worth Mentioning? A Pilot Study on Salient Proposition Annotation

Probleemstelling

Hoewel er een lange traditie bestaat van onderzoek naar extractieve samenvattingen (waarbij de belangrijkste zinnen of proposities uit een tekst worden geselecteerd), is er weinig werk gedaan om de salientie (belangrijkheid) van proposities operationeel te definiëren en te kwantificeren in natuurlijk voorkomende data.

• Bestaande methoden voor entiteiten (Salient Entity Extraction) gebruiken vaak samenvattingen als grondslag, maar deze benadering is voor proposities minder ontwikkeld.
• Eerdere kritiek op samenvatting-gebaseerde methoden was dat ze subjectief zijn en vaak een binair resultaat opleveren (wel/niet genoemd).
• Het paper stelt de vraag: Hoe kunnen we een gegradieerde (graded) salientie-maatstaf definiëren voor proposities, en hoe correleert dit met bestaande theorieën over discoursstructuur, zoals Rhetorical Structure Theory (RST)?

Methodologie

De auteurs passen een methode toe die eerder succesvol was voor entiteiten (Lin en Zeldes, 2025) toe op proposities.

1. Data:

   • Gebruik van de GUM-corpus (Georgetown University Multilayer), specifiek de testset met 32 documenten uit 16 verschillende genres (academisch, nieuws, conversatie, fictie, etc.).
   • Het dataset bevat ongeveer 30.000 tokens en 3.800 proposities.
   • Elk document heeft vijf menselijke samenvattingen, wat de basis vormt voor de gradiënt-maatstaf.

2. Definitie van Proposities:

   • Proposities worden gedefinieerd als Elementary Discourse Units (EDUs) uit de RST-annotaties van het corpus.
   • Een EDU komt meestal overeen met een enkele bijzin (één werkwoord en zijn argumenten), maar kan ook een zin of een fragment (zoals een kop) zijn.
   • De aanpak is "tiling": elk woord in de tekst behoort tot precies één propositionele eenheid.

3. Annotatie Taak:

   • Annotatoren moeten voor elke EDU bepalen of deze voorkomt in een van de vijf samenvattingen.
   • Er worden drie niveaus van uitlijning onderscheiden:
     • Sterke uitlijning (Match): De samenvatting verwijst naar hetzelfde gebeurtenis of predicaat.
     • Benaderende uitlijning (Approximate): De samenvatting noemt niet exact het predicaat, maar de EDU is essentieel voor de inhoud (bijv. tijd of locatie).
     • Component uitlijning: De samenvatting vat meerdere proposities samen tot één concept.
   • Duplicate: Als meerdere proposities dezelfde informatie in de samenvatting triggeren, worden ze als dubbelingen gemarkeerd.
   • Een speciaal annotatie-interface is ontwikkeld om deze taken uit te voeren, waarbij elke samenvatting apart kan worden bekeken en gemarkeerd.

4. Evaluatie:

   • Inter-annotator overeenstemming wordt gemeten via Cohen's kappa en nauwkeurigheid, rekening houdend met de onwaarschijnlijkheid van toevallige overeenstemming (aangezien ~90% van de proposities niet salient is).
   • Verschillende scenario's worden getest, variërend van strikte overeenstemming tot scenario's waarbij dubbelingen en componenten als uitwisselbaar worden beschouwd.

Belangrijkste Bijdragen

• Definitie en evaluatie: Een nieuwe methode voor het kwantificeren van gegradieerde propositionele salientie gebaseerd op het aantal samenvattingen waarin een propositie voorkomt.
• Pilot-dataset: Een nieuw dataset van 3.800 proposities met uitlijningen naar 5 samenvattingen per document, inclusief extra annotaties voor componenten en dubbelingen.
• Correlatie-analyse: Een eerste studie naar de relatie tussen deze salientie-maatstaf en RST-centrality (de diepte van een eenheid in de discoursboom).
• Open Source: Publicatie van de annotatie-interface en richtlijnen op GitHub.

Resultaten

1. Overeenstemming (Agreement):

   • Strikte overeenstemming is gemiddeld (Cohen's kappa rond de 0,65).
   • Overeenstemming stijgt aanzienlijk (tot kappa ~0,84) wanneer dubbelingen en componenten als uitwisselbaar worden behandeld.
   • De grootste bron van onenigheid is de classificatie van "component" uitlijningen.

2. Verdeling van Salientie:

   • In tegenstelling tot entiteiten (die een U-vormige verdeling tonen: veel niet-geannoteerde en veel in alle samenvattingen), volgen proposities een dalende histogram-verdeling.
   • De meeste saliente proposities komen slechts in één van de vijf samenvattingen voor. Dit suggereert een hogere variatie in wat annotatoren als "belangrijk" beschouwen op het niveau van proposities dan op het niveau van entiteiten.

3. Correlatie met RST-centrality:

   • Er is een significante negatieve correlatie ($r^2 = -0.287$) tussen RST-centrality (hoe verder een eenheid van de wortel verwijderd is) en salientie. Dit betekent dat eenheden dichter bij de wortel van de discoursboom over het algemeen salienter zijn.
   • Andere factoren zoals de positie in het document (eerste zinnen zijn salienter), lengte van de EDU en het type discoursrelatie (bijv. oorzaak, doel) hebben ook invloed.
   • Een gemengd-effectenmodel (mixed effects model) bevestigt dat centrality de sterkste voorspeller is, maar het model heeft een zwakke fit ($r^2 \approx 0,13$), wat aangeeft dat er nog veel andere factoren spelen die salientie beïnvloeden.

Betekenis en Toekomstperspectief

• Theoretische bijdrage: Het paper toont aan dat het concept van "salientie" op het niveau van proposities complexer en subjectiever is dan op het niveau van entiteiten. De hoge variatie tussen samenvattingen suggereert dat er geen enkele "juiste" set proposities is voor een samenvatting.
• Praktische toepassing: De dataset en het interface vormen een basis voor het trainen en evalueren van NLP-modellen (zoals LLM's) voor taakgericht samenvatten.
• Toekomst: De auteurs plannen om het volledige corpus te annoteren (met menselijke en LLM-ondersteunde annotatie) om de richtlijnen te verfijnen en modellen te ontwikkelen die menselijke prestaties benaderen.
• Beperkingen: De studie is beperkt tot de testset van het GUM-corpus en hedendaags Engels. De kwaliteit van de annotaties is afhankelijk van de kwaliteit van de onderliggende EDU-segmentatie en de menselijke samenvattingen.

Kortom, dit paper legt de fundamenten voor een meer nuancerede, gradiënt-gebaseerde benadering van wat "belangrijk" is in een tekst, en koppelt dit aan zowel samenvattingsdata als linguïstische discoursstructuren.