Stress Testing Factual Consistency Metrics for Long-Document Summarization

1. Probleemstelling

Het evalueren van de feitelijke consistentie (trouw) van abstractive tekstsamenvattingen is een kritieke uitdaging, met name voor lange documenten. Hoewel Large Language Models (LLM's) de vlotheid hebben verbeterd, hallucineren ze vaak of laten ze feiten weg.

• Beperkingen van huidige metrics: Traditionele metrics (zoals ROUGE, BLEU) vertrouwen op n-gram-overlap en slagen er niet in feitelijke juistheid te vangen. Referentievrije metrics (zoals FactCC, SummaC, AlignScore) hebben veelbelovende resultaten laten zien bij korte documenten, maar worstelen met langere input vanwege:
  • Beperkingen in invoerlengte: Veel modellen kunnen niet duizenden tokens tegelijk verwerken.
  • Verspreide bewijslast: Feiten in lange documenten zijn vaak verspreid over verre secties of meerdere documenten, wat lange-afstandsafhankelijkheden creëert.
  • Kwetsbaarheid: Bestaande metrics zijn vaak gevoelig voor oppervlakkige lexicale veranderingen (parafrazeren, synoniemvervanging) in plaats van semantische betekenis, wat leidt tot inconsistente scores voor semantisch equivalente samenvattingen.
• Gat: Er ontbreekt een systematische benchmarking van deze metrics onder lange-contextomstandigheden, specifiek wat betreft hun robuustheid tegen betekenisbehoudende verstoringen en hun gevoeligheid voor informatiedichtheid.

2. Methodologie

De auteurs stellen een stress-testframework voor om zes veelgebruikte, referentievrije factualiteitsmetrics te evalueren over drie diverse lange-documentdatasets.

A. Datasets

De studie maakt gebruik van drie benchmarks die verschillende domeinen bestrijken:

1. SQuALITY: Sciencefictionverhalen (narratief domein).
2. LexAbSumm: Arresten van het Europees Hof voor de Rechten van de Mens (juridisch domein).
3. ScholarQABench: Meerdere documenten wetenschappelijke computerwetenschapsartikelen (wetenschappelijk domein).

B. Geëvalueerde Metrics

Zes referentievrije metrics die verschillende architecturen vertegenwoordigen, werden getest:

1. BARTScore: Generatiegebaseerd (likelihood van samenvatting gegeven bron).
2. SummaC-Conv & SummaC-ZS: Entailment-gebaseerd (NLI-modellen).
3. AlignScore: Contrastief uitlijningleren.
4. UniEval: Multi-dimensionale QA-gebaseerde evaluatie.
5. MiniCheck: Lichtgewicht classifier op zinsniveau.

C. Stress-teststrategie (Verstoringen)

Om robuustheid te testen, pasten de auteurs zeven betekenisbehoudende verstoringen toe op de originele samenvattingen met behulp van GPT-4o. Een robuuste metric zou vergelijkbare scores moeten toekennen aan de originele en de verstoord samenvatting. De verstoringen omvatten:

1. Geparafrazeerd: Herschrijven met alternatieve formulering.
2. Vereenvoudigd: Complexere zinsstructuren reduceren.
3. Synoniem vervangen: Inhoudsworden ruilen voor synoniemen.
4. Minder divers: Woordenschatvariatie verminderen.
5. Genegateerd: Logisch equivalente ontkenningen introduceren (bijv. "niet onbelangrijk" $\to$ "belangrijk").
6. Samengevat: De tekst verder comprimeren.
7. Bron tekst toegevoegd: Een feitelijke zin uit de bron invoegen die niet gerelateerd is aan de hoofdinhoud van de samenvatting.

D. Retrieval-gebaseerd Scoreframework

Omdat de meeste metrics volledige lange documenten niet kunnen verwerken, hanteerden de auteurs een retrieval-augmented strategie:

1. Voor elke zin in de samenvatting de top-$K$ meest vergelijkbare bronzinnen ophalen met SBERT-embeddings.
2. Deze opgehaalde zinnen uitbreiden tot een contextvenster van grootte $w$ (omringende zinnen).
3. De factualiteitsscore voor de samenvattingszin berekenen tegen het opgehaalde contextfragment.
4. Zinsniveau-scores aggregeren om een globale samenvattingscore te produceren.
5. De auteurs varieerden de venstergrootte $w$ om de gevoeligheid voor retrieval-granulariteit te testen.

E. Analyse van Informatiedichtheid

De auteurs analyseerden de relatie tussen claim-informatiedichtheid (gemeten door de gemiddelde cosinusgelijkheid tussen een samenvattingszin en alle bronzinnen) en de betrouwbaarheid van de metric. Een hoge gelijkheid impliceert dat de claim "verstrengeld" is met de bron (moeilijk te verifiëren), terwijl een lage gelijkheid specifieke, gelokaliseerde claims impliceert.

3. Belangrijkste Resultaten

A. Inconsistentie onder Verstoring

• Algemene Instabiliteit: Alle zes metrics vertoonden significante schommelingen in scores wanneer ze geconfronteerd werden met betekenisbehoudende bewerkingen.
• Domeingevoeligheid:
  • Juridisch (LexAbSumm): Metrics waren zeer instabiel. BARTScore toonde consistente negatieve verschuivingen bij bijna alle verstoringen. AlignScore had moeite met logische consistentie in gestructureerde juridische teksten.
  • Gevoeligheid voor Ontkenning: De meeste metrics (vooral UniEval en MiniCheck) faalden in het omgaan met logisch equivalente ontkenningen, en behandelden deze vaak als feitelijke tegenstrijdigheden.
• Robuustheidshiërarchie: MiniCheck en UniEval waren over het algemeen het meest robuust tegen oppervlakkige veranderingen, hoewel ze nog steeds worstelden met ontkenningen. AlignScore en SummaC-ZS waren de minst betrouwbare over de domeinen heen.

B. Impact van Retrievel Context

• Grootte van het Contextvenster ($w$): Het vergroten van het retrieval-contextvenster verbeterde over het algemeen de scores voor de meeste metrics, met name in het juridische domein waar argumenten zich over meerdere zinnen uitstrekken.
• NLI-beperkingen: NLI-gebaseerde metrics (SummaC) toonden weinig gevoeligheid voor vergrote contextvensters, wat suggereert dat ze vertrouwen op gelokaliseerde vergelijkingen in plaats van een breder discoursbegrip.

C. Gevoeligheid voor Informatiedichtheid

• Het "Hubness"-probleem: Voor LexAbSumm en SQuALITY toekenden metrics lagere scores aan claims met een hoge semantische overlap (hoge informatiedichtheid) met de bron. Dit suggereert dat metrics worstelen wanneer bewijs verspreid is of wanneer een claim een gecomprimeerde generalisatie is van de tekst.
• Uitzondering Meerdere Documenten: In ScholarQABench (meerdere documenten) kregen claims met hoge gelijkheid soms hogere scores, waarschijnlijk vanwege redundantie over documenten heen die de claim versterkt.
• Metric-gedrag: AlignScore en BARTScore vertoonden scherpe dalingen voor claims met hoge gelijkheid, wat wijst op een afhankelijkheid van lokale lexicale uitlijning in plaats van multi-span redenering.

4. Belangrijkste Bijdragen

1. Systematische Benchmarking: De eerste uitgebreide evaluatie van zes populaire factualiteitsmetrics die specifiek zijn toegespitst op lange-document en meerdere-document samenvattingsscenario's.
2. Stress-testframework: Introductie van een rigoureuze verstoringmethodologie (7 types) aangepast voor langere contexten om de kwetsbaarheid van metrics bloot te leggen.
3. Retrieval-bewuste Analyse: Aantonen dat standaardmetrics zich inconsistent gedragen wanneer ze geïntegreerd worden in retrieval-gebaseerde scoreframeworks, met name wat betreft de grootte van het contextvenster.
4. Inzicht in Informatiedichtheid: Identificatie van een faalmodus waarbij metrics verslechteren op "informatiedichte" claims die semantisch verstrengeld zijn met grote delen van de brontekst.

5. Betekenis en Toekomstige Richtingen

• Waarschuwing Betrouwbaarheid: De studie onthult dat huidige state-of-the-art factualiteitsmetrics niet betrouwbaar zijn voor langere samenvattingen. Ze reageren vaak op oppervlakkige stylistische veranderingen in plaats van feitelijke waarheid, wat tot misleidende evaluaties leidt in hoog-risico domeinen zoals recht en geneeskunde.
• Ontwerprichtlijnen: De auteurs stellen dat toekomstige metrics voorbij moeten gaan aan lokale paar-voor-paar uitlijning. Ze moeten integreren:
  • Multi-span Redenering: Het vermogen om bewijs te koppelen over verre delen van een document.
  • Context-bewuste Kalibratie: Het aanpassen van scores op basis van de grootte van het retrieval-context en de informatiedichtheid.
  • Robuust Training: Trainen op betekenisbehoudende variaties om stabiliteit te verbeteren tegen parafrazeren en ontkenning.
• Beperkingen: De studie vertrouwt op automatisch gegenereerde verstoringen (GPT-4o) in plaats van door mensen geverifieerde bewerkingen, en bevat geen menselijke factualiteitsoordelen voor de lange-documentinstelling vanwege het gebrek aan dergelijke geannoteerde data.

Concluderend stelt het artikel dat zonder het aanpakken van deze robuustheids- en contextbewustheidsproblemen, de geautomatiseerde evaluatie van lange-document samenvattingen fundamenteel gebrekkig blijft, wat potentieel hallucinaties in kritieke toepassingen kan maskeren.