Technische Samenvatting: Informatie-tevredenheid: Een lezersgerichte as voor de evaluatie van samenvattingen

Probleemstelling

De huidige automatische evaluatie van samenvattingen leunt grotendeels op metrieken die de kwaliteit van een samenvatting beschouwen als een intrinsieke eigenschap, onafhankelijk van de lezer. Standaardbenaderingen, zoals lexicale overlap (ROUGE) en op embeddings gebaseerde gelijkenis (BERTScore), vergelijken kandidaat-samenvattingen met referentieteksten of brondocumenten. Hoewel recente ontwikkelingen gebruikmaken van Large Language Models (LLM's) als rechters om dimensies zoals coherentie en feitelijkheid te beoordelen, gaan deze methoden over het algemeen nog steeds uit van een "one-size-fits-all"-begrip van kwaliteit.

De auteurs stellen dat deze inkadering een fundamentele realiteit maskeert: de bruikbaarheid van een samenvatting wordt pas gerealiseerd wanneer deze voldoet aan de specifieke informatiebehoeften van een bepaalde lezer. Bijvoorbeeld: een biomedisch onderzoeker en een huisarts die beide hetzelfde artikel over mRNA-vaccins lezen, hebben uiteenlopende behoeften (methodologische details versus klinische implicaties). Bestaande metrieken slagen er niet in deze mismatch te vangen omdat ze het achtergrondniveau, de expertise of de "persona" van de lezer niet modelleren. Bovendien probeert Query-Focused Summarization (QFS) de behoeften van gebruikers te adresseren via queries, maar gebruikers geven zelden voldoende context in een enkele korte query om complexe persona's te onderscheiden. Bijgevolg is er een gebrek aan evaluatiekaders die informatie-tevredenheid meten—de mate waarin een samenvatting de specifieke informatiebehoefte van een lezer oplost, gegeven diens persona.

Methodologie

De studie onderzoekt of bestaande samenvattingsmetrieken informatie-tevredenheid kunnen meten via twee primaire onderzoeksvragen (RQs):

1. RQ1: Zijn evaluatiemetrieken gevoelig voor variaties in informatieve inhoud en lezerspersona?
2. RQ2: Komen evaluatiemetrieken overeen met menselijke oordelen over informatie-tevredenheid?

Experimentele opzet voor RQ1 (Perturbatietests)

De auteurs evalueerden een breed scala aan metrieken over vier wetenschappelijke corpora (arXiv, PubMed, SciTLDR, eLife) met 50 documenten per dataset. Ze pasten vijf gecontroleerde perturbaties toe op referentie-samenvattingen om de robuustheid van de metrieken te testen:

• Distractor Sentences: Het toevoegen van ongerelateerde zinnen (Verwachting: Afname van score).
• Incremental Addition: Het stapsgewijs reconstrueren van de samenvatting zin voor zin (Verwachting: Toename van score).
• Lengthen/Shorten: Het herschrijven van de samenvatting om de lengte te veranderen zonder de inhoud te wijzigen (Verwachting: Stabiliteit van score).
• Different Audience: Het herschrijven van de samenvatting voor een ander doelpubliek (bijv. student versus expert) (Verwachting: Afname van score ten opzichte van het oorspronkelijke publiek).

Geteste metrieken omvatten:

• Lexicaal/Referentie-gebaseerd: ROUGE, BLEU, chrF, METEOR.
• Embedding/Model-gebaseerd: BERTScore, BLANC, SummaQA, SUPERT.
• LLM-as-Judge: Prompts met Llama-3.3-70B en Prometheus-7B die relevantie, consistentie, vloeiendheid, coherentie en informatieve rijkdom evalueren.
• Persona-specifieke varianten: Custom metrieken (Persona Precision en Persona Recall) die samenvattingen opdelen in "nuggets" en hun relevantie voor een specifieke persona beoordelen.

Experimentele opzet voor RQ2 (Menselijke evaluatie)

De auteurs voerden een deskundige menselijke evaluatie uit met 20 vrijwillige annotatoren uit diverse domeinen (CS, geneeskunde, materiaalkunde).

• Protocol: Annotatoren leverden een zelfgerapporteerd persona-profiel en een authentieke informatiebehoefte (query) aan. Het systeem haalde relevante papers op en genereerde vier kandidaat-samenvattingen met een 2x2 design: twee modellen (Llama-3.3-70B, DeepSeek-V3.1) gekruist met twee condities (met persona-profiel, zonder).
• Rangschikking: Annotatoren rangschikten de vier samenvattingen via een pairwise single-elimination toernooi.
• Analyse: De auteurs maten de correlatie tussen automatische metriekscores en menselijke pairwise voorkeuren met behulp van Krippendorff's $\alpha$.

Belangrijkste Resultaten

Perturbatietesten (RQ1)

De meeste metrieken faalden in de basis-robuustheidstests met betrekking tot informatieve inhoud en verschuivingen in publiek:

• Distractor Injection: Lexicale metrieken presteerden zoals verwacht, maar veel "inhoud-bewuste" metrieken (BERTScore, SummaQA) en LLM-rechters waren inconsistent of slaagden er niet in omstreeks de inhoud te detecteren.
• Incremental Addition: Lexicale metrieken vertoonden negatieve correlaties (ze gaven gedeeltelijke samenvattingen een hogere score dan volledige samenvattingen door artefacten in lengte-normalisatie). Alleen de Llama-3.3-70B judge vertoonde een positieve correlatie, zij het met een lage monotoniciteit.
• Lengtesensitiviteit: Bijna alle metrieken, inclusief BERTScore en de meeste LLM-judge dimensies, waren zeer gevoelig voor lengteveranderingen en faalden de stabiliteitstest ($\rho \approx -1.0$).
• Different Audience: Dit was de meest kritieke fout. Veel LLM-gebaseerde metrieken (vooral onder Prometheus-7B) bewogen in de verkeerde richting door samenvattingen die voor een ander publiek waren geschreven als hoger kwalitatief te beoordelen. Hoewel de meerderheid van de metrieken faalde, vertoonden enkele specifieke varianten een verwacht directioneel signaal: onder de Llama-3.3-70B judge voldeed de Annotator-style judge met $\rho = -0.77, en onder Prometheus-7B volstonden **Consistency** ($\rho = -0.40$) en Persona Recall ($\rho = -0.60$). Echter, vergeleken met de sterke reacties die deze metrieken lieten zien op distractor injection, was hun reactie op publieksverschuivingen over het algemeen zwak of afwezig voor de meerderheid van de metriek-suite. Lexicale metrieken (ROUGE-1/2, chrF, METEOR, coverage, density, compression) en BERTScore bevonden zich precies op de pass-drempel ($\rho = -0.40$), wat slechts een zwak directioneel signaal gaf, terwijl ROUGE-L, BLEU, BLANC, SummaQA en SUPERT volledig faalden. Cruciaal is dat de meeste geëvalueerde metrieken ongevoelig waren of een anti-correlatie vertoonden met herschreven teksten voor publieksverschuivingen, de dimensie waar informatie-tevredenheid het meest varieert tussen gebruikers.

Correlatie met Menselijke Evaluatie (RQ2)

• Menselijke voorkeuren: Annotatoren gaven over het algemeen de voorkeur aan samenvattingen gegenereerd door DeepSeek-V3.1 boven Llama-3.3-70B. Gepersonaliseerde samenvattingen (geconditioneerd op de persona) werden verkozen boven generieke samenvattingen, maar dit effect was sterk afhankelijk van de capaciteit van het onderliggende model; de gepersonaliseerde outputs van DeepSeek werden significant verkozen, terwijl de gepersonaliseerde outputs van Llama geen sterk voordeel vertoonden.
• Correlatie van metrieken: Geen enkele metriekfamilie bereikte een overeenstemming met menselijke voorkeuren die significant boven toeval ($\alpha = 0$) lag.
  • Traditionele metrieken (ROUGE, BERTScore) varieerden van $\alpha = -0.029$ tot $0.173$.
  • LLM-as-judge metrieken varieerden van $\alpha = -0.179$ tot $0.158$.
  • Persona-bewuste varianten (Persona Precision/Recall) presteerden bijzonder slecht, met $\alpha$-waarden van $-0.150$ onder Prometheus-7B, wat duidt op systematische onenigheid met menselijk oordeel in plaats van louter ruis.

Belangrijkste Bijdragen

1. Definitie van Informatie-tevredenheid: De paper operationaliseert "informatie-tevredenheid" als een lezersgerichte evaluatie-as, gedefinieerd door het snijpunt van een specifieke query en een lezerspersona (rol, expertise en context).
2. Robuustheidsanalyse: De studie toont aan dat populaire samenvattingsmetrieken, inclusief state-of-the-art LLM-as-judge benaderingen, er niet in slagen om betekenisvolle veranderingen in informatieve inhoud ten opzichte van de behoeften van een lezer te detecteren. Ze zijn vaak gevoeliger voor oppervlakkige corrupties (zoals lengte) dan voor publieksrelevante verschuivingen.
3. Menselijke Evaluatie Benchmark: De auteurs bieden een dataset en protocol waarbij menselijke oordelen zijn verankerd aan specifieke persona's en queries, wat onthult dat huidige metrieken een bijna nul-correlatie hebben met deze gebruikersgestuurde voorkeuren.
4. Beperkingen van Persona-metrieken: De paper laat zien dat het simpelweg toevoegen van persona-informatie aan een prompt van een metriek (zoals gedaan bij hun custom Persona Precision/Recall metrieken) onvoldoende is om informatie-tevredenheid te vatten als de onderliggende evaluatielogica de belangrijkheid van informatie niet correct weegt of geen rekening houdt met de voorkennis van de lezer.

Betekenis en Claims

De paper claimt dat bestaande samenvattingsmetrieken onvoldoende maatstaven zijn voor informatie-tevredenheid. De auteurs stellen dat vooruitgang in gebruikersgerichte samenvatting niet kan worden bereikt door simpelweg huidige metrieken toe te passen op gepersonaliseerde outputs. In plaats daarvan heeft het veld evaluatiekaders nodig die expliciet modelleren:

• Voor wie de samenvatting is.
• Wat zij willen leren.
• Hoe informatie moet worden gewogen op basis van de belangrijkheid voor die specifieke lezer.

De auteurs concluderen dat de bottleneck niet het ontbreken van persona-data in prompts is, maar het fundamentele onvermogen van huidige metrieken om het vergelijkende oordeel te simuleren dat een mens maakt wanneer hij bepaalt of een samenvatting voldoet aan zijn specifieke informatiebehoeften. Het werk vormt een fundament en een dataset voor toekomstig onderzoek naar metrieken die werkelijk informatie-tevredenheid meten.