Technische Samenvatting: Less is More: Kwaliteitsbewuste Selectie van Trainingsdata voor Wetenschappelijke Samenvattingen

Probleemstelling

Wetenschappelijke samenvatting van lange documenten staat voor twee primaire uitdagingen. Ten eerste behandelen bestaande datasets door auteurs geschreven abstracts vaak als "gouden" referentie-samenvattingen zonder te verifiëren of deze wel overeenstemmen met de volledige brontekst. Voorlopig onderzoek wijst uit dat abstracts kunnen afwijken van volledige artikelen door weglatingen, inconsistenties, selectieve rapportage of overdreven sterke interpretaties, wat leidt tot onbetrouwbare supervisiesignalen en evaluatietargets die de bron-gebaseerde feitelijkheid mogelijk niet weerspiegelen. Ten tweede zijn publiekelijk beschikbare datasets voor wetenschappelijke samenvatting, zoals de veelgebruikte PubMed-benchmark, beperkt in schaal en missen ze de hiërarchische documentstructuur die vereist is voor moderne long-context Large Language Models (LLMs). Deze beperkingen compromitteren de betrouwbaarheid van supervisiesignalen en de adequaatheid van huidige benchmarks voor hedendaagse samenvattingssystemen.

Methodologie

Dataset Constructie: PMC-Large

De auteurs hebben PMC-Large geconstrueerd en uitgebracht, een grootschalige dataset afgeleid van PubMed Central (PMC) Open Access-artikelen.

• Schaal: De uiteindelijke corpus bevat 1,88 miljoen artikel-abstract paren.
• Structuur: In tegenstelling tot eerdere datasets die platte tekst gebruiken, serialiseert PMC-Large artikelcorpora in een Markdown-stijl formaat. Dit behoudt de sectiehiërarchie (door gebruik van koppen-markeringen) en structurele aanwijzingen direct in de modelinput, wat cruciaal is voor long-context LLMs.
• Normalisatie: Niet-narratieve inhoud (bijv. referenties, dankwoord, financieringsverklaringen) wordt gefilterd met behulp van een driestaps sectiefilter op basis van XML-tags, JATS-attributen en regex-patronen. Niet-tekstuele elementen (figuren, tabellen, formules, code) worden vervangen door expliciete placeholders (bijv. [FIG_REF], [MATH], [CODE]) om de structurele context te behouden zonder irrelevante inhoud te tokeniseren.
• Filtering: De corpus is beperkt tot Engelse artikelen met permissieve licenties (CC BY, CC0). Voorbeelden met target leakage (waarbij de abstract in de body voorkomt) zijn verwijderd. Lengtefiltering behoudt artikelen tussen de 10e en 80e percentielen van de tokenverdeling om uitschieters te vermijden.

Kwaliteitsanalyse

Om de betrouwbaarheid van door auteurs geschreven abstracts te beoordelen, hebben de auteurs een subset van 10.000 artikelen geanalyseerd met behulp van vier bron-gebaseerde, model-gebaseerde metrieken in plaats van traditionele referentie-gebaseerde metrieken (zoals ROUGE):

1. AlignScore: Meet de uitlijning tussen de samenvatting en de bron.
2. FineSurE: Detecteert zinsniveau feitelijke fouten.
3. SummaC (ZS): Een NLI-gebaseerde metriek die gebruikmaakt van een biomedische backbone (PubMedBERT-MNLI-MedNLI) om te controleren of de claims in de samenvatting worden ondersteund door de bron.
4. G-Eval: Een LLM-gebaseerde beoordelaar die feitelijke consistentie, coherentie en relevantie evalueert.

De analyse toonde aan dat hoewel veel abstracts hoog scoren, er een significante variatie in kwaliteit is. De metrieken lieten slechts gedeeltelijke overeenstemming zien (bijv. SummaC vertoonde een zwakke correlatie met andere), wat aangeeft dat geen enkele metriek de referentiekwaliteit volledig kan vatten.

Experimenten met Kwaliteitsbewuste Dataselectie

De auteurs voerden Supervised Fine-Tuning (SFT) experimenten uit met Qwen2.5-3B als het basismodel om te testen of het selecteren van hoogwaardige trainingsvoorbeelden de prestaties verbetert.

• Setup: Modellen werden getraind op subsets van variërende groottes (1K, 2K, 5K, 10K) geselecteerd op basis van metriekscores (AlignScore, FineSurE, SummaC, G-Eval, of een aggregaat van alle vier).
• Baselines: Prestaties werden vergeleken met willekeurige steekproeven van dezelfde grootte en training op de volledige kandidaat-pool (5K of 100K).
• Evaluatie: Modellen werden geëvalueerd op een hold-out testset van 500 voorbeelden met behulp van dezelfde vier bron-gebaseerde metrieken.

Belangrijkste Bijdragen

1. PMC-Large Dataset: De release van een 1,88M artikel-abstract dataset, specifiek geformatteerd voor long-context LLMs met behoud van hiërarchische structuur en genormaliseerde niet-tekstuele elementen.
2. Referentiekwaliteitsanalyse: Een grootschalige analyse die aantoont dat door auteurs geschreven abstracts sterk variëren in hun uitlijning met bronartikelen, wat de aanname van uniforme betrouwbaarheid uitdaagt.
3. Kwaliteitsbewuste Selectiestrategie: Empirisch bewijs dat trainen op subsets geselecteerd door bron-gebaseerde kwaliteitsmetrieken beter presteert dan willekeurige steekproeven bij gelijke groottes. Bovendien kunnen kleinere, hoogwaardige geselecteerde subsets de prestaties van grotere, ongefilterde willekeurige subsets evenaren of overtreffen op het gebied van feitelijkheid-georiënteerde metrieken.

Resultaten

• Variantie in Metrieken: In de analyse van 10.000 artikelen vertoonden abstracts een brede distributie van kwaliteitsscores. Zo had AlignScore bijvoorbeeld een mediaan van 0,626 terwijl het onderste deciel onder de 0,473 lag.
• Selectie-efficiëntie:
  • Kleine Schaal (5K Pool): Een model getraind op een 1K subset geselecteerd door een geaggregeerde metriek (gemiddelde van de percentielrangen van alle vier de metrieken) presteerde beter op alle metrieken dan een model getraind op een willekeurige 1K subset. Opvallend genoeg kwam dit geselecteerde 1K model overeen met of overtrof het prestatieniveau van een model getraind op de volledige 5K pool op de meeste metrieken.
  • Grote Schaal (100K Pool): Wanneer de kandidaat-pool werd opgeschaald naar 100K en AlignScore werd gebruikt voor selectie, presteerden de geselecteerde subsets consequent beter dan willekeurige subsets van dezelfde grootte. Een 5K AlignScore-geselecteerde subset behaalde een hogere algemene score dan het model dat getraind was op de volledige 100K pool.
  • Tweestapsselectie: Een tweestapsbenadering (het filteren van 100K naar 10K via AlignScore, gevolgd door her-rangschikking met meerdere metrieken) leverde de beste resultaten op. Het Aggregate-All 5K model behaalde de hoogste scores over de volledige tabel voor Overall, SummaC en FineSurE.
• Metriek-specificiteit: Verschillende selectiemetrieken bevoordeelden verschillende uitkomsten (bijv. AlignScore-selectie maximaliseerde AlignScore en FineSurE, terwijl G-Eval-selectie G-Eval maximaliseerde), wat het gebruik van geaggregeerde signalen voor gebalanceerde prestaties ondersteunt.

Betekenis en Claims

Het artikel claimt dat referentiekwaliteit een kritieke factor is in wetenschappelijke samenvatting. De auteurs stellen dat door auteurs geschreven abstracts nuttige supervisiedoelen zijn, maar niet uniform betrouwbaar zijn. Bijgevolg dient kwaliteitsbewuste dataselectie als een eenvoudige maar effectieve methode om de trainingsefficiëntie en de feitelijkheid-georiënteerde prestaties te verbeteren.

De bevindingen suggereren dat "less is more" in de context van trainingsdata: het selecteren van een kleinere subset van hoogwaardige voorbeelden kan betere of vergelijkbare resultaten opleveren dan het trainen op aanzienlijk grotere, ongefilterde datasets. Dit daagt de heersende aanname uit dat meer data altijd beter is, en stelt in plaats daarvan dat de kwaliteit van het supervisiesignaal, gemeten aan de hand van bron-gebaseerde uitlijning, een decisieverere factor is voor de modelprestaties in wetenschappelijke samenvatting.

Door de auteurs erkende beperkingen:

• Afhankelijkheid van automatische metrieken die mogelijk niet alle aspecten van kwaliteit vatten en niet specifiek voor biomedische domeinen zijn ontworpen.
• Experimenten uitgevoerd op subsets van de volledige 1,88M corpus vanwege computationele beperkingen.
• Resultaten gebaseerd op een enkel basismodel (Qwen2.5-3B) en een specifieke trainingsopstelling, wat de generaliseerbaarheid naar andere architecturen beperkt.
• Potentiële voortplanting van bias vanuit de oorspronkelijke door auteurs geschreven abstracts naar de getrainde modellen.
• De dataset is beperkt tot Engelstalige PMC Open Access-artikelen.