More Signal vs. More Noise - Comparing Full Text and Abstract as Inputs for Large Language Model-based Classification of Oncology Trial Eligibility Criteria

Deze studie toont aan dat het gebruik van volledige teksten in plaats van alleen samenvattingen de prestaties van GPT-5 bij het classificeren van oncologische proefcriteria significant verbetert, omdat de extra informatie de potentiële ruis compenseert.

De kern

Het Grote Dilemma: De Korte Samenvatting vs. Het Volledige Boek

Stel je voor dat je een detective bent die moet onderzoeken of een bepaald ziekenhuis (een klinische studie) patiënten accepteert die een lokale kanker hebben (nog niet verspreid) of patiënten met uitgezaaide kanker (verspreid door het lichaam).

Je hebt 200 dossiers (medische studies) te analyseren. Je hebt twee opties om de informatie te krijgen:

1. De Abstract (Samenvatting): Dit is als de flaptekst op de achterkant van een boek. Het is kort, beknopt en geeft je de hoofdlijnen. Het is snel te lezen, maar vaak ontbreken er belangrijke details.
2. De Volledige Tekst: Dit is het hele boek. Het bevat alles: de samenvatting, maar ook honderden pagina's aan details, methoden, discussies en soms veel "ruis" (informatie die niets met jouw vraag te maken heeft).

De vraag van de onderzoekers: Is het slim om het hele boek te lezen voor een AI (een slimme computer), of is de korte samenvatting al genoeg? Of maakt het lezen van het hele boek de AI juist verward door de overvloed aan informatie?

Wat deden ze?

De onderzoekers gebruikten een zeer slimme AI genaamd GPT-5. Ze gaven deze AI twee keer dezelfde taak voor 200 kankerstudies:

• Ronde 1: Kijk alleen naar de flaptekst (abstract) en zeg of de studie lokale of uitgezaaide kanker behandelt.
• Ronde 2: Kijk naar het hele boek (volledige tekst) en doe hetzelfde.

Vervolgens vergeleken ze de antwoorden van de AI met het "echte" antwoord, dat door mensen handmatig was gecontroleerd.

Wat ontdekten ze? (De Resultaten)

Het verrassende nieuws is: Het hele boek lezen werkt beter!

• Bij lokale kanker: De AI was veel accurater (92% goed) als ze de volledige tekst lazen, vergeleken met alleen de samenvatting (86% goed).
  • De reden: In de samenvatting wordt vaak alleen gesproken over de "grote" groep (uitgezaaide kanker), terwijl de lokale patiënten soms maar in één zinnetje in het hoofdstuk worden genoemd. De AI miste dit in de samenvatting, maar vond het in het hele boek.
• Bij uitgezaaide kanker: De AI was al bijna perfect in beide gevallen (ongeveer 99% goed). Hier maakte het niet veel uit of ze het hele boek lazen of niet.

De conclusie: De extra informatie in het hele boek (het "signaal") was waardevoller dan de verwarring die de extra, onnodige tekst (het "ruis") veroorzaakte. De AI was slim genoeg om de naald in de hooiberg te vinden.

Waarom is dit belangrijk?

Vroeger dachten veel mensen: "Lees maar de samenvatting, dat is sneller en goedkoper."
Dit onderzoek zegt: "Niet altijd. Als je echt wilt weten of een studie geschikt is voor een specifieke patiënt, moet je soms de diepte in."

Het is alsof je op zoek bent naar een specifieke ingrediënt in een recept:

• Op de flaptekst staat misschien alleen: "Een heerlijke soep."
• In het recept zelf staat: "Gebruik verse basilicum, maar geen gedroogde."
  Als je alleen de flaptekst leest, mis je dat cruciale detail. De AI in dit onderzoek bleek slim genoeg om dat detail in de lange tekst te vinden, terwijl het niet verward raakte door de rest van het recept.

Samenvatting in één zin

Hoewel samenvattingen handig zijn, bleek dat een slimme AI veel betere beslissingen kon nemen over wie wel of niet in aanmerking komt voor kankeronderzoek, als ze de volledige, lange tekst mocht lezen in plaats van alleen de korte samenvatting. De extra informatie was goud waard, zelfs te midden van alle andere tekst.

Technische samenvatting

Probleemstelling

In de oncologische research is het essentieel om snel en accuraat klinische trials te kunnen filteren op basis van insluitingscriteria, specifiek of een trial patiënten met gelokaliseerde ziekte (lokaal of lokaal gevorderd) en/of metastatische ziekte toelaat. Hoewel Large Language Models (LLM's) veelbelovend zijn voor het automatiseren van deze taak, bestaat er een fundamentele onzekerheid over de optimale inputdata:

• Abstracts: Bieden een gecondenseerde, hoogdichte "signaal" maar missen vaak cruciale details die in de volledige tekst staan.
• Volledige teksten (Full-text): Bevatten veel meer informatie (signaal), maar brengen ook een aanzienlijke hoeveelheid "ruis" met zich mee (duizenden woorden die irrelevant zijn voor de specifieke vraag).

De centrale vraag is of de extra informatie in de volledige tekst de classificatieprestaties verbetert of juist verslechtert door de modelredenering te verstoren door de toenemende ruis.

Methodologie

De studie vergeleek de prestaties van een state-of-the-art LLM (GPT-5, snapshot gpt-5-2025-08-07) bij het classificeren van 200 gerandomiseerde gecontroleerde oncologische trials.

1. Dataset:

   • 200 trials getrokken uit een bestaande dataset van 600 trials (gepubliceerd tussen 2005-2023 in topjournals zoals The Lancet, JAMA, NEJM).
   • Trials uit Journal of Clinical Oncology werden uitgesloten vanwege licentiebeperkingen.
   • De volledige tekst (PDF) werd geëxtraheerd naar platte tekst met PyMuPDF.

2. Ground Truth (Handmatige Annotatie):

   • Twee annotatoren labelden de trials onafhankelijk met de labels: LOCAL, METASTATIC, beide, of geen.
   • De eerste annotatie was gebaseerd op titel en abstract; de tweede op de volledige tekst.
   • Bij onenigheid fungeerde een derde auteur als rechter. De volledige tekst-annotatie diende als de definitieve "ground truth" omdat deze het meest complete beeld gaf.
   • De inter-annotator overeenstemming was 95,5%.

3. LLM-Experiment:

   • Model: GPT-5 met een temperatuur van 1 en hoog redeneerniveau.
   • Aanpak: Zero-shot prompting met een gestructureerde output (Python-lijst).
   • Vergelijking: Elke trial werd tweemaal verwerkt: één keer met alleen het abstract en één keer met de volledige tekst.
   • Output: De modeloutput werd vergeleken met de ground truth om nauwkeurigheid, precisie, recall en F1-score te berekenen. Statistische significantie werd getoetst met de McNemar-test.

Belangrijkste Resultaten

De resultaten tonen aan dat het gebruik van volledige teksten de prestaties significant verbetert, vooral voor het detecteren van trials met gelokaliseerde ziekte.

• Gelokaliseerde Ziekte (Localized Disease):

  • Abstract: 86% nauwkeurigheid (F1 = 0,90).
  • Volledige Tekst: 92% nauwkeurigheid (F1 = 0,92).
  • Significantie: Het verschil is statistisch significant ($p = 0,027$). De recall steeg van 0,83 naar 0,92, wat aangeeft dat het model meer relevante trials vond die in het abstract waren gemist.

• Metastatische Ziekte (Metastatic Disease):

  • Abstract: 99% nauwkeurigheid (F1 = 1,00).
  • Volledige Tekst: 98% nauwkeurigheid (F1 = 0,99).
  • Significantie: Geen significant verschil ($p = 0,5$). Het model presteerde hier al bijna perfect op basis van abstracts.

• Gecombineerde Labels (Overall Performance):

  • De totale nauwkeurigheid voor het correct toewijzen van alle labels per trial steeg van 86% (abstract) naar 92% (volledige tekst) ($p = 0,027$).
  • Het grootste verbeteringspunt was bij trials die beide populaties (lokaal en metastatisch) omvatten. Bij abstracts miste het model vaak het "lokaal" label en gaf alleen "metastatisch" (13,5% fouten). Bij volledige teksten daalde dit naar 6% fouten.

Kernbijdragen

1. Empirisch Bewijs voor "Signal vs. Noise": De studie weerlegt de hypothese dat de ruis in volledige teksten de prestaties van moderne LLM's (zoals GPT-5) zou verstoren. In plaats daarvan blijkt dat de extra "signaal" (specifieke insluitingscriteria die vaak ontbreken in abstracts) zwaarder weegt dan de ruis.
2. Validatie van Full-Text Mining: Het onderzoek toont aan dat LLM's in staat zijn om specifieke, kritieke informatie te extraheren uit duizenden woorden irrelevante tekst, wat de huidige praktijk van uitsluitend abstract-gebaseerde analyse uitdaagt.
3. Verbetering van Recall: De belangrijkste bijdrage is de toename van de recall voor gelokaliseerde ziekte. Abstracts neigen vaak de metastatische populatie te benadrukken, terwijl de insluiting van lokaal gevorderde patiënten vaak alleen in de methoden of discussie van de volledige tekst staat beschreven.

Significantie en Conclusie

De studie concludeert dat voor de taak van het classificeren van oncologische trial-insluitingscriteria, het gebruik van volledige teksten de voorkeur verdient boven abstracts.

• Klinische Relevantie: Het vermijden van het missen van trials (hogere recall) is cruciaal voor evidence synthesis en het vinden van geschikte patiënten voor trials.
• Technologische Implicatie: Hoewel het verwerken van volledige teksten computatiekosten en contextlengte verhoogt, rechtvaardigt de winst in nauwkeurigheid deze kosten. De resultaten suggereren dat eerdere studies die uitsluitend op abstracts vertrouwen, de potentiële prestaties van LLM's voor bewijssynthese mogelijk hebben onderschat.
• Toekomstperspectief: Voor taken waarbij informatie consistent in abstracts staat (bijv. primaire eindpunten) is een volledige tekst misschien minder noodzakelijk, maar voor complexe criteria zoals ziektestadium is volledige tekst essentieel. De auteurs wijzen ook op de beperking dat visuele elementen (grafieken, figuren) in de huidige tekstextractie verloren gaan, wat een kans is voor toekomstige vision-language modellen.