TrialScout links published results to trial registrations using a large language model

Deze studie introduceert TrialScout, een tool die gebruikmaakt van een groot taalmodel om klinische proefregistraties op ClinicalTrials.gov succesvol te koppelen aan hun gepubliceerde resultaten in PubMed, waardoor de snelheid en efficiëntie van het vinden van trialresultaten aanzienlijk wordt verbeterd.

De kern

De Grote Zoektocht: Een Vergeten Bibliotheek

Stel je voor dat er een enorme bibliotheek bestaat, vol met boeken over medische experimenten. Elke keer als artsen een nieuw medicijn of behandeling testen, moeten ze een registratie maken in een groot digitaal register (zoals ClinicalTrials.gov). Dit is als het invullen van een kaartje in de bibliotheekcatalogus: "We gaan dit onderzoek doen."

Het probleem is dat veel van deze boeken (de resultaten van de experimenten) nooit op de plank worden gezet. Soms worden ze wel geschreven en gepubliceerd in wetenschappelijke tijdschriften, maar dan is er geen link naar het originele kaartje. Het is alsof je een boek hebt, maar de titel op de rug ontbreekt, waardoor niemand het kan vinden.

Dit is gevaarlijk. Als artsen niet weten wat er al is onderzocht, kunnen ze:

1. Geld verspillen aan onderzoek dat al gedaan is.
2. Patiënten blootstellen aan risico's van behandelingen die al bewezen niet werken.
3. De verkeerde conclusies trekken omdat ze alleen de "goede" resultaten zien en de "slechte" missen.

De Nieuwe Robot-Detective: TrialScout

De auteurs van dit paper hebben een nieuwe robot-detective gebouwd, genaamd TrialScout.

Vroeger moesten mensen (wetenschappers) zelf urenlang zoeken in de bibliotheek om te zien of er een boek bij een kaartje hoorde. Dat was saai, duur en ging langzaam. TrialScout is een slimme computerprogramma dat gebruikmaakt van een Grote Taalmodel (een soort super-intelligente AI, vergelijkbaar met de technologie achter moderne chatbots).

Hoe werkt TrialScout?
Stel je voor dat TrialScout een detective is met een bril die alles kan lezen.

1. Hij kijkt naar het kaartje (de registratie van het experiment).
2. Hij zoekt in de hele bibliotheek (duizenden wetenschappelijke artikelen) naar boeken die erop lijken.
3. In plaats van alleen te kijken naar de titel (zoals oude methoden deden), leest hij de samenvatting van het artikel. Hij begrijpt de tekst. Hij kan zien: "Ah, dit artikel beschrijft precies de resultaten van dit experiment," of "Nee, dit is alleen een plan voor het experiment, nog geen resultaat."

De Test: Werkt de Robot?

De onderzoekers wilden weten of TrialScout goed genoeg was. Ze gaven hem een testpakket met 5.774 experimenten waarvan mensen al wisten of er resultaten waren gevonden.

• Het resultaat: TrialScout was erg goed. Hij vond in 92,5% van de gevallen waar mensen ook iets hadden gevonden.
• De verrassing: Toen ze keken naar de gevallen waar TrialScout en de mensen het niet eens waren, bleek dat de mensen vaak de fout maakten, niet de robot! De robot had vaak wel het juiste boek gevonden, maar de mensen hadden het gemist. De menselijke zoektocht was dus niet perfect.

De Grote Opdracht: De Bibliotheek Nieuw Onderzocht

Na de test kregen TrialScout een echte opdracht: hij moest kijken naar 9.600 willekeurige experimenten die al klaar waren.

Wat vond hij?

• Hij vond gepubliceerde resultaten voor 63,6% van de experimenten.
• Dit is een stuk beter dan eerdere schattingen (die rond de 53% lagen).
• Het betekent dat er nog steeds veel experimenten zijn (bijna 40%) waar de resultaten niet makkelijk te vinden zijn.

Interessante patronen die hij ontdekte:

• Grote studies (met veel deelnemers) hebben vaker resultaten gepubliceerd dan kleine studies.
• Industriële studies (betaald door farmaceutische bedrijven) publiceerden iets minder vaak dan studies van universiteiten.
• Studies met alleen mannen als proefpersonen werden iets minder vaak gepubliceerd dan studies met mannen en vrouwen.

Waarom is dit belangrijk?

TrialScout is als het geven van een superkracht aan de bibliotheekmedewerker.

• Snelheid: Waar een mens dagen nodig heeft, doet de robot dit in seconden.
• Schalen: Hij kan duizenden boeken tegelijk controleren.
• Transparantie: Hij helpt ervoor te zorgen dat niets meer verborgen blijft.

Conclusie in één zin:
Deze nieuwe AI-tool helpt ons eindelijk alle "verloren" medische experimenten terug te vinden in de grote berg wetenschappelijke literatuur, zodat we beter kunnen beslissen over onze gezondheid en minder tijd en geld verspillen.

Technische samenvatting

Probleemstelling

Er is een kritisch tekort aan transparantie in klinisch onderzoek: hoewel er een ethische en wettelijke plicht bestaat om de resultaten van klinische trials te publiceren, worden deze vaak niet tijdig of überhaupt niet gedeeld.

• Het probleem: Samenvattende resultaten worden vaak niet in trial-registers (zoals ClinicalTrials.gov) geplaatst, en publicaties met resultaten verwijzen niet altijd expliciet naar hun trial-registratienummer (NCT-ID).
• De consequentie: Het vinden van resultaten vereist momenteel een tijdrovend, handmatig proces van het doorzoeken van meerdere databases en het kruisverwijzen van gegevens. Dit belemmert evidence-based geneeskunde, systematische reviews en het monitoren van publicatiebias.
• Beperkingen van bestaande tools: Bestaande geautomatiseerde methoden (zoals TrialsTracker) vertrouwen vaak op het zoeken naar expliciete NCT-ID's in abstracts of metadata. Dit beperkt hun gevoeligheid, omdat veel publicaties deze ID's niet vermelden. Andere modellen (zoals Smalheiser-Holt) gebruiken logistieke regressie op metadata, maar zijn computerefficiëntie-gevoelig en traag bij grote datasets.

Methodologie: TrialScout

De auteurs hebben TrialScout ontwikkeld, een geautomatiseerd hulpmiddel dat gebruikmaakt van een Large Language Model (LLM) om klinische trial-registraties te koppelen aan gepubliceerde resultaten.

• Technische Architectuur:

  • Taal: Gebouwd in Node.js (versie 22.7.0).
  • LLM: Gebruikt ChatGPT-5.1 (versie "gpt-5.1-2025-11-13") met een temperatuur van 1.0 en "medium" redeneerinspanning.
  • Werkingsprincipe:
    1. Data Retrieval: Haalt metadata op van trial-registers (ClinicalTrials.gov, EUCTR, DRKS).
    2. Zoekstrategie: Voert vooraf gedefinieerde zoekopdrachten uit in PubMed, Google Scholar en via Citation Matcher API om kandidaat-publicaties te vinden.
    3. Classificatie: Het LLM ontvangt zowel de trial-registratie als de abstracts van de kandidaat-publicaties. Het model moet bepalen of een publicatie daadwerkelijk de resultaten van die specifieke trial bevat, en onderscheid maken van protocollen, secundaire analyses of systematische reviews.
  • Schaalbaarheid: Door agressieve filtering van de PubMed-corpus en het gebruik van cloud-infrastructuur (OpenAI API) is het sneller dan eerdere pairwise-comparitie modellen (seconden per trial versus minuten).

• Validatie:

  • TrialScout werd getest tegen een "zilveren standaard" van menselijk gecodeerde data (5.774 trials uit eerdere studies in Duitsland en de Noordse landen).
  • Een steekproef van 200 discrepante gevallen (waar TrialScout en mensen het oneens waren) werd handmatig herbeoordeeld om de aard van de fouten te analyseren.

Key Contributions (Belangrijkste Bijdragen)

1. Innovatieve Aanpak: Eerste toepassing van een LLM voor het koppelen van trial-registraties aan publicaties op basis van semantische inhoud van abstracts, in plaats van alleen metadata-matching.
2. Schalingsvermogen: Het hulpmiddel kan duizenden trials in korte tijd verwerken, wat handmatige methoden onmogelijk maken.
3. Open Source: De code en het hulpmiddel zijn vrij toegankelijk (GitHub en een webversie), wat reproduceerbaarheid en verder onderzoek stimuleert.
4. Grote Steekproef: Toepassing op een willekeurige steekproef van 9.600 trials, wat een van de grootste studies naar rapportagepercentages is.

Resultaten

1. Validatieprestaties (Tegenover menselijke beoordeling):

• Sensitiviteit: 92,5% (het vermogen om bestaande publicaties te vinden).
• Specificiteit: 81,2%.
• F-score: 92,7%.
• Analyse van fouten: Bij een handmatige review van 200 discrepante gevallen bleek dat 61,5% van de "fouten" eigenlijk menselijke fouten waren (TrialScout had gelijk, de mens niet). TrialScout miste publicaties voornamelijk omdat de zoekalgoritmen de juiste publicatie niet vonden, niet omdat het LLM de inhoud verkeerd interpreteerde.

2. Toepassing op 9.600 ClinicalTrials.gov-trials:

• Publicatiepercentage: TrialScout vond gepubliceerde resultaten voor 63,6% (6.110 trials) van de steekproef.
• Gerapporteerde resultaten: Als men ook samenvattende resultaten in het register meetelt, stijgt dit naar 72,9%.
• Subgroepanalyse:
  • Fundering: Industrie-gesponsorde trials hadden lagere rapportagepercentages (70,5%) dan andere sponsors (73,6%).
  • Deelnemers: Trials met alleen mannelijke deelnemers hadden significant lagere publicatiepercentages (68,6%) dan trials met gemengde of vrouwelijke populaties.
  • Fase: Vroege fasen (Phase 1) hadden lagere rapportage (60,4%) dan latere fasen (Phase 3: 84,1%).
  • Grootte: Grotere trials (meer deelnemers) hadden een sterkere correlatie met gepubliceerde resultaten.

Significantie en Conclusie

TrialScout bewijst dat AI-gedreven tools effectief kunnen worden ingezet om de transparantie in klinisch onderzoek te vergroten.

• Efficiëntie: Het versnelt het proces van het vinden van trial-resultaten aanzienlijk, wat essentieel is voor systematische reviews en beleidsvorming.
• Monitoring: Het biedt een schaalbare manier om rapportagepraktijken te monitoren en onthult dat de rapportagepercentages mogelijk hoger zijn dan eerder geschat door kleinere, handmatige studies (63,6% vs. de eerder genoemde 53%).
• Toekomst: Hoewel de tool niet perfect is (geen "gouden standaard" beschikbaar), fungeert het als een krachtig screeningshulpmiddel. Het stelt onderzoekers in staat om hun handmatige zoekopdrachten te focussen op de trials waar de AI geen resultaten vond. De tool kan worden geïntegreerd in bestaande monitoringssystemen (zoals FDAAA TrialsTracker) of direct in trial-registers om de transparantie van het wetenschappelijk ecosysteem te verbeteren.