SPIRIT-CONSORT-ELM: Element-Level Assessment of Randomized Controlled Trial Reporting Using Large Language Models

Technische Samenvatting: SPIRIT-CONSORT-ELM

Probleemstelling
Gerandomiseerde gecontroleerde onderzoeken (RCT's) zijn fundamenteel voor het beoordelen van de voordelen en schade van interventies, maar hun nut wordt frequent ondermijnd door incomplete rapportage. Hoewel rapportage-richtlijnen zoals SPIRIT (voor protocollen) en CONSORT (voor resultaten) checklists bieden om volledigheid te waarborgen, opereren bestaande geautomatiseerde beoordelingsmethoden primair op "itemniveau". Deze binaire benadering — waarbij enkel wordt bepaald of een checklist-item aanwezig of afwezig is — slaagt er niet in de nuance van rapportagevolledigheid te vatten. Veel checklist-items bestaan uit meerdere afzonderlijke "elementen" (specifieke details die vereist zijn voor volledige naleving). Bijgevolg kan een item als "gerapporteerd" worden gemarkeerd, zelfs als cruciale sub-elementen ontbreken, of als "incompleet" worden gemarkeerd zonder onderscheid te maken tussen een enkel ontbrekend detail en een totale afwezigheid van informatie. Dit gebrek aan granulariteit belemmert de mogelijkheid om bruikbare feedback te geven aan auteurs en beperkt de betrouwbaarheid van meta-onderzoek naar rapportagetrends.

Methodologie
De auteurs pakken dit gat aan door SPIRIT-CONSORT-ELM te ontwikkelen, een framework en dataset voor beoordeling op elementniveau. De methodologie omvat drie primaire componenten:

1. Constructie van het Framework: Drie experts in epidemiologie en meta-onderzoek hebben 119 specifieke vragen afgeleid van de 83 checklist-items van SPIRIT 2013 en CONSORT 2010. Deze vragen richten zich op constituerende elementen binnen de checklist-items. Het framework bevat single-choice ("check-one"), multiple-choice ("check-all-that-apply") en conditionele vragen. Conditionele vragen worden alleen getriggerd wanneer specifieke elementen aanwezig of afwezig zijn, wat verdere details of een rationale vereist.
2. Curatie van de Dataset: Het framework werd toegepast op de bestaande SPIRIT-CONSORT-TM corpus, bestaande uit 200 artikelen (100 protocol-resultaten paren). Twee experts annoteerden 50 artikelen (25 paren) onafhankelijk om de inter-annotator overeenstemming vast te stellen, terwijl de overige 150 artikelen werden geannoteerd door een enkele expert. Annotaties waren gebaseerd op relevante tekstfragmenten die eerder waren geïdentificeerd voor de corresponderende checklist-items.
3. Geautomatiseerde Beoordelingspipeline: De auteursen formuleerden beoordeling op elementniveau als een machine reading comprehension (MRC) taak. De pipeline bestaat uit:
   • Evidence Retrieval: Een PubMedBERT-gebaseerd model (fijn afgesteld op SPIRIT-CONSORT-TM) identificeert zinnen die informatie bevatten over de rapportage op itemniveau.
   • Question Answering: Een generatief Large Language Model (LLM), specifiek GPT-5 en het open-weight model Qwen-2.5, beantwoordt de 119 vragen op basis van de opgehaalde tekst.
   • Prompting Strategieën: Het systeem maakt gebruik van handmatig vervaardigde, vraag-agnostische prompt-templates. De auteurs evalueerden de impact van Chain-of-Thought (CoT) redenering, LLM-gegenereerde prompts en in-context voorbeelden (geselecteerd via random of semantische gelijkenis strategieën).

Belangrijkste Bijdragen
Het artikel presenteert drie belangrijke bijdragen:

1. Element-Level Framework: Een geformaliseerde set van 119 vragen die rapportage-richtlijnen operationaliseren op elementniveau, waardoor men verder gaat dan binaire item-aanwezigheid om specifieke rapportagedetails te beoordelen.
2. SPIRIT-CONSORT-ELM Dataset: Een door experts geannoteerde dataset met oordelen voor 119 vragen over 200 RCT-publicaties, wat een benchmark biedt voor fijnmazige beoordeling.
3. Geautomatiseerde Beoordelingspipeline: Een evaluatie van LLM's voor deze taak, waarbij een pipeline wordt gedemonstreerd die zinsniveau bewijsretrieval combineert met generatieve LLM-redenering om gestructureerde vragen te beantwoorden.

Resultaten

• Menselijke Annotatie: De inter-annotator overeenstemming was hoog, met een gemiddelde Gwet's AC1 van 0,782, wat aangeeft dat mensen betrouwbaar beoordelingen op elementniveau kunnen uitvoeren wanneer zij over relevante tekstfragmenten beschikken.
• Modelprestaties: De geautomatiseerde pipeline met gebruik van GPT-5 behaalde een F1-score van 0,822, een nauwkeurigheid van 0,852 en een Gwet's AC1 van 0,796. Het open-weight model Qwen-2.5 behaalde vergelijkbare resultaten (F1: 0,803), hoewel met een hogere inferentietijd. Beide modellen presteerden beter dan een majority-class baseline.
• Impact van Evidence Retrieval: Het gebruik van door experts geannoteerde tekstfragmenten (een upper bound) verbeterde de prestaties aanzienlijk (F1: 0,893) vergeleken met de geautomatiseerde retrieval methode (F1: 0,822), wat suggereert dat het verbeteren van evidence retrieval een cruciaal gebied is voor toekomstige optimalisatie.
• Prompting en Voorbeelden: Chain-of-Thought redenering leverde een bescheiden prestatiewinst op (+1,0 pp F1), maar verhoogde de verwerkingstijd en kosten met meer dan vijfmaal. In-context voorbeelden (one-shot) leverden lichte verbeteringen op (+0,8 pp F1) afhankelijk van de selectiestrategie, maar het toevoegen van meer voorbeelden (3-shot, 5-shot) verslechterde de prestaties.
• Verschillen in Richtlijnen: De prestaties waren hoger voor SPIRIT-gerelateerde vragen (F1: 0,840) dan voor CONSORT-gerelateerde vragen (F1: 0,780), waarschijnlijk omdat CONSORT-vragen vaak interpretatie vereisen van langere, meer diffuse tekstsegmenten met betrekking tot resultaten.

Betekenis en Claims
De auteurs claimen dat SPIRIT-CONSORT-ELM de eerste benchmark biedt voor het evalueren van de volledigheid van rapportage-richtlijnen op elementniveau. Zij stellen dat deze granulariteit een validere en betrouwbaardere evaluatie van de transparantie van RCT's mogelijk maakt dan eenvoudige controles op itemniveau. Het framework stelt gebruikers in staat om specifieke ontbrekende elementen te identificeren, wat bruikbare feedback biedt aan auteurs, reviewers en editors. Hoewel het geautomatiseerde systeem de haalbaarheid aantoont, blijven de auteurs bescheiden en merken zij op dat de huidige prestatieniveaus, hoewel bemoedigend, verdere verbetering kunnen vereisen voor brede adoptie in de praktijk. Zij benadrukken dat het framework de bestaande richtlijnen complementeert en meta-onderzoek ondersteunt door hogere-resolutie data te bieden over rapportagepraktijken. De dataset en de code zijn publiekelijk beschikbaar om verdere ontwikkeling van geautomatiseerde systemen voor het verbeteren van de RCT-rapportage te faciliteren.