Large Language Models for Automated AGREE II Quality Appraisal of Sepsis Clinical Practice Guidelines: A Methodological Comparative Study

In de hooggestoken wereld van de moderne geneeskunde worden levensreddende behandelingen vaak gestuurd door klinische richtlijnen voor de praktijk. Dit zijn geen informele suggesties, maar zorgvuldig geconstrueerde documenten die de best beschikbare wetenschappelijke bewijslast synthetiseren tot duidelijke instructies voor artsen. Ze vertellen medische teams hoe ze complexe aandoeningen moeten beheren, zoals sepsis, een gevaarlijke reactie op infectie die organen kan laten uitvallen en duizenden levens kan eisen. De kwaliteit van deze richtlijnen varieert echter enorm. Sommige zijn gebouwd op rigoureuze, transparante methoden, terwijl andere een gebrek aan diepgang of duidelijkheid kunnen vertonen. Om de betrouwbare van de onbetrouwbare te onderscheiden, gebruiken experts een specifiek instrument genaamd AGREE II. Dit instrument fungeert als een gedetailleerde checklist die eenentwintendrie specifieke vragen stelt over de structuur van een richtlijn, de bewijsvoering en de praktische bruikbaarheid in de echte wereld. Traditioneel gezien is het invullen van deze checklist een traag, kostbaar proces dat teams van hoogopgeleide specialisten vereist om elk woord van een document te lezen en hun oordeel erover te bespreken. Nu het aantal gepubliceerde richtlijnen sneller groeit dan het aantal experts dat beschikbaar is om ze te lezen, staat de medische gemeenschap voor een knelpunt: hoe waarborg je kwaliteit zonder overweldigd te worden door het volume?

Dit is waar kunstmatige intelligentie het verhaal binnenkomt, specifelijk een nieuwe generatie computerprogramma's bekend als grote taalmodellen. Deze systemen, getraind op enorme hoeveelheden tekst, hebben een vermogen getoond om complexe informatie te lezen, te begrijpen en samen te vatten. Onderzoekers vroegen zich af of deze digitale tools de zware arbeid konden overnemen bij het beoordelen van medische richtlijnen, optredend als een snelle, geautomatiseerde eerste controle voordat een menselijke expert aan de beurt komt. Een team van wetenschappers zette zich met dit idee door zes verschillende grote taalmodellen tegenover een panel van menselijke experts te zetten. Ze vroegen de computers niet om de antwoorden te raden; in plaats daarvan voerden ze de volledige tekst van elf reële richtlijnen voor de behandeling van sepsis in en vroegen de modellen om deze te scoren met dezelfde strikte AGREE II-checklist die de mensen al hadden gebruikt. Het doel was om te zien of de machines konden denken als de experts, of dat ze zouden struikelen over de nuances van het medisch oordeel.

De resultaten toonden een relatie aan die veelbelovend is, maar verre van perfect. De computermodellen waren in staat om tot een matige mate met de menselijke experts overeen te stemmen, waarbij ze de algemene kwaliteit van de documenten vastlegden. Ze imiteerden echter niet simpelweg het menselijk denken; ze ontwikkelden hun eigen specifieke foutpatronen. De meest opvallende bevinding was een consistente bias in de manier waarop de machines de "toepasbaarheid" van een richtlijn evalueerden. Dit deel van de checklist vraagt of een document voldoende praktisch advies biedt voor artsen om het daadwerkelijk te gebruiken in een druk ziekenhuis, rekening houdend met zaken als kosten, apparatuur en lokale middelen. De menselijke experts gaven deze secties over het algemeen hogere cijfers, omdat zij de praktische intentie achter de aanbevelingen erkenden. De computermodellen gaven deze secties daarentegen consequent veel lagere scores. Het lijkt erop dat de machines zochten naar expliciete, stapsgewijze instructies over hoe een behandeling moet worden uitgevoerd en de richtlijnen strafden omdat ze die niet boden, zelfs wanneer de richtlijnen verder wel deugdelijk waren. Ze leken de subtiele, realistische context te missen die menselijke artsen instinctief begrijpen.

Omgekeerd waren de modellen de neiging te hebben tot overmatige vrijgevigheid bij het beoordelen van de "rigor van de ontwikkeling". Dit deel van de checklist onderzoekt hoe de richtlijn is gecreëerd, waarbij wordt gezocht naar bewijs dat de auteurs strikte wetenschappelijke methoden hebben gevolgd. De computers waren erg goed in het herkennen van trefwoorden zoals "systematische review" of "evidence-based", en wanneer ze deze termen zagen, schonen ze hoge scores toe. Soms verleenden ze deze scores zelfs wanneer de menselijke experts vonden dat de methoden niet zo sterk waren als de taal deed vermoeden. De machines lazen de oppervlakte van de tekst erg goed, maar misten soms de diepere waarheid van hoe het werk daadwerkelijk was uitgevoerd. Dit creëerde een vreemde dynamiek waarbij de computers te streng waren op de praktische onderdelen van een richtlijn en te mild op de theoretische onderdelen.

Naast de specifieke scores keken onderzoekers ook naar de snelheid en de kosten van het gebruik van deze verschillende modellen. De onderzoekers maten hoe lang elke computer nodig had om een richtlijn te lezen en hoeveel digitale "brandstof" het verbruikte om een antwoord te produceren. Eén model, ontwikkeld door een Chinees technologiebedrijf, viel op als het meest efficiënt. Het produceerde scores die goed overeenkwamen met de menselijke experts, deed dit in slechts vijftien seconden en verbruikte de minste digitale middelen. Een ander model van een groot Amerikaans technologiebedrijf was iets trager en duurder in gebruik, maar vertoonde de minste bias, wat betekent dat de scores het dichtst bij het menselijke gemiddelde lagen zonder te ver in één richting door te slaan. De studie vond dat een groter, krachtiger model niet noodzakelijkerwijs beter was bij deze specifieke taak; sterker nog, het meest efficiënte model was niet het model met de grootste omvang of de meest algemene medische kennis. Dit suggereert dat voor dit soort gedetailleerd, gestructureerd werk, het vermogen om een specifieke set regels te volgen belangrijker is dan brute omvang.

De onderzoekers concludeerden dat deze kunstmatige intelligentie-tools niet klaar zijn om menselijke experts te vervangen. Als een ziekenhuis uitsluitend op een computer zou vertrouwen om te beslissen welke richtlijnen goed genoeg zijn om te gebruiken, zouden ze uitstekende documenten kunnen afwijzen simpelweg omdat de machine te streng was over praktische details, of ze zouden zwakke documenten kunnen accepteren omdat de machine werd misleid door chique taalgebruik. In plaats daarvan is de beste toepassing voor deze modellen een triage-systeem. Ze kunnen honderden richtlijnen snel scannen, de meest veelbelovende signaleren en de documenten markeren die een nadere blik nodig hebben. Dit zou menselijke experts de ruimte geven om hun tijd te richten op de moeilijkste gevallen, met name die richtlijnen die zich precies op de grens van acceptabel bevinden. Op deze manier fungeert de technologie als een krachtige assistent die het volume en de snelheid afhandelt, terwijl het uiteindelijke, genuanceerde oordeel wordt overgelaten aan de mensen die de realiteit van de patiëntenzorg begrijpen. De studie bevestigt dat hoewel machines de woorden kunnen lezen, ze nog steeds mensen nodig hebben om de betekenis te begrijpen.