Automating the triage of rheumatology outpatient referrals: a comparative evaluation of 23 large language models under simple and advanced prompting

Elke dag schrijven duizenden mensen met gewrichtspijn, zwelling of stijfheid brieven naar reumatologen om hulp. Deze brieven, bekend als verwijzingen, komen binnen in een vloedgolf waar specialisten doorheen moeten sorteren. Het doel van dit sorteren, genaamd triage, is om te beslissen wie onmiddellijk gezien moet worden omdat hun toestand een orgaan of hun leven kan bedreigen, en wie veilig weken of maanden kan wachten. Deze taak komt toe aan ervaren artsen, die complexe, ongestructureerde tekst moeten lezen om een oordeel te vellen. Het is een hoogvolume, mentaal uitputtend werk dat tijd wegneemt van het zien van patiënten en het behandelen van ziekten. Wanneer het systeem goed werkt, krijgen de ziekste mensen snel hulp. Wanneer het faalt, kan een patiënt met een snel verslechterende auto-immuunaandoening te lang moeten wachten, met blijvende schade tot gevolg. Toch is dit sorteerproces, zelfs wanneer het door ervaren artsen wordt uitgevoerd, niet perfect; experts zijn het vaak oneens met elkaar, en urgente gevallen worden soms gemist of vertraagd.

Omdat het aantal verwijzingen sneller groeit dan het aantal beschikbare specialisten, zoeken klinieken naar manieren om kunstmatige intelligentie te gebruiken om te helpen. Specifiek testen ze grote taalmodellen, computerprogramma's die getraind zijn op enorme hoeveelheden tekst en menselijke taal kunnen begrijpen en genereren. Deze modellen worden al gebruikt om medische vragen te beantwoorden en bij te dragen aan diagnoses, maar het was onduidelijk of ze de specifieke, risicovolle taak van het sorteren van reumatologische verwijzingen betrouwbaar konden afhandelen. De centrale vraag was niet alleen of een computer dit kon doen, maar of het dit net zo goed kon als een menselijk team, en of de kosten voor het gebruik van de krachtigste, duurste computers noodzakelijk waren om de klus goed te klaren.

Een onderzoeker bij Monash Health in Australië zette zich in om deze vragen te beantwoorden door eenheden van tweeëndertig verschillende grote taalmodellen een rigoureuze test te onderwerpen. Ze creëerden twintig realistische verwijscenario's gebaseerd op echte gevallen, variërend van levensbedreigende noodgevallen tot routineuze pijnklachten. Om een gouden standaard voor het juiste antwoord vast te stellen, beoordeelden vier onafhankelijke reumatologen elk scenario zonder te weten wat de anderen besloten, waarbij ze uiteindelijk tot een consensus over het urgentieniveau voor elk geval kwamen. De onderzoeker vroeg vervolgens aan elk van de drieëntwintig computermodellen om deze twintig gevallen te triageren. Om ervoor te zorgen dat de resultaten stabiel waren en niet slechts gelukjes, werd elk model gevraagd om drie keer per geval een beslissing te nemen. Het experiment werd twee keer uitgevoerd: één keer met een zeer eenvoudige instructie die het model vertelde de verwijzingen te sorteren, en opnieuw met een veel gedetailleerdere instructie die uitlegde hoe het over het probleem moest nadenken, voorbeelden gaf van hoe elk urgentieniveau eruitzag, en het model begeleidde om zich te concentreren op specifieke medische tekenen terwijl minder relevante factoren zoals pijnniveaus werden genegeerd.

De resultaten toonden een duidelijk patroon in hoe deze machines denken. Wanneer ze alleen een eenvoudige instructie kregen, presteerden de modellen zeer verschillend van elkaar. De grootste, meest geavanceerde en duurste modellen waren aanzienlijk nauwkeuriger dan de kleinere, goedkopere modellen. In deze eenvoudige setting leverde het betalen voor een groter model een betere prestatie op. Echter, het verhaal veranderde volledig toen de onderzoeker overschakelde naar de geavanceerde, gedetailleerde instructies. Met deze betere begeleiding verdween het prestatieverschil tussen de modellen. De kleinere, goedkopere modellen haalden de dure modellen in, en de link tussen kosten en nauwkeurigheid verdween. De gedetailleerde instructies leerden de kleinere modellen in essentie hoe ze over het probleem moesten redeneren, waardoor ze net zo goed konden presteren als de reuzen zonder de hoge prijs te betalen.

Zelfs met de beste instructies waren de computers niet foutloos. Ze maakten nog steeds fouten, waarbij ze soms suggereerden dat een patiënt zieker was dan hij was, en soms dat hij minder ziek was. De onderzoeker merkte op dat de fout van onder-triage — het missen van een urgente zaak — het gevaarlijkste type fout is, omdat het kritieke zorg kan vertragen. Ondanks dit risico kwamen de best presterende modellen in de meeste gevallen overeen met de menselijke consensus, waarbij ze vaak in alle drie de pogingen overeenstemming bereikten over het juiste urgentieniveau. Dit prestatieniveau plaatste hen binnen of boven het bereik van de nauwkeurigheid gerapporteerd door menselijke artsen, die erom bekend staan dat ze het in ongeveer een derde van de gevallen oneens zijn en hun urgentiebeoordeling vaak wijzigen nadat ze de patiënt hebben gezien.

De studie suggereert dat de middelen om deze administratieve last te automatiseren al bestaan en mogelijk minder kostbaar zijn dan voorheen gedacht. De belangrijkste bevinding is dat de manier waarop een vraag aan de computer wordt gesteld, even belangrijk is als de computer zelf. Door een goed ontworpen prompt te gebruiken die duidelijke regels en voorbeelden bevat, kunnen klinieken mogelijk kleinere, goedkopere modellen gebruiken om resultaten te behalen die wedijveren met de meest dure systemen. Dit zou medische diensten in staat stellen waardevolle tijd terug te geven aan ervaren artsen, zodat zij zich kunnen concentreren op het behandelen van patiënten in plaats van op het sorteren van brieven. Hoewel de technologie veelbelovend is, benadrukt de onderzoeker dat elk systeem dat in de echte wereld wordt gebruikt, zorgvuldig moet worden gemonitord om te garanderen dat het geen urgente gevallen mist, en dat menselijke artsen betrokken moeten blijven om de meest kritische beslissingen te beoordelen. De weg vooruit houdt in dat deze instrumenten op echte, live verwijzingen worden getest en de instructies worden verfijnd om de veiligheid te waarborgen, maar de gegevens geven aan dat een betrouwbare, geautomatiseerde assistent voor reumatologische triage geen verre droom meer is.