Multi-model LLM assessment of Quality Control Circle methodological quality: a designed-anchor reliability study
Deze studie toont aan dat een panel van meerdere grote taalmodellen betrouwbaar en consistent de methodologische kwaliteit van Quality Control Circle-rapporten kan beoordelen, waarbij een sterke onderlinge overeenstemming tussen de modellen wordt bereikt en zij, vergeleken met op trefwoorden gebaseerde methoden, effectief geplante methodologische zwakheden detecteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
In veel ziekenhuizen in Oost- en Zuidoost-Azië werken kleine teams van frontliniepersoneel samen om problemen op te lossen en de patiëntenzorg te verbeteren. Ze volgen een strikt, stapsgewijs proces: ze kiezen een onderwerp, meten de huidige situatie, stellen een doel vast, zoeken naar de grondoorzaken van problemen en testen vervolgens oplossingen om te zien of ze werken. Zodra een cyclus is voltooid, schrijft het team een formeel rapport waarin hun traject wordt gedocumenteerd. Deze rapporten zijn essentieel. Ziekenhuizen gebruiken ze om de kwaliteit van de zorg te beoordelen, om te strijden voor prijzen en om te bewijzen dat ze aan veiligheidsnormen voldoen. Het lezen en beoordelen van deze rapporten is echter een zware last. Menselijke experts moeten elke pagina lezen, controleren op specifieke details en een score toekennen. Dit kost veel tijd, en verschillende experts zijn het vaak oneens over wat een goed rapport is. Naarmate het aantal rapporten groeit, wordt het bijna onmogelijk voor mensen om ze allemaal grondig en consistent te beoordelen.
Dit is waar het idee om kunstmatige intelligentie te gebruiken ter hulp naar voren komt. Large language models zijn computerprogramma's die tekst kunnen lezen, context kunnen begrijpen en complexe instructies kunnen redeneren, net zoals een mens dat doet. Onderzoekers vroegen zich af of deze programma's getraind konden worden om deze ziekenhuisrapporten te lezen en ze eerlijk te beoordelen. De grote vraag was niet alleen of de computer een score kon geven, maar of verschillende computerprogramma's het met elkaar eens zouden zijn. Als het ene programma zegt dat een rapport uitstekend is en een ander zegt dat het slecht is, kan het systeem niet vertrouwd worden. Om het antwoord te vinden, ontwierp een team van onderzoekers een speciale test om te zien of een groep verschillende kunstmatige intelligentie-modellen betrouwbaar de kwaliteit van deze verbeteringsrapporten kon beoordelen.
De onderzoekers creëerden een set van dertig neprapporten die precies leken op echte rapporten uit Taiwanese ziekenhuizen. Ze schreven deze rapporten in het traditionele Chinees, gebruikmakend van dezelfde structuur en stijl als de echte documenten. Om de test rigoureus te maken, plantten ze stiekem specifieke fouten in deze rapporten, zoals ontbrekende stappen in de analyse of zwak bewijs voor de oplossingen. Ze creëerden ook een "gouden standaard"-score voor elk rapport, die diende als het juiste antwoordmodel voor de test. Vervolgens vroegen ze vijf verschillende kunstmatige intelligentie-modellen om deze rapporten te lezen. De modellen werden niet verteld over de juiste scores of de specifieke locatie van de fouten; ze zagen alleen de tekst van de rapporten. De instructies die aan de modellen werden gegeven, bevatten echter expliciet negen specifieke methodologische controles om uit te voeren vóór het scoren, die overeenkwamen met negen van de tien soorten geplante fouten. Elk model werd gevraagd het rapport te beoordelen op acht verschillende aspecten van kwaliteit, zoals de diepgang van de analyse, of de data solide waren en of de oplossingen goed georganiseerd waren. Om de resultaten stabiel te houden, las elk model elk rapport drie keer.
De studie toonde aan dat wanneer vier van de verschillende modellen samenwerkten, ze zeer goed met elkaar overeenstemden. Hun scores waren consistent genoeg om als betrouwbaar te worden beschouwd, met een mate van overeenstemming die onderzoekers beschrijven als "goed". Dit betekent dat als je deze verschillende programma's zou vragen om hetzelfde rapport te beoordelen, ze waarschijnlijk een vergelijkbare score zouden geven. De modellen waren ook verrassend goed in het opsporen van de verborgen fouten. Wanneer de onderzoekers de modellen vroegen om de gevonden problemen op te sommen, identificeerden de modellen de geplante fouten in bijna alle gevallen. Dit was veel effectiever dan een eenvoudige zoekopdracht van een computer die alleen naar specifieke trefwoorden zocht. De eenvoudige zoekopdracht miste veel fouten omdat de modellen de betekenis van de tekst begrepen, en niet alleen de woorden.
Echter, de studie toonde ook aan dat de computers niet perfect waren. Hoewel ze het met elkaar eens waren, kwamen hun scores niet altijd exact overeen met de "gouden standaard"-antwoordsleutel. In sommige gevallen waren de modellen te gul en gaven ze hoge scores aan rapporten die aanzienlijke gebreken hadden. In andere gevallen waren ze te streng. De onderzoekers merkten op dat de modellen de neiging hadden om hogere scores te geven aan langere rapporten, wat suggereert dat ze de lengte van de tekst mogelijk verwarren met de kwaliteit van het werk. Bovendien werden de "gouden standaard"-scores die voor vergelijking werden gebruikt, gecreëerd door hetzelfde type computerprogramma dat de neprapporten had geschreven, wat betekent dat de antwoordsleutel zelf een bepaalde bias kan hebben. Daarom benadrukken de onderzoekers voorzichtig dat hoewel de computers met elkaar eens kunnen zijn, ze nog niet hebben bewezen dat ze het eens zijn met menselijke experts of dat ze de menselijke beoordeling kunnen vervangen.
De belangrijkste les is dat een team van verschillende kunstmatige intelligentie-modellen met een hoge mate van consistentie samen kan werken om deze rapporten te beoordelen. Ze kunnen verborgen zwakheden in de tekst veel beter opsporen dan een eenvoudige zoekopdracht op trefwoorden. Dit suggereert dat deze tools in de toekomst gebruikt kunnen worden om door duizenden rapporten te gaan, waarbij de rapporten die de aandacht van een menselijke expert vereisen worden gemarkeerd en de duidelijke, hoogwaardige rapporten snel kunnen worden verwerkt. Maar de studie stopt bij de bewering dat de computers klaar zijn om het volledig over te nemen. De onderzoekers benadrukken dat de volgende stap is om deze modellen te testen op echte rapporten van echte ziekenhuizen om te zien of ze het oordeel van ervaren menselijke beoordelaars kunnen evenaren. Tot die tijd blijven deze tools een veelbelovende manier om mensen te helpen bij het beheren van de werklast, in plaats van een vervanging voor menselijke expertise.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.