Development and Validation of a Localized Large Language Model for Preoperative Anesthesia Planning: Protocol for a Retrospective Observational Study and Clinical Turing Test
Dit artikel beschrijft een protocol voor het ontwikkelen en valideren van een gelokaliseerd groot taalmodel, dat is verfijnd op basis van 3.000 historische anesthesiedossiers van het Istishari Hospital, om preoperatieve anesthesieplannen te genereren die worden geëvalueerd tegenover menselijke expertstandaarden voor veiligheid en nauwkeurigheid in een retrospectieve "klinische Turingtest".
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Voordat een patiënt een operatiekamer betreedt, moet een anesthesist een complexe mentale taak uitvoeren: hij combineert de medische voorgeschiedenis van een persoon, de huidige vitale functies en de specifieke eisen van de aanstaande operatie, om deze feiten te verweven tot één enkel, veilig plan voor het in slaap houden en pijnvrij houden van de patiënt. Dit proces vereist snel denken en diepgaande kennis, maar is ook gevoelig voor menselijke fouten, vooral wanneer artsen moe zijn of wanneer verschillende artsen dezelfde informatie op net iets andere manieren interpreteren. In de afgelopen jaren zijn computers begonnen te helpen bij medische taken, voornelijk door zaken te voorspellen zoals bloeddrukdalingen of door medicijnpompen automatisch te beheren. Echter, een nieuw type computerprogramma, bekend als een groot taalmodel, is opgekomen met een andere vaardigheid. Deze programma's kunnen enorme hoeveelheden tekst lezen en nieuwe tekst schrijven die klinkt als die van een menselijke expert. Hoewel deze hulpmiddelen al worden gebruikt voor studie en testen, heeft nog niemand bewezen dat ze veilig een echt, op maat gemaakt medisch plan kunnen schrijven voor een specifiek ziekenhuis, gebruikmakend van de eigen regels en gewoonten van dat ziekenhuis, zonder gevaarlijke fouten te maken.
Een onderzoeker van het Istishari Hospital in Amman, Jordanië, zette zich in om dit idee te testen. Hij wilde zien of hij een computer kon leren om te handelen als een ervaren anesthesist door het te voeden met duizenden echte, eerdere gevallen uit hun eigen ziekenhuis. Hun doel was om een "digitale fellow" te creëren, een gespecialiseerd computerprogramma dat een volledig anesthesieplan kan opstellen zoals een mens dat zou doen. Om dit te bereiken, verzamelden ze 3.000 historische dossiers van patiënten die een operatie hadden ondergaan. Deze dossiers waren geen digitale bestanden, maar fysieke papieren documenten met aantekeningen over de lengte, het gewicht, de hartgeschiedenis, de longcondities van de patiënt en de exacte medicijnen en luchtweginstrumenten die het menselijke team tijdens de operatie had gebruikt. Een team van jonge artsen en stagiairs las handmatig elk enkel papieren dossier door en kopieerde de informatie naar een beveiligde digitale database. Ze waren zorgvuldig in het verwijderen van alle namen en identificerende details, waardoor alleen de medische feiten en de resulterende behandelplannen overbleven.
Zodra deze enorme collectie gegevens gereed was, gebruikte de onderzoeker deze om een krachtig computermodel te trainen. Hij instrueerde het model om de patronen te leren van hoe hun specifieke ziekenhuis de anesthesie afhandelt. De computer kreeg de opdracht om te handelen als een senior consultant in dat ziekenhuis en een nieuw plan te schrijven voor elke patiënt op basis van de gegevens die het geleerd had. Het plan moest vier hoofdzaken dekken: hoe de patiënt voor de operatie voor te bereiden, hoe de patiënt in slaap gebracht en de ademhaling beheerd moet worden, hoe de patiënt tijdens de procedure stabiel gehouden moet worden, en hoe de patiënt na de operatie wakker wordt en de pijn beheerd wordt. De onderzoeker liet de computer niet zomaar gissen; hij bouwde het systeem op de werkelijke, succesvolle beslissingen van menselijke artsen binnen hun eigen instelling, in de hoop dat dit de computer zou voorkomen dat feiten verzint of behandelingen voorstelt die niet bestaan in hun ziekenhuis.
Om te zien of het werk van de computer goed was, organiseerde de onderzoeker een blinde test, vergelijkbaar met een uitdaging waarbij iemand probeert te raden welke van twee schrijvers menselijk is en welke een machine is. Ze namen een reeks patiëntencases en toonden deze aan een groep ervaren anesthesisten. Voor elke casus kregen de experts twee verschillende plannen te zien: één was het originele plan geschreven door een menselijke arts jaren geleden, en de andere was het nieuwe plan geschreven door de computer. De experts wisten niet welke welke was. Ze werden gevraagd de plannen te beoordelen op basis van veiligheid, waarbij gecontroleerd werd op gevaarlijke fouten, en op volledigheid, om te verzekeren dat alle noodzakelijke stappen waren opgenomen. Ten slotte moesten ze raden welk plan door de computer was geschreven.
De studie is momenteel een protocol, wat betekent dat het het gedetailleerde plan is voor hoe het onderzoek zal worden uitgevoerd, in plaats van een rapport van definitieve resultaten. De onderzoeker stelt voor dat als hun computermodel getraind wordt op deze 3.000 echte lokale gevallen, het plannen zal produceren die even veilig en accuraat zijn als die geschreven door menselijke experts. Zij geloven dat deze aanpak het risico vermindert dat de computer informatie verzint, een probleem dat bekend staat als "hallucinatie", omdat de computer geworteld is in de realiteit van hun eigen ziekenhuispraktijken. Als de test aantoont dat de experts het verschil niet kunnen zien tussen de menselijke en de computerplannen, suggereert dit dat deze technologie op een dag artsen kan helpen door het zware mentale werk van het schrijven van routinematige plannen op te nemen, waardoor zij zich meer op de patiënt kunnen concentreren en minder op papierwerk. Het project heeft ook als doel om de moeilijke taak van het lezen van duizenden oude papieren dossiers om te zetten in een leerervaring voor de jonge artsen die de gegevensinvoer doen, waardoor zij gedwongen worden de beslissingen van hun mentoren te bestuderen terwijl zij de database opbouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.