💻 computer science

Artificial Intelligence in Surgical Qualitative Research: A Comparison of Human and AI-Assisted Thematic Analysis

Deze studie vergelijkt menselijke en door AI ondersteunde thematische analyse in chirurgisch kwalitatief onderzoek, waarbij wordt vastgesteld dat hoewel beide methoden vergelijkbare overkoepelende thema's identificeren, door mensen gegenereerde codeboeken een hogere intercoderbetrouwbaarheid opleveren vanwege duidelijkere thematische grenzen, wat suggereert dat een hybride aanpak die de efficiëntie van AI combineert met menselijke verfijning optimaal kan zijn.

Oorspronkelijke auteurs: Bonnie E Laingen, Wesley H Iobst, Jarrett Dobbins, Jacob W Johnson, Gabriel E Cambronero, Lucas P Neff, Maggie E Bosley

Gepubliceerd 2026-06-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bonnie E Laingen, Wesley H Iobst, Jarrett Dobbins, Jacob W Johnson, Gabriel E Cambronero, Lucas P Neff, Maggie E Bosley

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme doos hebt met 200 handgeschreven briefjes van chirurgen. Elk briefje geeft antwoord op één vraag: "Wat is het moeilijkste aspect aan het uitvoeren van een specifieke operatie (LCBDE) in jouw ziekenhuis?"

Je doel is om al deze briefjes te lezen, ze te sorteren in stapels op basis van de genoemde problemen, en elke stapel een label te geven. Dit proces wordt Thematische Analyse genoemd. Normaal gesproken doen mensen dit door te lezen, te discussiëren en labels te verfijnen totdat ze het met elkaar eens zijn over wat elke stapel betekent.

Dit artikel stelt een simpele vraag: Kan een robot (Artificiële Intelligentie) deze sorteerklus net zo goed doen als een mens?

Hier is het verhaal van hoe ze dit hebben getest, met behulp van enkele eenvoudige analogieën.

De Twee Teams

De onderzoekers zetten een race op tussen twee teams om dezelfde 200 briefjes te sorteren:

Het Menselijke Team: Twee artsen lazen de briefjes. Ze begonnen zonder labels. Terwijl ze lazen, maakten ze hun eigen lijst met categorieën (zoals "Niet genoeg geld", "Niet genoeg tijd", "Slechte apparatuur"). Ze bleven deze labels verfijnen totdat ze zeer duidelijk en onderscheidend waren. Dit is hun Menselijke Codeboek.
Het AI-Team: Ze voerden alle 200 briefjes in één grote batch in een krachtige AI (ChatGPT). Ze zeiden tegen de AI: "Bekijk deze briefjes en maak je eigen lijst met categorieën." De AI deed dit onmiddellijk zonder enige menselijke hulp of voorbeelden. Dit is het AI-Codeboek.

De Resultaten: Wie Sorteerde Beter?

Beide teams slaagden erin om dezelfde grote lijnen van de problemen te vinden. Of het nu een mens of een robot was die de briefjes las, ze waren het erover eens dat de belangrijkste kwesties waren:

Problemen met apparatuur
Geld-/kostenproblemen
Tijdsbeperkingen
Gebrek aan steun van leidinggevenden
De operatie niet vaak genoeg uitvoeren (Laag Volume)

Er was echter een verschil in hoe ze de briefjes sorteerden.

Het "Vage Stapel"-probleem

Denk aan de labels van het Menselijke Team als duidelijke, afgebakende dozen. Als een briefje zei: "We hebben niet de juiste instrumenten," ging het in de "Apparatuur"-doos. Als er stond: "We hebben geen tijd," ging het in de "Tijd"-doos. De dozen overlapten nauwelijks.

De labels van het AI-Team waren meer als vage, overlappende cirkels. De AI creëerde enkele zeer brede categorieën. Bijvoorbeeld, de AI had misschien een label genaamd "Workflow en Cultuur". Een enkel briefje over "Het ziekenhuis geeft de voorkeur aan een andere operatie" zou tegelijkertijd in drie verschillende AI-categorieën kunnen passen.

Omdat de categorieën van de AI zo breed en overlappend waren, raakten de twee menselijke codeerders die de AI-lijst gebruikten om de briefjes te sorteren, vaker in de war. Ze waren het niet altijd eens over in welke "vage" stapel een briefje thuishoorde.

Het Scorebord

De onderzoekers maten hoe vaak de twee codeerders het met elkaar eens waren (Inter-Coder Betrouwbaarheid).

Menselijk Team: Ze waren het 95,1% van de tijd eens. Hun "overeenstemmingsscore" (Kappa) was 0,75.
AI-Team: Ze waren het 92,3% van de tijd eens. Hun "overeenstemmingsscore" (Kappa) was 0,64.

Hoewel de AI nog steeds best goed was, waren de mensen iets consistenter. Het artikel merkt op dat het verschil statistisch significant was, wat betekent dat het geen toeval was; de menselijke labels waren simpelweg duidelijker.

De "Hybride" Oplossing

Het artikel concludeert dat de AI als een snelle, behulpzame assistent is die snel naar een rommelige kamer kan kijken en zegt: "Oké, dit zijn de belangrijkste soorten rommel: kleding, boeken en servies."

Maar de AI is misschien niet perfect in het definiëren van precies waar een "sok" thuishoort als deze gemengd is met een "handdoek". De mensen moeten daarna komen om te zeggen: "Eigenlijk, laten we een specifieke regel voor sokken maken, zodat iedereen precies weet waar ze horen."

De Conclusie:
Je kunt AI gebruiken voor het zware werk om de hoofdthema's snel te vinden. Maar om ervoor te zorgen dat de regels duidelijk zijn en iedereen de briefjes op dezelfde manier sorteert, moet een mens ingrijpen om de definities te verfijnen. De beste aanpak is een hybride: laat de AI de eerste ronde doen, en laat vervolgens mensen de labels polijsten.

Wat het Papier Niet Zegt

Het is belangrijk om te vermelden wat dit onderzoek niet beweerde:

Het zei niet dat AI klaar is om menselijke onderzoekers volledig te vervangen.
Het heeft de AI niet getest op lange, complexe interviews (alleen korte enquêtevragen).
Het heeft verschillende versies van AI of verschillende manieren om de AI vragen te stellen niet getest (het gebruikte een "zero-shot" methode, wat betekent dat het de AI vroeg dit te doen zonder voorafgaande training of voorbeelden).
Het beweerde niet dat de AI "fout" was over de thema's; de AI vond de juiste grote ideeën, het had alleen moeite om de lijnen tussen de categorieën zo duidelijk te trekken als mensen dat deden.

Technische Samenvatting: Kunstmatige Intelligentie in Chirurgisch Kwalitatief Onderzoek

Probleemstelling
Hoewel Kunstmatige Intelligentie (AI) en Large Language Models (LLM's) een gevestigde bruikbaarheid hebben in kwantitatief onderzoek, blijft hun integratie in kwalitatieve data-analyse beperkt. Kwalitatief onderzoek, met name thematische analyse, is historisch gezien arbeidsintensief en leunt op menselijke interpretatie om subtiele conceptuele verschillen te onderscheiden en contextafhankelijke betekenis te interpreteren. Hoewel er groeiende belangstelling is voor het gebruik van AI om kwalitatieve workflows te versnellen, blijven zorgen bestaan over het vermogen van AI om genuanceerde, goed gedifferentieerde thematische structuren te genereren zonder de interpretatieve diepgang in gevaar te brengen. Specifiek is er een gebrek aan empirische vergelijking tussen door mensen afgeleide en door AI afgeleide codeboeken binnen klinische en chirurgische contexten om te bepalen of AI betrouwbare, verdedigbare kwalitatieve analyses kan produceren.

Methodologie
Deze studie voerde een secundaire methodologische analyse uit van 200 gede-identificeerde, open vragen in een enquête over barrières voor het uitvoeren van laparoscopische exploratie van de gemeenschappelijke galweg (LCBDE). Het onderzoek vergeleek de inter-coder betrouwbaarheid (ICR) van twee verschillende codeboeken die op dezelfde dataset werden toegepast:

Door de mens afgeleid codeboek (HC): Twee auteurs voerden een inductieve thematische analyse uit. Door middel van een iteratief proces van open coderen, constante vergelijking en consensusdiscussie ontwikkelden zij een codeboek met expliciete definities om overlap te minimaliseren.
Door AI afgeleid codeboek (AIC): Dezelfde dataset werd verwerkt met ChatGPT (GPT-5.2) via een "zero-shot" prompting strategie. Het model werd gevraagd een thematisch codeboek te genereren zonder voorbeelden of iteratieve verfijning, wat een scenario simuleert waarin gelabelde trainingsdata niet beschikbaar is.

Beide codeboeken werden vervolgens deductief toegepast op de volledige dataset door dezelfde twee coders, die tijdens de toepassing fase geblindeerd waren voor elkaars toewijzing. Statistische analyse omvatte percentuele overeenstemming, de Cohen's kappa-coëfficiënt (met gebootstrapt 95% betrouwbaarheidsinterval) en Gwet's AC1 om de ICR te evalueren. Een kwalitatieve vergelijking van thematische scheiding, conceptuele overlap en coderingsambiguïteit werd eveneens uitgevoerd.

Belangrijkste Resultaten

Thematische Convergentie: Zowel het HC als het AIC identificeerden onafhankelijk van elkaar 13 codes. Vijf codes waren thematisch identiek over beide benaderingen: Apparatuur, Mondiale Steun, Kosten, Tijd/OR-beperkingen en Laag Volume.
Inter-Coder Betrouwbaarheid (ICR): Het HC vertoonde een hogere algehele ICR dan het AIC.
- Percentuele Overeenstemming: HC was 95,1%; AIC was 92,3%.
- Cohen's Kappa: HC was 0,754 [95% CI: 0,711–0,792]; AIC was 0,638 [95% CI: 0,591–0,684].
- Verschil: Het verschil in kappa ( $\Delta\kappa$ ) was -0,116 [95% CI: -0,168 tot -0,059], wat wijst op een statistisch significant voordeel voor het door de mens afgeleide codeboek.
Thematische Structuur: Kwalitatieve analyse toonde aan dat hoewel beide codeboeken vergelijkbare overkoepelende thema's identificeerden, het AIC de neiging had meer overlappende, overkoepelende thema's te produceren, wat leidde tot coderingsambiguïteit. In tegen tegenstelling hiertoe vertoonde het HC duidelijkere thematische grenzen. Het door AI gegenereerde codeboek groepeerde vaak meerdere gerelateerde constructen in enkele definities (bijv. het combineren van workflow, cultuur en persoonlijke voorkeur), terwijl het menselijke codeboek deze meer uitgesplitst hield.
Statistische Nuance: Hoewel sommige individuele codes een hoge percentuele overeenstemming vertoonden in beide groepen, werd het "kappa-paradox" waargenomen bij codes met een lage prevalentie of hoge overlap. Gwet's AC1-waarden bleven hoog voor beide codeboeken, wat suggereert dat hoewel de statistische overeenstemming sterk was, de structurele ambiguïteit in het AIC bijdroeg aan lagere kappa-scores.

Betekenis en Claims
Het artikel stelt dat moderne LLM's, specifiek wanneer ze in een zero-shot capaciteit worden gebruikt, in staat zijn om belangrijke patronen te identificeren en initiële thematische structuren te genereren die breed overeenkomen met menselijke bevindingen in chirurgische kwalitatieve data. Echter, de studie concludeert dat door AI gegenereerde codeboeken momenteel een gebrek hebben aan thematische granulariteit en grensscherpte die worden bereikt door menselijke iteratieve verfijning.

De auteurs stellen dat de bevindingen een hybride benadering ondersteunen voor chirurgisch kwalitatief onderzoek. In dit model dient AI als een efficiënt instrument voor initiële clustering en de identificatie van overkoepelende concepten, terwijl menselijke onderzoekers essentieel blijven voor het verfijnen van codeboekdefinities, het oplossen van thematische overlappingen en het waarborgen van interpretatieve nauwkeurigheid. De studie claimt niet dat AI momenteel menselijke analisten in kwalitatief onderzoek kan vervangen, maar positioneert AI eerder als een levensvatbaar ondersteunend instrument om de efficiëntie in de beginfasen van thematische analyse te optimaliseren, mits menselijk toezicht behouden blijft om de analytische validiteit te waarborgen.