Artificial Intelligence in Surgical Qualitative Research: A Comparison of Human and AI-Assisted Thematic Analysis
Diese Studie vergleicht die menschliche und die KI-gestützte thematische Analyse in der qualitativen chirurgischen Forschung und stellt fest, dass beide Methoden zwar ähnliche übergeordnete Themen identifizieren, von Menschen erstellte Codebücher jedoch eine höhere Intercoder-Reliabilität aufgrund klarerer thematischer Abgrenzungen aufweisen, was darauf hindeutet, dass ein hybrider Ansatz, der die Effizienz der KI mit menschlicher Verfeinerung kombiniert, optimal sein könnte.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben eine riesige Kiste mit 200 handgeschriebenen Notizen von Chirurgen. Jede Notiz beantwortet eine Frage: „Was ist das Schwierigste bei der Durchführung einer spezifischen Operation (LCBDE) in Ihrem Krankenhaus?“
Ihr Ziel ist es, all diese Notizen zu lesen, sie basierend auf den genannten Problemen in Stapel zu sortieren und jedem Stapel ein Label zu geben. Dieser Prozess wird als Thematische Analyse bezeichnet. Normalerweise machen Menschen dies, indem sie lesen, diskutieren und die Labels verfeinern, bis sie sich einig sind, was jeder Stapel bedeutet.
Diese Arbeit stellt eine einfache Frage: Kann ein Roboter (Künstliche Intelligenz) diese Sortieraufgabe genauso gut erledigen wie ein Mensch?
Hier ist die Geschichte, wie sie dies getestet haben, unter Verwendung einiger einfacher Analogien.
Die zwei Teams
Die Forscher ließen ein Rennen zwischen zwei Teams austragen, um dieselben 200 Notizen zu sortieren:
- Das Human-Team: Zwei Ärzte lasen die Notizen. Sie starteten ohne Labels. Während sie lasen, erstellten sie ihre eigene Liste von Kategorien (wie „Nicht genug Geld“, „Nicht genug Zeit“, „Schlechte Ausrüstung“). Sie verfeinerten diese Labels so lange, bis sie sehr klar und deutlich waren. Dies ist ihr Human Codebook.
- Das KI-Team: Sie fütterten die KI (ChatGPT) in einem großen Schwung mit allen 200 Notizen. Sie sagten der KI: „Sieh dir diese Notizen an und erstelle deine eigene Liste von Kategorien.“ Die KI erledigte dies sofort, ohne menschliche Hilfe oder Beispiele. Dies ist das KI-Codebook.
Die Ergebnisse: Wer hat besser sortiert?
Beide Teams schafften es, die gleichen großen Problemfelder zu finden. Ob ein Mensch oder ein Roboter die Notizen las, beide stimmten darin überein, dass die Hauptprobleme waren:
- Ausrüstungsprobleme
- Geld-/Kostenfragen
- Zeitbeschränkungen
- Mangelnde Unterstützung durch Vorgesetzte
- Zu geringe Häufigkeit der Operationen (Niedrigvolumen)
Es gab jedoch einen Unterschied darin, wie sie die Notizen sortierten.
Das Problem der „Fuzzy-Stapel“ (Unschärfe)
Stellen Sie sich die Labels des Human-Teams wie klare, unterscheidbare Boxen vor. Wenn eine Notiz sagte: „Wir haben nicht die richtigen Werkzeuge“, kam sie in die Box „Ausrüstung“. Wenn sie sagte: „Wir haben nicht genug Zeit“, kam sie in die Box „Zeit“. Die Boxen überschnitten sich kaum.
Die Labels des KI-Teams waren eher wie unscharfe, überlappende Kreise. Die KI erstellte einige sehr breite Kategorien. Zum Beispiel könnte sie ein Label namens „Workflow und Kultur“ erstellt haben. Eine einzelne Notiz über „Das Krankenhaus bevorzugt eine andere Operation“ könnte gleichzeitig in drei verschiedene KI-Kategorien passen.
Da die Kategorien der KI so breit und überlappend waren, wurden die zwei menschlichen Codierer, die versuchten, die Notizen mithilfe der KI-Liste zu sortieren, häufiger verwirrt. Sie waren sich nicht immer einig, in welchen „unscharfen“ Stapel eine Notiz gehörte.
Die Scorecard
Die Forscher maßen, wie oft die beiden Codierer übereinstimmten (Inter-Coder-Reliabilität).
- Human-Team: Sie stimmten zu 95,1 % der Fälle überein. Ihr „Agreement-Score“ (Kappa) lag bei 0,75.
- KI-Team: Sie stimmten zu 92,3 % der Fälle überein. Ihr „Agreement-Score“ (Kappa) lag bei 0,64.
Obwohl die KI immer noch ziemlich gut war, waren die Menschen etwas konsistenter. Die Arbeit stellt fest, dass der Unterschied statistisch signifikant war, was bedeutet, dass es kein Zufall war; die menschlichen Labels waren einfach etwas klarer.
Die „Hybrid-Lösung“
Die Arbeit kommt zu dem Schluss, dass die KI wie ein schneller, hilfreicher Assistent ist, der schnell in ein unordentliches Zimmer schauen und sagen kann: „Okay, hier sind die Hauptarten von Unordnung: Kleidung, Bücher und Geschirr.“
Aber die KI ist vielleicht nicht perfekt darin, genau zu definieren, wohin eine „Socke“ gehört, wenn sie mit einem „Handtuch“ vermischt ist. Die Menschen müssen im Anschluss kommen und sagen: „Eigentlich, lass uns eine spezifische Regel für Socken festlegen, damit jeder genau weiß, wohin sie gehören.“
Das Fazit:
Man kann die KI nutzen, um die schwere Arbeit zu erledigen, die Hauptthemen schnell zu finden. Aber um sicherzustellen, dass die Regeln klar sind und alle die Notizen auf die gleiche Weise sortieren, muss ein Mensch eingreifen, um die Definitionen zu verfeinern. Der beste Ansatz ist ein Hybrid: Lassen Sie die KI die erste Phase übernehmen und lassen Sie dann Menschen die Labels polieren.
Was das Paper nicht sagt
Es ist wichtig zu beachten, was diese Studie nicht behauptet hat:
- Sie sagte nicht, dass die KI bereit ist, menschliche Forscher vollständig zu ersetzen.
- Sie hat die KI nicht bei langen, komplexen Interviews getestet (nur bei kurzen Umfrageantworten).
- Sie hat nicht verschiedene Versionen der KI oder verschiedene Wege getestet, wie man die KI fragt (es wurde eine „Zero-Shot“-Methode verwendet, was bedeutet, dass die KI gebeten wurde, die Aufgabe ohne vorheriges Training oder Beispiele zu lösen).
- Sie behauptete nicht, dass die KI bei den Themen „falsch“ lag; die KI fand die richtigen großen Ideen, sie hatte nur Schwierigkeiten, die Grenzen zwischen ihnen so klar zu ziehen wie Menschen es tun.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.