Clinically Grounded AI-Scribing in Psychotherapy: Benchmarking LLMs Against Expert Documentation in the iCARE Framework

In den stillen Räumen, in denen Psychotherapie stattfindet, ist die Arbeit zutiefst menschlich. Sie beruht darauf, dass ein Therapeut der Geschichte eines Klienten zuhört, das Gewicht einer Pause bemerkt und den Kontext einer Angst versteht, die bis weit in die Vergangenheit reicht. Damit der Therapeut diese Arbeit effektiv leisten kann, muss er auch eine Dokumentation führen. Diese Notizen sind nicht bloß administrativer Papierkram; sie sind die Landkarte der inneren Welt eines Menschen und erfassen alles – von der unmittelbaren Krise bis hin zur langen Geschichte von Familie und Gewohnheiten, die ihn geprägt haben. Traditionell war das Schreiben dieser Notizen eine schwere Last, die die Aufmerksamkeit des Kliniker von dem Patienten weg und hin zu einem Computerbildschirm lenkte. In den letzten Jahren hat die Künstliche Intelligenz versprochen, diese Last zu lindern. Diese „KI-Schreiber“ können ein Gespräch mithören und es niederschreiben, doch in der komplexen Welt der psychischen Gesundheit greifen die meisten aktuellen Systeme zu kurz. Sie neigen dazu, kurze, trockene Zusammenfassungen zu erstellen, die die Nuancen, die emotionalen Untertände und die kritischen Sicherheitsdetails, die eine Therapiesitzung definieren, verpassen. Die Herausforderung bestand darin, eine Maschine zu bauen, die nicht nur Wörter transkribiert, sondern die Geschichte versteht.

Ein Team von Forschern aus Indien und Singapur hat einen bedeutenden Schritt zur Lösung dieses Problems unternommen, indem sie neu dachten, wie Therapie-Notizen strukturiert sein sollten und wie Maschinen lernen sollten, sie zu schreiben. Sie begannen damit, ein neues, umfassendes Framework für die Dokumentation namens iCARE zu erstellen. Im Gegensatz zu den standardmäßigen, abgekürzten Formaten, die in vielen Krankenhäusern verwendet werden und auf schnelle administrative Kontrollen ausgelegt sind, ist iCARE darauf aufgebaut, die volle Tiefe einer klinischen Begegnung zu erfassen. Es ist eine detaillierte Struktur mit siebzehn verschiedenen Abschnitten, die von grundlegenden Identifikationsdaten und den Hauptbeschwerden des Klienten bis hin zu einem tiefen Einblick in seine medizinische Vorgeschichte, einer Risikobewertung für unmittelbare Gefahren wie Selbstverletzung und einem Plan für zukünftige Sitzungen reicht. Die Forscher argumentierten, dass ein KI-System zuerst in der Lage sein muss, dieses reiche, vollständige Bild zu generieren, bevor es in eine kürzere Zusammenfassung verdichtet werden kann. Um diese Idee zu testen, entwickelten sie einen neuen Datensatz namens iHOPE. Sie nahmen 174 aufgezeichnete Therapiesitzungen aus einer öffentlichen Sammlung, bereinigten das Audio, um sicherzustellen, dass jedes Wort gehört wurde, und ließen dann ein Team von erfahrenen Psychiatern und Psychologen perfekte, „Goldstandard“-Notizen für jede Sitzung unter Verwendung des neuen iCARE-Formats schreiben. Dies schuf einen Benchmark, einen Satz idealer Antworten, an dem jede Maschine gemessen werden konnte.

Die Forscher stellten daraufhin elf verschiedene Large Language Models (große Sprachmodelle) auf die Probe. Diese Modelle, die die leistungsstarken Computerprogramme hinter modernen KI-Chatbots sind, wurden gebeten, die Therapieaufzeichnungen zu hören und die iCARE-Notizen zu schreiben. Sie testeten die Modelle auf zwei Arten: erstens, indem sie ihnen die Aufzeichnungen ohne Beispiele zur Orientierung gaben, und zweitens, indem sie ihnen vor dem Schreiben der restlichen Notizen ein Beispiel einer perfekten Notiz zeigten. Die Ergebnisse zeigten eine klare Kluft zwischen den verschiedenen Arten von KI. Die geschlossenen Modelle (Closed-Source), die von großen Technologieunternehmen entwickelt werden und nicht für die öffentliche Modifikation offenstehen, schnitten konsistent besser ab als die Open-Source-Modelle, die von der öffentlichen Gemeinschaft erstellt wurden. Ein spezifisches Modell, GPT-4o-mini, erreichte die höchsten Werte in Standard-Computertests, die messen, wie genau die Wörter der Maschine mit den Wörtern der menschlichen Experten übereinstimmen. Ein anderes Modell, Gemini Pro, zeigte eine besondere Stärke bei der Identifizierung von Krisenmarkern, wie etwa Anzeichen eines Suizidrisikos oder Substanzmissbrauchs, welche kritische Sicherheitsdetails in der Therapie sind.

Die Geschichte wurde jedoch interessanter, als die Forscher menschliche Experten baten, die Notizen zu beurteilen, anstatt sich auf Computerkennzahlen zu verlassen. Sie brachten sechs Fachkräfte aus dem Gesundheitswesen ein, die die Notizen blind lasen, ohne zu wissen, welche KI sie geschrieben hatte, und bewerteten sie nach fünf Schlüsselqualitäten: Vertrauenswürdigkeit, Relevanz, Genauigkeit, Vollständigkeit und Klarheit. Die menschlichen Experten fanden, dass die Top-Computermodelle zwar gut waren, aber immer noch Schwierigkeiten mit dem zeitlichen Ablauf hatten. Die Maschinen versäumten es oft, korrekt zwischen dem zu unterscheiden, was in einer vergangenen Sitzung geschah und was für die nächste geplant war – ein fundamentaler Aspekt der Therapie, der das Verständnis eines Zeitstrahls erfordert. Überraschenderweise bevorzugten die menschlichen Experten die Notizen eines kleineren Open-Source-Modells namens Mistral gegenüber den leistungsstärkeren kommerziellen Modellen. Tatsächlich war Mistral das einzige System, das in einer spezifischen Kategorie – der Vollständigkeit – etwas höher bewertet wurde als die von Menschen geschriebenen Notizen. Dieser Befund deutet darauf an, dass die Art und Weise, wie wir den Erfolg von KI derzeit mit Computer-Algorithmen messen, nicht immer mit dem übereinstimmt, was ein menschlicher Kliniker tatsächlich benötigt. Die kommerziellen Modelle waren exzellent darin, spezifische Phrasen abzugleichen, aber das kleinere Modell schien in den Augen der Experten die klinische Essenz der Sitzung effektiver zu erfassen.

Die Studie kommt zu dem Schluss, dass Künstliche Intelligenz zwar bereit ist, Therapeuten zu unterstützen, aber noch nicht bereit ist, sie zu ersetzen. Die Forscher fanden heraus, dass der beste Weg ein kollaborativer ist, bei dem die KI die schwere Arbeit des Entwurfs der detaillierten Notizen übernimmt, während der Therapeut die Aufzeichnungen überprüft, verfeinert und finalisiert. Dieser Ansatz könnte wertvolle Zeit für Kliniker freisetzen, damit sie sich auf den Patienten statt auf die Tastatur konzentrieren können. Das Team betonte, dass ihre Arbeit keine endgültige Lösung, sondern ein Fundament sei. Sie haben ihr neues Framework, ihren Datensatz aus Expertennotizen und ihre Bewertungsmethode anderen Wissenschaftlern zur Verfügung gestellt, damit das Feld sich weiterentwickeln kann. Das ultimative Ziel ist es, die Lücke zwischen dem massiven Bedarf an psychischer Gesundheitsversorgung und der begrenzten Anzahl an verfügbaren Therapeuten zu schließen, indem Technologie eingesetzt wird, um die menschliche Verbindung, die im Zentrum der Heilung steht, zu unterstützen, statt sie zu ersetzen.