💬 NLP

A Multi-Agent LLM Framework for Rating the Quality of Surgical Feedback

Dieser Beitrag stellt ein zweistufiges, Multi-Agenten-LLM-Framework vor, das interpretierbare Kriterien für die Qualität chirurgischen Feedbacks entwickelt, um Live-Interaktionen im Operationssaal automatisch zu bewerten, und zeigt dabei eine überlegene Leistung gegenüber früheren Methoden bei der Vorhersage der Wirksamkeit von Feedback und der Verhaltensanpassungen von Auszubildenden.

Ursprüngliche Autoren: Rafal Kocielnik, J. Everett Knudsen, Steven Y. Cen, Jasmine Lin, Cherine H. Yang, Atharva Deo, Ujjwal Pasupulety, Peter Wager, Anima Anandkumar, Andrew J. Hung

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Rafal Kocielnik, J. Everett Knudsen, Steven Y. Cen, Jasmine Lin, Cherine H. Yang, Atharva Deo, Ujjwal Pasupulety, Peter Wager, Anima Anandkumar, Andrew J. Hung

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen chirurgischen Operationssaal als ein hochriskantes Orchester vor. Der Assistenzchirurg ist die erste Geige, und der leitende Chirurg (der Lehrer) ist der Dirigent. Damit die Musik perfekt klingt, muss der Dirigent Feedback geben. Doch hier liegt das Problem: Manchmal ist das Feedback des Dirigenten ein sanftes Flüstern, manchmal ein scharfer Schrei und manchmal nur ein verwirrendes Murmeln.

Seit Jahren versuchen Forscher, diese musikalischen Anweisungen zu bewerten, indem sie hören, was der Dirigent sagt (z. B. „korrigiere den Ton" vs. „spiele lauter"). Doch dieser neue Artikel argumentiert, dass wie das Feedback gegeben wird, genauso wichtig ist wie die Worte selbst. Klingte der Lehrer dringend? War die Anweisung klar? Klangen sie ermutigend?

Die Autoren, ein Team vom Caltech und dem Cedars-Sinai-Krankenhaus, entwickelten einen „intelligenten Roboter-Zuhörer" (ein Framework für Large Language Models), um dies zu lösen. Hier ist, wie sie es taten, in einfachen Schritten aufgeschlüsselt:

1. Die „Brainstorming-Party" (Entdeckung)

Anstatt zu raten, was gutes Feedback ausmacht, baten die Forscher ein Team von KI-Agenten (denken Sie an fünf verschiedene Experten-Musikkritiker), Tausende echter chirurgischer Gespräche zu hören.

Das Setup: Sie gaben diesen KI-Agenten eine Liste dessen, was „gut" aussieht (wie „der Student hat seinen Fehler korrigiert") und baten sie herauszufinden, warum manche Feedbacks funktionierten und andere nicht.
Das Ergebnis: Die KI-Agenten kamen auf eine lange, unübersichtliche Liste von Ideen. Die Forscher hatten dann ein „Konsolidierungstreffen", bei dem sie ähnliche Ideen gruppierten und auf sechs goldene Regeln für gutes Feedback herunterbrachen:
1. Ermutigend: Steigert es das Selbstvertrauen? (z. B. „Großartige Arbeit!")
2. Dringend: Schreit es „Stop sofort!"? (z. B. „Nicht koagulieren!")
3. Handlungsanweisend: Ist es ein konkreter Schritt? (z. B. „Nadel 2 cm nach links bewegen.")
4. Zeitnah: Wurde es während der Handlung gesagt oder erst Stunden später?
5. Klar: Ist es leicht zu verstehen oder verwirrend?
6. Reflektierend: Bringt es den Studenten zum Nachdenken? (z. B. „Warum haben Sie das gewählt?")

2. Der „Roboter-Richter" (Bewertung)

Sobald sie diese sechs Regeln hatten, verwandelten sie die KI in einen Richter. Sie fütterten sie mit 4.200 echten chirurgischen Feedback-Ausschnitten und baten sie, jeden einzelnen nach allen sechs Regeln von 1 bis 5 zu bewerten.

Die Analogie: Stellen Sie sich einen Lehrer vor, der einen Schüleraufsatz bewertet. Anstatt nur eine Note zu geben, erstellt dieser Roboter einen detaillierten Zeugnisbericht: „Ihre Dringlichkeit war 5/5, aber Ihre Klarheit war nur 2/5."

3. Der Beweis (Funktioniert es?)

Das Team testete, ob diese Roboter-Bewertungen tatsächlich vorhersagten, was als Nächstes im Operationssaal passierte.

Der Test: Sie untersuchten, ob der Student sein Verhalten änderte (z. B. ein Instrument korrekt bewegte) oder einfach nur „Okay" sagte, um den Lehrer zu bestätigen.
Das Ergebnis: Die sechs Regeln der KI waren besser darin, Reaktionen der Studenten vorherzusagen als frühere Methoden, die nur das Thema des Gesprächs betrachteten.
- Beispiel: Sie fanden heraus, dass „dringendes" und „handlungsanweisendes" Feedback dazu brachte, dass Studenten schneller handelten. Doch „reflektierendes" und „klares" Feedback ließ Studenten mehr zurückreden.
- Überraschung: „Ermutigendes" Feedback machte Studenten tatsächlich weniger wahrscheinlich, ihr Verhalten zu ändern oder sich zu melden. Der Artikel schlägt vor, dass dies daran liegt, dass Ermutigung oft dann verwendet wird, wenn der Student bereits eine gute Arbeit leistet, also keine Änderung nötig ist!

4. Der menschliche Check (Zuverlässigkeit)

Um sicherzustellen, dass der Roboter nicht einfach halluzinierte, baten sie echte menschliche Chirurgen, dasselbe Feedback nach den sechs Regeln der KI zu bewerten.

Die Übereinstimmung: Die Menschen und die KI stimmten ziemlich gut überein (etwa 60–70 % Übereinstimmung). Dies beweist, dass die Regeln klar genug sind, damit sowohl Menschen als auch Maschinen sie verstehen können.

Warum das wichtig ist (laut dem Artikel)

Dieses Framework ist wie die Bereitstellung eines „Qualitätskontroll-Dashboards" für jeden chirurgischen Lehrer.

Es sagt Ihnen nicht nur, was gelehrt wurde; es sagt Ihnen, wie gut es gelehrt wurde.
Es kann automatisch Tausende von Operationsstunden bewerten, ohne dass ein Mensch tagelang dort sitzen und Notizen machen muss.
Es hilft zu identifizieren, ob ein Lehrer zu vage, zu spät oder zu verwirrend ist, was dazu beitragen könnte, die Ausbildung von Chirurgen zu verbessern.

Kurz gesagt: Der Artikel entwickelte ein KI-System, das lernte, chirurgische Lehrer nicht nach ihrem Wortschatz zu bewerten, sondern nach ihrem Darbietungsstil. Es stellte fest, dass Klarheit, Dringlichkeit und Handlungsanweisung der geheime Trick sind, um Studenten dazu zu bringen, ihre Fehler in Echtzeit tatsächlich zu korrigieren.

Technische Zusammenfassung: Ein Multi-Agenten-LLM-Framework zur Bewertung der Qualität chirurgischen Feedbacks

Problemstellung

Mündliches Feedback von leitenden Chirurgen an Assistenzärzte im Operationssaal (OP) ist entscheidend für den Kompetenzerwerb und die chirurgischen Ergebnisse. Die systematische Bewertung der Qualität dieses Feedbacks – insbesondere der Art und Weise, wie es übermittelt wird, und nicht nur seines Inhalts – bleibt jedoch eine erhebliche Herausforderung. Bisherige Forschung hat sich weitgehend auf die Kategorisierung des Inhalts von Feedback (z. B. anatomische Bezüge, Instrumentenhandhabung) mittels manueller Annotation oder automatisierter Methoden wie Keyword-Analyse und Topic Modeling konzentriert. Diese bestehenden Ansätze erfassen keine nuancierten Übertragungsattribute wie Klarheit, Dringlichkeit, Rechtzeitigkeit und emotionalen Ton, die für das Verständnis der Feedback-Wirksamkeit essenziell sind. Darüber hinaus ist die manuelle Annotation arbeitsintensiv und nicht skalierbar, während bestehende automatische Methoden die Sensitivität für klinische Sprache sowie die Fähigkeit vermissen lassen, identische instruktive Aufgaben zu unterscheiden, die mit unterschiedlichem Ton oder unterschiedlicher Dringlichkeit übermittelt werden.

Methodik

Die Autoren schlagen ein zweistufiges, auf Large Language Models (LLM) basierendes Framework vor, das entwickelt wurde, um interpretierbare Feedback-Qualitätskriterien zu entdecken und chirurgisches Feedback automatisch zu bewerten. Die Pipeline integriert Multi-Agenten-Prompting, die Einbringung von Domänenwissen und einen „LLM-as-a-Judge"-Ansatz.

1. Phase der Kriterienentdeckung

Der Entdeckungsprozess nutzt eine Multi-Agenten-Strategie zur Generierung und Konsolidierung von Bewertungskriterien:

Domänengeleitete Initiierung: GPT-4o-Agenten werden mit formalen Definitionen chirurgischer Feedback-Ergebnisse (Verhaltensanpassung, verbale Bestätigung, Zustimmung des Trainers) sowie einer Definition von Feedback selbst initialisiert. Ihnen wird eine kleine Teilmenge ungelabelter Feedback-Beispiele (<1 % des Datensatzes) bereitgestellt, um durch analoges Schließen relevante evaluative Dimensionen abzuleiten.
Multi-Agenten-Generierung: Fünf unabhängige GPT-4o-Agenten, die mit einer hohen Sampling-Temperatur ( $T=1.0$ ) konfiguriert sind, um Vielfalt zu fördern, schlagen unabhängig voneinander Kandidaten-Qualitätsdimensionen vor. Jeder Agent hat die Aufgabe, abstrakte, generalisierbare Kriterien zu definieren, die ausschließlich auf Basis einer einzelnen transkribierten Feedback-Zeile auf einer 5-Punkte-Bewertungsskala mit verhaltensverankerten Ankerpunkten (Behaviorally Anchored Rating Scale, BARS) bewertet werden können.
Kriterienkonsolidierung: Die Kandidatenkriterien aller Agenten werden auf den gesamten Datensatz angewendet. Ein hierarchischer Clustering-Algorithmus (Single Linkage, euklidische Distanz) gruppiert semantisch ähnliche Kriterien. Die optimale Anzahl an Clustern ( $k=6$ ) wird über den Silhouetten-Koeffizienten bestimmt. Eine finale GPT-4o-Instanz (im deterministischen Modus, $T=0.0$ ) synthetisiert eine einheitliche Definition und BARS-Ankerpunkte für jedes Cluster, um Reproduzierbarkeit und Nicht-Überlappung sicherzustellen.

2. Kriterienkonsolidierung und Validierung

Der Prozess ergab sechs interpretierbare Feedback-Qualitätsdimensionen:

Ermutigend: Unterstützender Ton, der das Selbstvertrauen stärkt.
Dringend: Kommunikation, die sofortiges Handeln erfordert.
Handlungsorientiert: Klare, spezifische Schritte, die der Auszubildende umsetzen kann.
Rechtzeitig: Feedback, das während oder unmittelbar nach der Handlung gegeben wird.
Klar: Unmittelbare, eindeutige Botschaft.
Reflektierend: Aufforderungen zur Selbsteinschätzung oder zu tieferer Einsicht.

3. Automatisierte Bewertung und Evaluation

LLM-as-a-Judge: Das finale sechsdimensionale Bewertungsschema wird verwendet, um 4.210 Live-Feedback-Instanzen aus der Chirurgie mit GPT-4o zu bewerten. Das Modell weist für jede Dimension Scores von 1 bis 5 zu.
Prädiktive Modellierung: Die Autoren bewerteten die Fähigkeit dieser KI-abgeleiteten Scores, vier verhaltensbezogene Ergebnisse vorherzusagen: Verhaltensänderung des Auszubildenden, verbale Reaktion des Auszubildenden, Zustimmung des Trainers und Ablehnung durch den Trainer. Sie verglichen ihr Modell mit früheren Topic-Modeling-Ansätzen und manuell annotierten menschlichen Kategorien unter Verwendung von Random-Forest-Klassifikatoren mit fünffacher geschichteter Kreuzvalidierung.
Mensch-KI-Übereinstimmung: Zwei menschliche Bewerter mit Domänenwissen bewerteten eine Teilmenge von 30 Instanzen unter Verwendung des von der KI entdeckten Bewertungsschemas. Die Inter-Rater-Reliabilität wurde mittels Quadratic Weighted Kappa ( $\kappa$ ) bewertet, um die Übereinstimmung zwischen Menschen, zwischen KI-Läufen und zwischen Menschen und KI zu messen.

Hauptergebnisse

Prädiktive Leistung

Die von der KI entdeckten Qualitätskriterien zeigten eine überlegene Vorhersagekraft im Vergleich zu früheren Methoden:

Eigenständige Leistung: Unter Verwendung nur der sechs Qualitätsscores erreichte das Modell AUROC-Scores von 0,75 für die Verhaltensänderung des Auszubildenden, 0,71 für die verbale Reaktion, 0,66 für die Zustimmung des Trainers und 0,60 für die Ablehnung durch den Trainer.
Vergleichende Verbesserung: In Kombination mit früheren Topic-Modeling-Features verbesserten die KI-Scores die Vorhersage der Verhaltensänderung des Auszubildenden um 12 % (AUROC 0,77) und die Vorhersage der Ablehnung durch den Trainer um 11 % (AUROC 0,63). In Kombination mit früheren menschlich definierten Kategorien lagen die Verbesserungen bei allen Ergebnissen zwischen 3 % und 12 %.
Statistische Signifikanz: Der DeLong-Test bestätigte, dass die Hinzufügung von KI-abgeleiteten Qualitätsscores für die meisten Ergebnisse statistisch signifikante Verbesserungen ( $p < 0,05$ ) gegenüber sowohl Topic Modeling als auch menschlich definierten Kategorien bewirkte.

Mensch-KI-Übereinstimmung

Konsistenz: KI-Läufe zeigten eine nahezu perfekte interne Konsistenz ( $\kappa = 0,92–1,00$ ).
Übereinstimmung: Die Mensch-KI-Übereinstimmung war für fünf der sechs Kriterien (Ermutigung, Dringlichkeit, Handlungsorientiertheit, Klarheit, Reflexion) substanziell ( $\kappa = 0,60–0,79$ ) und näherte sich dem Niveau der Übereinstimmung zwischen Menschen an. Die Übereinstimmung war bei „Rechtzeitigkeit" geringer ( $\kappa = 0,54$ ), was die inhärente Schwierigkeit widerspiegelt, zeitliche Aspekte zu beurteilen.

Assoziation mit Ergebnissen

Die Analyse der Beziehung zwischen spezifischen Qualitätsdimensionen und Ergebnissen zeigte deutliche Muster:

Verhaltensanpassung: Stark assoziiert mit handlungsorientiertem (RR=1,22), rechtzeitigem (RR=1,24) und dringendem (RR=1,11) Feedback. Umgekehrt waren ermutigendes und reflektierendes Feedback mit einer reduzierten Verhaltensanpassung assoziiert, wahrscheinlich weil sie korrektes Verhalten bestätigen oder langfristige Einsichten anregen statt unmittelbare Korrekturen.
Verbale Bestätigung: Stark assoziiert mit reflektierendem (RR=1,34) und klarem (RR=1,13) Feedback. Ermutigendes und rechtzeitiges Feedback waren mit einer reduzierten verbalen Bestätigung assoziiert.

Bedeutung und Behauptungen

Die Arbeit behauptet, das Feld der chirurgischen Ausbildung und Kommunikationsanalyse in mehrfacher Hinsicht voranzubringen:

Neuer Entdeckungsmechanismus: Im Gegensatz zu früheren Arbeiten, die auf vordefinierten Taxonomien oder unüberwachtem Clustering beruhten, verwendet dieses Framework eine zweistufige, LLM-gesteuerte Strategie, um neue, für Menschen interpretierbare Bewertungskriterien zu entdecken, die in realen klinischen Interaktionen verankert sind.
Skalierbarkeit und Interpretierbarkeit: Das Framework bietet eine skalierbare, automatisierte Methode zur Bewertung der Feedback-Übertragungsqualität ohne den Bedarf an umfangreicher manueller Annotation. Die Verwendung von BARS stellt sicher, dass die Kriterien sowohl für Menschen als auch für Maschinen interpretierbar sind.
Klinische Relevanz: Die entdeckten Dimensionen sind nicht lediglich linguistische Merkmale, sondern verhaltensbasiert fundiert und zeigen statistisch signifikante Assoziationen mit Verhaltensanpassungen der Auszubildenden und Reaktionen der Trainer.
Praktische Anwendung: Die Autoren gehen davon aus, dass dieses Framework Dashboards am Point of Care, longitudinale Curriculum-Analysen und automatisierte Qualitätsaudits untermauern kann. Es bietet einen Weg zur Verbesserung der Wirksamkeit der intraoperativen Lehre und unterstützt die Entwicklung von Trainern.
Generalisierbarkeit: Obwohl für den Operationssaal entwickelt, schlagen die Autoren vor, dass die Pipeline auf andere klinische Settings übertragbar sein könnte, die auf mündliche Anleitung angewiesen sind (z. B. Visiten auf der Intensivstation, Telemedizin), sofern die Eingabe textbasiert ist.

Die Autoren nehmen eine bescheidene Haltung bezüglich der Grenzen ein und erkennen an, dass die Analyse ausschließlich auf Text beruht (unter Ausschluss prosodischer oder visueller Hinweise), dass die Evaluation retrospektiv war und dass die Entdeckung des Schemas auf einem proprietären Modell (GPT-4o) basierte, obwohl sie das finale Schema veröffentlicht haben, um eine Neuimplementierung mit Open-Source-Modellen zu ermöglichen.