💬 NLP

Human-AI Co-design for Clinical Prediction Models

Das Papier stellt HACHI vor, ein iteratives Human-in-the-Loop-Framework, das KI-Agenten nutzt, um interpretierbare Konzepte aus klinischen Notizen durch Expertenfeedback schnell zu explorieren und zu verfeinern, wodurch die Entwicklung präziserer und generalisierbarerer klinischer Vorhersagemodelle beschleunigt wird, während gleichzeitig die entscheidende Rolle der menschlichen Aufsicht bei der Steuerung der KI hervorgehoben wird.

Ursprüngliche Autoren: Jean Feng, Avni Kothari, Patrick Vossler, Andrew Bishara, Lucas Zier, Newton Addo, Aaron Kornblith, Yan Shuo Tan, Chandan Singh

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jean Feng, Avni Kothari, Patrick Vossler, Andrew Bishara, Lucas Zier, Newton Addo, Aaron Kornblith, Yan Shuo Tan, Chandan Singh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die ultimative, einfach zu bedienende Checkliste für einen Arzt zu erstellen, um vorherzusagen, ob ein Patient krank werden wird. Traditionell ist der Bau einer solchen Checkliste wie der Versuch, ein komplexes Möbelstück zusammenzubauen, während man eine Augenbinde trägt und ein Team von Experten darüber streitet, welche Schrauben man verwenden soll, wie fest man sie anziehen muss und welchen Anweisungen man folgen soll. Es dauert ewig, erfordert ein riesiges Team und das Endprodukt ist oft zu kompliziert, um es in einem geschäftigen Krankenhaus tatsächlich anzuwenden.

Dieses Paper stellt eine neue Methode zum Erstellen dieser Checklisten namens HACHI vor. Betrachten Sie HACHI als eine „Mensch + KI“-Tanzpartnerschaft. Anstatt dass die Menschen die gesamte schwere Arbeit erledigen und die KI nur danebensitzt, arbeiten sie in einer Schleife zusammen, in der die KI die intensive Erkundung übernimmt und die Menschen das Schiff steuern.

So funktioniert die HACHI-Partnerschaft, unter Verwendung einfacher Analogien:

Das Problem: Die „unendliche Bibliothek“

Ärzte haben Zugriff auf Millionen von Seiten unstrukturierter Notizen (wie handschriftliche Kritzeleien oder getippte Absätze) über ihre Patienten. Diese Notizen enthalten eine „unendliche Bibliothek“ potenzieller Hinweise (Konzepte) darauf, was einen Patienten krank macht.

Der alte Weg: Ein menschliches Team versucht, diese Notizen zu lesen und zu erraten, welche Hinweise wichtig sind. Sie könnten die wichtigsten Hinweise übersehen oder solche auswählen, die auf dem Papier gut aussehen, aber in der Praxis nicht funktionieren.
Der KI-Weg allein: Man könnte eine superintelligente KI (ein Large Language Model) die gesamten Notizen lesen und die Hinweise auswählen lassen. Aber die KI könnte verwirrt werden, seltsame Hinweise auswählen (wie „der Arzt hat mit blauer Tinte geschrieben“ statt „der Patient hat Fieber“) oder das große Ganze übersehen, weil sie das „Warum“ hinter der Medizin nicht versteht.

Die Lösung: Der HACHI-Tanz

HACHI löst dies, indem die KI und die Menschen sich in einer Schleife abwechseln.

Der KI-Agent (Der Scout): Die KI wird in die „unendliche Bibliothek“ der Notizen geschickt. Ihre Aufgabe ist es, schnell zu scannen, potenzielle Hinweise zu finden und diese in einfache Ja/Nein-Fragen umzuwandeln (z. B. „Steht in der Notiz, dass der Patient Kopfschmerzen hat?“). Sie testet dann diese Fragen, um zu sehen, welche die Krankheit am besten vorhersagen.
Das menschliche Team (Die Coaches): Die Menschen schauen sich die Ergebnisse der KI an. Sie agieren wie Coaches. Sie könnten sagen:
- „Hey, du hast einen Hinweis auf den ‚Schreibstil der Notiz‘ ausgewählt, aber das ist Betrug. Lass uns nur nach den tatsächlichen Symptomen des Patienten schauen.“
- „Du hast die Art der Operation vergessen! Das ist ein riesiger Faktor. Suche gezielt danach.“
- „Dieser Hinweis ist zu vage. Lass uns die Frage spezifischer formulieren.“
Die Schleife: Die Menschen geben dieses Feedback, und die KI geht zurück in die Erkundung, um bessere Hinweise basierend auf den neuen Anweisungen zu finden. Sie wiederholen dies einige Male (meistens 3 oder 4 Runden), bis die Checkliste perfekt ist.

Beispiele aus der Praxis aus dem Paper

Das Team hat dies an zwei spezifischen medizinischen Problemen getestet:

1. Vorhersage von Hirnverletzungen bei Kindern (TBI)

Das Ziel: Entscheiden, welche Kinder mit Kopfverletzungen eine CT-Untersuchung (die Strahlung nutzt) benötigen und welche nicht.
Der erste Fehler der KI: Die KI dachte zunächst, „Erwähnt die Notiz die Glasgow Coma Scale?“ sei ein guter Hinweis. Die Menschen sagten: „Nein! Das ist nur ein Hinweis darauf, wie der Arzt seine Notiz geschrieben hat, nicht auf den Zustand des Patienten.“ Sie fanden auch heraus, dass die KI versehentlich Daten von Patienten verwendete, die bereits in anderen Krankenhäusern gescannt worden waren (Data Leakage).
Die Korrektur: Die Menschen wiesen die KI an, den Schreibstil der Notizen zu ignorieren und diese spezifischen Patienten zu entfernen.
Das Ergebnis: Die endgültige Checkliste war einfach, genau und fand sogar einen neuen Hinweis, den die alten Methoden übersehen hatten: „Hat das Kind einen normalen Gang?“ (Wenn ein Kind nach einem Aufprall normal läuft, ist es wahrscheinlich gesund).

2. Vorhersage von Nierenschäden nach Operationen (AKI)

Das Ziel: Vorhersagen, ob ein Patient nach einer Allgemeinchirurgie einen Nierenschaden erleidet.
Der erste Fehler der KI: Die KI betrachtete nur den Körper des Patienten (wie Gewicht oder Blutdruck) und ignorierte die Operation selbst.
Die Korrektur: Die Menschen sagten der KI: „Stopp! Die Art der Operation ist genauso wichtig. Und mache deine Fragen spezifischer, damit verschiedene Ärzte sie gleich interpretieren.“
Das Ergebnis: Die endgültige Checkliste enthielt Dinge wie „Ist die Operation ein Notfall?“ und „Hat der Patient eine Herzfrequenz über 100?“. Sie wurde dadurch viel genauer als bisherige Modelle.

Warum das wichtig ist

Das Paper behauptet, dass HACHI schneller und besser als die alten Wege ist, weil:

Es ist schnell: Das Team verbrachte pro Runde nur etwa 1–2 Stunden mit der Überprüfung der Arbeit der KI.
Es ist klar: Die finalen Modelle sind einfach nur Listen von Ja/Nein-Fragen, die jeder Arzt ohne Computer verstehen und anwenden kann.
Es ist vertrauenswürdig: Da Menschen in den Prozess eingebunden sind, fangen sie die Fehler der KI (wie Data Leakage oder seltsame Korrelationen) ab, bevor das Modell fertiggestellt ist.

Kurz gesagt: HACHI ist wie ein super schneller, super intelligenter Praktikant (die KI), der die gesamte Recherche übernimmt, während die erfahrenen Ärzte (die Menschen) den Praktikanten anleiten, um sicherzustellen, dass der fertige Bericht präzise, fair und tatsächlich nützlich ist. Das Paper zeigt, dass diese Partnerschaft bessere medizinische Vorhersagewerkzeuge schafft, als es die Menschen oder die KI allein könnten.

Technisches Resümee: Mensch-KI-Co-Design für klinische Vorhersagemodelle (HACHI)

Problemstellung

Die Entwicklung sicherer, effektiver und praktisch nützlicher klinischer Vorhersagemodelle (Clinical Prediction Models, CPMs) erfordert traditionell eine iterative Zusammenarbeit zwischen klinischen Experten, Datenwissenschaftlern und Informatikern. Während einfache, vollständig interpretierbare Modelle (z. B. regelbasierte Scores) aufgrund ihrer leichten Implementierung und Auditierbarkeit in der klinischen Praxis bevorzugt werden, sind sie in der Entwicklung schwierig zu skalieren. Der Prozess ist zeit- und ressourcenintensiv, da es erforderlich ist, kritische Details wie die Merkmalsauswahl (Feature Selection) und die Definition klinischer Kategorien zu verfeinern.

Diese Herausforderung verschärft sich bei der Einbeziehung von Informationen aus unstrukturierten klinischen Notizen. Diese Notizen enthalten eine im Grunde unendliche Anzahl von Konzepten (z. B. Variationen der Rauchergeschichte), was eine manuelle Exploration aller möglichen Merkmale unmöglich macht. Obwohl neuere Large Language Models (LLMs) Konzepte extrahieren und klinisches Denken nachahmen können, arbeiten bestehende KI-Agenten-Ansätze oft isoliert. Ohne externe Anleitung durch Domänenexperten können diese Agenten Konzepte erlernen, die entweder zu simpel sind, an klinischer Glaubwürdigkeit mangeln oder unter Data Leakage leiden, was zu Modellen führt, die sich nicht in die klinische Praxis übertragen lassen. Zudem existiert eine „Lücke der Vorstellungskraft“ (gulf of envisionment), bei der klinische Teams anfangs nicht die Klarheit besitzen, exakte Aufgabeninstruktionen für einen KI-Agenten zu spezifizieren, was einen iterativen Prozess zur Abstimmung der Ziele erforderlich macht.

Methodik: Das HACHI-Framework

Die Autoren führen HACHI (Human+Agent Co-design for Healthcare Instruments) ein, ein iteratives Human-in-the-Loop-Framework, das darauf ausgelegt ist, die Entwicklung vollständig interpretierbarer CPMs zu beschleunigen. HACHI wechselt zwischen einem KI-Agenten, der Kandidatenkonzepte exploriert, und einem klinischen KI-Team, das Feedback gibt, um den Lernprozess zu verfeinern.

Kernkomponenten

Konzeptdefinition: Konzepte werden als einfache, für Menschen interpretierbare Ja/Nein-Fragen definiert (z. B. „Erwähnt die Notiz, dass der Patient ... hat?“) innerhalb linearer Modelle.
Der KI-Agenten-Loop (Innerer Loop): Der Agent führt ein gieriges Hill-Climbing-Verfahren durch, um $k$ $k$ Konzepte auszuwählen, die die Vorhersagegenauigkeit maximieren. Dies umfasst drei Schritte:
- Initialisierung: Der Agent extrahiert Schlüsselbegriffe (Keyphrases) aus klinischen Notizen und schlägt initiale $k$ Konzeptfragen basierend auf Weltwissen und Schlüsselbegriffen vor.
- Vorschlag (Propose): Unter Verwendung eines Bag-of-Words-Modells auf den Trainingsdaten identifiziert der Agent Schlüsselbegriffe, die mit dem Ergebnis assoziiert sind, und schlägt neue Kandidatenfragen für Konzepte vor.
- Evaluierung: Der Agent annotiert klinische Notizen für jedes Kandidatenkonzept, passt ein CPM an (unter Verwendung einer Lasso-gestraften logistischen Regression) und evaluiert die Leistung auf einem Validierungsdatensatz. Das am besten abschneidende Konzept ersetzt das bisherige.
Der klinische KI-Team-Loop (Äußerer Loop): Das Team überprüft die Ergebnisse der Runde des KI-Agenten über eine PHI-konforme Web-Schnittstelle. Sie geben gerichtetes Feedback durch:
- Modifikation von Freitext-Prompts (z. B. Änderung des Präfixes von Fragen, um sicherzustellen, dass sie Patientenattribute statt des Schreibstils der Notizen extrahieren).
- Anpassung der Dateneinschlusskriterien (z. B. Ausschluss von Patienten mit vorangegangenen CT-Ergebnissen, um Data Leakage zu verhindern).
- Modifikation statistischer Werkzeuge (z. B. Hinzufügen von Stichprobengewichtungen, um Standort-Imbalancen auszugleichen).
- Durchsetzung klinischer Prioritäten (z. B. Anforderung, dass die Vorzeichen der Koeffizienten mit der klinischen Intuition übereinstimmen).

Implementierung

Das Framework wurde auf zwei reale Aufgaben am UCSF angewendet:

Traumatische Hirnverletzung (TBI): Vorhersage einer TBI-Diagnose bei Kindern, die mit einem Schädel trauma eingeliefert werden.
**Akute Nierenschädigung (AKI):

Vorhersage einer postoperativen AKI bei erwachsenen Patienten der Allgemeinchirurgie.

Der Prozess erforderte typischerweise 3–4 Iterationsrunden, um ein zufriedenstellendes Modell zu erreichen.

Kernergebnisse

Fallstudie 1: Traumatische Hirnverletzung (TBI)

Leistung: Das finale HACHI-Modell erreichte eine AUC von 0,91 insgesamt und übertraf damit die Standard-PECARN-Regel (AUC 0,75) sowie einen Brainstorming-Ansatz aus einer einzigen Runde (AUC 0,88).
Iterative Verbesserungen:
- Runde 1: Erzielte eine hohe AUC (0,92), stützte sich jedoch auf Scheinkorrelationen (z. B. „Notiz erwähnt GCS“) und Data Leakage (Patienten mit vorangegangenen CT-Ergebnissen).
- Runde 2: Nach Entfernung der Fälle mit vorangegangenen CTs und Verfeinerung der Prompts zur Fokussierung auf Patientenattribute sank die AUC auf 0,90, aber die Konzepte wurden klinisch valide.
- Runde 3: Die Koeffizienten wurden mit klinischen Prioritäten abgeglichen (z. B. Sicherstellung, dass ein normaler GCS einen negativen Koeffizienten hat).
- Runde 4: Adressierte Generalisierbarkeitsprobleme zwischen zwei Krankenhausstandorten (Oakland vs. Mission Bay) durch Einführung von Stichprobengewichtungen. Dies verbesserte die Mission-Bay-AUC von 0,71 auf 0,80 bei gleichbleibender Gesamtleistung.
Neuheit: Das finale Modell enthielt ein neuartiges Merkmal: „Hat der Patient einen normalen Gang?“ (normal gait), welches nicht in den Standard-PECARN-Regeln enthalten ist.

Fallstudie 2: Akute Nierenschädigung (AKI)

Leistung: Das finale HACHI-Modell erreichte eine AUC von 0,73 auf dem internen Validierungsdatensatz und 0,76 auf einem zeitlich getrennten Testdatensatz (Periode 2). Dies übertraf das Kheterpal-Modell (AUC ~0,65) und einen Brainstorming-Ansatz aus einer einzigen Runde (AUC 0,70).
Iterative Verbesserungen:
- Runde 1: Fokus lag nur auf Patientencharakteristika (AUC 0,60).
- Runde 2: Erweiterung um chirurgische Risikofaktoren (z. B. Art der Operation), was die AUC auf 0,70 verbesserte.
- Runde 3: Verfeinerung der Konzeptdefinitionen für mehr Präzision (z. B. Definition von „aktiver systemischer Infektion“ mit Beispielen) und Einbeziehung von Medikationsfaktoren. Dies steigerte die AUC auf 0,73 und verbesserte die zeitliche Generalisierbarkeit.
Neuheit: Das Modell identifizierte Faktoren, die nicht üblicherweise in interpretierbaren AKI-Scores enthalten sind, wie z. B. „minimalinvasive Chirurgie“ (protektiv), „Tachykardie“ und „Schlafapnoe“.

Wichtigste Beiträge

Framework für Co-Design: HACHI zeigt, dass eine bedeutungsvolle Zusammenarbeit zwischen klinischen KI-Teams und KI-Agenten hochperformante, interpretierbare Modelle hervorbringen kann, die herkömmlichen Zero-Shot-KI-Ansätzen oder traditionellem manuellem Feature-Engineering überlegen sind.
Überbrückung der „Lücke der Vorstellungskraft“: Das Framework adressiert den anfänglichen Mangel an Klarheit bei der Aufgabenbeschreibung durch einen iterativen Feedback-Loop. Dies ermöglicht es Teams, die Fähigkeiten des KI-Agenten schrittweise mit den klinischen Zielen abzustimmen, indem Prompts, Daten und Evaluierungsmetriken über die Zeit verfeinert werden.
Entdeckung neuartiger Prädiktoren: Der Prozess deckte klinisch relevante Konzepte auf, die in Standard-CPMs oft fehlen (z. B. Gang bei TBI, minimalinvasive Chirurgie bei AKI), während bekannte Prädiktoren wiederhergestellt wurden.
Effizienz: Das Framework ist effizient und erfordert nur 1–2 Stunden Team-Review pro Runde; 3–4 Runden sind ausreichend, um ein robustes Modell zu erreichen.
Interpretierbarkeit und Vertrauen: Durch die Definition von Konzepten als Ja/Nein-Fragen und die Ermöglichung der menschlichen Überprüfung jedes Schritts stellt das Framework sicher, dass die resultierenden Modelle transparent, auditierbar und klinisch glaubwürdig sind.

Bedeutung und Behauptungen

Das Paper behauptet, dass HACHI einen praktischen Weg zur Entwicklung lokaler, interpretierbarer CPMs bietet, die auf spezifische Patientenpopulationen und institutionelle Kontexte zugeschnitten sind. Im Gegensatz zu komplexen Black-Box-Modellen sind durch HACHI entwickelte Modelle einfach genug für die Implementierung am Krankenbett (mentale Arithmetik oder schneller Chart-Review) und können von Domänenexperten auditiert werden.

Die Autoren betonen, dass die menschliche Aufsicht nicht nur für die Validierung, sondern auch für die Gestaltung des Entwicklungsprozesses essenziell ist, in einer Weise, die KI-Agenten allein nicht erreichen können – insbesondere bei der Identifizierung von Data Leakage, der Korrektur von Scheinkorrelationen, der Sicherstellung von Fairness zwischen Standorten und der Verfeinerung der Konzeptgranularität. Das Framework ist so konzipiert, dass es zugänglich ist und lediglich Zugriff auf klinische Notizen, ein PHI-konformes LLM und die Anleitung durch ein klinisches KI-Team erfordert.

Das Paper schließt mit moderaten Behauptungen bezüglich der Implementierung: Während die retrospektive Validierung eine starke Leistung zeigte, ist eine prospektive Validierung in Echtzeit-klinischen Workflows noch erforderlich. Zudem hängt die Qualität der Modelle von der Extraktionsgenauigkeit des LLMs und den spezifischen Dokumentationspraktiken der Institution ab. Die Autoren positionieren HACHI als einen Schritt zur Demokratisierung der Erstellung hochwertiger, interpretierbarer klinischer Werkzeuge ohne die prohibitiven Ressourcenkosten einer traditionellen Entwicklung.