🤖 machine learning

Automatic Construction of Clinical Scoring Systems with LLM Agents

Dieser Beitrag stellt AgentScore vor, ein Framework für LLM-Agenten, das durch die Kombination semantischer Regelerzeugung mit datengestützter Verifikation automatisch einsetzbare, gewichtete klinische Scoresysteme erstellt und dabei eine Leistung erzielt, die mit flexiblen Modellen vergleichbar ist, während es die für den routinemäßigen klinischen Einsatz erforderlichen strengen Anforderungen an Interpretierbarkeit und Arbeitsabläufe einhält.

Ursprüngliche Autoren: Silas Ruhrberg Estévez, Christopher Chiu, Mihaela van der Schaar

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Silas Ruhrberg Estévez, Christopher Chiu, Mihaela van der Schaar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Arzt, der durch eine belebte Notaufnahme hetzt. Sie müssen eine schnelle Entscheidung über das Risikoniveau eines Patienten treffen, haben aber keine Zeit, einen Taschenrechner zu zücken, eine komplexe App zu öffnen oder eine Formel mit fünf verschiedenen Zahlen im Kopf zu behalten, die mit unterschiedlichen Gewichten multipliziert werden. Sie benötigen eine einfache Checkliste: „Wenn der Patient Symptom A hat, addieren Sie einen Punkt. Wenn er Symptom B hat, addieren Sie einen Punkt. Wenn die Summe 3 oder mehr beträgt, rufen Sie Hilfe."

Das sind klinische Scoresysteme: einfache, einprägsame Checklisten, die Ärzte am Krankenbett verwenden.

Moderne Künstliche Intelligenz (KI) ist jedoch hervorragend darin, Risiken vorherzusagen, funktioniert aber meist wie eine „Blackbox" mit komplexer Mathematik, die im Kopf nicht durchführbar ist. Die Autoren dieses Papers, Silas Ruhrberg Estévez und Kollegen, haben eine Lücke festgestellt: Wir verfügen über leistungsstarke KI, können sie aber nicht leicht in die einfachen Checklisten umwandeln, die Ärzte tatsächlich nutzen.

Hier ist, wie sie es mit einer kreativen neuen Methode namens AgentScore gelöst haben.

Das Problem: Der „Koch" vs. der „Geschmackstester"

Normalerweise versuchen Wissenschaftler, diese Checklisten aufzubauen, indem sie entweder:

Experten bitten, die Regeln manuell auszuwählen (langsam und schwer zu aktualisieren).
KI einsetzen, um Muster zu finden, wobei die KI jedoch komplexe Mathematik vorschlägt (wie „Alter × 0,4 + Blutdruck × -0,2"), die im echten Krankenhaus schwer anzuwenden ist.

Die Autoren erkannten, dass man für den Aufbau einer guten Checkliste zwei Dinge benötigt, die zusammenarbeiten:

Kreativität: Jemand, der neue, clevere Kombinationen von Symptomen erdenken kann (z. B. „Was wäre, wenn wir die Herzfrequenz mit dem Blutdruck vergleichen?").
Strenge Prüfung: Jemand, der streng überprüft, ob diese Idee mit echten Daten tatsächlich funktioniert und nicht nur ein glücklicher Zufall ist.

Die Lösung: AgentScore (Das KI-Team)

Das Paper stellt AgentScore vor, das wie ein kleines, spezialisiertes Team von KI-Agenten funktioniert, die zusammenarbeiten, um diese Checklisten von Grund auf neu zu erstellen.

Stellen Sie es sich wie einen Kochwettbewerb vor, bei dem das Ziel ist, das perfekte, einfache Rezept zu kreieren, das jeder befolgen kann.

Der „Koch"-Agent (Der LLM-Vorschlaggeber):
Dies ist ein Large Language Model (wie die KI hinter dieser Erklärung). Seine Aufgabe ist es, kreativ zu sein. Es betrachtet die Patientendaten und sagt: „Hey, was wäre, wenn wir prüfen, ob die Atmung des Patienten schneller als 30 Atemzüge ist?" oder „Was wäre, wenn wir prüfen, ob seine Nierenfunktion um 20 % gesunken ist?"
- Wichtige Regel: Der Koch darf die echten Patientennamen oder privaten Aufzeichnungen nicht sehen. Er sieht nur eine Zusammenfassung der Daten (wie „die durchschnittliche Herzfrequenz beträgt 80"). Dies schützt die Privatsphäre der Patienten.
- Der Koch schlägt eine Liste potenzieller „Regeln" für die Checkliste vor.
Der „Geschmackstester"-Agent (Der deterministische Verifizierer):
Dies ist ein strenges, mathematisches Computerprogramm. Es nimmt die Ideen des Kochs und testet sie gegen die realen Daten.
- Vorhersagt diese Regel tatsächlich, wer krank wird? (Wenn nein, wird sie verworfen).
- Ist diese Regel nur eine Kopie einer anderen Regel? (Wenn ja, wird sie verworfen, um die Liste kurz zu halten).
- Ist die Regel einfach genug, um auf ein Stück Papier geschrieben zu werden? (Wenn sie zu komplex ist, wird sie verworfen).
Der „Küchenchef"-Agent (Der Zusammensteller):
Sobald der Geschmackstester einen Pool guter, verifizierter Regeln hat, wählt dieser Agent die beste Kombination aus. Er erstellt die endgültige Checkliste, stellt sicher, dass sie eine begrenzte Anzahl von Punkten hat (damit sie leicht zu merken ist) und dass jeder Punkt genau einen Punkt zählt.

Warum „ein Punkt" wichtig ist

Das Paper betont, dass die besten Checklisten einheitlich gewichtet sind. Das bedeutet, dass jeder Punkt auf der Liste genau 1 Punkt wert ist.

Schlechte Checkliste: „Alter > 65 gibt 3 Punkte, aber niedriger Blutdruck gibt -2 Punkte." (Schwer im Kopf zu rechnen).
AgentScore-Checkliste: „Alter > 65? +1 Punkt. Niedriger Blutdruck? +1 Punkt. Summe > 2? Hilfe rufen." (Leicht im Kopf zu rechnen).

Die Autoren fanden heraus, dass diese einfachen „1-Punkte"-Listen überraschend mächtig sind. Sie sind fast genauso gut darin, Ergebnisse vorherzusagen wie die komplexen, mathematikintensiven KI-Modelle, aber sie sind tatsächlich von Menschen nutzbar.

Die Ergebnisse: Die Experten schlagen

Das Team testete AgentScore bei acht verschiedenen medizinischen Aufgaben (wie Vorhersage von Herzversagen, Nierenversagen oder Tod auf der Intensivstation) unter Verwendung echter Krankenhausdaten.

Besser als alte Methoden: AgentScore erstellte Checklisten, die genauer waren als frühere Methoden, die versuchten, komplexe KI in einfache Checklisten zu zwingen.
Besser als Standardrichtlinien: Bei zwei spezifischen Tests waren die von AgentScore erstellten Checklisten tatsächlich besser darin, Hochrisikopatienten zu erkennen, als die offiziellen, lang etablierten medizinischen Leitlinien, die derzeit in Krankenhäusern verwendet werden.
Zustimmung der Ärzte: Als sie die Ergebnisse 18 echten Ärzten zeigten, bevorzugten die Ärzte die AgentScore-Checklisten überwältigend. Sie sagten, die KI-generierten Listen wirkten natürlicher, seien am Krankenbett einfacher zu verwenden und entsprächen dem Denkweise der Ärzte.

Das Fazit

Das Paper argumentiert, dass wir nicht immer größere, komplexere KI benötigen, um Leben zu retten. Manchmal ist die beste KI diejenige, die ihr komplexes Wissen in eine einfache, Papier-und-Bleistift-Checkliste übersetzen kann, die ein müder Arzt in einer Sekunde verwenden kann.

AgentScore beweist, dass wir durch den Einsatz von KI zur Vorschlag von Ideen und strenger Mathematik zur Verifizierung dieser Ideen automatisch diese einfachen, lebensrettenden Werkzeuge erstellen können, ohne dass ein menschlicher Experte jede einzelne Regel manuell schreiben muss.

Wichtiger Hinweis: Die Autoren sind sehr deutlich, dass dies Forschungswerkzeuge sind. Sie sind noch nicht für den Einsatz in echten Krankenhäusern zur Behandlung von Patienten zugelassen. Sie sind ein Proof-of-Concept, der einen neuen Weg zeigt, medizinische Werkzeuge zu entwickeln, die sowohl intelligent als auch einfach sind.

Technische Zusammenfassung: Automatische Konstruktion klinischer Bewertungssysteme mit LLM-Agenten

Problemstellung

Die moderne klinische Praxis stützt sich auf kompakte, evidenzbasierte Bewertungssysteme (z. B. CURB-65, SOFA), die aus einer geringen Anzahl interpretierbarer Entscheidungsregeln bestehen. Diese Systeme sind für die Anwendung am Krankenbett konzipiert und erfordern Merkbarkeit, Überprüfbarkeit sowie eine Funktionsweise ohne rechnerische Hilfsmittel. Viele hochleistungsfähige maschinelle Lernmodelle (ML) scheitern jedoch an der Übertragung in den klinischen Alltag, da sie mit diesen Workflow-Beschränkungen nicht vereinbar sind. Oft beruhen sie auf inkonsistent verfügbaren Eingangsdaten, erfordern komplexe Vorverarbeitung oder produzieren Berechnungen mit kontinuierlichen Gewichten, die manuell schwer durchzuführen sind.

Bestehende automatische Methoden zum Erlernen klinischer Scores stehen typischerweise vor einer „Lücke zwischen Generierung und Selektion". Ansätze wie RiskSLIM oder Optimal Checklists optimieren über eine fest vorgegebene, vorab konstruierte Merkmalsmatrix. Sie können keine klinisch bedeutsamen abgeleiteten Regeln (z. B. physiologische Verhältnisse, zeitliche Trends oder flache logische Zusammensetzungen) automatisch aus Rohvariablen entdecken. Folglich liegt die Last der Konstruktion des Hypothesenraums in der manuellen Merkmalskonstruktion, was die Abdeckung des kombinatorischen Regelraums einschränkt, den klinische Leitlinien routinemäßig berücksichtigen.

Die Kernherausforderung besteht darin, Regelkonstruktion und Checklisten-Kompatibilität innerhalb einer eingeschränkten Modellklasse (gewichtete, ungeordnete Checklisten mit Einheitsgewichten) gemeinsam zu optimieren, während ein exponentiell großer diskreter Suchraum navigiert wird, der für eine erschöpfende Enumeration oder standardmäßige gradientenbasierte Optimierung unzugänglich ist.

Methodik: AgentScore

Die Autoren stellen AgentScore vor, ein Framework, das Large Language Models (LLMs) und diskrete Optimierung verbindet, um automatisch einsetzbare klinische Bewertungssysteme zu konstruieren. Das System behandelt LLMs nicht als autonome Entscheidungsträger, sondern als strukturierte semantische Vorschlagsmechanismen, die in eine deterministische, datengestützte Verifikationsschleife eingebettet sind.

1. Regelsprache und Einschränkungen

AgentScore operiert innerhalb einer eingeschränkten, klinisch motivierten Regelsprache $\mathcal{R}$ , die Folgendes unterstützt:

Numerische Schwellenwerte und Bereiche: Standard-Abschneidewerte (z. B. $HR > 100$).
Kategoriale und binäre Präsenzregeln: Diagnosen oder Komorbiditäten.
Physiologische Verhältnisse und Kontraste: Abgeleitete Indizes (z. B. $HR/BP$).
Zählbasierte Regeln: M-von-N-Kriterien (z. B. SIRS-Kriterien).
Flache logische Zusammensetzungen: Begrenzte Tiefe von UND-/ODER-Operationen zur Wahrung der Merkbarkeit.
Zeitliche und verteilungsbasierte Regeln: Trends, Differenzen und quantilbasierte Schwellenwerte, die aus longitudinalen Daten abgeleitet werden.

Das Zielmodell ist eine Einheitsgewichtete N-von-M-Checkliste: Eine sparse Menge binärer Regeln $S$ , wobei der Score die Anzahl der erfüllten Regeln ist ( $S(\tilde{x}) = \sum r_j(\tilde{x})$ ), und eine Entscheidung getroffen wird, wenn der Score einen Schwellenwert $\tau$ überschreitet.

2. Die AgentScore-Pipeline

Der Lernprozess zerlegt das Problem in drei Stufen (Abbildung 2):

Regelvorschlag (LLM-Agent): Ein LLM schlägt Kandidatenregeln basierend auf einer Datensatzbeschreibung und aggregierten Statistiken vor, die über eine Schnittstelle für Werkzeuge bereitgestellt werden. Entscheidend ist, dass das LLM niemals rohe Patientendatensätze auf individueller Ebene sieht, was Privatsphärenrisiken und Halluzinationen mindert. Es generiert strukturierte JSON-Regeln, die der Grammatik entsprechen.
Deterministische Validierung und Filterung:
- Statistische Screening: Vorgeschlagene Regeln werden auf zurückgehaltenen Daten evaluiert. Eine Regel wird nur beibehalten, wenn sie einen Mindestdiskriminierungsschwellenwert erreicht (z. B. AUROC $\ge 0,60$ ) und Redundanzprüfungen (Jaccard-Ähnlichkeit bezüglich der Abdeckung der positiven Klasse) gegenüber dem aktuellen Pool besteht.
- Klinische Plausibilitätsprüfung: Ein zweiter LLM-Agent fungiert als „Selbstprüfung", um Regeln abzulehnen, die statistisch valide, aber klinisch unsinnig oder semantisch inkohärent sind.
Score-Zusammenstellung (LLM-Agent): Ein dritter Agent wählt eine kompakte Teilmenge der beibehaltenen Regeln aus dem Pool aus, um die finale Checkliste zu bilden. Dieser Agent wird angeleitet, semantisch diverse Kombinationen vorzuschlagen (z. B. über die Bereiche Atmung, Herz-Kreislauf und Niere), anstatt nur statistisch ähnliche Proxy-Regeln zu wählen.
Iterative Verfeinerung: Der Zusammenstellungs-Agent kann die Checkliste iterativ verfeinern und erhält Feedback zu Diskriminierungs- und Abdeckungsmetriken, bis ein Abbruchkriterium erreicht ist. Der finale Entscheidungsschwellenwert $\tau$ wird automatisch optimiert (z. B. durch Maximierung des Youden-J-Index).

3. Optimierungsziel

Das System strebt danach, den empirischen klinischen Nutzen (z. B. AUROC, Netto-Nutzen) unter harten Einschränkungen zu maximieren:
$\max_{S \subseteq \mathcal{R}} U(S(\tilde{x}), y; D_{val}) \quad \text{unter der Bedingung} \quad |S| \le m, \text{Tiefe}(r) \le d$
Dies ist ein NP-schweres, nicht-differenzierbares kombinatorisches Problem. AgentScore adressiert dies, indem es das LLM nutzt, um die semantische Struktur des Regelraums zu navigieren, wodurch das „Cold-Start"-Problem beim Finden hochnutzbarer Regeln in einer spärlichen Landschaft gelöst wird, während deterministische Werkzeuge die statistische Validität und Einsetzbarkeit sicherstellen.

Hauptbeiträge

Konzeptionell: Die Arbeit formalisiert das Erlernen einsetzbarer klinischer Checklisten als ein gemeinsames kombinatorisches Optimierungsproblem über Regelkonstruktion und Teilmengeauswahl, nicht nur über die Auswahl fester Merkmale. Sie kodiert explizit kognitive und operationelle Einschränkungen am Krankenbett (Merkbarkeit, Überprüfbarkeit, arithmetikfreie Anwendung) in die Hypothesenklasse.
Algorithmisch: AgentScore führt ein Framework ein, in dem LLMs semantisch strukturierte Kandidaten innerhalb einer eingeschränkten Grammatik vorschlagen, während deterministische Werkzeuge die Grammatikvalidität, statistische Screening und Redundanzkontrolle durchsetzen. Diese Trennung stellt sicher, dass der finale Score sowohl interpretierbar als auch empirisch fundiert ist.
Empirisch: Die Methode wurde über acht klinische Vorhersageaufgaben (MIMIC-IV, eICU) und zwei externe Validierungsaufgaben evaluiert.

Experimentelle Ergebnisse

Vorhersageleistung: Über acht Aufgaben hinweg übertrifft AgentScore bestehende Score-Generierungs-Baselines (RiskSLIM, FasterRisk, Optimal Checklists, AutoScore) signifikant und erreicht oder übertrifft flexible interpretierbare Modelle (Logistische Regression, Entscheidungsbäume), obwohl es unter strengeren strukturellen Einschränkungen operiert (Einheitsgewichte, geringe Regelanzahl).
Wettbewerbsfähigkeit mit Leitlinien: In externen Validierungsszenarien (PhysioNet 2012 ICU-Sterblichkeit und Kohorten mit zystischer Fibrose aus Großbritannien/Kanada) erzielte AgentScore eine höhere Diskriminierung (AUROC) als etablierte klinische Leitlinien (SOFA, SAPS-I, Leitlinien für CF-Transplantation), blieb dabei jedoch für die manuelle Anwendung geeignet.
Einsatzfähigkeit: Eine strukturierte Überprüfung durch 18 praktizierende Kliniker zeigte eine signifikante Präferenz für von AgentScore generierte Checklisten gegenüber Baselines mit ganzzahligen Gewichten (FasterRisk) hinsichtlich der Ausrichtung auf leitlinienbasiertes Denken (85 %), der Einfachheit der Anwendung am Krankenbett (71 %) und der Präferenz für den Einsatz (81 %).
Ablationsstudien: Das Entfernen der eingeschränkten Vorschlag-Validierungs-Schleife (Ersetzung durch uneingeschränkte LLM-Generierung) führte zu einem signifikanten Leistungsabfall (Cohens $d \approx 2,8$ ), was die Notwendigkeit der deterministischen Verifikationsschleife bestätigt.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass die Kluft zwischen ML-Leistung und klinischer Adoption nicht auf unzureichende Vorhersagekraft zurückzuführen ist, sondern auf die Optimierung über Modellklassen, die mit der Implementierung von Leitlinien unvereinbar sind. AgentScore zeigt, dass eingeschränkte semantische Optimierung – bei der Hypothesenklassendesign, Einsetzbarkeit und Verifikation als primäre Modellierungsanliegen behandelt werden – Modelle hervorbringen kann, die sowohl hochpräzise als auch direkt am Krankenbett ausführbar sind.

Die Autoren betonen, dass ihr Ansatz klinische Leitlinien nicht ersetzt, sondern einen Weg bietet, automatisch zu konstruierende Kandidaten-Bewertungssysteme zu erstellen, die mit leitlinienbasiertem Gebrauch übereinstimmen und für prospektive Validierungen geeignet sind. Das Framework adressiert Schlüsselbarrieren für die klinische ML-Adoption, einschließlich Daten-Governance (durch Entkopplung von LLMs vom Zugriff auf Rohdaten) und der „Generierungs-Selektions"-Lücke bei der Regelentdeckung.

Einschränkungen: Die Autoren weisen darauf hin, dass AgentScore weniger ausdrucksstark als flexible Black-Box-Modelle ist und möglicherweise prädiktive Zusammenhänge verpasst, die für das LLM semantisch nicht zugänglich sind. Es priorisiert die Einsatzfähigkeit vor formalen Optimierungsgarantien und erzwingt keine Fairness-Einschränkungen von sich aus, was eine externe Prüfung erfordert. Die Bewertungssysteme sind Forschungsartefakte, die zur Validierung bestimmt sind, nicht für den unmittelbaren klinischen Einsatz.