AERO: An AI Agent for Adaptive Eligibility Refinement and Optimization of Clinical Trial Criteria in Real-World Trial Emulation

Das Papier stellt AERO vor, ein KI-Agenten-Framework, das die Eignungskriterien klinischer Studien für die Emulation von Realweltdaten optimiert, indem es große Sprachmodelle nutzt, um Kriterien systematisch zu klassifizieren und zu verfeinern, wodurch die Generalisierbarkeit und Genauigkeit von Behandlungseffektschätzungen verbessert werden, wie in einer WARCEF-Studien-Emulation demonstriert wurde.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, einen berühmten, perfekt kontrollierten Kochwettbewerb (eine randomisierte kontrollierte Studie oder RCT) nachzustellen, indem Sie eine riesige, unordentliche Realwelt-Küche voller Zutaten aus tausenden verschiedenen Haushalten nutzen (Ihre elektronischen Gesundheitsakten).

Beim ursprünglichen Wettbewerb hatten die Richter eine sehr strenge Liste von Regeln: „Verwenden Sie nur Eier von Hühnern unter 2 Jahren", „Kein Salz, wenn der Koch eine spezifische Allergie hat" und „Der Koch muss in der Lage sein, 4 Stunden ohne Pause zu stehen." Diese Regeln stellten sicher, dass der Wettbewerb fair war und die Ergebnisse klar waren.

Wenn Sie jedoch versuchen, diese exakten Zutaten in der realen Küche zu finden, stoßen Sie auf eine Wand. Sie können das Alter des Huhns nicht allein durch einen Blick auf das Ei bestimmen. Sie haben keine Aufzeichnung über die Allergiegeschichte jedes Kochs. Und Sie können certainly nicht wissen, ob ein Koch 4 Stunden stehen könnte, wenn er es nie tatsächlich musste. Wenn Sie versuchen, die ursprünglichen Regeln genau so anzuwenden, wie sie geschrieben sind, könnten Sie am Ende 90 % Ihrer Küche wegwerfen und kaum noch Köche zum Studieren haben. Oder schlimmer noch: Sie behalten vielleicht versehentlich nur die „perfekten" Köche, wodurch Ihre Ergebnisse anders aussehen als die reale Welt.

Hier kommt AERO ins Spiel: Der intelligente Sous-Chef

Die Studie stellt AERO (AI Agent for Adaptive Eligibility Refinement and Optimization) vor. Denken Sie an AERO als einen hochintelligenten, gut informierten Sous-Chef, der Ihnen hilft, diese strengen Wettbewerbsregeln in etwas Umsetzbares für Ihre unordentliche Realwelt-Küche zu übersetzen, ohne den Geist des ursprünglichen Wettbewerbs zu verlieren.

So funktioniert AERO, unter Verwendung einfacher Metaphern:

1. Das „Vier-Fächer"-Sortiersystem

Anstatt blind zu versuchen, jede Regel zu befolgen, betrachtet AERO jede Regel und fragt: „Wofür dient diese Regel wirklich?" Es sortiert jede Regel in eines von vier Fächern:

• Fach 1: Die „Muss-Haben" (Strenge Einschlusskriterien): Dies sind die Kernregeln, die definieren, für wen der Wettbewerb gedacht ist. Beispiel: „Der Koch muss Suppe zubereiten." AERO behält diese als harte Filter bei. Wenn Sie keine Suppe zubereiten, sind Sie draußen.
• Fach 2: Die „Sicherheitswarnungen" (Strenge Ausschlusskriterien): Dies sind Regeln bezüglich Gefahr. Beispiel: „Niemand mit einer schweren Nussallergie darf eintreten." AERO behält diese ebenfalls bei, da Sicherheit nicht verhandelbar ist und in den Aufzeichnungen meist leicht zu erkennen ist.
• Fach 3: Das „Hintergrundrauschen" (Confounder): Dies sind Regeln, die den Koch beschreiben, ihn aber nicht notwendigerweise disqualifizieren. Beispiel: „Der Koch muss in der Vergangenheit eine bestimmte Marke von Salz verwendet haben." In der realen Welt könnte dies nur ein Faktor sein, der den Geschmack der Suppe verändert, kein Grund, den Koch rauszuwerfen. AERO sagt: „Werfen Sie sie nicht raus! Schreiben Sie dies einfach auf und passen Sie es später an, wenn wir die Suppe probieren." So bleiben mehr Menschen in der Studie.
• Fach 4: Die „Unmöglichen Aufgaben" (Verwerfen/Operativ): Dies sind Regeln, die in einer realen Küche keinen Sinn ergeben. Beispiel: „Der Koch muss in der Lage sein, ein 4-Stunden-Protokoll ohne Pause zu befolgen." Das kann man in einer Datenbank nicht überprüfen. AERO sagt: „Das können wir nicht messen, also lassen wir diese Regel ganz fallen, damit wir nicht versehentlich gute Köche ausschließen."

2. Die „Wissens-Bibliothekarin"

AERO rät nicht einfach. Es agiert wie eine Bibliothekarin, die vor einer Entscheidung drei verschiedene Bücher hervorholt:

• Eine medizinische Enzyklopädie (UpToDate), um die Krankheit zu verstehen.
• Einen intelligenten KI-Assistenten (Claude), um den Kontext zu interpretieren.
• Ein Arzneimittelsicherheits-Handbuch (ToolUniverse), um auf gefährliche Wechselwirkungen zu prüfen.

Durch die Kombination der ursprünglichen Studienregeln mit diesem zusätzlichen Wissen entscheidet AERO, welche Regeln beizubehalten, welche anzupassen und welche zu verwerfen sind.

3. Die Testfahrt: Die WARCEF-Studie

Um zu prüfen, ob AERO funktioniert, nutzten die Forscher es, um die WARCEF-Studie nachzubilden.

• Die ursprüngliche Studie: Verglich Warfarin (ein Blutverdünner) mit Aspirin bei Patienten mit Herzinsuffizienz. Das Ergebnis? Kein Unterschied. Die beiden Medikamente wirkten etwa gleich.
• Das Problem: Wenn Sie versucht hätten, diese Patienten in realen Krankenhausdaten unter Verwendung der ursprünglichen strengen Regeln zu finden, hätten Sie wahrscheinlich eine winzige, seltsame Gruppe von Patienten erhalten, die nicht wie echte Menschen aussah.
• Die AERO-Lösung: AERO sortierte die Regeln neu. Es behielt die Diagnose Herzinsuffizienz (Muss-Haben) und die Sicherheitsausschlüsse (Sicherheitswarnung). Aber es verschob Dinge wie „kürzlich implantieter Herzschrittmacher" oder „spezifische Medikamentenhistorie" in das Fach „Hintergrundrauschen", was bedeutet, dass diese Patienten behalten, aber die Mathematik später angepasst wurde.

Das Ergebnis:
Als sie die Studie mit den optimierten Regeln von AERO durchführten, erhielten sie ein Ergebnis von HR = 1,56 (was statistisch gesehen „keinen signifikanten Unterschied" bedeutet). Dies stimmte mit dem Schluss der ursprünglichen Studie überein (HR = 1,01, „kein Unterschied").

Die „Ablations"-Lehre (Das „Was-wäre-wenn"-Experiment)
Die Studie führte auch ein interessantes Experiment durch, um zu beweisen, warum die Sortierung von AERO wichtig ist. Sie nahmen eine spezifische Regel: „Keine Patienten mit einem bestimmten Blutverdünner (LMWH)."

• Szenario A (Strenge Regel): Sie warfen alle Patienten mit diesem Blutverdünner aus der Studie. Plötzlich änderten sich die Ergebnisse! Es sah so aus, als wäre ein Medikament besser als das andere. Warum? Weil sie durch das Wegwerfen dieser Personen versehentlich die schwerstkranken Patienten entfernt hatten, was die Gruppe verzerrte.
• Szenario B (Die AERO-Methode): Sie behielten diese Patienten, behandelten den Blutverdünner aber als „Hintergrundrauschen", um später dafür zu adjustieren. Das Ergebnis kehrte zu „Kein Unterschied" zurück und stimmte mit der ursprünglichen Wahrheit überein.

Die große Erkenntnis

Die Studie behauptet, dass die Entscheidung darüber, wer in eine Studie aufgenommen wird, die Ergebnisse verändert.

Wenn Sie versuchen, einen strengen Laborversuch kopieren und in die unordentliche reale Welt einzufügen, könnten Sie das Experiment zerstören. AERO fungiert als Übersetzer. Es nutzt KI und medizinisches Wissen, um zu sagen: „Diese Regel betrifft die Sicherheit, behalten Sie sie. Diese Regel betrifft die Logistik, werfen Sie sie weg. Diese Regel ist nur eine Eigenschaft, passen Sie dafür an."

Indem AERO dies tut, ermöglicht es Forschern, reale Krankenhausdaten zu nutzen, um Fragen zu beantworten, die normalerweise teure, kontrollierte Studien erfordern, und stellt gleichzeitig sicher, dass die Antwort immer noch genau und fair ist. Es überbrückt die Lücke zwischen der „perfekten Welt" eines Labors und der „unordentlichen Welt" eines echten Krankenhauses.

Technische Zusammenfassung

1. Problemstellung

Die Herausforderung der Emulation realer Studien:
Während randomisierte kontrollierte Studien (RCTs) der Goldstandard für kausale Inferenz sind, schränken ihre restriktiven Eignungskriterien oft die Generalisierbarkeit der Ergebnisse auf breitere, reale Populationen ein. Die Emulation von Zielstudien versucht, RCT-Designs unter Verwendung von Beobachtungsdaten (z. B. Elektronische Gesundheitsakten – EHRs) zu replizieren, um Real-World-Evidence (RWE) zu generieren. Ein kritischer Engpass besteht jedoch in der Übersetzung protokolldefinierter Eignungskriterien in EHR-basierte Kohorten:

• Operative Durchführbarkeit: Viele Studienkriterien beruhen auf Messungen oder Bewertungen, die in EHRs nicht verfügbar oder inkonsistent dokumentiert sind.
• Subjektivität und Verzerrung: Die Anpassung dieser Kriterien stützt sich derzeit auf manuelle, von Experten getroffene Entscheidungen, die arbeitsintensiv, schwer reproduzierbar und anfällig für subjektive Verzerrungen sind.
• Selektionsverzerrung: Die wörtliche Anwendung von Kriterien kann die Kohortengröße drastisch verringern oder klinisch relevante Patienten ausschließen, was Schätzungen der vergleichenden Wirksamkeit verzerrt. Umgekehrt kann eine ad-hoc Lockerung von Kriterien ohne systematische Begründung neue Verzerrungen einführen.

2. Methodik: Das AERO-Framework

Die Autoren schlagen AERO (AI Agent for Adaptive Eligibility Refinement and Optimization) vor, ein agentenbasiertes Framework, das die Automatisierung der Anpassung von Eignungskriterien klinischer Studien für Real-World-Daten ermöglicht.

Kernarchitektur:
AERO nutzt ein wissensangereichertes Large Language Model (LLM) (in der Studie spezifisch GPT-5) als reasoning-Kern. Es integriert drei heterogene externe Wissensquellen, um seine Entscheidungen zu fundieren:

1. Klinische Wissensdatenbank: UpToDate (für Krankheitsgeschichte, Indikationen, Kontraindikationen).
2. Medizinisches LLM: Claude AI (für kontextuelle klinische Interpretation).
3. Arzneimittel-Werkzeug: ToolUniverse (für strukturierte pharmakologische und Sicherheitsdaten).

Die fünfstufige Pipeline:

1. Extraktion: Originale Eignungskriterien werden aus Studienprotokollen extrahiert (z. B. ClinicalTrials.gov).
2. Retrieval: Relevante externe medizinische Kenntnisse werden basierend auf dem Studienkontext abgerufen.
3. KI-gesteuerte Optimierung: Das LLM analysiert jedes Kriterium im Hinblick auf die Protokollabsicht und externe Kenntnisse und klassifiziert es in eine von vier Kategorien:
   • Strikte Einschlusskriterien: Wesentliche Merkmale, die die Zielpopulation definieren (z. B. spezifische Diagnose, Auswurffraktion).
   • Strikte Ausschlusskriterien: Sicherheitsrelevante oder klinisch notwendige Einschränkungen (z. B. Schwangerschaft, schwere Leberfunktionsstörung).
   • Confounder: Variablen, die Ergebnisse beeinflussen, aber über statistische Anpassung statt über Kohortenfilterung behandelt werden sollten (z. B. kürzlicher Schlaganfall, Schrittmacherimplantation, spezifische Medikamenteneinnahme).
   • Drop / Operativ: Kriterien, die redundant, subjektiv oder in EHRs nicht operationalisierbar sind (z. B. „Fähigkeit, ambulantes Protokoll einzuhalten", „Modified Rankin-Score").
4. Kohortenkonstruktion: Die optimierten Kriterien werden auf EHR-Daten (Mayo Clinic Platform) angewendet. Patienten müssen alle Einschlusskriterien erfüllen und keines der Ausschlusskriterien. Confounder bleiben im Datensatz für nachgelagerte statistische Anpassungen erhalten (z. B. Propensity-Score-Matching, Cox-Regression).
5. Ergebnisanalyse: Die vergleichende Wirksamkeit wird mittels Überlebensanalyse (Cox-Proportional-Hazards-Modelle) geschätzt.

3. Hauptbeiträge

1. Erster KI-Agent für die Verfeinerung von Eignungskriterien: AERO wird als neuartiger, agentenbasierter Ansatz vorgestellt, der speziell entwickelt wurde, um Eignungskriterien klinischer Studien für die Emulation in der realen Welt systematisch zu verfeinern und manuelle Heuristiken zu überwinden.
2. Wissensbasierte Reasoning: Im Gegensatz zu rein datengesteuerten Filtern integriert AERO explizit diverse externe medizinische Wissensquellen, um sicherzustellen, dass Entscheidungen klinisch fundiert und reproduzierbar sind.
3. Skalierbare Pipeline: Das Framework demonstriert eine reproduzierbare Pipeline zur Übersetzung von RCT-Protokollen in Real-World-Studien und schließt die Lücke zwischen kontrollierten Studien und der routinemäßigen klinischen Praxis.

4. Ergebnisse: WARCEF-Studien-Emulation

Das Framework wurde evaluiert, indem die WARCEF-Studie (Warfarin vs. Aspirin bei reduzierter kardialer Auswurffraktion) unter Verwendung von Mayo-Clinic-Platform-Daten aus dem Zeitraum vor Studienabschluss (vor Juli 2014) emuliert wurde.

Kohortenmerkmale:

• Demografie: Die AERO-optimierte Kohorte war etwas älter und wies eine andere Geschlechterverteilung auf als die ursprüngliche Studienkohorte, behielt jedoch die Zuweisungsverhältnisse der Behandlungen bei.
• Neuklassifizierung der Kriterien:
  • Als strikt beibehalten: Diagnose Herzinsuffizienz, reduzierte Auswurffraktion (EF ≤ 35 %).
  • Als Confounder umklassifiziert: Kürzlicher Schlaganfall, Schrittmacherimplantation, NSAID-Einnahme, Kreatininwerte und Bedarf an Thrombozytenaggregationshemmern.
  • Entfernt: Funktionale Bewertungen und Lebenserwartungseinschätzungen, die nicht in EHRs erfasst sind.

Ergebnisanalyse:

• Hauptergebnis: Die Emulation mit AERO-optimierten Kriterien ergab ein Hazard Ratio (HR) von 1,561 (p = 0,0605).
• Konsistenz: Dieses Ergebnis ist konsistent mit dem ursprünglichen WARCEF-Studienbefund (HR = 1,01, p = 0,91), der zu dem Schluss kam, dass kein statistisch signifikanter Unterschied zwischen Warfarin und Aspirin besteht.
• Interpretation: Trotz Unterschiede in der Kohortenzusammensetzung bewahrten die optimierten Kriterien die ursprüngliche Schlussfolgerung der Studie zur Neutralität und validierten die Fähigkeit des Frameworks, die klinische Absicht zu wahren und gleichzeitig die Anwendbarkeit in der realen Welt zu verbessern.

Ablationsstudie (Auswirkung von Behandlungsentscheidungen):
Die Autoren führten eine Ablationsstudie zum Kriterium „erfordert eine fortgesetzte Therapie mit niedermolekularem Heparin (LMWH)" durch.

• Szenario A (Strikte Ausschlusskriterien): Die Behandlung der LMWH-Einnahme als striktes Ausschlusskriterium führte zu einer statistisch signifikanten Trennung zwischen den Behandlungsgruppen (p = 0,0347).
• Szenario B (Confounder): Die Behandlung der LMWH-Einnahme als Confounder (statistisch angepasst) führte zu einem nicht-signifikanten Unterschied (p = 0,0605).
• Schlussfolgerung: Die Studie zeigte, dass Entscheidungen zur Behandlung von Eignungskriterien die beobachteten Behandlungseffekte maßgeblich beeinflussen. Die Umklassifizierung einer Variable von einem Filter zu einem Confounder verhinderte eine Selektionsverzerrung, die den apparenten Behandlungsunterschied künstlich erhöht hätte.

5. Bedeutung und Implikationen

• Methodischer Fortschritt: AERO verlagert die Anpassung von Eignungskriterien von einem subjektiven, manuellen Vorverarbeitungsschritt zu einer systematischen, transparenten und KI-gesteuerten Designkomponente der kausalen Inferenz.
• Verzerrungsminimierung: Durch die Unterscheidung zwischen Sicherheitsausschlüssen und Confoundern reduziert das Framework die durch übermäßig restriktive Filterung in Beobachtungsdaten verursachte Selektionsverzerrung.
• Reproduzierbarkeit: Die strukturierte Taxonomie (Einschluss, Ausschluss, Confounder, Drop) verbessert die Reproduzierbarkeit von Zielstudien-Emulationen über verschiedene Studien und Institutionen hinweg.
• Ausblick: Da regulatorische Behörden zunehmend auf RWE angewiesen sind, sind Frameworks wie AERO entscheidend für die Skalierung der Übersetzung von RCT-Protokollen in die Generierung von Real-World-Evidence, um sicherzustellen, dass Schlussfolgerungen klinischer Studien gültig bleiben, wenn sie auf diverse, routinemäßige klinische Populationen angewendet werden.

Eingeschränkte Aspekte: Die Studie stützte sich auf einen einzigen Studienfall (WARCEF); eine breitere Validierung ist erforderlich. Darüber hinaus stützt sich das Framework auf LLM-Reasoning, das empfindlich auf Prompt-Strukturen reagieren kann, und verbleibende Confounding-Effekte, die in EHR-Daten inhärent sind, bleiben eine Herausforderung.