AERO: An AI Agent for Adaptive Eligibility Refinement and Optimization of Clinical Trial Criteria in Real-World Trial Emulation

Het artikel introduceert AERO, een AI-agentframework dat de geschiktheidscriteria voor klinische trials optimaliseert voor de emulatie van real-world data door gebruik te maken van grote taalmodellen om criteria systematisch te classificeren en te verfijnen, waardoor de generaliseerbaarheid en nauwkeurigheid van effectschattingsresultaten worden verbeterd, zoals aangetoond in een WARCEF-trial-emulatie.

De kern

Stel je voor dat je probeert een beroemde, perfect gecontroleerde kookwedstrijd (een Randomized Controlled Trial, of RCT) na te bootsen met behulp van een gigantische, rommelige, echte voorraadkast vol ingrediënten uit duizenden verschillende huishoudens (jouw Elektronische Gezondheidsrecords).

In de originele wedstrijd hadden de juryleden een zeer strenge lijst met regels: "Gebruik alleen eieren van kippen jonger dan 2 jaar", "Geen zout als de kok een specifieke allergie heeft" en "De kok moet 4 uur zonder onderbreking kunnen staan". Deze regels zorgden ervoor dat de wedstrijd eerlijk was en de resultaten duidelijk.

Echter, wanneer je probeert deze exacte ingrediënten in de echte voorraadkast te vinden, loop je tegen een muur op. Je kunt de leeftijd van de kip niet alleen door naar het ei te kijken bepalen. Je hebt geen registratie van de allergiegeschiedenis van elke kok. En je kunt zeker niet weten of een kok 4 uur zou kunnen staan als ze dat nooit echt hebben hoeven doen. Als je probeert de originele regels exact zoals geschreven toe te passen, eindig je misschien met het weggooien van 90% van je voorraadkast, waardoor je bijna geen koks overhoudt om te bestuderen. Of erger nog, je houdt per ongeluk alleen de "perfecte" koks over, waardoor je resultaten er anders uitzien dan de echte wereld.

AERO: De Slimme Sous-Chef

Het artikel introduceert AERO (AI Agent for Adaptive Eligibility Refinement and Optimization). Denk aan AERO als een zeer intelligente, goed gelezen sous-chef die je helpt die strenge wedstrijdregels te vertalen naar iets werkbaars voor je rommelige echte voorraadkast, zonder de geest van de originele wedstrijd te verliezen.

Hier is hoe AERO werkt, met behulp van simpele metaforen:

1. Het "Vier-Vakken" Sorteersysteem

In plaats van blindelings elke regel te proberen te volgen, bekijkt AERO elke regel en vraagt: "Waarvoor dient deze regel echt?" Het sorteert elke regel in één van vier vakken:

• Vak 1: De "Moeten" (Strikte Opname): Dit zijn de kernregels die definiëren waar de wedstrijd voor bedoeld is. Voorbeeld: "De kok moet soep maken." AERO houdt deze vast als harde filters. Als je geen soep maakt, ben je weg.
• Vak 2: De "Veiligheidswaarschuwingen" (Strikte Uitsluiting): Dit zijn regels over gevaar. Voorbeeld: "Niemand met een ernstige notenallergie mag binnen." AERO houdt deze ook vast, omdat veiligheid niet onderhandelbaar is en meestal makkelijk te zien is in de registraties.
• Vak 3: De "Achtergrondruis" (Verstorende Factoren): Dit zijn regels die de kok beschrijven maar hen niet noodzakelijkerwijs diskwalificeren. Voorbeeld: "De kok moet in het verleden een specifiek merk zout hebben gebruikt." In de echte wereld kan dit gewoon een factor zijn die de soep anders doet smaken, geen reden om de kok te verwijderen. AERO zegt: "Gooi ze niet weg! Schrijf dit gewoon op en pas het later aan wanneer we de soep proeven." Dit houdt meer mensen in de studie.
• Vak 4: De "Onmogelijke Taken" (Verwerpen/Operationeel): Dit zijn regels die geen zin hebben in een echte voorraadkast. Voorbeeld: "De kok moet in staat zijn een 4-uursprotocol zonder onderbreking te volgen." Dit kun je niet controleren in een database. AERO zegt: "Dit kunnen we niet meten, dus laten we deze regel volledig laten vallen zodat we per ongeluk geen goede koks uitsluiten."

2. De "Kennismanager"

AERO raadt niet zomaar. Het fungeert als een bibliothecaris die drie verschillende boeken tevoorschijn haalt voordat een beslissing wordt genomen:

• Een Medische Encyclopedie (UpToDate) om de ziekte te begrijpen.
• Een Slimme AI-assistent (Claude) om de context te interpreteren.
• Een Handboek voor Medicijnveiligheid (ToolUniverse) om te controleren op gevaarlijke interacties.

Door de originele proefregels te combineren met deze extra kennis, beslist AERO welke regels te behouden, welke aan te passen en welke te verwerpen.

3. De Proefrit: De WARCEF-proef

Om te zien of AERO werkt, gebruikten de onderzoekers het om de WARCEF-proef na te bootsen.

• De Originele Proef: Vergelijkde Warfarine (een bloedverdunner) met Aspirine voor hartfalenpatiënten. Het resultaat? Geen verschil. De twee medicijnen werkten ongeveer even goed.
• Het Probleem: Als je probeerde deze patiënten te vinden in echte ziekenhuisregistraties met de originele strenge regels, zou je waarschijnlijk een kleine, vreemde groep patiënten krijgen die niet leek op echte mensen.
• De AERO-oplossing: AERO sorteerde de regels opnieuw. Het hield de diagnose hartfalen vast (Moet) en de veiligheidsuitsluitingen (Veiligheidswaarschuwing). Maar het verplaatste dingen zoals "recente pacemaker" of "specifieke medicatiegeschiedenis" naar het vak "Achtergrondruis", wat betekent dat ze die patiënten behielden maar de wiskunde later aanpasten.

Het Resultaat:
Toen ze de studie uitvoerden met de geoptimaliseerde regels van AERO, kregen ze een resultaat van HR = 1,56 (wat een statistische manier is om te zeggen "geen significant verschil"). Dit kwam overeen met de conclusie van de originele proef (HR = 1,01, "geen verschil").

De "Ablatie"-les (Het "Wat als"-experiment)
Het artikel voerde ook een cool experiment uit om te bewijzen waarom AERO's sortering ertoe doet. Ze namen één specifieke regel: "Geen patiënten op een specifieke bloedverdunner (LMWH)."

• Scenario A (Strikte Regel): Ze gooiden iedereen die op die bloedverdunner zat uit de studie. Plotseling veranderden de resultaten! Het leek alsof één medicijn beter was dan het andere. Waarom? Omdat ze door die mensen weg te gooien, per ongeluk de ziekste patiënten verwijderden, waardoor de groep vertekend raakte.
• Scenario B (De AERO-manier): Ze behielden die patiënten maar behandelden de bloedverdunner als "Achtergrondruis" om later voor aan te passen. Het resultaat ging terug naar "Geen verschil", overeenkomend met de originele waarheid.

De Grote Les

Het artikel beweert dat hoe je beslist wie in een studie terechtkomt, de resultaten verandert.

Als je probeert een strenge labproef te kopiëren en te plakken in de rommelige echte wereld, kun je het experiment kapotmaken. AERO fungeert als vertaler. Het gebruikt AI en medische kennis om te zeggen: "Deze regel gaat over veiligheid, houd hem vast. Deze regel gaat over logistiek, gooi hem weg. Deze regel is gewoon een kenmerk, pas er rekening mee."

Door dit te doen, stelt AERO onderzoekers in staat om echte ziekenhuisgegevens te gebruiken om vragen te beantwoorden waarvoor normaal gesproken dure, gecontroleerde proeven nodig zijn, terwijl ervoor wordt gezorgd dat het antwoord nog steeds accuraat en eerlijk is. Het overbrugt de kloof tussen de "perfecte wereld" van een lab en de "rommelige wereld" van een echt ziekenhuis.

Technische samenvatting

1. Probleemstelling

De uitdaging van de nabootsing van trials in de echte wereld:
Hoewel gerandomiseerde gecontroleerde trials (RCT's) de gouden standaard zijn voor causale inferentie, beperken hun restrictieve kwalificatiecriteria vaak de generaliseerbaarheid van resultaten naar bredere, real-world populaties. Nabootsing van een doeltrial probeert RCT-ontwerpen te repliceren met behulp van observationele data (bijvoorbeeld Elektronische Gezondheidsregistraties - EHR's) om Real-World Evidence (RWE) te genereren. Er bestaat echter een kritieke knelpunt bij het vertalen van protocolgedefinieerde kwalificatiecriteria naar EHR-gebaseerde cohorten:

• Operationele onuitvoerbaarheid: Veel trialcriteria zijn gebaseerd op metingen of beoordelingen die niet beschikbaar zijn of onconsistent worden geregistreerd in EHR's.
• Subjectiviteit en bias: Het aanpassen van deze criteria berust momenteel op handmatige, door experts gedreven beslissingen die arbeidsintensief zijn, moeilijk te reproduceren en vatbaar voor subjectieve bias.
• Selectiebias: Het toepassen van criteria letterlijk kan de omvang van cohorten drastisch verkleinen of klinisch relevante patiënten uitsluiten, waardoor schattingen van vergelijkende effectiviteit worden vervormd. Omgekeerd kan het ad-hoc versoepelen van criteria zonder systematische redenering nieuwe biases introduceren.

2. Methodologie: Het AERO-kader

De auteurs stellen AERO (AI-agent voor adaptieve kwalificatieverfijning en optimalisatie) voor, een agentisch kader dat is ontworpen om de aanpassing van kwalificatiecriteria voor klinische trials voor real-world data te automatiseren.

Kernarchitectuur:
AERO maakt gebruik van een kennisverrijkt Groot Taalmodel (LLM) (specifiek GPT-5 in de studie) als redeneerkern. Het integreert drie heterogene externe kennisbronnen om zijn beslissingen te onderbouwen:

1. Klinische Kennisbank: UpToDate (voor ziekteachtergrond, indicaties, contra-indicaties).
2. Medisch LLM: Claude AI (voor contextuele klinische interpretatie).
3. Geneesmiddelenkennishulpmiddel: ToolUniverse (voor gestructureerde farmacologische en veiligheidsdata).

Het Vijf-Fasenproces:

1. Extractie: Originele kwalificatiecriteria worden geëxtraheerd uit trialprotocollen (bijvoorbeeld ClinicalTrials.gov).
2. Retrieval: Relevante externe medische kennis wordt opgehaald op basis van de trialcontext.
3. AI-gedreven optimalisatie: Het LLM analyseert elke criterion tegen het protocoldoel en externe kennis, en classificeert deze in een van vier categorieën:
   • Strikte Opname: Essentiële kenmerken die de doelpopulatie definiëren (bijvoorbeeld specifieke diagnose, ejectiefractie).
   • Strikte Uitsluiting: Veiligheidsgerelateerde of klinisch noodzakelijke beperkingen (bijvoorbeeld zwangerschap, ernstige leverinsufficiëntie).
   • Verwarring: Variabelen die uitkomsten beïnvloeden maar via statistische aanpassing moeten worden behandeld in plaats van via cohortfiltering (bijvoorbeeld recente beroerte, pacemakergebruik, gebruik van specifieke medicatie).
   • Verwijderen / Operationeel: Criteria die overbodig, subjectief of onuitvoerbaar zijn om te operationaliseren in EHR's (bijvoorbeeld "vermogen om poliklinisch protocol te volgen", "Modified Rankin-score").
4. Cohortconstructie: De geoptimaliseerde criteria worden toegepast op EHR-data (Mayo Clinic Platform). Patiënten moeten voldoen aan alle Opname-criteria en geen van de Uitsluitings-criteria. Verwarring worden behouden in de dataset voor downstream statistische aanpassing (bijvoorbeeld propensity score matching, Cox-regressie).
5. Uitkomstanalyse: Vergelijkende effectiviteit wordt geschat met behulp van overlevingsanalyse (Cox-proportioneel hazard-modellen).

3. Belangrijkste Bijdragen

1. Eerste AI-agent voor kwalificatieverfijning: AERO wordt gepresenteerd als een nieuwe agentische aanpak die specifiek is ontworpen om trialkwalificatiecriteria systematisch te verfijnen voor real-world nabootsing, en verder gaat dan handmatige heuristieken.
2. Kennisgebaseerd redeneren: In tegenstelling tot puur datagedreven filtering integreert AERO expliciet diverse externe medische kennisbronnen om ervoor te zorgen dat beslissingen klinisch onderbouwd en reproduceerbaar zijn.
3. Schaalbaar proces: Het kader demonstreert een reproduceerbaar proces voor het vertalen van RCT-protocollen naar real-world studies, en overbrugt zo de kloof tussen gecontroleerde trials en routinematige klinische praktijk.

4. Resultaten: WARCEF-trial nabootsing

Het kader werd geëvalueerd door de WARCEF-trial (Warfarine versus Aspirine bij verlaagde cardiale ejectiefractie) te nabootsen met behulp van Mayo Clinic Platform-data uit de periode voorafgaand aan de voltooiing van de trial (voor juli 2014).

Cohortkenmerken:

• Demografie: Het door AERO geoptimaliseerde cohort was iets ouder en had een andere geslachtsverdeling dan het oorspronkelijke trialcohort, maar behield de toewijzingsverhoudingen van de behandeling.
• Herclassificatie van criteria:
  • Behouden als Strikt: Hartfalen-diagnose, verlaagde ejectiefractie (EF ≤ 35%).
  • Herclassificeerd als Verwarring: Recente beroerte, pacemakerimplantatie, NSAID-gebruik, creatininespiegels en behoefte aan antiplatelettherapie.
  • Verwijderd: Functionele beoordelingen en levensverwachtingsbeoordelingen die niet in EHR's worden vastgelegd.

Uitkomstanalyse:

• Primaire bevinding: De nabootsing met door AERO geoptimaliseerde criteria leverde een Hazard Ratio (HR) op van 1,561 (p = 0,0605).
• Consistentie: Dit resultaat is consistent met de bevinding van de originele WARCEF-trial (HR = 1,01, p = 0,91), die concludeerde dat er geen statistisch significant verschil was tussen warfarine en aspirine.
• Interpretatie: Ondanks verschillen in cohortsamenstelling behielden de geoptimaliseerde criteria de oorspronkelijke conclusie van neutraliteit van de trial, wat de mogelijkheid van het kader valideert om de klinische intentie te behouden terwijl de toepasbaarheid in de echte wereld wordt verbeterd.

Ablatiestudie (Impact van beslissingen over behandeling):
De auteurs voerden een ablatiestudie uit op de criterion "vereist voortdurende therapie met laagmoleculairgewicht-heparine (LMWH)".

• Scenario A (Strikte Uitsluiting): Het behandelen van LMWH-gebruik als een strikte uitsluitingscriterion resulteerde in een statistisch significante scheiding tussen behandelingsgroepen (p = 0,0347).
• Scenario B (Verwarring): Het behandelen van LMWH-gebruik als een verwarring (statistisch aangepast) resulteerde in een niet-significant verschil (p = 0,0605).
• Conclusie: De studie toonde aan dat beslissingen over kwalificatiebehandeling de waargenomen behandelingseffecten materieel beïnvloeden. Het herclassificeren van een variabele van een filter naar een verwarring voorkwam selectiebias die de schijnbare behandelingseffecten kunstmatig zou hebben opgeblazen.

5. Betekenis en Implicaties

• Methodologische vooruitgang: AERO verschuift kwalificatieaanpassing van een subjectieve, handmatige voorverwerkingsstap naar een systematisch, transparant en door AI gedreven ontwerponderdeel van causale inferentie.
• Bias-mitigatie: Door onderscheid te maken tussen veiligheidsuitsluitingen en verwarrende factoren, vermindert het kader de selectiebias die wordt veroorzaakt door te restrictieve filtering in observationele data.
• Reproduceerbaarheid: De gestructureerde taxonomie (Opname, Uitsluiting, Verwarring, Verwijderen) verbetert de reproduceerbaarheid van doeltrial-nabootsing over verschillende studies en instellingen heen.
• Toekomstperspectief: Naarmate regelgevende instanties steeds meer vertrouwen op RWE, zijn kaders zoals AERO cruciaal voor het schalen van de vertaling van RCT-protocollen naar RWE-generatie, zodat de conclusies van klinische trials geldig blijven wanneer ze worden toegepast op diverse, routinematige klinische populaties.

Opgemerkte beperkingen: De studie was gebaseerd op één trialgeval (WARCEF); bredere validatie is nodig. Bovendien is het kader afhankelijk van LLM-redenering, wat gevoelig kan zijn voor promptstructuren, en blijft residuale verwarring die inherent is aan EHR-data een uitdaging.