Context-Aware Emergency Department Triage Using Pairwise Comparisons and Bradley-Terry Aggregation

Dit onderzoek toont aan dat een op Bradley-Terry-aggregatie gebaseerde rangschikking met een LLM-keurder de ESI-triage verbetert en cross-site stabiel presteert zonder lokale training, terwijl het prestaties van gesuperviseerde modellen benadert.

De kern

Hoe een slimme AI de wachtlijst in de spoedeisende hulp (SEH) kan verbeteren

Stel je voor dat de wachtkamer van een ziekenhuis een drukke luchthaven is. Er staan honderden passagiers (patiënten) in de rij, en er is maar één gate (de arts) die op dat moment open is. De vraag is: wie mag er als eerste naar binnen?

Normaal gesproken werkt dit als volgt: een verpleegkundige geeft elke passagier een sticker met een cijfer (bijvoorbeeld 1 tot 5, waarbij 1 het gevaarlijkst is). Maar als er twintig mensen met een '3' in de rij staan, moeten ze vaak in de volgorde van aankomst wachten (eerst komen, eerst bediend). Het probleem is dat iemand met een '3' die er rustig uitziet, misschien stiekem veel gevaarlijker is dan iemand die er ziek uitziet maar een '4' heeft gekregen.

Dit onderzoek probeert een nieuwe manier om die rij te organiseren. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het oude probleem: Het "Losse Cijfer"

Huidige systemen kijken naar elke patiënt als een eilandje. Ze zeggen: "Deze persoon heeft een hartslag van 100, dus hij krijgt een 3." Ze kijken niet naar de rest van de rij. Het is alsof je in een race de snelheid van elke renner apart meet, maar vergeet te kijken wie er op dat moment het hardst aan het rennen is ten opzichte van de anderen.

2. De nieuwe oplossing: De "Slimme Vergelijker"

De onderzoekers (artsen en data-experts) hebben een systeem bedacht dat werkt als een rechter in een toernooi. In plaats van een score te geven, vergelijkt het systeem patiënten met elkaar.

• De Analogie: Stel je hebt twee appels in je hand. De ene ziet er een beetje verrot uit, de andere is heel. Je hoeft niet te weten hoe "verrot" een appel exact is (een cijfer), je weet gewoon: deze ene is slechter dan die andere.
• De techniek: Het systeem pakt een nieuwe patiënt en vergelijkt hem met een paar mensen die al in de rij staan. "Wie is er op dit moment in meer gevaar?"
• De slimme rechter: Om deze vergelijking te maken, gebruiken ze een zeer slimme computer (een AI, specifiek een Large Language Model zoals GPT-4.1). Deze AI leest niet alleen de hartslag, maar ook de volledige medische geschiedenis, de medicijnen die iemand slikt en de klachten. Het is alsof je een ervaren arts vraagt om snel te oordelen wie er de meeste aandacht nodig heeft, gebaseerd op het volledige verhaal.

3. De "Bradley-Terry" Methode: De Scorebord

Als je 100 mensen met elkaar vergelijkt, krijg je duizenden kleine oordelen. Hoe maak je daar één duidelijke rij van?
Ze gebruiken een wiskundige methode (Bradley-Terry) die werkt als een groot scorebord. Als AI zegt: "Patiënt A is gevaarlijker dan B", en "B is gevaarlijker dan C", dan weet het systeem automatisch dat A bovenaan moet staan. Zelfs als de vergelijkingen soms tegenstrijdig lijken, zorgt de wiskunde voor een eerlijke en logische volgorde.

4. Wat hebben ze ontdekt? (De resultaten)

Ze hebben dit getest op twee grote ziekenhuis-databases (één in Dallas, één in Boston) met honderdduizenden patiënten.

• Beter dan de standaard: Het nieuwe systeem vond veel sneller de mensen die echt gevaar liepen om ernstig ziek te worden of te sterven, dan de huidige methoden (zoals de standaard ESI-scores).
• De "Zero-Shot" Superkracht: Dit is het coolste deel. Meestal moet je een computerprogramma "trainen" met data van dat specifieke ziekenhuis. Maar dit AI-systeem werkt direct, zonder training. Het is alsof je een chef-kok meeneemt naar een nieuw restaurant; hij hoeft niet eerst de keuken te leren kennen, hij kan direct koken omdat hij de basisprincipes al kent.
  • Een traditioneel computermodel (XGBoost) dat wel getraind was, werkte goed in het eerste ziekenhuis, maar viel flink tegen in het tweede ziekenhuis.
  • De AI-rijverdeling bleef stabiel en goed presteren in beide ziekenhuizen.

5. Waarom is dit belangrijk?

In een drukke SEH is elke minuut telt. Als je de meest zieke patiënten niet als eerste ziet, kan dat levens kosten.

• Minder stress: Verpleegkundigen hoeven niet meer zelf te raden wie er het eerst moet; het systeem geeft een slimme suggestie.
• Veiligheid: Het systeem ziet patronen die mensen misschien missen (bijvoorbeeld: iemand die er rustig uitziet, maar een zeldzame medicijncombinatie heeft die gevaarlijk is).
• Kosten: Het kost bijna niets om dit te draaien (ongeveer $1,50 per dag voor een heel ziekenhuis).

Conclusie

Dit onderzoek laat zien dat we de rij in de SEH niet hoeven te ordenen op basis van wie er het eerst kwam of wie het hardste schreeuwt. Door slimme vergelijkingen te maken met behulp van AI, kunnen we de juiste mensen op het juiste moment helpen. Het is alsof we een extra paar ogen hebben die de hele wachtkamer in één oogopslag overziet en de meest dringende gevallen direct naar voren haalt.

Technische samenvatting

Probleemstelling

Huidige triagesystemen in de spoedeisende hulp (SEH), zoals de Emergency Severity Index (ESI) of het National Early Warning Score 2 (NEWS2), functioneren primair als classificatie-instrumenten. Ze wijzen elke patiënt een onafhankelijk acuïteitsniveau toe. Dit leidt tot twee fundamentele beperkingen:

1. Gebrek aan context: Binnen een bepaald acuïteitsniveau (bijv. ESI-3) wordt de volgorde van behandeling vaak bepaald door "first-in-first-out" (FIFO), zonder rekening te houden met de relatieve urgentie ten opzichte van andere wachtende patiënten.
2. Generaliseerbaarheid: Toezicht op risicomodellen (supervised machine learning) vereist grote, gelabelde datasets per locatie. Deze modellen presteren vaak slechter bij externe validatie (overdracht naar andere ziekenhuizen) door veranderingen in patiëntpopulaties en data-distributies.

De kernvraag is niet alleen "hoe ziek is deze patiënt?", maar "wie moet er nu gezien worden in vergelijking met de anderen in de wachtkamer?". Dit is een rangschikkingprobleem (ranking problem) in plaats van een classificatieprobleem.

Methodologie

De auteurs hebben een nieuw raamwerk ontwikkeld dat SEH-triage omvormt tot een paarsgewijze rangschikkingstaak, geaggregeerd via het Bradley-Terry-model.

1. Datsets:

• Ontwikkelingsdataset (Site A): MC-MED dataset (118.385 bezoeken, UT Southwestern).
• Externe validatie (Site B): MIMIC-IV-ED dataset (425.087 bezoeken, een ander academisch centrum).
• Outcome: Een samengesteld criterium voor klinische verslechtering binnen 6 uur (ICU-opname, intubatie, vasopressoren, mechanische ventilatie of overlijden).

2. De "Triage Capsule":
Voor elke patiënt werd een data-pakket samengesteld met informatie beschikbaar bij aankomst: demografie, vitale tekens, hoofdklacht, ESI-niveau, voorgeschiedenis (PMH) en medicatie.

• Gestructureerd formaat: Samenvattingen en binaire vlaggen.
• Verrijkt formaat: Volledige diagnosebeschrijvingen en medicatienamen (voor betere context).

3. Het Rangschikkingssysteem (Bradley-Terry + LLM):

• Principe: In plaats van een absolute score te geven, wordt een nieuwe patiënt paarsgewijs vergeleken met "sentinel"-patiënten uit de huidige wachtrij (geselecteerd op kwantielen van de ernstverdeling).
• De "Judge" (Beoordelaar): Verschillende methoden werden getest:
  • Deterministisch: NEWS2-gebaseerde heuristiek.
  • Supervised ML: XGBoost-model (getraind op Site A, toegepast op Site B zonder hertraining).
  • LLM (GPT-4.1): De LLM fungeerde als beoordelaar die de klinische context van twee patiënten vergelijkt en bepaalt wie er eerst gezien moet worden.
• Aggregatie: De uitkomsten van deze paarvergelijkingen worden geaggregeerd met het Bradley-Terry-model om een consistente latentere ernstscore ($\theta$) voor elke patiënt te genereren, wat resulteert in een geoptimaliseerde wachtrij.

4. Simulatie:
Er werden 1.000 shifts (Site A) en 500 shifts (Site B) gesimuleerd. De "Time-to-Provider" (TTP) werd gemodelleerd als een functie van de positie in de wachtrij om operationele impact te evalueren.

Belangrijkste Resultaten

1. Prestaties op de Ontwikkelingsdataset (MC-MED):

• BT-LLM-Enriched (LLM met verrijkte data) overtrof de standaard ESI significant op de primaire eindmaat Recall@5 (het aandeel verslechterende patiënten in de top 5 van de wachtrij): 0,587 vs. 0,491 ($p < 0,001$).
• Een XGBoost-model (supervised learning) behaalde de hoogste Recall@5 (0,648), maar vereiste lokale training.
• Elke stap in de complexiteit van de vergelijking (van heuristiek naar gestructureerde LLM naar verrijkte LLM) leidde tot significante verbeteringen.

2. Externe Validatie (MIMIC-IV-ED) - Cross-site Stabiliteit:

• Supervised ML (XGBoost): De prestaties verslechterden aanzienlijk bij overdracht naar Site B zonder hertraining (AUROC daalde van 0,892 naar 0,807; Recall@5 daalde van 0,648 naar 0,502).
• BT-LLM-Enriched: De prestaties bleven stabiel (AUROC 0,826 vs. 0,831; Recall@5 0,587 vs. 0,481).
• Op de externe dataset waren BT-LLM-Enriched en XGBoost statistisch niet van elkaar te onderscheiden op de meeste metrieken, maar de LLM-variant behaalde een significant lagere "tail wait" (95e percentiel wachttijd) dan XGBoost.
• Bias: ESI toonde een significant verschil in identificatie van verslechterende patiënten op basis van aankomstmodus (EMS vs. zelf-aankomst), terwijl BT-LLM-Enriched dit verschil niet vertoonde.

3. Operationele Impact:

• De LLM-gebaseerde rangschikking leidde tot kortere wachttijden voor verslechterende patiënten in vergelijking met ESI en NEWS2.
• De kosten voor LLM-inferentie werden geschat op ongeveer $1,50 per dag voor een SEH van 150 patiënten, wat zeer laag is.

Kernbijdragen

1. Paradigmaverschuiving: Het bewijzen dat het herformuleren van triage van een classificatie- naar een rangschikkingstaak (via paarvergelijkingen) de identificatie van hoog-risico patiënten verbetert.
2. Zero-shot Generalisatie: Het aantonen dat een LLM-gebaseerde rangschikking (zonder lokale training) stabiel presteert over verschillende ziekenhuizen, terwijl traditionele supervised modellen (zoals XGBoost) significant in prestatie dalen bij externe validatie.
3. Contextuele Rijkdom: Het bewijs dat het gebruik van verrijkte klinische data (volledige diagnoses en medicijnen) door een LLM, in plaats van alleen samenvattende vlaggen, de rangschikkingkwaliteit aanzienlijk verbetert.
4. Modulariteit: Een framework dat verschillende "judges" (van heuristiek tot LLM) kan integreren, waardoor het flexibel is voor verschillende infrastructuurniveaus.

Significantie en Conclusie

De studie biedt een veelbelovende oplossing voor de beperkingen van huidige SEH-triagesystemen. Door gebruik te maken van pairwise comparisons en Bradley-Terry-aggregatie, kan een systeem de relatieve urgentie van patiënten direct bepalen zonder afhankelijk te zijn van lokale trainingsdata.

De belangrijkste implicatie is dat Large Language Models (LLMs) als "zero-shot" beoordelaars kunnen fungeren die cross-site stabiel zijn, terwijl ze tegelijkertijd complexe, ongestructureerde klinische context kunnen integreren die traditionele modellen missen. Dit systeem kan dienen als een beslissingsondersteuningslaag die de cognitieve last op verpleegkundigen verlaagt en de veiligheid van patiënten verhoogt door de meest kritieke patiënten sneller te identificeren, zonder de noodzaak van kostbare en tijdrovende lokale modeltraining.

De auteurs benadrukken dat dit een methodologisch bewijs van concept is en dat prospectieve evaluatie in de echte klinische praktijk noodzakelijk is voordat implementatie plaatsvindt.