PACE-RAG: Patient-Aware Contextual and Evidence-based Policy RAG for Clinical Drug Recommendation

Probleemstelling

Het aanbevelen van medicatie is een complexe klinische uitdaging die een sterk gepersonaliseerde strategie vereist, afgestemd op de unieke klinische presentatie van elke patiënt. Hoewel Large Language Models (LLMs) over uitgebreide medische kennis beschikken, kampen ze met twee belangrijke beperkingen in de praktijk:

1. Gebrek aan context: Ze missen vaak de subtiele nuances van werkelijke voorschrijfgewoonten en kunnen geen rekening houden met de specifieke, individuele klinische trajecten van patiënten.
2. Beperkingen van bestaande RAG-methoden:
   • Richtlijn-gebaseerde RAG (Guideline RAG): Haalt informatie uit standaardrichtlijnen, wat leidt tot te generieke aanbevelingen die de heterogeniteit van individuele patiënten negeren.
   • Patiënt-gebaseerde RAG (zoals TreatRAG): Haalt vergelijkbare historische gevallen op, maar loopt het risico op een "meerderheidsbias" (majority bias). Hierbij kopieert het model simpelweg de meest voorkomende voorschrijfpatronen uit de opgehaalde groep, zonder rekening te houden met de specifieke klinische redenering voor dat individuele geval.

Methodologie: PACE-RAG

De auteurs stellen PACE-RAG (Patient-Aware Contextual and Evidence-based Policy RAG) voor, een nieuw raamwerk dat individuele patiëntcontext synthetiseert met voorschrijftendensen van vergelijkbare gevallen. Het systeem werkt via een vierstaps redeneerproces:

1. Stage 1: Focus-Specifieke Opzoeking (Focus-Specific Retrieval)

   • In plaats van ongestructureerde volledige teksten te gebruiken, extraheert een "Focus Query Extractor" specifieke, actuele klinische signalen (symptomen) uit de huidige klinische notitie.
   • Het systeem zoekt vervolgens in een patiëntendatabase naar vergelijkbare gevallen die specifiek op deze symptoomniveau-woorden (keywords) matchen, in plaats van op globale semantische gelijkenis. Dit verhoogt de relevantie van de opgehaalde data.

2. Stage 2: Analyse van Voorschrijftendensen (Prescribing Tendency Analysis)

   • Het model analyseert de opgehaalde vergelijkbare gevallen om specifieke toevoegingen aan medicatie te identificeren die direct gekoppeld zijn aan het geïsoleerde symptoom.
   • Het filtert algemene of routinematige medicijnen eruit en focust alleen op bewijsmateriaal voor acute interventies. Als er geen duidelijk bewijs is voor een nieuwe medicatie voor dat specifieke symptoom, wordt de output leeg gelaten om hallucinaties te voorkomen.

3. Stage 3: Beleid-gedreven Verfijning van het Voorschrift (Policy-Driven Prescription Refinement)

   • Dit is een verificatiestap die de initiële voorschrift (gegenereerd door de LLM) controleert tegen de geanalyseerde tendensen.
   • Het gebruikt een strikt algoritme met drie beleidsregels:
     • Behoud (Maintain): Bestaande medicatie van de patiënt wordt standaard behouden tenzij er contra-indicaties zijn.
     • Toevoegen (Add): Nieuwe medicatie wordt alleen toegevoegd als er een hoogwaardig bewijs is uit de vergelijkbare gevallen (de "tendensen").
     • Verwijderen (Remove): Medicatie wordt alleen verwijderd bij duidelijk negatief bewijs (bijv. bijwerkingen).
   • Dit voorkomt dat het model blindelings de "meerderheidsbias" van de opgehaalde data volgt.

4. Stage 4: Verklaarbare Klinische Samenvatting (Explainable Clinical Summary)

   • Het systeem genereert een interpreteerbaar rapport dat de beslissingsroute samenvat. Dit bevat de patiëntensituatie, de geëxtraheerde sleutelwoorden, het klinische bewijs uit vergelijkbare gevallen en de uiteindelijke medicatie met de onderliggende redenering. Dit waarborgt klinisch vertrouwen.

Belangrijkste Bijdragen

• Nieuw Raamwerk: PACE-RAG overwint de over-veralgemening van richtlijn-gebaseerde systemen en de meerderheidsbias van vergelijkbare-patiënt-systemen door symptom-specifieke redenering te integreren.
• Vierstaps Methodologie: Een unieke pipeline die focus-specifieke signalen extraheren, tendensanalyse uitvoert en voorschriften verifieert via een beleidsmechanisme.
• Generaliseerbaarheid: Het systeem is getest op zowel een real-world Parkinson-dataset als de grote MIMIC-IV benchmark, wat bewijst dat het robuust is voor heterogene, multi-symptoom klinische contexten.
• Efficiëntie: Het raamwerk presteert beter met kleine, open-source modellen (8B parameters) dan met veel grotere gesloten modellen (tot 72B parameters), wat kosteneffectieve en privacy-vriendelijke implementatie mogelijk maakt.

Resultaten

Het systeem werd geëvalueerd op twee datasets: een real-world Parkinson-dataset (HPH) en de MIMIC-IV benchmark.

• Prestaties op HPH (Parkinson):
  • Met Llama-3.1-8B bereikte PACE-RAG een F1-score van 76,30% en een nauwkeurigheid van 78,44%.
  • Met Qwen3-8B bereikte het een F1-score van 80,84% en een nauwkeurigheid van 82,75%.
  • Dit is significant beter dan baselines zoals Zero-shot, Guideline RAG, TreatRAG en MedReflect.
• Generalisatie naar MIMIC-IV:
  • PACE-RAG behaalde de beste resultaten op bijna alle metrieken, met een F1-score van 47,22% (Qwen3-8B), wat aanzienlijk hoger is dan andere methoden.
• Vergelijking met Grootere Modellen:
  • PACE-RAG (gebaseerd op een 8B-model) overtrof zelfs veel grotere modellen zoals Qwen2.5-72B (F1 72,84% op Parkinson) en Qwen2.5-32B (F1 78,12%). Dit toont aan dat de architectuur efficiënter redeneert dan puur grotere modelgroottes.
• Klinische Validatie:
  • Een blinde evaluatie door twee Parkinson-specialisten toonde aan dat PACE-RAG in 70% van de gevallen de voorkeur kreeg boven Guideline RAG op criteria zoals klinische nauwkeurigheid, veiligheid en redenering.

Betekenis en Conclusie

PACE-RAG biedt een robuuste, klinisch onderbouwde oplossing voor gepersonaliseerde medicatiebeslissingen. Door de combinatie van symptom-specifieke opzoeking, bewijsgebaseerde tendensanalyse en een strikt verificatiebeleid, slaagt het erin om de "real-world" ervaring van artsen te simuleren zonder afhankelijk te zijn van enorme, dure modellen. Het systeem biedt niet alleen een voorschrift, maar ook een transparante, verklaarbare onderbouwing, wat essentieel is voor de adoptie van AI in de klinische praktijk. De code is open source beschikbaar gesteld, wat verdere onderzoek en implementatie faciliteert.