Structured Workflows and Retrieval-Augmented Generation Improve LLM Recommendations for Colorectal Liver Metastases: The METATRON Study

Technische Samenvatting: Gestructureerde Workflows en Retrieval-Augmented Generation Verbeteren de LLM-Aanbevelingen voor Colorectale Levermetastasen (De METATRON-studie)

Probleemstelling

Large Language Models (LLM's) tonen veelbelovende resultaten voor klinische besluitvormingsondersteuning, maar kampen met significante beperkingen in complexe oncologie, waaronder hallucinaties, incomplete naleving van richtlijnen en inconsistente prestaties over verschillende scenario's heen. Hoewel recente studies suggereren dat LLM's kunnen aansluiten bij deskundige meningen, wijzen systematische reviews erop dat ze moeite hebben met autonome inzetbaarheid in multidisciplinaire settings. Specifiek vereist het beheer van colorectale levermetastasen (CRLM) de integratie van tumorbio-logie, respons op systemische therapie, technische resecteerbaarheid en de status van extrahepatische ziekte. Huidige LLM-toepassingen missen vaak de gestructureerde redeneerarchitectuur die nodig is om de sequentiële, adaptieve cognitieve processen van deskundige hepatobiliaire chirurgen tijdens multidisciplinaire tumorboard (MDT) discussies te reproduceren. Het blijft onduidelijk of gestructureerde klinische workflows en retrieval-augmented generation (RAG) de concordantie van door LLM gegenereerde aanbevelingen met deskundige referentiestandaarden in dit hoog-risico domein kunnen verbeteren.

Methodologie

De studie evalueerde vier inferentiestrategieën gebouwd op een enkele basis-LLM (gpt-oss-120B, lokaal uitgerold) met behulp van een dataset van 110 synthetische CRLM klinische vignettes. Deze vignettes bestonden uit acht representatieve klinische scenario's, waaronder synchrone/metachrone metastasen, herbeoordeling na chemotherapie, en anatomisch uitdagende gevallen. Cruciaal was dat geselecteerde gevallen doelbewust variabelen weglieten die cruciaal zijn voor de besluitvorming, om de capaciteit van de modellen te testen om onvoldoende informatie te herkennen.

De vier vergeleken strategieën waren:

1. LLM-baseline: Standaard prompting zonder aanvullende begeleiding of retrieval.
2. RAG-LLM: Baseline prompting aangevuld met een vector database met 292 documenten uit internationale richtlijnen (ESMO, NCCN, AHPBA) en peer-reviewed literatuur.
3. WF-LLM (Workflow-gestuurd): Een strategie die een door experts afgeleide, boomstructuur van klinische redenering incorporeert. Deze workflow, gecodeerd in JSON, formaliseert het cognitieve proces van de hepatobiliaire chirurg in vier domeinen: beoordeling van de primaire tumor, beoordeling van de hepatische ziekte, beoordeling van de extrahepatische ziekte en anatomische haalbaarheid. Het werkt via een tweefasig proces: (1) gestructureerde casusanalyse waarbij specifieke waarden worden geëxtraheerd of "Ontbrekend" data wordt gemarkeerd, en (2) generatie van aanbevelingen op basis van deze gestructureerde analyse.
4. WF-RAG-LLM: Een hybride strategie die de gestructureerde workflowanalyse combineert met retrieval-augmented context.

Evaluatiekader:
Aanbevelingen werden beoordeeld door drie onafhankelijke LLM-judges (Claude Sonnet 4.6, GPT-4o, Llama 3.3 70B) tegenover deskundige referentie-aanbevelingen gegenereerd door een senior hepatobiliaire chirurg. Evaluatie vond plaats over vijf dimensies op een 1–5 Likert-schaal:

• Volledigheid (Completeness): Dekking van belangrijke klinische domeinen.
• Stap-concordantie (Step Concordance): Reproductie van de sequentie van klinische beslissingen.
• Casus-specifieke Concordantie (Case Tailoring Concordance): Incorporatie van patiëntspecifieke factoren.
• Ontbrekende-data Concordantie (Missing-data Concordance): Identificatie van cruciale ontbrekende informatie.
• MDT Beslissings-concordantie (MDT Decision Concordance): Afstemming met de uiteindelijke behandelbeslissing.

Daarnaast mat een zero-shot Named Entity Recognition (NER) pipeline de lexicale concordantie op entiteitsniveau, en analyseerden confusion matrices de anatomische resecteerbaarheidsklassificatie (compliant vs. non-compliant).

Belangrijkste Bijdragen

• Door Experts Afgeleide Redeneerarchitectuur: De studie introduceert een workflow-gestuurde benadering die deskundige klinische kennis formaliseert in een gestructureerd, hiërarchisch redeneerkader (JSON-schema). In tegenstelling tot eenvoudige prompting, dwingt deze architectuur de LLM om expliciet specifieke beslissingsdomeinen te evalueren (bijv. FLR-adequatie, vasculaire betrokkenheid) voordat een aanbeveling wordt gesynthetiseerd, wat de adaptieve aard van menselijke MDT-discussies weerspiegelt.
• Gedifferentieerde Impact van RAG en Workflow: De studie toont aan dat RAG en gestructureerde workflows complementaire cognitieve functies adresseren. RAG verbetert primair de herkenning van ontbrekende informatie, terwijl workflow-begeleiding de organisatie en coherentie van klinische redenering verbetert.
• Granulaire Evaluatie: Het onderzoek gaat verder dan globale prestatie-indicatoren door scenario-specifieke prestaties te analyseren (bijv. post-chemotherapie vs. metachrone gevallen) en specifieke chirurgische taken zoals anatomische resecteerbaarheidsclassificatie.

Resultaten

• Algemene Prestaties: De WF-RAG-LLM strategie behaalde de hoogste geaggregeerde samengestelde score (0.626 ± 0.070), waarmee het RAG-LLM (0.559), WF-LLM (0.527) en de baseline (0.444) versloeg.
• Dimensie-specifieke Winsten:
  • Ontbrekende-data Concordantie: RAG-LLM behaalde de hoogste score (0.486) in deze dimensie, wat de baseline (0.130) significant overtrof. Dit suggereert dat retrieval-mechanismen modellen helpen identificeren wanneer informatie onvoldoende is.
  • Redeneerdimensies: Workflow-gestuurde strategieën (WF-LLM en WF-RAG-LLM) vertoonden de grootste winsten in Stap-concordantie, Casus-specifieke afstemming en MDT Beslissings-concordantie.
  • Volledigheid: Alle strategieën behaalden hoge scores voor volledigheid, wat aangeeft dat moderne LLM's uitgebreide tekst kunnen genereren zelfs zonder structurele begeleiding; het onderscheidende punt was de organisatie van die informatie.
• Scenario-variabiliteit: Prestaties varieerden significant per klinisch scenario. Metachrone metastasen vertoonden de hoogste afstemming, terwijl post-chemotherapie metastasen het meest uitdagend waren, met name voor stap-concordantie. De hybride WF-RAG strategie toonde de meest significante verbetering in deze complexe scenario's.
• Anatomische Resecteerbaarheid: Workflow-gestuurde strategieën verbeterden de detectie van anatomisch non-compliant gevallen (True Positives namen toe van 1 in baseline/RAG naar 6 in WF-RAG), waardoor de macro F1-score steeg van ~0.50 naar ~0.64. Echter, de sensitiviteit bleef onvoldoende (40%) voor autonoom klinisch gebruik.
• Statistische Significantie: De Claude Sonnet 4.6 judge detecteerde statistisch significante verschillen over alle criteria, waarbij de voorkeur uitging naar WF-RAG-LLM. GPT-4o vond significantie in stap-concordantie, ontbrekende-data en MDT beslissingscriteria. Llama 3.3 toonde een lagere sensitiviteit en vond enkel significantie in de concordantie van ontbrekende data.

Betekenis en Claims

Het artikel claimt dat de prestaties van LLM-ondersteunde besluitvorming in complexe oncologie niet uitsluitend een functie zijn van de capaciteit van het foundation model, maar kritisch afhankelijk zijn van de inferentiestrategie en de klinische redeneerarchitectuur eromheen.

• Complementaire Mechanismen: De studie stelt dat klinisch geïnformeerde redeneerarchitecturen (workflows) en kennisgronding (RAG) complementair zijn. Workflows organiseren het redeneerproces om aan te sluiten bij deskundige cognitie, terwijl RAG de capaciteit van het model om informatie-onzekerheid te detecteren versterkt.
• Verschuiving in Focus: De auteurs betogen dat de toekomstige ontwikkeling de focus moet verleggen van louter het schalen van foundation modellen naar het expliciet modelleren van deskundige klinische redenering. De workflow fungeert als een "reproduceerbaar en auditeerbaar" alternatief voor onbeperkte prompting.
• Veiligheid en Beperkingen: De studie concludeert bescheiden dat hoewel WF-RAG-LLM de hoogste concordantie bereikt, het nog niet klaar is voor autonome inzetbaarheid. De sensitiviteit voor het detecteren van anatomische non-compliance blijft laag, en de studie was gebaseerd op simulaties met synthetische vignettes.
• Toekomstige Richting: De auteurs benadrukken dat de volgende stap prospectieve validatie binnen echte MDT's is om klinische bruikbaarheid, workflow-efficiëntie en patiëntuitkomsten te beoordelen, in plaats van directe klinische implementatie. De bevindingen suggereren dat "klinisch geïnformeerde redeneerarchitecturen" een noodzakelijk onderdeel zijn voor betrouwbare AI in multidisciplinaire besluitvorming.