LLM-PathwayCurator transforms enrichment terms into audit-gated decision-grade claims

LLM-PathwayCurator zet verrijkingstermen om in controleerbare, bewijsgebonden claims voor omics-interpretatie, waarbij een audit-gated mechanisme de kwaliteit waarborgt ondanks variaties in context en genondersteuning.

De kern

Stel je voor dat je een enorme bibliotheek hebt vol met boeken over genen (de bouwplannen van ons lichaam). Wetenschappers gebruiken speciale software om te kijken welke "hoofdstukken" (paden of pathways) in deze boeken actief zijn bij bepaalde ziektes, zoals kanker. Dit heet paden-verrijking.

Het probleem is dat deze software vaak een lange, saaie lijst met termen teruggeeft, zoals "Immuunsysteem actief" of "Celgroei versneld". Een mens moet dan zelf beslissen: Is dit belangrijk? Is het waar? En geldt dit voor deze specifieke patiënt? Dit is vaak subjectief en moeilijk te controleren.

LLM-PathwayCurator is een nieuwe tool die dit proces volledig verandert. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Gedetailleerde Rekenmachine" (De EvidenceTable)

Stel je voor dat de software niet alleen zegt "Het regent", maar ook direct de bewijzen levert: "Het regent, want de grond is nat, de mensen hebben paraplu's en de lucht is grijs."
Deze tool neemt de ruwe data en zet het om in een bewijsregister. Voor elke conclusie wordt exact genoteerd: Welke genen ondersteunen dit? Als je de conclusie wilt controleren, kun je direct zien op welke "steunpilaren" (genen) het staat.

2. De "Stress-test" (Stabiliteit)

Nu komt het slimme deel. Stel je voor dat je een huis bouwt. Je wilt weten of het huis stevig is.

• De test: De tool pikt willekeurig een paar bakstenen (genen) uit het fundament en doet alsof ze weg zijn.
• Het resultaat: Blijft het huis staan? Of stort het in?
  • Als het huis instort, is de conclusie te zwak. De tool zegt dan: "Ik durf dit niet te beweren, het is te fragiel." (Dit noemen ze ABSTAIN of onthouding).
  • Als het huis overeind blijft, is de conclusie robuust.

3. De "Context-Checker" (De Sample Card)

Stel je voor dat je een recept voor een Italiaanse pasta hebt. Als je dat recept gebruikt om een Japanse sushi te maken, is dat raar.
De tool heeft een Context-kaart (Sample Card) die zegt: "We kijken naar longkanker bij rokers."

• Als de tool een conclusie probeert te trekken die eigenlijk voor borstkanker geldt, zegt de tool: "Wacht even, dit past niet bij de context."
• Zonder deze check zouden computers vaak onzin gaan zeggen die klinkt als waarheid, maar voor de verkeerde situatie is.

4. De "AI-Assistent met een Strenge Chef" (LLM + Audit Gates)

Hier komt de kunstmatige intelligentie (LLM) om de hoek kijken, maar niet zoals je denkt.

• De AI is de kok: De AI mag suggesties doen voor het menu (de conclusies).
• De Chef is de auditor: De AI mag geen beslissingen nemen. De Chef kijkt naar het menu van de AI en checkt streng:
  1. Zijn de bewijzen (de ingrediënten) aanwezig?
  2. Is het bestand tegen de stress-test?
  3. Past het bij de context?
• Als de Chef een fout ziet, zegt hij: "FAIL" (Niet doen) of "ABSTAIN" (Niet zeggen). Alleen als alles perfect is, zegt hij "PASS" (Goedkeuring).

Waarom is dit belangrijk?

Vroeger waren conclusies over genen vaak als een vage droom: "Het lijkt erop dat dit belangrijk is."
Met deze tool zijn het rechtbank-klare bewijzen: "Dit is waar, gebaseerd op deze specifieke genen, en het is getest om te zien of het standhoudt."

Kort samengevat:
Deze tool zorgt ervoor dat computers niet meer "gissen" naar wat er in onze genen gebeurt. Ze fungeren als een onvermoeibare, strenge auditor die elke bewering controleert op stevigheid en relevantie. Als een bewering niet 100% waterdicht is, houdt de tool het gewoon stil, in plaats van dat het een foutieve conclusie geeft. Dit maakt medische ontdekkingen veel betrouwbaarder en reproduceerbaar.

Technische samenvatting

Probleemstelling

Pathway-verrijking (enrichment) analyse is een standaardmethode voor het interpreteren van 'omics'-data (zoals genexpressie). Huidige methoden leveren echter vaak alleen verrijkingstermen en samenvattende statistieken op, waarbij de interpretatie en validatie van deze resultaten volledig aan de menselijke analist wordt overgelaten. Dit leidt tot verschillende problemen:

• Gebrek aan reproduceerbaarheid: Analisten selecteren subjectief representatieve termen uit clusters van bijna-duplicate resultaten.
• Onauditeerbare LLM-outputs: Hoewel Large Language Models (LLMs) kunnen helpen bij het genereren van narratieve interpretaties, zijn deze vrij tekstuele outputs moeilijk te reproduceren en niet te controleren via regels. Ze missen verifieerbare koppelingen tussen claims en bewijs (zoals specifieke term-identificatoren en ondersteunende genen).
• Fragiliteit: Bestaande interpretaties kunnen niet systematisch worden getoetst op drift in bewijskoppeling, interne tegenstrijdigheden, context-specifiekheid of kwetsbaarheid bij veranderingen in de ondersteunende genen.

Methodologie: LLM-PathwayCurator

De auteurs hebben LLM-PathwayCurator ontwikkeld, een workflow die verrijkingstermen omzet in controleerbare, bewijs-gekoppelde claims met een "audit-gated" (gecontroleerde) besluitvorming. De kernprincipes zijn:

1. Normalisatie naar EvidenceTable:

   • Outputs van rang-gebaseerde methoden (bijv. fgsea/GSEA) en over-representatie analyses (ORA, bijv. Metascape) worden genormaliseerd naar een gestructureerde EvidenceTable.
   • Deze tabel koppelt elke verrijkte term aan zijn ondersteunende genen, inclusief een hash van de genenset voor deterministische traceerbaarheid.

2. Deterministische Stabiliteitsanalyse:

   • Het systeem voert deterministische perturbaties uit op de ondersteunende genen (bijv. "dropout" of toevoeging van genen) om stabiliteitsscores te berekenen zonder de verrijking opnieuw te draaien.
   • Een bipartiete grafiek (termen vs. genen) wordt gefactoriseerd in modules om gedeelde ondersteuning en redundantie te identificeren.

3. Beperkte LLM-rol (Proposal-Only):

   • De LLM fungeert niet als de beslisser, maar alleen als een voorsteller. De LLM gebruikt een gestructureerde "Sample Card" (context: conditie, weefsel, verstoring, vergelijking) om context-consistente vertegenwoordigers te selecteren.
   • De LLM genereert schema-gebonden JSON-claims met resolvable links naar de EvidenceTable.
   • Cruciaal: De LLM mag geen vrije tekst gebruiken voor bewijs; alle identificatoren en hashes worden deterministisch door het systeem ingevuld en geverifieerd.

4. Audit-gated Besluitvorming:

   • Een vooraf gedefinieerde reeks regelgebaseerde "audit gates" evalueert elke claim en wijst een van de volgende statussen toe: PASS, ABSTAIN (onthouding) of FAIL.
   • De beslissingen zijn gebaseerd op:
     • Integriteit van de bewijskoppeling (hash-verificatie).
     • Stabiliteit (boven een drempelwaarde $\tau$).
     • Contextvaliditeit (getest via "context swap" stress-tests).
     • Interne tegenstrijdigheden (bijv. claims met tegengestelde richtingen op hetzelfde bewijs).
   • De workflow prioriteert claims met een deterministische "utility score" (gebaseerd op verrijkingssterkte, stabiliteit en context-fit) en genereert een modulekaart om redundantie te visualiseren.

Belangrijkste Resultaten

De tool werd geëvalueerd op zeven TCGA-cohorten (bijv. BRCA, LUAD, HNSC) en het BeatAML2-cohort, met $k=50$ gegenereerde claims per cohort.

• Kwaliteit en Dekking:

  • Onder ideale omstandigheden ("Proposed" context) bereikte het systeem een PASS-rate van 0,66 tot 0,80.
  • Bij context swap (verkeerde context, bijv. BRCA-data met LUAD-context) daalde de PASS-rate naar 0,20–0,42, wat aantoont dat het systeem foutieve interpretaties correct afwijst.
  • Bij evidence-dropout (verwijdering van ondersteunende genen) daalde de PASS-rate naar 0,20–0,30, wat de robuustheid van het systeem bevestigt.

• Risico-Dekking Trade-off:

  • Het systeem biedt een transparante afweging tussen dekking (hoeveel claims worden geaccepteerd) en risico (hoeveel geaccepteerde claims zijn menselijk onaanvaardbaar).
  • Door de stabiliteitsdrempel ($\tau$) te verhogen, neemt de dekking af, maar blijft het risico (aantal menselijk afgekeurde claims onder de PASS-groep) laag en stabiel.
  • In vergelijking met een puur deterministische baseline toonde de LLM-ondersteunde modus een lagere menselijke afkeuring (0,12 vs 0,26 risico), hoewel de totale dekking iets lager was, wat wijst op een hogere kwaliteit van de geselecteerde claims.

• Generaliseerbaarheid:

  • De resultaten waren consistent tussen TCGA-kankercohorten en het BeatAML2-cohort, wat de generaliseerbaarheid van de methode ondersteunt.

Bijdragen en Significantie

• Reproduceerbaarheid: LLM-PathwayCurator transformeert "plausibele maar niet controleerbare" interpretaties in verifieerbare, bewijs-gekoppelde claims. Dit lost het probleem van subjectieve interpretatie en "black box" LLM-outputs op.
• Decisie-grade Kwaliteitsborging: Het introduceert een reproduceerbare kwaliteitsborgingslaag voor 'omics'-interpretatie die specifiek is ontworpen voor besluitvorming (decision-grade), waarbij claims worden afgekeurd als ze niet voldoen aan strikte bewijs- en contextcriteria.
• Audit-Transparantie: Door het gebruik van reason-coded audit logs (PASS/ABSTAIN/FAIL met specifieke redenen) kunnen gebruikers precies begrijpen waarom een claim is afgewezen (bijv. "context-nonspecific" of "inconclusive-stress").
• Toepasbaarheid: De methode is generiek toepasbaar op elke verrijkinganalyse over gecurateerde genensets en biedt een blauwdruk voor het integreren van LLM's in wetenschappelijke workflows zonder in te leveren op controleerbaarheid.

Kortom, LLM-PathwayCurator biedt een nieuwe standaard voor het interpreteren van biologische data door LLM's te gebruiken als assistenten binnen een strikt, deterministisch en controleerbaar raamwerk, waarbij de nadruk ligt op bewijskwaliteit en reproduceerbaarheid in plaats van alleen op het genereren van tekst.