How important are the genes to explain the outcome - the asymmetric Shapley value as an honest importance metric for high-dimensional features

Dit paper introduceert asymmetrische Shapley-waarden als een eerlijker maatstaf voor het bepalen van de belang van genen in klinische voorspellingsmodellen, waarbij rekening wordt gehouden met collineariteit en de richting van afhankelijkheden, en presenteert efficiënte algoritmen voor lokale en globale interpretatie die worden geïllustreerd aan de hand van colorectale kanker.

De kern

Stel je voor dat je een arts bent die probeert te voorspellen of een patiënt met darmkanker snel zal herstellen of dat de ziekte terugkeert. Je hebt twee soorten informatie:

1. De "gewone" medische gegevens: Leeftijd, geslacht, en de stadium van de kanker (bijvoorbeeld: is het nog klein of al uitgezaaid?).
2. De "complexe" genetische gegevens: Duizenden metingen van genen in het bloed van de patiënt.

Het probleem is dat artsen vaak denken: "Als we de genen weglaten en alleen naar leeftijd en stadium kijken, werkt de voorspelling bijna net zo goed. Dus zijn die genen wel belangrijk?"

De auteurs van dit paper zeggen: "Nee, dat is een valkuil!"

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het probleem: De "Weglaten"-test is oneerlijk

Stel je voor dat je een voetbalelftal hebt. Je hebt een superster (de genen) en een ervaren aanvoerder (de ziekte-stadium).
Als je de superster uit het team haalt, pakt de aanvoerder vaak de bal over en speelt hij net zo goed. De prestatie van het team zakt niet veel.
Conclusie van de "oude methode": "De superster is niet belangrijk, want zonder hem winnen we nog steeds."

Maar dat is onzin! De superster was juist de reden dat de aanvoerder zo goed kon spelen. Ze werken samen. In de medische wereld heet dit collineariteit: de genen beïnvloeden het stadium van de ziekte, en het stadium beïnvloedt de uitkomst. Als je de genen weghaalt, blijft het stadium over als een "buffer" en zie je het echte effect van de genen niet.

2. De oplossing: Asymmetrische Shapley-waarden

De auteurs gebruiken een slimme wiskundige methode genaamd Shapley-waarden. Dit is als een eerlijke manier om te delen wie wat heeft bijgedragen aan de winst.

Maar ze hebben een speciale versie bedacht: Asymmetrisch.

De Vergelijking: De Receptuur van een Taart
Stel je voor dat je een taart bakt (de voorspelling).

• De Genen (G) zijn de grondstof (meel, suiker).
• De Ziekte (D) is het gebakken resultaat (de taart).
• De Uitkomst (Y) is hoe lekker de taart smaakt.

Je kunt geen taart bakken zonder meel, maar je kunt ook geen taart proeven zonder dat hij gebakken is. De genen maken de ziekte, en de ziekte bepaalt de uitkomst.

• Symmetrisch (de oude manier): Hierbij wordt er gedaan alsof je de ingrediënten in willekeurige volgorde toevoegt. Alsof je eerst de taart proeft en dan pas het meel toevoegt. Dit is logisch onmogelijk in de echte wereld.
• Asymmetrisch (de nieuwe manier): Hierbij respecteren we de volgorde. Je moet eerst het meel (genen) toevoegen, dan de taart (ziekte), en dan pas proeven.

Door deze volgorde te respecteren, krijgen de genen in de berekening veel meer "eer" toebedeeld. Ze krijgen credit voor het werk dat ze doen via de ziekte. De ziekte krijgt minder credit, omdat die credit eigenlijk van de genen komt.

3. Wat hebben ze gedaan? (De "Hoe" in het kort)

Het was heel moeilijk om dit te rekenen omdat er duizenden genen zijn. Het is als proberen te berekenen wie er in een stadion van 80.000 mensen de meeste impact heeft, terwijl je rekening moet houden met wie wie kent.

De auteurs hebben drie slimme trucjes bedacht:

1. Samenvatten: In plaats van 500 genen één voor één te tellen, hebben ze ze samengevat in een paar "samenvattingen" (zoals een samenvatting van een boek). Dit maakt de rekentijd veel sneller.
2. Slimme schatting: Ze gebruiken een methode (importance sampling) die als een slimme gok werkt. In plaats van elke mogelijke combinatie te checken (wat jaren zou duren), kijken ze naar de belangrijkste combinaties.
3. Betrouwbare tests: Ze hebben een manier bedacht om te zeggen: "Zijn deze genen echt belangrijk, of is het toeval?" Ze gebruiken de resultaten van individuele patiënten om dit statistisch te testen.

4. Wat ontdekten ze? (De resultaten)

Ze keken naar data van 845 darmkankerpatiënten.

• De oude methode: Zei dat genen maar een klein beetje belangrijk waren voor het voorspellen van overleving.
• De nieuwe methode (Asymmetrisch): Zei dat genen veel belangrijker zijn dan gedacht. Ze bleken zelfs twee keer zo belangrijk als het stadium van de ziekte!

Waarom? Omdat de genen de ziekte veroorzaken. Als je kijkt naar de genen, zie je de "oorsprong" van het probleem. De oude methode zag alleen het "tussentijdse" stadium en dacht dat de genen daar niet meer toe deden.

Conclusie voor de leek

Dit paper leert ons dat we niet mogen oordelen over de waarde van iets (zoals genen) door het simpelweg weg te laten en te kijken wat er overblijft. Soms is dat "wat overblijft" juist het gevolg van wat je hebt weggehaald.

Met hun nieuwe "Asymmetrische" methode kunnen artsen en datawetenschappers eerlijker zien welke factoren echt de boel bepalen. Het is alsof ze eindelijk de juiste rekening hebben opgesteld: de genen krijgen nu de credit die ze verdienen, omdat ze de ziekte in de eerste plaats hebben veroorzaakt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "How important are the genes to explain the outcome - the asymmetric Shapley value as an honest importance metric for high-dimensional features", geschreven in het Nederlands.

1. Probleemstelling

In klinische voorspellingsmodellen worden vaak hoog-dimensionale genomische data (bijv. genexpressieprofielen) gecombineerd met laag-dimensionale klinische variabelen (zoals leeftijd, geslacht en ziektestatus). De huidige praktijk om de belangrijkheid van genen te beoordelen, bestaat vaak uit het verwijderen van deze genen uit het model en het observeren van de daling in voorspellende prestaties (een "leave-one-out" aanpak).

De auteurs identificeren twee fundamentele tekortkomingen in deze traditionele aanpak:

1. Correlatie en Collineariteit: Als genen sterk gecorreleerd zijn met andere variabelen, fungeren die andere variabelen als een buffer wanneer de genen worden verwijderd. Dit leidt tot een onderwaardering van de bijdrage van de genen, zelfs als ze cruciaal zijn voor het resultaat.
2. Gebrek aan Causaliteit/Tijdsorde: Traditionele methoden negeren de richting van afhankelijkheden. In de genetica zijn genetische afwijkingen vaak de "root cause" die indirecte effecten hebben op het eindresultaat via een mediator (bijv. ziektestatus). Een symmetrische benadering behandelt alle variabelen als gelijkwaardig, wat de causale structuur (Genen $\rightarrow$ Ziektestatus $\rightarrow$ Outcome) negeert.

2. Methodologie

Het artikel introduceert en past asymmetrische Shapley-waarden toe op een gemengd-dimensionale setting (hoog- en laag-dimensionale variabelen).

• Asymmetrische Shapley-waarden: In plaats van alle mogelijke ordeningen van variabelen te beschouwen (zoals bij symmetrische Shapley-waarden), worden alleen coalities toegestaan die de bekende causale ordening respecteren (bijv. genen $G$ moeten aanwezig zijn voordat ziektestatus $D$ in de coalitie kan worden opgenomen). Dit zorgt ervoor dat het effect van $G$ op $D$ (en vervolgens op het resultaat $Y$) correct wordt toegeschreven aan $G$.
• Groeps-Shapley-waarden: Om de computationele last van hoog-dimensionale data (duizenden genen) te verminderen, wordt de methode uitgebreid naar groepen van variabelen. Dit maakt het mogelijk om de bijdrage van het gehele genoom als één entiteit te berekenen.
• Conditionele Marginalisatie (SHAP): De auteurs kiezen voor een schattingsmethode gebaseerd op conditionele verwachtingen ($E[f(x)|x_S]$) in plaats van modelherfitting. Dit is cruciaal omdat herfitting bij gemengde complexiteit (bijv. lineaire modellen voor hoge dimensies en bomen voor lage dimensies) tot onjuiste resultaten kan leiden.
• Dependency Modeling: Om de conditionele verwachtingen te berekenen in een setting met zowel hoog- als laag-dimensionale data, wordt een strategie voor dimensiereductie gebruikt. De hoog-dimensionale component ($G_1$) wordt vervangen door samenvattingscores (bijv. via PCA of een "D-aware" summary die de relatie met de ziektestatus vastlegt) voor het modelleren van afhankelijkheden, terwijl de originele data behouden blijft voor de voorspelling zelf.
• Efficiënte Berekening: Er worden nieuwe algoritmen ontwikkeld om de gewichten voor asymmetrische Shapley-waarden te berekenen, inclusief een importance sampling-benadering wanneer het aantal mogelijke coalities te groot is voor volledige enumeratie.
• Statistische Inferentie: Er worden twee methoden voorgesteld om de globale belangrijkheid van features te testen op basis van lokale Shapley-waarden: een semi-parametrische likelihood-ratio test en een niet-parametrische matching-test.

3. Belangrijkste Bijdragen

1. Framework voor Gemengde Dimensies: Een robuust framework om feature importance te kwantificeren in modellen die zowel hoog-dimensionale genomics als laag-dimensionale klinische variabelen bevatten, rekening houdend met causale ordening.
2. Algorithmische Innovatie:
   • Een efficiënt algoritme voor het berekenen van asymmetrische Shapley-gewichten op basis van coalities (in plaats van ordeningen), wat rekenkundig veel efficiënter is.
   • Een nieuwe importance sampling methode voor het benaderen van Shapley-waarden bij grote aantallen variabelen.
   • Een strategie voor dependency modeling die hoog-dimensionale data reduceert tot samenvattingscores om conditionele Shapley-waarden haalbaar te maken.
3. Inferentie Framework: Methoden om statistische significantie van feature importance te testen op basis van lokale Shapley-waarden, waardoor men kan concluderen of een feature (zoals genen) significant bijdraagt aan het voorspellend vermogen.
4. Implementatie: De methoden zijn geïmplementeerd in R (op basis van het pakket shapr) en beschikbaar gesteld via de GeneSHAP repository.

4. Resultaten

De methode werd getest op een dataset van 845 patiënten met colorectale kanker om progressie-vrije overleving te voorspellen.

• Vergelijking met Traditionele Methoden: De traditionele "leave-one-out" aanpak liet slechts een minimale daling in prestatie zien bij het verwijderen van genen, wat suggereerde dat genen weinig belangrijk waren. De asymmetrische Shapley-waarden toonden echter aan dat genen een beduidend grotere bijdrage leveren dan de symmetrische versie of de traditionele methode suggereerden.
• Mediatie-effect: De asymmetrische waarden slaagden erin het mediatie-effect van de ziektestatus ($D$) op de genen ($G$) correct te vangen. In de asymmetrische setting werd een groter deel van de voorspellende kracht van de ziektestatus toegeschreven aan de onderliggende genen, wat biologisch plausibeler is.
• Decompositie: De methode (SAGE) slaagde erin de C-index (een maat voor voorspellend vermogen) te decomponeren in bijdragen van individuele features. Hieruit bleek dat de combinatie van hoog-dimensionale genen en laag-dimensionale samenvattingen (zoals moleculaire subtypes) cruciaal is.
• Significantie: De voorgestelde inferentietests bevestigden dat de bijdrage van genen statistisch significant is, zelfs wanneer de directe impact op de C-index klein lijkt in traditionele analyses.

5. Betekenis en Conclusie

Dit artikel biedt een essentiële oplossing voor het probleem van het onderschatten van de waarde van hoog-dimensionale biologische data in klinische modellen. Door asymmetrische Shapley-waarden te gebruiken, kunnen onderzoekers eerlijker en accurater bepalen welke features (zoals genen) echt belangrijk zijn voor een uitkomst, zelfs als ze gecorreleerd zijn met of indirect werken via andere variabelen.

De studie benadrukt dat het negeren van causale ordening en correlaties leidt tot misleidende conclusies over de relevantie van genomics in de geneeskunde. De voorgestelde methode maakt het mogelijk om voorspellende modellen niet alleen te optimaliseren, maar ook biologisch betekenisvol te interpreteren, wat een belangrijke stap is naar bruikbare "precision medicine". De beschikbaarheid van de software maakt deze geavanceerde analyse toegankelijk voor andere onderzoekers in het veld.