ProtoPathway: Biologically Structured Prototype-Pathway Fusion for Multimodal Cancer Survival Prediction

Technische Samenvatting van ProtoPathway: Biologisch Gestructureerde Prototype-Pathway Fusie voor Multimodale Kankeroverlevingsvoorspelling

Probleemstelling
Huidige multimodale overlevingsvoorspellingsmodellen voor kanker integreren vaak whole slide images (WSI's) en bulk transcriptomische profielen, maar lijden onder twee primaire beperkingen: een gebrek aan inherent interpreteerbaarheid en de afwezigheid van biologisch onderbouwde semantische identiteit in hun kruismodale fusiemechanismen. Bestaande methoden vertrouwen veelvuldig op post-hoc uitlegtechnieken (zoals SHAP, LIME) die modellen als black boxes behandelen, of ze fuseren modaliteiten met representaties die geen stabiele betekenis hebben over patiënten heen (bijvoorbeeld attention over individuele, niet-consistente patches of onafhankelijke pathway-encoders die de gen-pathway topologie negeren). Klinici hebben modellen nodig waarbij redenering per ontwerp transparant is, met representaties die aansluiten bij gevestigde biologische hiërarchieën om voorspellingen te valideren tegen bekende ziektemechanismen.

Methodologie
ProtoPathway is een per ontwerp interpreteerbaar raamwerk dat WSI's en transcriptomica unificeert via encoders die aan beide zijden van de fusie biologisch onderbouwde representaties produceren. De architectuur bestaat uit drie kerncomponenten:

1. Leerbare Morfologische Prototypen (WSI-Encoder): In plaats van duizenden variabele lengte beeldpatches te aggregeren via attention-weights, comprimeert ProtoPathway de WSI tot een vaste set van $K$ leerbare prototypevectoren. Deze prototypen worden end-to-end getraind met het overlevingsdoel. Patches worden toegewezen aan prototypen via zachte toewijzing op basis van cosinusgelijkenis in een gedeelde geprojecteerde ruimte. De resulterende prototype-tokens dienen als de slide-representatie zelf, en vangen terugkerende morfologische patronen die relevant zijn voor de prognose. Dit maakt ruimtelijke interpreteerbaarheid mogelijk, aangezien patches kunnen worden teruggekaart naar specifieke weefsellocaties op basis van hun toegewezen prototype.

2. Topologie-bewuste Transcriptomische Encodering (Genomische Encoder): In plaats van onafhankelijke Self-Normalizing Networks (SNN's) te gebruiken voor elke pathway, maakt ProtoPathway gebruik van een bipartiete Graph Neural Network (GNN) over de Reactome pathway-hiërarchie. Genen en pathways vormen twee knooppunttypes die verbonden zijn door bidirectionele lidmaatschapsranden. Informatie verspreidt zich via GraphSAGE-lagen met gemiddelde aggregatie, waardoor genen die deelnemen aan meerdere pathways impliciete cross-pathway communicatie faciliteren. Een laatste GATv2 attention-laag berekent gen-belang-weights binnen pathways. Deze structuur zorgt ervoor dat pathway-embeddings zowel de samenstellende genen als hun bredere biologische context weerspiegelen.

3. Semantisch Onderbouwde Asymmetrische Kruismodale Fusie: Het fusiemechanisme modelleert de biologische causale richting van moleculaire programma's naar weefselmorfologie. Prototype-tokens (morfologie) query pathway-embeddings (genomica) via multi-head cross-attention. Dit produceert een compacte $K \times P$ attention-matrix waarbij prototypen fungeren als queries en pathways als keys/values. Omdat beide assen stabiele, taak-geleerde identiteit dragen, is deze attention-matrix niet louter een interne berekening maar een directe output voor interpreteerbaarheid, die specifieke weefselpatronen koppelt aan specifieke biologische programma's.

Belangrijkste Bijdragen
Het artikel introduceert drie specifieke bijdragen:

• Geleerde Prototypen als Slide-Representatie: Het model gebruikt $K$ leerbare prototypevectoren die end-to-end getraind zijn als primaire slide-representatie, in plaats van als auxiliaire referentiepunten. Deze tokens vervullen een dubbele rol als morfologische aggregeraars en als queries in kruismodale attention.
• Bidirectionele Message Passing in Transcriptomica: Een bipartiete GNN encodeert genexpressie binnen de Reactome-hiërarchie, wat parameterdelen en cross-pathway communicatie via gedeelde genen mogelijk maakt, en vervangt de onafhankelijke per-pathway encoders die in eerdere werken werden gebruikt.
• Asymmetrische Fusie met Native Interpreteerbaarheid: Het cross-attention-mechanisme werkt over een prototype $\times$ pathway-matrix, wat de biologische richting van moleculaire programma's naar morfologie weerspiegelt. Dit ontwerp resulteert in een traceerbare attributieketen van genen via pathways en prototypen naar ruimtelijke weefselkaarten, zonder post-hoc methoden te vereisen.

Experimentele Resultaten
ProtoPathway werd geëvalueerd op vijf TCGA-kankercohorta (BRCA, BLCA, COADREAD, HNSC, STAD).

• Prestaties: Het model behaalde de hoogste algehele Concordance Index (C-index) van 0,670, en presteerde beter dan gevestigde multimodale baselines zoals MCAT (0,662) en MMP (0,659). Het behaalde de eerste plaats op vier van de vijf cohorta. Opmerkelijk is dat het op het HNSC-cohort de enige multimodale methode was die duidelijk de SNN-baseline op alleen genen overtrof.
• Efficiëntie: De op prototypen gebaseerde compressie verlaagde de rekenkosten aanzienlijk. ProtoPathway vereiste 480K parameters en 3,9G FLOPs, en bereikte een trainingsversnelling van 28–50$\times$ ten opzichte van methoden zoals MCAT en SurvPath, terwijl het minder VRAM gebruikte (325 MB versus 818 MB voor SurvPath).
• Interpreteerbaarheid: Kwalitatieve analyse op het BLCA-cohort toonde aan dat het model bekende prognostische signatuur herwon. Bijvoorbeeld, het identificeerde dat spierinvasie (een belangrijke stageringsfactor) en stromaal-immune samenstelling kritiek waren, en verplaatste de attention van morfologisch dominante tumorregio's naar het micro-omgeving na integratie van pathway-context. Ruimtelijke overlays mapten succesvol specifieke pathways (bijvoorbeeld cholesterolmetabolisme, cytokinesignaleren) en genen (bijvoorbeeld IL7R, FGFR2b) naar distincte weefselcompartimenten.

Betekenis en Claims
De auteurs claimen dat ProtoPathway een complete keten van interpreteerbaarheid biedt, van individuele genen tot ruimtelijke weefselregio's, terwijl het de voorspellende prestaties van bestaande methoden evenaart of overtreft. De betekenis ligt in het vermogen om "native attributie op inferentietijd" te produceren, waarbij de redenering van het model transparant is omdat de representaties zelf domein-gegronde identiteit dragen. Door stabiele, taak-geleerde semantische identiteit af te dwingen op zowel de morfologische als de genomische as, vermijdt het raamwerk het "black box"-karakter van post-hoc uitleg en de biologische coherentie van onafhankelijke pathway-encoders. Het artikel stelt dat deze aanpak klinici in staat stelt om modelredenering te valideren tegen gevestigde biologie, een vereiste voor klinische adoptie bij beslissingen met hoge risico's. De auteurs wijzen op beperkingen, waaronder het gebruik van bulk transcriptomica (gemiddelde van celpopulaties) en het feit dat de magnitude van attention de richting van expressieverandering niet codeert, wat een aparte differentieel expressie-analyse vereist voor volledige biologische interpretatie.