DVPNet: A New XAI-Based Interpretable Genetic Profiling Framework Using Nucleotide Transformer and Probabilistic Circuits

Deze studie introduceert DVPNet, een interpreteerbaar framework dat de Nucleotide Transformer en probabilistische circuits combineert om op basis van single-cell data nieuwe inzichten te krijgen in genen die belangrijk zijn voor het onderscheiden van longkankercellen van normale cellen.

De kern

DVPNet: De "Detective" die Genen Leest in plaats van Telt

Stel je voor dat je een enorme bibliotheek hebt met boeken (dat zijn je genen). In de oude manier van werken keken wetenschappers vooral naar hoe vaak een bepaald boek op de plank stond. Als een boek vaak voorkwam in een "kanker"-afdeling en zelden in een "gezond"-afdeling, dachten ze: "Ah, dit boek moet wel de boosdoener zijn!"

Maar dit is als een detective die alleen naar het aantal boeken kijkt en niet naar wat erin staat. Het probleem is: soms staat er in een boek dat vaak voorkomt niets belangrijks, en soms staat er in een zeldzaam boek de sleutel tot alles.

DVPNet is een nieuwe, slimme "AI-detective" die dit probleem oplost.

1. De Twee Helden: De Vertaler en de Rekenmachine

Deze nieuwe methode gebruikt twee krachtige tools:

• De Vertaler (Nucleotide Transformer): Stel je voor dat DNA-sequenties een vreemde taal zijn. De Nucleotide Transformer is een super-slimme vertaler die is getraind op miljoenen boeken (genen). Hij begrijpt niet alleen de woorden, maar ook de context en de betekenis erachter. Hij kan een gen "lezen" en zeggen: "Dit gen doet dit en dat in het lichaam," zelfs als het maar één keer voorkomt.
• De Rekenmachine (Probabilistic Circuits): Dit is de "denker". In plaats van een zwarte doos (zoals veel huidige AI's) die niemand begrijpt, is dit een rekenmachine die stap-voor-stap uitlegt waarom hij tot een conclusie komt. Hij houdt precies bij hoeveel elk gen bijdraagt aan de beslissing: "Is dit een kankercel of een gezonde cel?"

2. Hoe werkt het? (Het Experiment)

De onderzoekers namen een enorme verzameling cellen uit longweefsel (zowel van gezonde mensen als van longkankerpatiënten).

• De Opdracht: Ze gaven de AI 900 willekeurige genen per cel om te analyseren.
• De Slimme Twist: Ze keken niet naar hoe veel van een gen er was (dat zou de AI kunnen verleiden om alleen te tellen). In plaats daarvan gaven ze de AI de "vertaling" van die genen door de Nucleotide Transformer.
• Het Doel: De AI moest leren onderscheid maken tussen kanker en gezondheid, en tegelijkertijd uitleggen welke genen daarvoor het belangrijkst waren.

3. De Grote Ontdekking: Het Tegenstrijdige Bewijs

Dit is het meest fascinerende deel. De AI vond 1.524 genen die zich tegenstrijdig gedroegen ten opzichte van de oude statistieken.

• Het Oude Denken: "Gen X komt 100 keer voor in kanker en 1 keer in gezondheid. Gen X is dus de boosdoener."
• Het Nieuwe Inzicht: De AI vond genen die zelden voorkwamen in kanker, maar toch een enorme bijdrage leverden aan het herkennen van kanker.
  • Vergelijking: Stel je voor dat je in een huis een inbreker zoekt. De oude methode zegt: "Kijk naar de mensen die het vaakst binnenlopen." Maar de nieuwe AI zegt: "Kijk naar die ene persoon die maar één keer binnenkwam, maar die een speciaal gereedschap bij zich had dat alleen een inbreker zou gebruiken."

De AI zag dat deze "zeldzame" genen (zoals ITGA5, SIGLEC9 en TP73) biologisch gezien heel belangrijk waren voor het kankerproces, zelfs als ze niet vaak in de data voorkwamen. De "vertaler" had de diepere betekenis van hun DNA-sequentie begrepen, terwijl de "teller" dat gemist had.

4. Waarom is dit zo belangrijk?

Vroeger maakten wetenschappers netwerken van genen op basis van wie "vriendjes" was met wie (co-expressie). Dat is als kijken wie vaak samen in dezelfde kamer staat.

DVPNet maakt een nieuw soort netwerk. Het kijkt naar wie de echte daders zijn in het verhaal van kanker, gebaseerd op hun biologische functie, niet op hun populariteit.

• Resultaat: Ze ontdekten nieuwe groepen genen die te maken hebben met het immuunsysteem en de manier waarop het lichaam reageert op kanker.
• Toekomst: Dit helpt artsen en onderzoekers om betere medicijnen te vinden, omdat ze nu kijken naar de echte oorzaken in plaats van alleen naar de symptomen of de frequentie.

Samenvatting in één zin

DVPNet is een slimme AI die genen niet alleen telt, maar ze "leest" en begrijpt, waardoor hij genen kan vinden die cruciaal zijn voor kanker, zelfs als ze zeldzaam zijn en door de oude statistische methoden over het hoofd worden gezien.

Technische samenvatting

Probleemstelling

Traditionele methoden voor genetische analyse, zoals co-expressie netwerken gebaseerd op RNA-sequencing-data, berusten op statistische correlaties tussen expressieniveaus. Hoewel deze nuttig zijn om te bepalen welke genen actief zijn in dezelfde biologische processen, bieden ze geen inzicht in causaliteit en kunnen ze niet onderscheid maken tussen regulatorische en gereguleerde genen. Bovendien missen ze het vermogen om context-afhankelijke of functionele relaties te vangen die niet direct uit expressiepatronen blijken. Bestaande deep-learning modellen (zoals CNN's en Transformers) voor classificatie zijn vaak "black boxes", wat het interpreteren van hun beslissingsprocessen en het begrijpen van de onderliggende biologische mechanismen bemoeilijkt. Er is behoefte aan een nieuwe workflow die verder gaat dan eenvoudige statistiek en biologische causale inzichten biedt via interpreteerbare AI.

Methodologie: DVPNet

De auteurs stellen DVPNet (Deep Probabilistic Vector Network) voor, een nieuw interpreteerbaar AI-klassificatiemodel dat twee krachtige componenten combineert:

1. Nucleotide Transformer als Encoder:

   • In plaats van alleen RNA-expressiewaarden te gebruiken, worden de nucleotidesequenties van genen (van -2000 bp stroomopwaarts tot +500 bp stroomafwaarts van de Transcription Start Site) verwerkt.
   • Deze sequenties worden ingevoerd in de Nucleotide Transformer (een foundation model getraind op menselijke en diverse dierlijke genoomdata), wat contextuele biologische betekenis en functionele representaties levert.
   • De output zijn ingebedde vectorrepresentaties (gene vectors) van 1024 dimensies per gen.

2. Probabilistische Circuits (PC's):

   • De ingebedde vectoren worden verwerkt door een probabilistisch circuit, een type model dat tractable (berekenbaar) en volledig interpreteerbaar is.
   • Het model is een aanpassing van VPNet (oorspronkelijk voor beeldclassificatie), waarbij de Vision Transformer is vervangen door de Nucleotide Transformer.
   • Architectuur: Het model berekent de conditionele waarschijnlijkheid $P(\text{sample} | \text{klasse})$ door de gezamenlijke verdeling van 900 willekeurig geselecteerde genen per cel te factoriseren. Omdat de scope van elke gen-vector disjunct is, blijft de decomposabiliteit behouden.
   • Training: Het model wordt getraind om de kans op een steekproef te zijn een kankercel of een normale cel te voorspellen. Om overfitting op pure frequenties te voorkomen, wordt een geometrisch gemiddelde van de likelihoods gebruikt in plaats van het ruwe product.
   • Interpretatie: Het model levert voor elk gen een probabilistische bijdrage (contribution score) per klasse. Dit geeft aan in welke mate een specifiek gen, gezien zijn sequentie-features, bijdraagt aan de classificatie als kanker versus normaal, onafhankelijk van hoe vaak het gen in de dataset voorkomt.

3. Dataset en Experiment:

   • Gebruikt: GSE131907 (single-cell lung cancer atlas).
   • Klassen: Kankercellen vs. Normale cellen (epitheelcellen).
   • Voorbereiding: Per cel werden 900 tot expressie gekomen genen willekeurig geselecteerd (ongeacht expressieniveau) om bias te voorkomen.
   • Twee scenario's: Een "patient-mixed" model en een "patient-independent" model (trainen op andere patiënten dan testen) om generalisatie te testen.

Belangrijkste Bijdragen

• Nieuwe XAI-Framework: DVPNet introduceert een hybride architectuur die de kracht van foundation models (Nucleotide Transformer) koppelt aan de wiskundige interpreteerbaarheid van probabilistische circuits.
• Bijdrage boven Statistiek: Het model kan bijdrages identificeren die in tegenspraak zijn met de ruwe frequentie van genen in de dataset. Dit bewijst dat het model biologische functies uit de sequentie leert en niet alleen statistische patronen memoriseert.
• Genetische Profiling: Het biedt een methode om "contribution landscapes" te genereren, waarmee genen en pathways kunnen worden gerangschikt op basis van hun functionele impact op de ziekteclassificatie, niet op basis van hun expressiehoogte.

Resultaten

• Prestaties: Het model behaalde uitstekende prestaties op zowel trainings- als testsets (AUROC > 0.97, F1-score > 0.91), zonder te lijden onder underfitting of ernstig overfitting. Dit bevestigt de generalisatiekracht.
• Correlatie met Frequentie: Er was slechts een matige correlatie (Pearson $r \approx 0.36$) tussen het verschil in genfrequentie tussen klassen en de door het model geleerde bijdragescores. Dit bevestigt dat het model aanvullende informatie uit de Nucleotide Transformer-embeddings haalt.
• Contradictoire Genen: Van de 9.540 onderzochte genen toonden 1.524 genen een "contradictie": genen die vaker voorkwamen in de normale klasse, maar een hoge bijdrage hadden voor de kankerklasse (en vice versa).
  • Voorbeelden van hoog-rangende genen in deze categorie zijn bekende kankergerelateerde genen zoals ITGA5, SIGLEC9, NOTUM, en TP73.
  • Dit suggereert dat deze genen, ondanks hun lagere frequentie in kankerproeven, functioneel cruciaal zijn voor het onderscheid tussen kanker en normaal, waarschijnlijk vanwege hun specifieke sequentie-features of context.
• Netwerk- en Pathway-analyse:
  • Een WGCNA-achtige analyse gebaseerd op de probabilistische bijdrages (in plaats van expressiecorrelaties) identificeerde 50 modules met unieke biologische functies.
  • GO-enrichment analyse toonde aan dat de top-rangende pathways sterk geassocieerd waren met immuunresponsen (immunoglobuline complexen, complementactivatie, humorale immuunrespons), wat wijst op verschillen in het tumor-micro-omgeving.

Betekenis en Conclusie

DVPNet vertegenwoordigt een paradigmaverschuiving in genetisch onderzoek door interpreteerbare AI te integreren met foundation models.

• Het bewijst dat het mogelijk is om genetische netwerken te construeren die gebaseerd zijn op functionele bijdrages en causale mechanismen, in plaats van alleen op statistische correlaties van expressie.
• De methode kan genen prioriteren die traditionele statistische methoden (zoals differentieel expressie-analyse) zouden missen omdat ze niet de hoogste expressie hebben, maar wel een sterke functionele rol spelen.
• Hoewel de studie beperkt is tot longkanker en geen experimentele validatie (wet-lab) bevatte, ondersteunt de consistentie met bestaande literatuur over bekende kankergenen de validiteit van de aanpak.
• De framework biedt een complementair perspectief op bestaande workflows en heeft potentie voor toepassing op diverse biologische classificatietaken, waardoor het een waardevol hulpmiddel is voor het ontrafelen van complexe ziektemechanismen.