Multiscale confidence quantification for virtual spatial transcriptomics with UTOPIA

Dit artikel introduceert UTOPIA, een modelonafhankelijk kader voor multischaal betrouwbaarheidskwantificatie dat statistisch gekalibreerde scores toekent aan voorspellingen van virtuele ruimtelijke transcriptomics om valse ontdekkingen te beperken en de interpretatie van biologische conclusies op verschillende resoluties te verbeteren.

De kern

De UTOPIA: Een Kompas voor Betrouwbare Digitale Weefselkaarten

Stel je voor dat je een enorme, ingewikkelde stad wilt begrijpen. Je hebt een foto van de stad (een histologie-afbeelding, ofwel een H&E-kleuring), maar je mist de cruciale informatie: welke winkels er precies zitten, welke mensen er wonen en wat ze doen.

In de medische wereld is dit wat we doen met weefselstalen. We kunnen een foto maken van een tumor of een nier, maar om te weten welke genen er actief zijn of welke cellen er wonen, moeten we dure en tijdrovende tests doen (zoals Spatial Transcriptomics). Het probleem is dat deze tests vaak maar op een klein stukje van het weefsel kunnen worden gedaan. De rest blijft een raadsel.

Het Probleem: De "Gok" van de AI
Om dit op te lossen, hebben wetenschappers AI-modellen ontwikkeld. Deze modellen leren van het kleine stukje waar we de test hebben gedaan, en proberen dan de rest van de foto in te vullen. Het is alsof je een puzzel oplost: je kijkt naar een paar stukjes en de AI gokt wat de rest van de afbeelding moet zijn.

Maar hier zit een groot risico: De AI is vaak te zelfverzekerd.
Soms gokt de AI dat er een bepaalde cel of gen aanwezig is, terwijl dat in werkelijkheid niet zo is. Omdat de AI geen "twijfel" kan uitdrukken, nemen artsen en onderzoekers deze gokken soms voor waarheid aan. Dit kan leiden tot verkeerde diagnoses of foute conclusies over hoe een ziekte werkt.

De Oplossing: UTOPIA (Het Vertrouwens-Compass)
Deze paper introduceert UTOPIA. De naam staat voor Uncertainty-aware Trustworthy Tools for Spatial Omics Predictions in All Scales. Laten we het simpel houden: UTOPIA is een vertrouwensmeter of een kompas voor deze AI-gokken.

UTOPIA zegt niet alleen: "Hier is een cel."
Het zegt: "Hier is een cel, en ik ben 90% zeker dat dit klopt." of "Hier is een cel, maar ik ben maar 20% zeker, dus negeer dit voor nu."

Hoe werkt UTOPIA? (De Creatieve Analogen)

1. De "Proefkeuken" (Calibratie):
   Stel je voor dat een kok (de AI) een nieuwe saus probeert te maken. Voordat hij de saus aan de klanten serveert, laat hij hem proeven door een proefgroep in de keuken. Hij vergelijkt wat hij denkt dat de smaak is met wat de proefgroep daadwerkelijk proeft.
   UTOPIA doet precies dit. Het neemt de bekende stukjes van het weefsel, verdeelt ze in groepen, en laat de AI voorspellingen doen op stukjes die ze net niet hebben gezien. Zo leert UTOPIA: "Wanneer de AI dit patroon ziet, maakt hij vaak fouten. Wanneer hij dat patroon ziet, is hij juist."

2. De "Schalings-Regel" (Resolutie):
   Soms probeert de AI te gedetailleerd te zijn. Het is alsof je probeert een olifant te tekenen, maar je kijkt door een vergrootglas naar één haartje op zijn rug. Je ziet het haartje, maar je mist de vorm van de olifant.
   UTOPIA leert ons dat we soms minder gedetailleerd moeten kijken om betrouwbare antwoorden te krijgen.

   • Voorbeeld: Het is misschien onmogelijk om te zeggen of er precies één specifiek gen (zoals een "CD4") in één klein celletje zit. Maar als we kijken naar een groep van 100 cellen (een "meta-gen"), is het antwoord heel betrouwbaar. UTOPIA zegt: "Kijk op een iets groter niveau, dan is het antwoord zeker."

3. De "Waarheidsfilter" (Fouten vermijden):
   Stel je voor dat je een kaart tekent van een bos. De AI tekent overal bomen, maar in werkelijkheid zijn er op sommige plekken alleen maar struiken. Als je die kaart gebruikt om te wandelen, loop je tegen een struik aan die je dacht dat een boom was.
   UTOPIA markeert de plekken op de kaart waar de AI waarschijnlijk "struiken" tekent in plaats van "bomen". Het zegt: "Bij deze plek is de kans groot dat de AI hallucineert. Ga daar niet op vertrouwen."

Waarom is dit belangrijk?

• Voor artsen: Het voorkomt dat ze behandelingen kiezen op basis van een foutieve AI-voorspelling. Ze weten nu precies waar ze kunnen vertrouwen op de data en waar ze voorzichtig moeten zijn.
• Voor onderzoekers: Het helpt hen om te begrijpen dat "hoe kleiner de pixel, hoe minder zeker we zijn". Soms is het beter om naar een groter beeld te kijken (zoals een hele groep cellen) dan naar één klein detail.
• Voor de toekomst: Het maakt "virtuele" weefselkaarten veilig en bruikbaar voor echte medische beslissingen.

Samenvattend:
UTOPIA is de "reality check" voor de AI in de biologie. Het zorgt ervoor dat we niet blindelings vertrouwen op de mooie, gedetailleerde kaarten die computers maken, maar dat we weten waar de zekerheid ligt en waar de twijfel. Het maakt complexe data begrijpelijk en, belangrijker nog, verantwoord.

Technische samenvatting

Probleemstelling

Virtual Spatial Transcriptomics (vST) is een veelbelovende techniek waarbij genexpressie of celtypen worden voorspeld op basis van histologische beelden (H&E-kleuring), gebruikmakend van modellen die zijn getraind op gekoppelde H&E- en ruimtelijke transcriptomiedata (ST). Dit biedt een kosteneffectief alternatief voor dure ST-metingen over het volledige weefsel.

Echter, er is een kritiek gebrek aan geprincipieerde onzekerheidskwalificatie (uncertainty quantification) in bestaande vST-methoden.

• Betrouwbaarheid: Voorspellingen worden vaak geïnterpreteerd als uniform betrouwbaar, terwijl de nauwkeurigheid sterk varieert afhankelijk van het doelwit (gen/celtype), de ruimtelijke resolutie en de lokale weefselcontext.
• Schalingsproblemen: Modellen genereren vaak "super-resolutie" outputs (bijv. 8 µm), maar biologische processen (zoals het detecteren van lymfoïde structuren) vereisen niet altijd deze fijnkorrelige resolutie. Voorspellingen op te fijne schaal kunnen leiden tot artefacten.
• Biologische granulariteit: Het voorspellen van individuele genen (bijv. CD4) is vaak onbetrouwbaar door meetruis, terwijl geaggregeerde "meta-genen" of bredere celklassen (bijv. lymfocyten) beter voorspelbaar zijn.
• Geen ground-truth: In uit-sample scenario's (voorspellen op nieuwe patiënten) ontbreekt de ground-truth, waardoor het onmogelijk is om te onderscheiden tussen echte biologische signalen en modelartefacten.

Methodologie: UTOPIA

De auteurs introduceren UTOPIA (Uncertainty-aware Trustworthy Tools for Spatial Omics Predictions in All Scales), een model-agnostisch framework voor multischaal betrouwbaarheidskwalificatie.

Kerncomponenten:

1. Calibratie via Cross-Fold Validatie:

   • Het framework verdeelt de Regions of Interest (ROIs) met bekende ground-truth in folds.
   • Voor elke fold wordt een "surrogaatmodel" getraind op de andere folds en gebruikt om voorspellingen te doen op de gehouden fold.
   • De fouten tussen deze voorspellingen en de waargenomen metingen worden gebruikt om de verdeling van de voorspellingsfouten empirisch te karakteriseren.

2. Conformal Inference (Conformele Inferentie):

   • UTOPIA gebruikt conformal inference om p-waarden te berekenen voor elke ruimtelijke eenheid (pixel of patch) en elk voorspellingdoelwit.
   • Het test de nulhypothese dat een target (bijv. een gen of celtype) afwezig is.
   • Door gebruik te maken van de calibratiegegevens, worden de voorspellingen vergeleken met de empirische foutverdeling van histologisch vergelijkbare gebieden.

3. Multischaal Benadering:

   • Ruimtelijke Resolutie: UTOPIA evalueert betrouwbaarheid op verschillende schalen (bijv. 32 µm, 16 µm, 8 µm per pixel).
   • Biologische Granulariteit: Het werkt op verschillende niveaus: van individuele genen naar meta-genen (samenvoeging van functioneel gerelateerde genen) en van specifieke celtypen naar bredere celklassen.

4. FDR-controle (False Discovery Rate):

   • Na correctie voor meervoudig toetsen (Benjamini-Hochberg procedure) worden de p-waarden omgezet in betrouwbaarheidsscores.
   • Gebruikers kunnen een gewenste FDR-drempel (bijv. 10%) instellen om alleen die voorspellingen te accepteren die statistisch significant zijn.

Belangrijkste Bijdragen

• Eerste Framework voor vST: Het biedt het eerste statistisch onderbouwde raamwerk om de betrouwbaarheid van vST-voorspellingen kwantitatief te bepalen.
• Model-Agnostisch: Het kan worden toegepast op de output van elk bestaand vST-model, ongeacht de onderliggende architectuur (bijv. neurale netwerken).
• Dynamische Schaalkeuze: Het helpt onderzoekers om de optimale balans te vinden tussen ruimtelijke resolutie en biologische granulariteit voor een specifieke taak.
• Foutcontrole: Het controleert systematisch de False Discovery Rate, zelfs in uit-sample scenario's waar geen ground-truth beschikbaar is.

Resultaten

De auteurs toonden UTOPIA toe op meerdere datasets en platforms (Xenium, Visium HD, CosMx) in verschillende weefsels (maagkanker, baarmoederhalskanker, eierstokkanker, nier, longkanker).

1. Maagkanker & TLS (Tertiary Lymphoid Structures):

   • Het voorspellen van het individuele gen CD4 leverde lage betrouwbaarheid op, zelfs op grove schalen.
   • Het voorspellen van een TLS meta-gene (samenvoeging van markers) of geaggregeerde celtypen leverde echter hoge betrouwbaarheid op.
   • Resolutie-effect: Betrouwbaarheid nam af naarmate de resolutie fijner werd (van 32 µm naar 8 µm). Voor TLS-detectie was 32 µm voldoende en betrouwbaarder dan super-resolutie.

2. Kanker-geassocieerde Fibroblasten (CAFs):

   • UTOPIA onderscheidde succesvol subtypen met duidelijke ruimtelijke niches (hoge betrouwbaarheid) van subtypen die vermengd waren met andere cellen (lage betrouwbaarheid).
   • Het bevestigde dat coarser resolutie (40 µm) voldoende was voor het detecteren van specifieke CAF-subtypen.

3. Nierpathologie (Diabetische Nefropathie):

   • Toepassing op CosMx-data (met lagere opvangstabiliteit) toonde aan dat UTOPIA fouten kon detecteren wanneer modellen werden getraind op data van een andere patiënt (T2D vs. gezond).
   • Het framework identificeerde glomerulaire hypertrofie (vergrote nierkorrels) en verminderde dichtheid bij diabetische patiënten, gebaseerd op hoogbetrouwbare voorspellingen op 32 µm schaal.

4. Out-of-Subject Validatie:

   • Bij voorspellingen op een nieuwe patiënt (zonder ground-truth) voorkwam UTOPIA valse conclusies. Bijvoorbeeld: het model voorspelde vals positief TFF2-expressie in maagklieren. UTOPIA gaf hier een lage betrouwbaarheidsscore, waardoor deze artefacten werden genegeerd en geen valse diagnose van metaplasie werd gesteld.

5. Invloed van Datakwaliteit:

   • Experimenten met datasets van verschillende kwaliteit (Xenium vs. Visium HD) toonden aan dat de betrouwbaarheidsscore direct correleert met de kwaliteit van de trainingsdata. Hoge kwaliteit data (meer moleculen per gen) resulteert in hogere betrouwbaarheidsscores.

Significantie

UTOPIA transformeert virtual spatial transcriptomics van een puur computationele exercitie naar een statistisch robuust instrument voor biologische ontdekking.

• Betrouwbaarheid: Het voorkomt dat onderzoekers valse biologische conclusies trekken op basis van modelartefacten.
• Interpretatie: Het dwingt onderzoekers na te denken over de juiste schaal (resolutie en granulariteit) voor hun biologische vraagstuk, in plaats van blindelings super-resolutie outputs te vertrouwen.
• Toepasbaarheid: Het maakt vST veiliger voor klinische toepassingen en exploratief onderzoek, zelfs wanneer ground-truth data ontbreekt.

Kortom, UTOPIA biedt de nodige "reality check" om virtual omics-data te vertalen naar betrouwbare biologische inzichten.