FEAST: Fully Connected Expressive Attention for Spatial Transcriptomics

Probleemstelling

Ruimtelijke transcriptomics (ST) biedt cruciale inzichten in weefselarchitectuur en complexe ziekten door genexpressie te kwantificeren binnen een ruimtelijke context. Het verkrijgen van ST-data is echter extreem duur, wat de brede adoptie beperkt. Daarom richten recente studies zich op het afleiden van ruimtelijke genexpressie uit goedkope, beschikbare histopathologische beelden (H&E-gekleurde Whole Slide Images of WSIs).

Bestaande methoden, die vaak gebruikmaken van Graph Neural Networks (GNN's), hebben echter drie fundamentele beperkingen:

1. Vooraf gedefinieerde, schaarse grafieken: GNN's modelleren interacties tussen "spots" (locaties met genexpressie) op basis van vooraf bepaalde criteria (zoals ruimtelijke nabijheid of morfologische gelijkenis). Dit negeert potentiële biologische interacties tussen spots die niet als buren zijn gedefinieerd, wat leidt tot een structurele beperking in het vastleggen van complexe weefselrelaties.
2. Beperkte aandacht voor negatieve relaties: Standaard attentiemechanismen gebruiken een softmax-functie die gewichten beperkt tot het interval [0, 1]. Dit kan alleen excitatoire (positieve) relaties modelleren. In biologische systemen zijn echter ook inhiberende (negatieve) relaties essentieel (bijvoorbeeld wanneer een cel een andere cel onderdrukt), maar deze worden door standaard methoden over het hoofd gezien.
3. Verlies van morfologische context: Standaard methoden extraheren vaste, vierkante patches rondom de ST-coördinaten. Dit leidt tot informatieverlies in de ruimtes tussen de spots (off-grid) en kan morfologische structuren die over patchgrenzen heen lopen, afsnijden.

Methodologie: FEAST

De auteurs stellen FEAST (Fully connected Expressive Attention for Spatial Transcriptomics) voor, een attentie-gebaseerd framework dat de bovenstaande beperkingen aanpakt via drie kerninnovaties:

1. Volledig verbonden grafiek via Self-Attention
In plaats van een schaarse grafiek te gebruiken, modelleert FEAST het weefsel als een volledig verbonden grafiek. Door gebruik te maken van het self-attention mechanisme, worden alle mogelijke paren van spots met elkaar in verband gebracht. De interactiestrkte wordt dynamisch geleerd in plaats van vooraf te worden vastgesteld.

• Positieve Bias: Om rekening te houden met de ruimtelijke rangschikking, wordt een statische positionele bias toegevoegd (gebaseerd op de Euclidische afstand tussen spots), vergelijkbaar met ALiBi in taalmodellen. Dit zorgt ervoor dat ruimtelijk dichtbijgelegen spots een hogere prioriteit krijgen, terwijl het model toch langeafstandsrelaties kan leren.

2. Negatieve-bewuste Aandacht (Negative-aware Attention)
Om de biologische realiteit van zowel excitatoire als inhiberende interacties te modelleren, introduceert FEAST een nieuw attentiemechanisme:

• Het mechanisme berekent zowel een positieve attentiescore ($S_{pos}$) als een negatieve score ($S_{neg}$), waarbij de negatieve score een omkering is van de positieve score.
• Na normalisatie via softmax worden deze scores gecombineerd: $A_{final} = A_{pos} - \beta \cdot A_{neg}$.
• Hierdoor kan de uiteindelijke attentiewaarde negatief zijn. Dit stelt het model in staat om expliciet inhiberende relaties te modelleren (bijv. immuunonderdrukking in tumoromgevingen), wat de biologische interpretatie en voorspellende nauwkeurigheid verbetert.

3. Off-grid Sampling Strategie
Om het verlies van morfologische informatie tussen de vaste patches te voorkomen:

• Het systeem genereert pseudo-spots op tussenliggende (off-grid) locaties tussen de originele ST-coördinaten.
• Deze pseudo-spots vullen de gaten op en vangen morfologische structuren die anders zouden worden afgesneden.
• Hiërarchische Aandacht: Omdat het toevoegen van pseudo-spots het aantal knooppunten ($N$) vergroot en de rekentijd van $O(N^2)$ onhoudbaar maakt, gebruikt FEAST een twee-traps aanpak:
  1. Lokale k-NN Aandacht: Zowel originele als pseudo-spots kijken alleen naar hun $k$-dichtstbijzijnde buren om lokale context te absorberen.
  2. Globale Self-Attention: Alleen de originele spots (die nu verrijkt zijn met lokale context) ondergaan een globale self-attention. Dit houdt de rekentijd beheersbaar terwijl het de ruimtelijke continuïteit behoudt.

Belangrijkste Bijdragen

• FEAST Framework: Een nieuw paradigma dat weefsels modelleert als volledig verbonden grafieken, waardoor het beperkingen van vooraf gedefinieerde schaarse grafieken overbrugt.
• Negatieve-bewuste Aandacht: Een innovatief mechanisme dat expliciet zowel positieve als negatieve biologische relaties kan modelleren, wat leidt tot biologisch plausibele interpretaties.
• Off-grid Sampling: Een strategie om morfologische context te herstellen die verloren gaat bij standaard patch-extractie, gecombineerd met een efficiënte hiërarchische architectuur.
• State-of-the-Art Resultaten: Het framework presteert superieur op publieke datasets in vergelijking met bestaande SOTA-methoden.

Resultaten

De auteurs hebben FEAST getest op drie publieke datasets: ST-Net (borstkanker), Her2ST (borstkanker) en SCC (huidkanker). De prestaties werden vergeleken met zeven bestaande baselines (zoals MERGE, TRIPLEX, HisToGene).

• Kwantitatieve Prestaties: FEAST behaalde de beste resultaten in 7 van de 9 evaluatiemetrics (MSE, MAE, PCC) over alle datasets.
  • Op de Her2ST-dataset verbeterde FEAST de MSE aanzienlijk (0.5761 vs. 0.6422 bij MERGE) en bereikte een hogere Pearson-correlatiecoëfficiënt (PCC) van 0.5524.
  • Op de SCC-dataset behaalde FEAST de hoogste PCC (0.5811), wat aantoont dat het model de sterkste lineaire relatie tussen voorspelde en werkelijke waarden vastlegt.
• Kwalitatieve Analyse: Visuele vergelijkingen van genexpressie-heatmaps tonen aan dat FEAST scherpere grenzen en fijnere ruimtelijke patronen herstelt dan concurrenten, die vaak te gladde of diffuse voorspellingen geven.
• Ablatiestudies: Experimenten bevestigen dat zowel de off-grid sampling (pseudo-spots) als de negatieve-bewuste aandacht essentieel zijn voor de prestaties. Het weglaten van pseudo-spots leidt tot een significante daling in nauwkeurigheid, vooral in gebieden met schaarse ruimtelijke informatie.
• Interpretatie: De gegenereerde attentiekaarten tonen duidelijk zowel positieve (rood) als negatieve (blauw) relaties, wat biologisch zinvolle inzichten biedt (bijv. het identificeren van onderdrukkende interacties in tumorweefsel).

Significantie

FEAST vertegenwoordigt een belangrijke doorbraak in de computergestuurde pathologie en ruimtelijke transcriptomics. Door de beperkingen van schaarse grafieken en positieve-only aandacht te doorbreken, biedt het niet alleen een nauwkeurigere methode om genexpressie te voorspellen uit goedkope beelden, maar ook een interpreteerbaar model dat de complexe, dubbelzinnige aard van biologische interacties (excitatie en inhibitie) weerspiegelt. Dit opent de weg voor betere hypothesegeneratie en downstream biologische validatie, met name in onderzoek naar tumor-microomgevingen en ontwikkelingsbiologie. De code is open source beschikbaar gesteld.