Making Multi-Axis Models Robust to Multiplicative Noise: How, and Why?

Probleemstelling

De kern van dit paper is het aanpakken van een specifiek probleem in de analyse van matrix-variate data, zoals single-cell RNA-sequencing (scRNA-seq) data. In deze context vertegenwoordigen de rijen cellen en de kolommen genen. Bestaande methoden voor het leren van "multi-axis" modellen (of Kronecker-sum-structuren) proberen simultaan afhankelijkheidsnetwerken (grafieken) te leren voor zowel rijen als kolommen.

De huidige uitdagingen zijn tweeledig:

1. Multiplicatieve Ruis: ScRNA-seq-data wordt vaak verstoord door multiplicatieve ruis veroorzaakt door technische biases (bijv. GC-bias) en onvolledigheid in het meetproces (drop-out effecten). Bestaande methoden gaan vaak uit van additieve ruis of een Gaussische verdeling, wat niet voldoet voor deze data.
2. Beperkte Expressiviteit: Veel modellen maken de aanname van een "Gaussian copula" (Gaussische interacties). Dit beperkt het model omdat het geen "tail dependence" (extreme waarden die samenhangen) toestaat. ScRNA-seq-data vertoont echter wel deze extremale afhankelijkheden.

Het paper stelt dat er geen bestaande methode is om Kronecker-sum-structuren te fitten onder multiplicatieve ruis, wat leidt tot suboptimale netwerkinferentie.

Methodologie: MED-MAGMA

De auteurs introduceren MED-MAGMA (Matrix Elliptical Distribution's Multi-axis Graphical Modelling Algorithm). Dit is een algoritme dat gebaseerd is op Maximum Likelihood Estimation (MLE) via het Expectation-Maximization (EM) kader.

Het Model:
Het model gaat uit van een latente variabele $z$ die een multivariate normale verdeling volgt met een precisiematrix die een Kronecker-sum structuur heeft ($\Omega = \Psi_{cols} \oplus \Psi_{rows}$). De waargenomen data $x$ wordt gemodelleerd als:
$$x = (r_{cols} \otimes r_{rows}) \circ z$$
Hierbij is $\circ$ het elementsgewijze product (Hadamard product) en zijn $r_{rows}$ en $r_{cols}$ strikt positieve variabelen die de multiplicatieve ruis vertegenwoordigen.

Kernstappen van het Algoritme:

1. Omgaan met Niet-Identificeerbaarheid:
   Omdat het model schaal-invariant is (vermenigvuldiging van $r$ en $\Omega$ met een constante levert dezelfde data op), wordt een constrictie opgelegd. De auteurs kiezen voor een geometrisch gemiddelde-constraint: $\prod r_i = 1$. Dit lost de schaalproblematiek op zonder de sparsiteitsstructuur (de graaf) te beïnvloeden.

2. Verwijderen van Ruis (De Functie $f$):
   Omdat de exacte likelihood niet direct berekenbaar is door de willekeurige verdeling van $r$, definiëren de auteurs een transformatiefunctie $f$. Deze functie projecteert de data naar een "quotient space" waarbij de multiplicatieve ruis wordt verwijderd, maar de richtingsinformatie (de structuur) behouden blijft.
   $$f(X)_{ij} = \frac{x_{ij}}{\left(\prod_{i'j'} x_{i'j'}\right)^{\frac{1}{d_{rows}d_{cols}}} \left(\prod_{j'} x_{ij'}\right)^{-\frac{1}{d_{cols}}} \left(\prod_{i'} x_{i'j}\right)^{-\frac{1}{d_{rows}}}}$$
   Dit is in feite een dubbel-centering operatie in de logaritmische ruimte. Voor datasets met nullen (veelvoorkomend in scRNA-seq) wordt een aangepaste versie gebruikt die alleen niet-nul waarden meetelt.

3. Expectation-Maximization (EM):

   • E-stap: Bereken de verwachtingswaarden van de voldoende statistieken ($S_{rows}$ en $S_{cols}$) gegeven de huidige schatting van $\Omega$ en de gedenoised data $y = f(x)$. Omdat de integraal over de "fiber space" (de verzameling van alle $z$ die naar $y$ leiden) ingewikkeld is, gebruiken de auteurs de Laplace-benadering. Dit vereist het vinden van het punt $z^*$ dat de kwadratische vorm minimaliseert onder de constraints, wat wordt opgelost via een "flip-flop" algoritme met kwadratische programmering.
   • M-stap: Update $\Psi_{rows}$ en $\Psi_{cols}$ door het maximaliseren van de verwachte log-likelihood. Dit reduceert tot het oplossen van een sub-probleem dat identiek is aan het bestaande GmGM algoritme (een snelle methode voor Kronecker-sum modellen zonder ruis), maar dan met de geschatte statistieken $S_{rows}$ en $S_{cols}$ in plaats van de ruwe data.

Belangrijkste Bijdragen

• Nieuw Model: De eerste methode om multi-axis (Kronecker-sum) modellen te fitten onder multiplicatieve ruis, wat essentieel is voor scRNA-seq en andere matrix-variate data.
• Verhoogde Expressiviteit: Door het model te generaliseren naar elliptische verdelingen (in plaats van puur Gaussisch), kunnen modellen nu "tail dependence" modelleren, wat cruciaal is voor het vangen van extreme biologische gebeurtenissen.
• Robuust Algoritme: MED-MAGMA combineert een innovatieve ruisverwijderingsfunctie met een efficiënt EM-schema dat bestaande snelle solvers (GmGM) hergebruikt.
• Open Source: De implementatie is beschikbaar als een Python-pakket (MED-MAGMA).

Resultaten

De auteurs evalueren MED-MAGMA op drie niveaus:

1. Synthetische Data:
   Op gegenereerde data met variërende niveaus van multiplicatieve ruis presteert MED-MAGMA consistent goed op metrics zoals AUPR (Area Under Precision-Recall), assortativiteit en AMI (Adjusted Mutual Information). In tegenstelling tot GmGM en een baseline, blijft de prestatie van MED-MAGMA stabiel naarmate de ruissterkte toeneemt.

2. Systematische Validatie (Real Data):
   Het algoritme werd getest op alle 30 publieke scRNA-seq datasets in de Single Cell Expression Atlas met minder dan 1000 cellen.

   • MED-MAGMA overtrof systematisch GmGM (zowel de standaardversie als de versie met "nonparanormal skeptic") en een single-axis baseline.
   • De verbetering was zichtbaar in zowel de kwaliteit van de geclusterde cellen (AMI) als de structuur van de netwerken (assortativiteit).

3. Case Study (E-MTAB-7249):
   Op een dataset van ovariumkanker-cellen toonde MED-MAGMA aan dat:

   • De geleerde genenmodules sterk correleren met bekende celtypen (stromaal vs. neoplastisch).
   • De cellulaire en genen-netwerken zeer robuust zijn tegen perturbaties, gemeten met de Robin tool (hoge Bayes-factoren).

Betekenis en Toekomstperspectief

Dit werk is significant omdat het een fundamentele beperking in de analyse van high-throughput biologische data wegneemt. Veel bestaande methoden falen of geven misleidende resultaten wanneer ze worden toegepast op data met multiplicatieve ruis (zoals scRNA-seq). MED-MAGMA biedt een wiskundig onderbouwde oplossing die niet alleen robuuster is, maar ook biologisch meer zinvolle netwerken produceert door complexe afhankelijkheden (zoals tail dependence) te modelleren.

Beperkingen:
De huidige implementatie schaalt goed tot matrices met duizenden rijen/kolommen, maar wordt computationeel zwaar bij tientallen duizenden (door de kubische schaling van de sub-problemen). Toekomstig werk zou zich kunnen richten op het versnellen van de Laplace-benadering of het verzwakken van de aannames over lineaire en radiaal symmetrische afhankelijkheden.