Technische Samenvatting: FL-Sailer

Probleemstelling

Single-cell ATAC-seq (scATAC-seq) maakt hoog-resolutie mapping van chromatin-toegankelijkheid mogelijk, maar staat voor aanzienlijke hindernissen voor multi-institutionele samenwerking. Hoewel Federated Learning (FL) een privacy-bevorderend alternatief biedt voor data-centralisatie, falen standaard FL-algoritmen in het scATAC-seq-domein vanwege drie versterkende uitdagingen:

1. Ultra-hoge Dimensionaliteit: Genomische datasets bevatten $10^5$ tot $10^7$ kenmerken (pieken/regionen), waardoor communicatiekosten per ronde prohibitief worden (gigabytes per ronde).
2. Extreme Sparsiteit: Data-matrices zijn ongeveer 95% spaarzaam, wat biologische signalen verduistert en leidt tot hoge variantie in lokale stochastische gradiënten.
3. Ernstige Cross-Institutionele Heterogeniteit: Technische verstorende factoren (bijv. sequentieerdiepte, batch-effecten) variëren aanzienlijk tussen instellingen, correleren vaak met biologische signalen en leiden tot modeldivergentie of het leren van spurious batch-specifieke kenmerken.

Bestaande FL-methoden voor single-cell data (bijv. scRNA-seq) zijn ontoereikend omdat ze de orde-grootte toename in kenmerk-dimensie en sparsiteit specifiek voor scATAC-seq niet aanpakken.

Methodologie: FL-Sailer

De auteurs stellen FL-Sailer voor, het eerste FL-framework dat specifiek is ontworpen voor scATAC-seq. Het integreert twee kerninnovaties om dimensionaliteit en heterogeniteit gelijktijdig aan te pakken:

1. Adaptieve Leverage Score Sampling

Om communicatieknelpunten te overwinnen, hanteert FL-Sailer een strategie voor kenmerkselectie op basis van kolom leverage scores.

• Mechanisme: Clients berekenen lokaal benaderde leverage scores met behulp van gerandomiseerde QR-decompositie (om dure SVD te vermijden). De server aggregeert deze scores om een globale sampling-verdeling te construeren die biologisch informatieve genomische regionen prioriteert.
• Effect: Dit reduceert de kenmerk-dimensie van $d$ naar $s$ (waarbij $s \ll d$), wat een reductie van 80% in dimensionaliteit oplevert.
• Theoretische Garantie: De sampling fungeert als een subspace embedding, waarbij de optimalisatie-geometrie en gradiënt-normen van het oorspronkelijke hoog-dimensionale probleem met een gebonden fout worden behouden. Cruciaal zijn kenmerken zonder teruglegging geselecteerd om een diverse dekking van regulerende elementen te waarborgen.

2. Invariante VAE Architectuur

Om heterogeniteit en batch-effecten te hanteren, past het framework de SAILER-architectuur aan voor een federale setting.

• Architectuur: Een chromosoom-blok Variational Autoencoder (VAE) die een latente representatie $z$ leert van het profiel van chromatin-toegankelijkheid $x$.
• Invariantie Doelstelling: Het model minimaliseert expliciet de wederzijdse informatie $I(z; c)$ tussen de latente representatie $z$ en technische verstorende factoren $c$ (bijv. sequentieerdiepte, instellings-ID) via een variationale bovengrens. Dit ontkoppelt biologische signalen van technische ruis.
• Federale Training: Clients trainen de VAE op hun gesamplede data ($n \times s$ matrices) en aggregeren updates om een geünificeerde biologische representatie te leren die robuust is tegen lokale technische variaties.

Overzicht van het Algoritme

Het trainingsproces (Algoritme 1) bestaat uit twee fasen:

1. Federale Dynamische Kenmerkselectie: Clients berekenen lokale leverage scores; de server aggregeert deze om een globale set kenmerken $S$ te sample, die naar alle clients wordt uitgezonden.
2. Subspace Federale Training: Clients voeren lokale training uit in de gereduceerde kenmerkruimte met behulp van de invariante VAE-doelstelling. Updates worden geaggregeerd via FedAvg.

Belangrijkste Bijdragen

1. Adaptieve Leverage Score Sampling: Een nieuw sampling-module dat biologische interpreteerbaarheid behoudt door direct genomische regionen te selecteren. Het reduceert communicatiekosten met ordes van grootte (tot 80%) en verbetert tegelijkertijd de clustering-prestaties door berekening te focussen op hoog-signaal regulerende regionen.
2. Invariante Representatie Learning: Een voor FL aangepaste VAE-architectuur die biologische signalen expliciet ontkoppelt van technische verstorende factoren door minimaliseren van wederzijdse informatie, waarmee ernstige batch-effecten die veel voorkomen in multi-institutionele data worden aangepakt.
3. Convergentie Theorie: Het artikel stelt de eerste convergentie-garanties op voor FL met agressieve kenmerkselectie. Het bewijst dat FL-Sailer convergeert naar een benaderde oplossing van het oorspronkelijke hoog-dimensionale probleem met een gebonden foutterm $O(\epsilon \cdot L(U^*))$, waarbij $\epsilon \to 0$ naarmate de dimensionaliteit toeneemt.
4. Systematische Benchmarking: Uitgebreide evaluatie op synthetische en real-world datasets (Brain PFC, PsychENCODE, PBMC) die aantonen dat FL-Sailer eerder onuitvoerbare samenwerkingen mogelijk maakt en vaak beter presteert dan gecentraliseerde methoden.

Experimentele Resultaten

De auteurs evalueerden FL-Sailer op drie real-world scATAC-seq datasets (Brain PFC: 127K kenmerken, PsychENCODE: 423K kenmerken, PBMC: 108K kenmerken) en gesimuleerde data.

• Prestaties versus Gecentraliseerd: FL-Sailer presteerde beter dan gecentraliseerde SAILER (de state-of-the-art baseline) op real-world data. Bijvoorbeeld, op de PsychENCODE dataset bereikte FL-Sailer een Adjusted Rand Index (ARI) van 0,781, vergeleken met 0,626 voor gecentraliseerde SAILER met volledige data-toegang.
• Robuustheid tegen Heterogeniteit: In scenario's met verwarde heterogeniteit (waar technische ruis correleert met celtype) faalden gecentraliseerde methoden (ARI = 0,221), terwijl FL-Sailer een ARI van 0,871 bereikte door signalen te ontkoppelen.
• Communicatie-efficiëntie: Bij een optimale sampling-rate ($\rho = 0,2$) reduceerde FL-Sailer de totale communicatie met ongeveer 80% (bijv. van 20,40 GB naar 4,12 GB voor PsychENCODE over 100 rondes) terwijl het tegelijkertijd de modelnauwkeurigheid verbeterde.
• Vergelijking met Standaard FL: FL-Sailer presteerde aanzienlijk beter dan generieke FL-baselines (FedAvg, FedProx, SCAFFOLD, enz.), die vaak last hadden van prestatie-inzakking (bijv. FedAvg ARI = 0,418 op PsychENCODE).
• Detectie van Zeldzame Cellen: Het framework behield succesvol zeldzame celpopulaties (bijv. Common Myeloid Progenitors met een prevalentie van ~2,1%) onder extreme class-imbalance, en bereikte perfecte clustering (ARI = 1,000) in synthetische tests.

Betekenis en Claims

Het artikel claimt dat FL-Sailer een superieur paradigma vestigt voor collaboratief epigenoom-onderzoek wanneer het is toegespitst op domeinspecifieke beperkingen.

• Uitvoerbaarheid: Het transformeert een computationeel onmogelijk probleem (federale training op miljoenen kenmerken) in een praktische oplossing.
• Paradigmaverschuiving: Het werk toont aan dat federated learning, wanneer gecombineerd met domeinspecifieke technieken zoals adaptieve sampling en invariante learning, niet alleen kan meekomen met maar gecentraliseerde methoden kan overtreffen. De auteurs schrijven dit toe aan de sampling-strategie die fungeert als een "impliciete regularisator" die technische ruis onderdrukt en gradiënten over heterogene clients aligneert.
• Privacy en Schaalbaarheid: Het maakt privacy-bevorderende multi-institutionele studies mogelijk zonder gevoelige ruwe profielen te centraliseren, waarmee kritieke regelgevende en opslagbarrières in genomica worden aangepakt.

De auteurs concluderen dat hun werk een theoretische leegte opvult door convergentie-garanties te bieden voor FL onder agressieve kenmerkselectie en empirisch valideert dat gedecentraliseerde, privacy-bevorderende frameworks in aanwezigheid van technische heterogeniteit hogekwaliteit biologische inzichten kunnen opleveren dan gecentraliseerde benaderingen.