Reduced-rank Generalized Bilinear Models

Technische Samenvatting: Reduced-Rank Generalized Bilinear Models (RR-GBM's)

Probleemstelling
Bij de analyse van hoogdimensionele data, met name in de genomica (bijv. single-cell RNA-sequencing), worden onderzoekers geconfronteerd met de dubbele uitdaging van dimensionaliteitsreductie en effectschatting. Generalized Bilinear Models (GBM's) bieden een flexibel kader voor het modelleren van de relatie tussen monster-covariaten (bijv. experimentele condities, batch-effecten) en feature-covariaten (bijv. genexpressie) terwijl latente factoren worden meegerekend. Echter, standaard GBM's lijden onder ernstige statistische en computationele inefficiënties naarmate het aantal monster-covariaten ($L$) toeneemt. In een standaard GBM heeft de coëfficiëntmatrix $B$, die de relatie tussen monster-covariaten en features beschrijft, dimensies $I \times L$ (waarbij $I$ het aantal features is, vaak $>20.000$). Het schatten van een full-rank $B$ vereist ongeveer $IL$ parameters, wat leidt tot onacceptabele computationele lasten en onnauwkeurige schattingen wanneer $L$ groeit. Hoewel reduced-rank regressie een gevestigde oplossing is voor multivariate regressie (zonder feature-covariaten of latente factoren), is dit nog niet eerder verkend binnen de GBM-setting.

Methodologie
De auteurs introduceren het Reduced-Rank Generalized Bilinear Model (RR-GBM) om deze beperkingen aan te pakken. De standaard GBM neemt de vorm aan:
$$g(E[Y]) = XA^T + BZ^T + XCZ^T + U\Sigma V^T$$
waarbij $Y$ de datamatrix is, $Z$ de monster-covariaten vertegenwoordigt, $X$ de feature-covariaten vertegenwoordigt en $B$ de coëfficiëntmatrix is voor de monster-covariaten.

Het RR-GBM legt de monster-coëfficiëntmatrix $B$ een gereduceerde rang $N$ op (waarbij $N \ll L$) door deze te deconstrueren als $B = Q\Lambda R^T$. Het model wordt:
$$g(E[Y]) = XA^T + Q\Lambda R^T Z^T + XCZ^T + U\Sigma V^T$$
Hierbij:

• $Q \in \mathbb{R}^{I \times N}$ vertegenwoordigt het effect van latente factoren op de features.
• $R \in \mathbb{R}^{L \times N}$ vertegenwoordigt het effect van monster-covariaten op de latente factoren.
• $\Lambda \in \mathbb{R}^{N \times N}$ is een diagonale matrix die de magnitude van de latente factoren vertegenwoordigt.
• $N$ is de gekozen rang, die aanzienlijk kleiner is dan het aantal covariaten $L$.

Schatting en Identificeerbaarheid
De auteurs stellen een gezamenlijk schattingsalgoritme voor dat direct $Q$, $\Lambda$ en $R$ schat in plaats van eerst een full-rank $B$ te schatten en deze vervolgens te factoriseren. Het algoritme maakt gebruik van gebonden geregulariseerde Fisher scoring-stappen, waarbij cyclisch wordt geüpdatet voor $Q\Lambda$, $\Lambda R^T$ en $\Lambda$. Om identificeerbaarheid te waarborgen, worden specifieke restricties opgelegd: $\Lambda$ is diagonaal met strikt afnemende positieve waarden; $Q$ en $R$ zijn orthonormaal; en er worden orthogonaliteitsrestricties opgelegd tussen $X$ en de componenten met een gereduceerde rang.

Rangselectie via Data Thinning
Het selecteren van de optimale rang $N$ is uitdagend omdat standaard kruisvalidatie (cross-validation) ontoereikend is wanneer monster-specifieke parameters betrokken zijn. De auteurs maken gebruik van een data thinning-benadering (Neufeld et al., 2024). Voor Poisson-verdeelde data wordt de geobserveerde matrix $Y$ gesplitst in twee onafhankelijke matrices, $Y'$ en $Y''$, zodanig dat $Y'_{ij} \sim \text{Binomial}(Y_{ij}, 1/2)$ en $Y''_{ij} = Y_{ij} - Y'_{ij}$. Beide resulterende matrices volgen een Poisson-verdeling met de helft van het gemiddelde van de oorspronkelijke matrix. Het model wordt gefit op $Y'$, en de voorspellingsfout (RMSE) wordt berekend ten opzichte van $Y''$. Dit proces genereert een scree-achtige plot om de selectie van $N$ (en vergelijkbaar voor de latente factor-rang $M$) te begeleiden.

Belangrijkste Resultaten

1. Statistische Efficiëntie: Simulatiestudies tonen aan dat, wanneer de ware coëfficiëntmatrix een gereduceerde rang heeft of benaderend een gereduceerde rang bezit, RR-GBM beter presteert dan full-rank GBM's. De reduced-rank benadering levert een lagere Root Mean Square Error (RMSE) op door een bias-variantie trade-off te benutten; het negeren van factoren met kleine effecten vermindert de schattingsvariantie meer dan dat het de kwadratische bias vergroot.
2. Computationele Schaalbaarheid: Naarmate het aantal monster-covariaten ($L$) toeneemt, groeit de computationele tijd voor full-rank GBM's snel. In tegen tegenstelling hiertoe schaalt de computationele tijd van RR-GBM veel gunstiger; de tijd neemt slechts een bescheiden hoeveelheid toe, zelfs wanneer $L$ groeit van 10 naar 100.
3. Visualisatie en Interpretatie: De deconstructie $B = Q\Lambda R^T$ maakt visualisatie van hoogdimensionele relaties mogelijk. Heatmaps van $\Lambda R^T$ onthullen clusters van monster-covariaten met vergelijkbare effecten, terwijl heatmaps of scatterplots van $Q$ clusters van features (genen) onthullen die door specifieke latente factoren worden beïnvloed.
4. Toepassing op Perturb-seq: De methode is toegepast op een pancreascarcinoom Perturb-seq dataset bestaande uit 10.881 cellen met 68 verschillende ligand-perturbaties over 15.876 genen. Met een rang van $N=4$ identificeerde de RR-GBM succesvol biologisch betekenisvolle latente factoren die overeenkomen met ontstekingssignalerings- en immuunregulatiepaden. De resultaten stemden overeen met eerdere analyses (Liu et al., 2025), maar werden bereikt via een verenigd statistisch model zonder de noodzaak voor tussenliggende filtering of aparte dimensionaliteitsreductiestappen.

Betekenis en Claims
Het artikel claimt dat RR-GBM een computationeel hanteerbaar en statistisch efficiënt kader biedt voor de analyse van hoogdimensionele data met talrijke monster-covariaten. Door de parameterruimte te reduceren van $O(IL)$ naar $O(NL)$, maakt de methode het mogelijk om complexe experimentele ontwerpen (zoals grootschalige Perturb-seq screens) te modelleren die met standaard GBM's onhandelbaar zouden zijn. De auteurs benadrukken dat de methode niet alleen de schattingsnauwkeurigheid verbetert, maar ook de interpretatie van covariaat-effecten en feature-structuren vergemakkelijkt via laagdimensionele samenvattingen. De data thinning-benadering biedt bovendien een robuust, datagedreven mechanisme voor rangselectie in situaties waar traditionele kruisvalidatie faalt. De auteurs merken op dat hoewel het huidige werk zich richt op monster-covariaten, de aanpak symmetrisch is en kan worden uitgebreid naar feature-covariaten, en dat toekomstig werk de onzekerheidskwantificering en alternatieve optimalisatie-algoritmen (bijv. iteratief hergewogen SVD) kan verkennen om de methode verder te schalen.