Exact Stiefel Optimization for Probabilistic PLS: Closed-Form Updates, Error Bounds, and Calibrated Uncertainty

Technische Samenvatting: Exacte Stiefel-Optimalisatie voor Probabilistische PLS

Probleemstelling
Probabilistische Partial Least Squares (PPLS) is een op waarschijnlijkheid gebaseerd kader voor twee-zicht leren dat interpreteerbare latente factoren en gekalibreerde onzekerheid biedt. Echter, bestaande aanpassingspijplijnen, die doorgaans vertrouwen op Expectation-Maximization (EM) of ECM-updates, staan voor twee kritieke knelpunten:

1. Ruis-Signaal Koppeling: Gezamenlijke updates van latente signaalparameters en ruisvarianties creëren wederzijdse afhankelijkheden die de objectieve functie in bepaalde richtingen afvlakken onder hoge ruis, wat leidt tot gevoeligheid voor initialisatie en fouten in het herstellen van parameters.
2. Orthogonaliteitsbeperkingen: Het afdwingen van de orthonormaliteit van ladingmatrijzen ($W^\top W = C^\top C = I_r$) binnen EM/ECM-substappen is niet triviaal. Bestaande methoden hanteren dit vaak indirect via binnen-puntstraffen, wat geen exacte haalbaarheid bij elke iteratie garandeert.

Bovendien benaderen eerdere aanpakken voor ruisinschatting (bijv. Hu et al., 2025) vaak het volledige spectrum van eigenwaarden, waarbij signaal- en ruisrichtingen worden gemengd, wat een deterministische bias en inconsistentie introduceert.

Methodologie
De auteurs stellen een end-to-end kader voor dat ruisinschatting ontkoppelt van beperkte signaalexptimalisatie, opererend binnen de identificeerbare PPLS-parametrisatie van Bouhaddani et al. (2018). De pijplijn bestaat uit vier fasen:

1. Ruis-Subruimte Voorinschatting: In plaats van gemiddelde over het volledige spectrum, schat de methode ruisvarianties van de observaties ($\sigma^2_e, \sigma^2_f$) door de kleinste $p-r$ en $q-r$ eigenwaarden van de marginale steekproefcovarianties te middelen. Dit richt zich direct op de ruis-subruimte, waardoor contaminatie door signaaleigenwaarden wordt vermeden.
2. Vaste-Ruis Scalare Likelihood: Met vaste ruisvarianties wordt de negatieve log-likelihood van de geobserveerde data gereduceerd tot een scalair objectief. Deze expansie vermijdt expliciete matrixdeterminanten en inversen, en drukt de likelihood uit in termen van geprojecteerde scalare statistieken ($Q_x, Q_y, Q_{xy}$) en diagonale parameters.
3. Exacte Stiefel-Mannigvuldigheids-Optimalisatie: De beperkte optimalisatie wordt uitgevoerd op het product van de Stiefel-mannigvuldigheden $\text{St}(p, r) \times \text{St}(q, r) \times \mathbb{R}^{2r+1}_{++}$. Het artikel introduceert twee strategieën:
   • SLM-Mannigvuldigheid: Een volledige Riemanniaanse optimalisatiebenadering die geconjugeerde gradiënten en QR-retracties gebruikt om exacte orthogonaliteit bij elke iteratie te behouden.
   • BCD-SLM: Een blok-coördinaatafdaalschema dat gebruikmaakt van de scalare scheidbaarheid van de PPLS-objectief. Het updateert ladingmatrijzen via Riemanniaanse stappen en updateert scalare parameters ($\theta^2_{t,i}, b_i, \sigma^2_h$) via gesloten-vorm conditionele maximalisatoren (het oplossen van kubische vergelijkingen voor $b_i$).
4. Gaussianisatie en Kalibratie: Een optionele laag voor coördinaatgewijze gaussianisatie (bijv. Rang-gebaseerde Inverse Normale Transformatie) breidt de toepasbaarheid uit tot sub-Gaussische observaties. Voorspellingsonzekerheid wordt gekalibreerd via een dispersiefactor $\hat{\kappa}$ afgeleid van validatieresiduen, waardoor een bijna-nominale dekking wordt gegarandeerd zonder post-hoc herkalibratie.

Belangrijkste Bijdragen

• Snelheidsoptimale Ruisinschatting: De auteurs bewijzen dat de voorgestelde ruis-subruimte-schatting een foutenrate voor eindige steekproeven bereikt die onafhankelijk is van signaalsterkte (Stelling 1) en overeenkomt met een minimax ondergrens (Stelling 2). Omgekeerd tonen ze aan dat de schatting over het volledige spectrum, gebruikt in eerdere werken, inconsistent is en lijdt aan een deterministische bias die niet verdwijnt met toenemende steekproefgrootte (Propositie 1).
• Exacte-Mannigvuldigheids-Optimalisatie met Inference-Garanties: Door te optimaliseren op de exacte Stiefel-mannigvuldigheid, zorgt de methode voor strikte haalbaarheid van orthogonaliteit. De resulterende schatter blijkt consistent en asymptotisch normaal te zijn. Cruciaal vertoont de Fisher-informatiematrix een blok-diagonale structuur, wat de afleiding van gesloten-vorm standaardfouten voor de parameters mogelijk maakt zonder Monte Carlo-bootstrapping (Propositie 6).
• Uitgebreid Modelleringsspectrum: Het kader komt tegemoet aan niet-Gaussische data via optionele gaussianisatie, waarbij de likelihood wordt geïnterpreteerd als een Gaussische quasi-likelihood. Theoretische analyse toont aan dat dit de bias door excess-kurtosis reduceert tot $O(1/N)$ (Corollarium 2).
• Rangselectie: Een tweefasenprocedure wordt voorgesteld voor datagedreven rangselectie met behulp van BIC, met theoretische garanties op consistentie en drempels voor detectie van zwakke factoren (Proposities 7 en 8).

Experimentele Resultaten

• Synthetische Prestaties: In regimes met hoge ruis presteren de voorgestelde vaste-ruis-oplossers (SLM-Mannigvuldigheid en BCD-SLM) aanzienlijk beter dan EM/ECM bij het herstellen van koppelingsparameters ($B, \Sigma_t$) en ladingmatrijzen, met name wanneer $p=q=500$. De methoden bereiken een bijna-nominale dekking van voorspellingsintervallen (bijv. 95% dekking bij 95% nominaal niveau) zonder post-hoc aanpassing.
• Real-World Benchmarks:
  • TCGA-BRCA: De methode bereikt puntvoorspellingsnauwkeurigheid vergelijkbaar met Ridge-regressie (MSE $\approx$ 0,45) met slechts $r=3$ componenten, terwijl het native gekalibreerde onzekerheid biedt. Daarentegen bereikt PO2PLS (dat zicht-specifieke orthogonale componenten toevoegt) een vergelijkbare MSE, maar mist native voorspellende onzekerheid en presteert niet beter dan de vaste-ruis-aanpak.
  • PBMC CITE-seq: Hoewel niet-lineaire diepe baselines (DCCA, KCCA) een iets lagere punt-MSE bereiken, vereisen ze uitgebreide post-hoc herkalibratie om bruikbare onzekerheid te bereiken. De vaste-ruis PPLS-pijplijn biedt concurrerende nauwkeurigheid (MSE $\approx$ 0,259) met model-native kalibratie en interpreteerbare factoren, waardoor externe herkalibratiefasen worden vermeden.
• Berekenings-efficiëntie: De optimalisatie in scalare vorm biedt een snelheidsvoordeel van $O(p/r)$ ten opzichte van evaluaties in matrixvorm. BCD-SLM convergeert sneller dan volledige Riemanniaanse optimalisatie, met looptijden in het bereik van seconden tot tientallen seconden voor $p=q=500$.

Betekenis en Claims
Het artikel beweert dat directe optimalisatie van de PPLS-likelihood op het product van de Stiefel-mannigvuldigheid, gecombineerd met spectrale voorinschatting van ruis, een praktische lineaire probabilistische pijplijn oplevert met model-native onzekerheidskalibratie.

De auteurs positioneren hun werk als een verschuiving van "beste enkele kalibratienummer" (vaak alleen bereikt door diepe modellen na fragiele post-hoc reparatie) naar deploymentsimpliciteit, interpreteerbaarheid en verminderde kalibratiefragiliteit. Zij betogen dat hoewel PO2PLS superieur is voor het ontleden van zicht-specifieke structuren, de vaste-ruis PPLS-pijplijn het juiste instrument is wanneer het doel gekalibreerde cross-zicht voorspelling is. De methode wordt gepresenteerd als een robuust alternatief voor EM/ECM in omstandigheden met hoge ruis en als een betrouwbaarder kwantificeerder van onzekerheid dan diepe leer-baselines die ontberen een native probabilistische structuur.

De auteurs blijven bescheiden wat betreft open problemen, en merken op dat een analyse van het globale landschap voor het algemene PPLS-geval (buiten de PCCA-submannigvuldigheid) nog open staat, evenals de ontwikkeling van een uniforme ruis-schatting die zowel consistent als rang-onafhankelijk is.