Exact Stiefel Optimization for Probabilistic PLS: Closed-Form Updates, Error Bounds, and Calibrated Uncertainty

Sintesi Tecnica: Ottimizzazione Stiefel Esatta per PLS Probabilistico

Enunciato del Problema
Il Partial Least Squares Probabilistico (PPLS) è un framework basato sulla verosimiglianza per l'apprendimento a due viste che fornisce fattori latenti interpretabili e incertezza calibrata. Tuttavia, le pipeline di adattamento esistenti, che tipicamente si basano su aggiornamenti Expectation-Maximization (EM) o ECM, affrontano due colli di bottiglia critici:

1. Accoppiamento Rumore-Segnale: Gli aggiornamenti congiunti dei parametri del segnale latente e delle varianze del rumore creano dipendenze reciproche che appiattiscono la funzione obiettivo in certe direzioni in presenza di alto rumore, portando a sensibilità all'inizializzazione ed errori nel recupero dei parametri.
2. Vincoli di Ortogonalità: Imporre l'ortonormalità delle matrici di carico ($W^\top W = C^\top C = I_r$) all'interno dei sottopassi EM/ECM è non banale. I metodi esistenti spesso gestiscono ciò indirettamente tramite penalità a punti interni, che non garantiscono la fattibilità esatta ad ogni iterazione.

Inoltre, i precedenti approcci alla stima del rumore (ad es. Hu et al., 2025) spesso mediano sull'intero spettro degli autovalori, mescolando direzioni di segnale e rumore, il che introduce un bias deterministico e incoerenza.

Metodologia
Gli autori propongono un framework end-to-end che disaccoppia la stima del rumore dall'ottimizzazione del segnale vincolata, operando all'interno della parametrizzazione PPLS identificabile di Bouhaddani et al. (2018). La pipeline consta di quattro stadi:

1. Pre-stima del Sottospazio di Rumore: Invece della media sull'intero spettro, il metodo stima le varianze del rumore di osservazione ($\sigma^2_e, \sigma^2_f$) mediando i più piccoli $p-r$ e $q-r$ autovalori delle covarianze campionarie marginali. Questo mira direttamente al sottospazio del rumore, evitando la contaminazione da autovalori del segnale.
2. Verosimiglianza Scalare a Rumore Fisso: Con le varianze del rumore fissate, il log-verosimiglianza negativo dei dati osservati si riduce a una funzione obiettivo scalare. Questa espansione evita determinanti e inversi di matrice espliciti, esprimendo la verosimiglianza in termini di statistiche scalari proiettate ($Q_x, Q_y, Q_{xy}$) e parametri diagonali.
3. Ottimizzazione Esatta su Varietà di Stiefel: L'ottimizzazione vincolata viene eseguita sulla varietà prodotto $\text{St}(p, r) \times \text{St}(q, r) \times \mathbb{R}^{2r+1}_{++}$. Il documento introduce due strategie:
   • SLM-Manifold: Un approccio completo di ottimizzazione Riemanniana che utilizza gradienti coniugati e retrazioni QR per mantenere l'ortogonalità esatta ad ogni iterazione.
   • BCD-SLM: Uno schema di discesa per coordinate a blocchi che sfrutta la separabilità scalare dell'obiettivo PPLS. Aggiorna le matrici di carico tramite passi Riemanniani e aggiorna i parametri scalari ($\theta^2_{t,i}, b_i, \sigma^2_h$) tramite massimizzatori condizionali in forma chiusa (risolvendo equazioni cubiche per $b_i$).
4. Gaussianizzazione e Calibrazione: Un livello opzionale di gaussianizzazione per coordinate (ad es. Trasformazione Inversa Normale basata su Ranghi) estende l'applicabilità a osservazioni sub-Gaussiane. L'incertezza di previsione viene calibrata tramite un fattore di dispersione $\hat{\kappa}$ derivato dai residui di validazione, garantendo una copertura quasi nominale senza ricalibrazione a posteriori.

Contributi Chiave

• Stima del Rumore Ottimale in Tasso: Gli autori dimostrano che lo stimatore del sottospazio di rumore proposto raggiunge un tasso di errore su campioni finiti indipendente dalla forza del segnale (Teorema 1) e corrisponde a un limite inferiore minimax (Teorema 2). Al contrario, dimostrano che lo stimatore a spettro completo utilizzato nei lavori precedenti è incoerente, soffrendo di un bias deterministico che non svanisce con la dimensione del campione (Proposizione 1).
• Ottimizzazione su Varietà Esatta con Garanzie di Inferenza: Ottimizzando sulla varietà di Stiefel esatta, il metodo garantisce la fattibilità dell'ortogonalità rigorosa. Lo stimatore risultante risulta coerente e asintoticamente normale. Crucialmente, la matrice di informazione di Fisher esibisce una struttura a blocchi diagonali, permettendo la derivazione di errori standard in forma chiusa per i parametri senza bootstrap Monte Carlo (Proposizione 6).
• Ambito di Modellazione Esteso: Il framework accoglie dati non Gaussiani tramite gaussianizzazione opzionale, interpretando la verosimiglianza come una quasi-verosimiglianza Gaussiana. L'analisi teorica mostra che ciò riduce il bias di eccesso di curtosi a $O(1/N)$ (Corollario 2).
• Selezione del Rangho: Viene proposta una procedura a due stadi per la selezione del rango guidata dai dati utilizzando il BIC, con garanzie teoriche sulla coerenza e sulle soglie di rilevabilità dei fattori deboli (Proposizioni 7 e 8).

Risultati Sperimentali

• Prestazioni Sintetiche: In regimi ad alto rumore, i solutori a rumore fisso proposti (SLM-Manifold e BCD-SLM) superano significativamente EM/ECM nel recupero dei parametri di accoppiamento ($B, \Sigma_t$) e delle matrici di carico, specialmente quando $p=q=500$. I metodi raggiungono una copertura degli intervalli predittivi quasi nominale (ad es. copertura del 95% al livello nominale del 95%) senza aggiustamento a posteriori.
• Benchmark del Mondo Reale:
  • TCGA-BRCA: Il metodo raggiunge un'accuratezza di previsione puntuale comparabile alla regressione Ridge (MSE $\approx$ 0.45) con soli $r=3$ componenti, fornendo al contempo incertezza calibrata nativa. Al contrario, PO2PLS (che aggiunge componenti ortogonali specifiche per vista) raggiunge un MSE simile ma manca di incertezza predittiva nativa e non supera l'approccio a rumore fisso.
  • PBMC CITE-seq: Mentre le basi non lineari profonde (DCCA, KCCA) raggiungono un MSE puntuale leggermente inferiore, richiedono un'estesa ricalibrazione a posteriori per ottenere un'incertezza utilizzabile. La pipeline PPLS a rumore fisso fornisce un'accuratezza competitiva (MSE $\approx$ 0.259) con calibrazione nativa del modello e fattori interpretabili, evitando la necessità di stadi di ricalibrazione esterni.
• Efficienza Computazionale: L'ottimizzazione in forma scalare offre un'accelerazione di $O(p/r)$ rispetto alle valutazioni in forma di matrice. BCD-SLM converge più velocemente dell'ottimizzazione Riemanniana completa, con tempi di esecuzione nell'ordine dei secondi o decine di secondi per $p=q=500$.

Significato e Affermazioni
Il documento afferma che l'ottimizzazione diretta della verosimiglianza PPLS sulla varietà prodotto di Stiefel, combinata con una stima spettrale pre-calcolata del rumore, produce una pipeline probabilistica lineare pratica con calibrazione dell'incertezza nativa del modello.

Gli autori posizionano il loro lavoro come un passaggio dal "miglior singolo numero di calibrazione" (spesso ottenuto dai modelli profondi solo dopo una fragile riparazione a posteriori) verso semplicità di deployment, interpretabilità e ridotta fragilità della calibrazione. Sostengono che, mentre PO2PLS è superiore per la decomposizione di strutture specifiche per vista, la pipeline PPLS a rumore fisso è lo strumento appropriato quando l'obiettivo è la previsione calibrata tra viste. Il metodo è presentato come un'alternativa robusta a EM/ECM in contesti ad alto rumore e come un quantificatore di incertezza più affidabile rispetto alle basi di deep learning che mancano di una struttura probabilistica nativa.

Gli autori mantengono un atteggiamento modesto riguardo ai problemi aperti, notando che un'analisi del paesaggio globale per il caso PPLS generale (oltre il sottovarietà PCCA) rimane aperta, così come lo sviluppo di uno stimatore del rumore unificato che sia sia coerente che agnostico rispetto al rango.