Robust Heteroskedastic Matrix Factorization: A Generalization of PCA that Flags Outliers and Handles Missing Data

Sintesi Tecnica: Fattorizzazione di Matrici Eteroschedastica Robusta (RHMF)

Definizione del Problema
La moderna spettroscopia stellare si basa sull'assunto che gli spettri stellari giacciano su un manifold a bassa dimensionalità definito da parametri fisici (ad esempio, temperatura effettiva, gravità superficiale). L'Analisi delle Componenti Principali (PCA) è lo strumento standard per il recupero di questo manifold, ma soffre di critiche limitazioni quando applicata a dati reali di survey. La PCA standard assume dati completi e rettangolari con incertezze omoschedastiche (uguali) e tratta tutti i punti dati come ugualmente importanti. Di conseguenza, è altamente sensibile agli outlier (ad esempio, raggi cosmici, difetti del detector o oggetti astrofisici rari) e non riesce a gestire segmenti di dati mancanti o incertezze di misura eteroschedastiche (rapporti segnale-rumore variabili tra i pixel). Sebbene esistano metodi come l'Iteratively Reweighted Least Squares (IRLS) e la Robust PCA, questi spesso mancano della capacità di gestire simultaneamente i dati mancanti, l'eteroschedasticità e di fornire un'interpretazione probabilistica rigorosa per l'identificazione degli outlier.

Metodologia
Gli autori propongono la Fattorizzazione di Matrici Eteroschedastica Robusta (RHMF), una generalizzazione della Fattorizzazione di Matrici Eteroschedastica (HMF) e della PCA. RHMF modella la matrice dei dati $Y$ come un prodotto a basso rango $AG$ più rumore e outlier, dove $A$ contiene i coefficienti degli oggetti e $G$ contiene i vettori di base.

Le innovazioni metodologiche centrali includono:

1. Verosimiglianza a code pesanti (Heavy-Tailed Likelihood): Invece di minimizzare i residui al quadrato (verosimiglianza Gaussiana), RHMF minimizza una funzione di costo derivata da una verosimiglianza Student-t. Questa sostituisce la penalità quadratica per piccoli residui con una penalità logaritmica per grandi residui, riducendo l'influenza degli outlier.
2. Interpretazione Probabilistica Gerarchica: Si dimostra che la verosimiglianza Student-t è equivalente a un modello Bayesiano gerarchico in cui ogni dato $y_{ij}$ ha una varianza latente $\tau^2_{ij}$ estratta da una distribuzione Inverse-Gamma. Ciò consente al modello di inferire implicitamente "pesi robusti" per ogni punto dato.
3. Algoritmo di Ripesatura Iterativa: Il modello viene adattato utilizzando uno schema di Majorization-Maximization (un approccio IRLS) che cicla attraverso quattro fasi:
   • fase-w: Aggiorna i pesi robusti $w^{robust}_{ij}$ basandosi sui residui attuali, declassando il peso degli outlier.
   • fase-a: Risolve per i coefficienti degli oggetti $A$ utilizzando la Weighted Least Squares (WLS) con vettori di base fissi e pesi aggiornati.
   • fase-g: Risolve per i vettori di base $G$ utilizzando la WLS con coefficienti fissi e pesi aggiornati.
   • fase-di-rotazione: Impone l'ortonormalità dei vettori di base per risolvere le degenerazioni.
4. Gestione delle Imperfezioni dei Dati: Il framework supporta nativamente i dati mancanti (impostando i pesi a zero) e l'eteroschedasticità (incorporando le incertezze di misura note $\sigma_{ij}$ come pesi di invarianza della varianza).
5. Selezione degli Iperparametri: Il modello richiede due iperparametri: il rango $K$ (numero di vettori di base) e una soglia di outlier "soft" $Q$ (che controlla la transizione tra penalità quadratiche e logaritmiche). Gli autori consigliano di selezionarli tramite cross-validation su dati tenuti fuori dal modello (held-out), utilizzando un punteggio di divergenza di Kullback-Leibler (KL) per misurare quanto strettamente i residui pesati somiglino a una distribuzione normale unitaria.

Contributi Chiave

• Framework Unificato: RHMF è il primo metodo di fattorizzazione di matrici robusta pubblicato che gestisce simultaneamente eteroschedasticità, dati mancanti e robustezza agli outlier all'interno di un unico obiettivo funzionale.
• Flagging Automatico delle Anomalie: A differenza dei metodi che apprendono esplicitamente una matrice di outlier sparsa (ad esempio, Robust PCA), RHMF utilizza i pesi robusti inferiti per fornire una misura continua, per feature e per oggetto, del grado di "outlier-ness". Ciò permette l'identificazione sia di dati errati (pixel) che di interessanti anomalie astrofisiche (stelle).
• Implementazione Scalabile: Gli autori forniscono Robusta-HMF, un'implementazione JAX veloce e open-source che supporta l'accelerazione GPU/TPU e scala alle dimensioni delle survey spettroscopiche.
• Fondamento Probabilistico: Il metodo offre una chiara interpretazione probabilistica come stima di massima verosimiglianza a code pesanti o come modello gerarchico con varianze latenti, distinguendosi dagli approcci ad hoc di $\sigma$-clipping.

Risultati
Gli autori validano RHMF su due dataset:

1. Dataset Simulato (Toy Dataset): Un dataset sintetico di 8.000 spettri con rumore Gaussiano iniettato, segmenti mancanti e vari tipi di outlier (pixel casuali, colonne outlier e interi spettri outlier).
   • RHMF ha recuperato con successo la struttura a basso rango sottostante, mentre la PCA standard è fallita a causa della contaminazione da outlier e dei dati mancanti.
   • RHMF ha superato la Robust PCA (RPCA) nella gestione dell'eteroschedasticità e delle regioni con dati mancanti.
   • I punteggi di cross-validation hanno identificato correttamente il vero rango ($K=5$) e la soglia ottimale ($Q=5$). Il metodo ha ottenuto alti punteggi F1 nell'identificare sia outlier a livello di pixel che a livello di oggetto.
2. Spettri RVS di Gaia DR3: Applicato alle stelle di sequenza principale nel dataset del Radial Velocity Spectrometer (RVS) di Gaia.
   • Il modello ha identificato stelle insolite segnalando quelle con bassi pesi robusti per oggetto.
   • Caso di studio 1: Ha identificato correttamente una nota binaria di tipo Be (88 Her) come un forte outlier a causa delle ampie linee di Paschen non catturate dal manifold della sequenza principale.
   • Caso di studio 2: Ha rilevato un'emissione sottile nelle linee del tripletto del Ca II nelle nane M. In un caso, l'emissione era inferiore allo 0,1% in profondità e invisibile nello spettro grezzo, ma chiaramente identificabile confrontandola con la ricostruzione RHMF, dimostrando la sensibilità del metodo alle anomalie sottili.

Significatività e Rivendicazioni
Il paper sostiene che RHMF fornisca un "pacchetto" di proprietà desiderabili alla scala di una survey: una formulazione probabilistica che espone le varianze latenti, un declassamento variazionale coerente sia a livello di pixel che di oggetto, e il supporto nativo per l'eteroschedasticità e i dati mancanti. Gli autori sottolineano che, sebbene i singoli ingredienti (IRLS, verosimiglianza Student-t, HMF) non siano nuovi, la loro combinazione in questo specifico framework è innovativa.

Gli autori sono modesti riguardo ai limiti del metodo:

• Sensibilità agli Iperparametri: L'accuratezza dell'identificazione degli outlier dipende dalla scelta di $K$ e $Q$. Se gli outlier condividono una struttura a basso rango con gli inlier, potrebbero essere assorbiti nel basis invece di essere segnalati.
• Interpretazione dei Pesi: I pesi robusti non sono una misura statistica rigorosa di "outlierness" a meno che le incertezze non siano perfettamente note e gaussiane. Servono al meglio come guida per dare priorità agli oggetti per l'ispezione umana.
• Minimi Locali: Come per l'ottimizzazione non convessa, la soluzione dipende dall'inizializzazione (tipicamente SVD), sebbene ciò sia generalmente efficace quando gli outlier sono rari.

Il paper conclude che RHMF è un default pratico per il recupero di descrizioni a basso rango di dati eteroschedastici, segnalando contemporaneamente anomalie, offrendo un miglioramento significativo rispetto alla PCA standard per le grandi survey astronomiche.