Why Machine Learning Models Systematically Underestimate Extreme Values II: How to Fix It with LatentNN

1. Il Problema: Bias di Attenuazione nelle Reti Neurali

Il paper affronta un problema fondamentale nell'astronomia basata sui dati: il bias di attenuazione (attenuation bias).

• Definizione: Si tratta di una sottostima sistematica dei coefficienti di regressione (e quindi della dinamica dei valori previsti) causata dagli errori di misura nelle variabili di input.
• Contesto Astronomico: A differenza di molti campi del machine learning (es. visione artificiale) dove il rumore di input è trascurabile, le osservazioni astronomiche operano spesso con rapporti segnale-rumore (SNR) bassi (ordine di 10 o meno). Gli astronomi richiedono però precisioni a livello percentuale.
• Effetto: Quando le reti neurali vengono addestrate su dati rumorosi trattando le osservazioni ($x_{obs}$) come valori veri ($x_{true}$), il modello comprime la gamma dinamica prevista. I valori alti vengono sistematicamente sottostimati e quelli bassi sovrastimati, tendendo verso la media.
• Limiti delle Soluzioni Attuali:
  • L'aumento della complessità del modello (es. reti neurali profonde) non risolve il problema.
  • La regolarizzazione (es. L2/weight decay) previene l'overfitting ma non corregge il bias sistematico derivante dal rumore di input.
  • Avere più dati o etichette più precise non risolve il problema, poiché il bias nasce dall'incertezza sull'input, non sull'output.

2. Metodologia: LatentNN

L'autore introduce LatentNN, un metodo che estende la soluzione classica della regressione di Deming (usata per la regressione lineare con errori in entrambe le variabili) alle reti neurali.

• Concetto Chiave: Invece di trattare gli input osservati come verità assoluta, il metodo tratta i veri valori di input ($x_{true}$) come variabili latenti da stimare insieme ai parametri del modello.
• Formulazione Matematica:
  • Si assume che l'input osservato sia $x_{obs} = x_{true} + \delta_x$ e l'output osservato sia $y_{obs} = f_\theta(x_{true}) + \delta_y$.
  • Si massimizza la verosimiglianza congiunta (joint likelihood) di osservare sia gli input che gli output, data la rete neurale $f_\theta$ e le variabili latenti.
  • La funzione di perdita (Loss Function) risultante è:
    $$J(\theta, \{x_{latent}\}) = \sum \frac{(y_{obs} - f_\theta(x_{latent}))^2}{\sigma_y^2} + \sum \frac{(x_{obs} - x_{latent})^2}{\sigma_x^2}$$
  • Il primo termine penalizza l'errore di previsione, il secondo mantiene le variabili latenti vicine alle osservazioni reali, ponderati rispettivamente dalle incertezze $\sigma_y$ e $\sigma_x$.
• Implementazione:
  • Le variabili latenti $x_{latent}$ sono dichiarate come parametri apprendibili (inizializzati a $x_{obs}$) all'interno del framework di deep learning (es. PyTorch/JAX).
  • L'ottimizzazione avviene tramite discesa del gradiente su entrambi i pesi della rete ($\theta$) e le variabili latenti.
  • Viene utilizzata una regolarizzazione L2 solo sui pesi della rete per evitare che il modello si adatti eccessivamente a configurazioni specifiche delle variabili latenti.

3. Contributi Chiave

1. Dimostrazione Empirica: Il paper prova sperimentalmente che le reti neurali (MLP) soffrono dello stesso bias di attenuazione della regressione lineare, indipendentemente dalla loro capacità di approssimare funzioni non lineari.
2. Generalizzazione: Estende la teoria delle variabili latenti (errori-in-variabili) dai modelli lineari alle reti neurali non lineari, fornendo un quadro teorico unificato.
3. Soluzione Pratica (LatentNN): Fornisce un'implementazione scalabile e utilizzabile che corregge il bias senza richiedere inferenza bayesiana completa (che sarebbe computazionalmente proibitiva per grandi dataset), agendo come limite MAP (Maximum A Posteriori) di un modello bayesiano gerarchico.
4. Analisi della Dimensionalità: Esplora come la correzione funzioni in input multivariati con caratteristiche correlate (tipico degli spettri stellari), mostrando che la correzione è più efficace quando il numero di feature informative è sufficiente a vincolare le variabili latenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dati sintetici e simulazioni di spettri stellari:

• Regressione Unidimensionale: LatentNN riesce a recuperare un fattore di attenuazione $\lambda_y \approx 1$ (nessun bias) su un'ampia gamma di SNR, mentre le reti neurali standard mostrano un forte bias ($\lambda_y < 1$) quando il rumore è comparabile al segnale.
• Input Multivariati e Correlati:
  • Con feature correlate (simulando pixel spettrali), LatentNN mantiene prestazioni eccellenti per $p \ge 10$ feature anche a basso SNR.
  • In regimi intermedi (es. $p=3$), la correzione è più difficile ma supera comunque di gran lunga le reti standard.
• Applicazione agli Spettri Stellari:
  • Applicando il metodo alla stima della metallicità ([M/H]) da spettri sintetici (simulando dati APOGEE/LAMOST), LatentNN corregge la sottostima sistematica delle stelle metalliche povere.
  • Le reti standard comprimono la distribuzione della metallicità, rendendo difficile identificare le stelle più antiche e povere di metalli. LatentNN ripristina la corretta dinamica, cruciale per la storia evolutiva della Via Lattea.
• Robustezza: Il metodo funziona bene per SNR di input $\gtrsim 2$, un regime comune nelle osservazioni astronomiche.

5. Significato e Implicazioni

• Per l'Astronomia: Questo lavoro fornisce un framework essenziale per migliorare l'inferenza con reti neurali in regimi a basso SNR. La correzione del bias è critica per la caratterizzazione di oggetti estremi (es. stelle metalliche povere, redshift fotometrici estremi) che sono spesso sottostimati dai modelli attuali.
• Per il Machine Learning: Sottolinea che le reti neurali non sono immuni dai problemi statistici classici quando applicate a dati con errori di misura significativi. Ignorare l'incertezza di input porta a conclusioni scientifiche errate, indipendentemente dalla sofisticazione dell'architettura.
• Scalabilità: Sebbene l'aggiunta di variabili latenti aumenti il numero di parametri (scala con $N \times p$), il metodo rimane fattibile su GPU moderne per dataset di dimensioni tipiche delle survey astronomiche (es. $N \sim 10^4 - 10^5$), specialmente se si selezionano solo le feature informative.

In sintesi, LatentNN rappresenta un ponte necessario tra la statistica classica (regressione di Deming) e il deep learning moderno, risolvendo un problema sistematico che altrimenti comprometterebbe la precisione delle scoperte astronomiche basate sui dati.