Why Machine Learning Models Systematically Underestimate Extreme Values II: How to Fix It with LatentNN

1. Le Problème : Le Biais d'Atténuation (Attenuation Bias)

Le papier aborde un problème fondamental en astronomie et en apprentissage automatique : le biais d'atténuation. Ce phénomène se produit lorsque les variables d'entrée d'un modèle de régression contiennent des erreurs de mesure.

• Mécanisme : Lorsque l'on entraîne un modèle (linéaire ou non linéaire) sur des données observées bruyantes ($x_{obs}$) en les traitant comme des valeurs exactes, le modèle sous-estime systématiquement la pente de la relation vraie. Les valeurs extrêmes (hautes et basses) sont comprimées vers la moyenne.
• Cause racine : Les erreurs de mesure dans les entrées gonflent artificiellement la variance observée sans affecter la sortie ($y$), ce qui "étire" les données horizontalement. Le modèle ajuste alors une pente plus faible pour minimiser l'erreur quadratique.
• Impact sur l'Astronomie : Contrairement à la vision par ordinateur où le bruit d'entrée est négligeable, les données astronomiques (spectres, photométrie) ont souvent des rapports signal-sur-bruit (SNR) faibles (de l'ordre de 10 ou moins). Dans ce régime, le biais d'atténuation est sévère, entraînant des erreurs systématiques sur les paramètres physiques déduits (ex: métallicité des étoiles, décalage vers le rouge photométrique).
• Limites des solutions actuelles :
  • L'augmentation de la complexité du modèle (réseaux de neurones profonds) ne résout pas le problème.
  • La régularisation (L2) ne corrige pas ce biais car elle ne s'attaque pas à la nature des erreurs d'entrée.
  • L'augmentation des données d'entraînement n'a aucun effet : le biais persiste même avec un nombre infini d'échantillons.

2. Méthodologie : LatentNN

L'auteur propose LatentNN, une méthode qui généralise l'approche des variables latentes (classiquement utilisée en régression de Deming pour les modèles linéaires) aux réseaux de neurones.

• Principe Fondamental : Au lieu de traiter les observations bruyantes $x_{obs}$ comme des vérités absolues, le modèle traite les vraies valeurs $x_{true}$ comme des variables latentes à estimer conjointement avec les paramètres du réseau ($\theta$).
• Formulation Probabiliste :
  Le modèle maximise la vraisemblance conjointe d'observer à la fois les entrées et les sorties, compte tenu des variables latentes.
  La fonction de perte (négatif de la log-vraisemblance) est définie comme suit :
  $$J(\theta, \{x_{latent}\}) = \sum_{i=1}^{N} \frac{(y_{obs,i} - f_\theta(x_{latent,i}))^2}{\sigma_{y,i}^2} + \sum_{i=1}^{N} \frac{(x_{obs,i} - x_{latent,i})^2}{\sigma_{x,i}^2}$$
  Où :
  • Le premier terme est la perte de prédiction (erreur entre la sortie prédite et l'observation $y$).
  • Le second terme est la vraisemblance latente (contrainte pour que les valeurs latentes restent proches des observations bruitées, pondérée par l'incertitude $\sigma_x$).
• Optimisation :
  • Contrairement à la régression de Deming linéaire qui admet une solution analytique, LatentNN utilise la descente de gradient (via des frameworks modernes comme PyTorch ou JAX).
  • Les paramètres optimisés incluent à la fois les poids du réseau ($\theta$) et les valeurs latentes pour chaque échantillon d'entraînement ($x_{latent}$).
  • Initialisation : Les valeurs latentes sont initialisées aux valeurs observées ($x_{latent}^{(0)} = x_{obs}$).
  • Régularisation : Une régularisation L2 est appliquée uniquement aux poids du réseau $\theta$ pour éviter le surapprentissage, car les variables latentes sont déjà contraintes par le terme de vraisemblance.

3. Contributions Clés

1. Démonstration Empirique du Biais dans les RNN : Le papier prouve que les réseaux de neurones (MLP) souffrent du même biais d'atténuation que la régression linéaire, indépendamment de leur capacité à approximer des fonctions non linéaires.
2. Généralisation aux Réseaux de Neurones : Extension du cadre théorique des variables latentes (Deming) aux architectures non linéaires complexes, offrant une solution pratique via l'optimisation conjointe.
3. Validation sur Divers Scénarios :
   • Régression unidimensionnelle.
   • Entrées multivariées avec des caractéristiques corrélées (simulant des spectres stellaires).
   • Application à des données spectrales synthétiques réalistes.
4. Analyse des Limites et du Bruit : Identification que la correction est efficace lorsque le rapport signal-sur-bruit des entrées ($SNR_x$) est supérieur à environ 2, et que la performance dépend de la dimensionnalité et de la corrélation des caractéristiques.

4. Résultats Expérimentaux

• Cas Unidimensionnel :
  • Pour un rapport $SNR_x = 1$ (bruit égal à la plage du signal), un MLP standard affiche un facteur d'atténuation $\lambda_y \approx 0.5$ (les prédictions sont réduites de moitié).
  • LatentNN restaure $\lambda_y \approx 1$, éliminant le biais et retrouvant la pente réelle.
• Entrées Multivariées et Corrélées :
  • Avec des caractéristiques corrélées (simulant des pixels spectraux), le biais standard diminue légèrement avec le nombre de dimensions ($p$), mais reste significatif à faible SNR.
  • LatentNN maintient une correction robuste ($\lambda_y \approx 1$) pour $p \ge 10$ et $SNR_x \ge 2$.
  • Pour un nombre intermédiaire de dimensions ($p=3$), la correction est plus difficile mais reste nettement supérieure au MLP standard.
• Application aux Spectres Stellaires :
  • Sur des données simulées pour l'estimation de la métallicité $[M/H]$ à partir de spectres (résolution $R \approx 22500$), LatentNN corrige efficacement le biais même avec peu de pixels informatifs (3 à 30 pixels).
  • Sans correction, les étoiles à faible métallicité sont systématiquement prédites comme étant plus riches en métaux (ex: une étoile à $[M/H] = -2$ prédite à $-1.5$), faussant la distribution de métallicité et l'histoire de formation galactique.

5. Signification et Impact

• Pour l'Astronomie : Ce travail fournit un cadre essentiel pour l'inférence précise dans le régime à faible rapport signal-sur-bruit, caractéristique de nombreuses enquêtes astronomiques (spectroscopie, photométrie). Il permet d'éviter la compression systématique des distributions de paramètres physiques aux extrêmes (ex: identification des étoiles les plus anciennes ou les plus pauvres en métaux).
• Pour l'Apprentissage Automatique : Le papier souligne que les méthodes d'apprentissage automatique modernes ne sont pas immunisées contre les problèmes statistiques classiques (erreurs dans les variables) lorsqu'elles sont appliquées à des données réelles bruitées.
• Faisabilité : Bien que l'ajout de variables latentes augmente le nombre de paramètres (de l'ordre de $N \times p$), la méthode reste faisable sur les GPU modernes pour des ensembles de données astronomiques typiques ($N \sim 10^3 - 10^5$).
• Disponibilité : Le code est open-source, permettant une adoption immédiate par la communauté pour corriger les biais dans les modèles d'inférence existants.

En conclusion, LatentNN transforme un problème statistique fondamental (le biais d'atténuation) en une opportunité d'amélioration des modèles, en traitant les entrées non pas comme des données fixes, mais comme des observations bruitées d'un état latent à inférer.