Why Machine Learning Models Systematically Underestimate Extreme Values II: How to Fix It with LatentNN

Titel: Waarom machine learning-modellen systematisch extreme waarden onderschatten II: Hoe dit op te lossen met LatentNN

Auteur: Yuan-Sen Ting (Ohio State University & Max-Planck-Institut für Astronomie)
Versie: 26 maart 2026

1. Het Probleem: Attenuatiebias (Verzwakkingsbias)

Het paper adresseert een fundamenteel probleem in data-gedreven astronomie: attenuatiebias (ook wel regressiedilutie genoemd). Dit is een systematische fout die optreedt wanneer regressiemodellen worden getraind op invoerdata met meetfouten.

• Oorzaak: In de astronomie hebben waarnemingen vaak een laag signaal-ruisverhouding (SNR), waarbij de meetfouten ($\sigma_x$) een aanzienlijk deel uitmaken van de intrinsieke variatie van de data ($\sigma_{range}$). Standaard machine learning-modellen behandelen de geobserveerde invoer ($x_{obs}$) als ware de "ground truth", terwijl deze eigenlijk een verstoord beeld is van de ware waarde ($x_{true}$).
• Effect: Meetfouten in de invoer verstoren de correlatie tussen invoer en uitvoer. Dit leidt tot een systematische compressie van het voorspelde dynamische bereik:
  • Hoge waarden worden systematisch te laag voorspeld.
  • Lage waarden worden systematisch te hoog voorspeld.
  • De helling van de regressielijn wordt afgevlakt naar nul.
• Misvattingen: De auteurs benadrukken dat dit probleem niet opgelost wordt door meer data te verzamelen, complexere modellen te gebruiken of betere labels (uitvoer) te hebben. Het is een inherente eigenschap van het behandelen van ruisachtige invoer als exact.
• Relevantie voor Neurale Netwerken: Hoewel dit fenomeen al lang bekend is in de statistiek voor lineaire regressie (opgelost via Deming-regressie), wordt het vaak genegeerd bij neurale netwerken. De paper toont aan dat neurale netwerken (MLP's) dezelfde bias vertonen, ongeacht hun complexiteit of niet-lineariteit.

2. Methodologie: LatentNN

Om deze bias te corrigeren, introduceert de auteur LatentNN, een methode die het concept van latente variabelen toepast op neurale netwerken.

• Kernidee: In plaats van de geobserveerde invoer $x_{obs}$ direct als input te gebruiken, worden de ware invoerwaarden $x_{true}$ (of $x_{latent}$) behandeld als latente variabelen die samen met de modelparameters worden geoptimaliseerd.
• Het Model:
  • Het model definieert een gezamenlijke waarschijnlijkheid (joint likelihood) voor het observeren van zowel de invoer als de uitvoer, gegeven de latente ware waarden.
  • De loss-functie bestaat uit twee termen:
    1. Voorspellingsfout: De afwijking tussen de voorspelde uitvoer $f_\theta(x_{latent})$ en de geobserveerde uitvoer $y_{obs}$, gewogen door de uitvoer-onzekerheid ($\sigma_y$).
    2. Latente waarschijnlijkheid: De afwijking tussen de geobserveerde invoer $x_{obs}$ en de geleerde latente invoer $x_{latent}$, gewogen door de invoer-onzekerheid ($\sigma_x$).
  • Formeel: $J = \sum \frac{(y_{obs} - f_\theta(x_{latent}))^2}{\sigma_y^2} + \sum \frac{(x_{obs} - x_{latent})^2}{\sigma_x^2}$.
• Optimalisatie:
  • Het netwerk leert niet alleen de gewichten $\theta$, maar ook de specifieke $x_{latent}$ waarde voor elk trainingsvoorbeeld.
  • Dit wordt opgelost via gradient descent (backpropagation) in moderne frameworks zoals PyTorch of JAX.
  • Regularisatie: Er wordt L2-regularisatie (weight decay) toegepast op de netwerkparameters $\theta$ om overfitting op de specifieke denoised latent values te voorkomen, maar niet op de latent values zelf (die al door de tweede loss-term worden beperkt).
• Initiëring: De latente waarden worden geïnitieerd als de geobserveerde waarden ($x_{latent}^{(0)} = x_{obs}$) en gedurende het trainingproces "denoised" naar de ware waarden.

3. Belangrijkste Bijdragen

1. Empirisch Bewijs voor Neurale Netwerken: De paper demonstreert dat Multi-Layer Perceptrons (MLP's) dezelfde attenuatiebias vertonen als lineaire regressie, zelfs met duizenden parameters en niet-lineaire activatiefuncties.
2. Generalisatie van Deming-regressie: De methode generaliseert de klassieke Deming-regressie (voor lineaire modellen) naar een breed scala aan niet-lineaire neurale netwerken.
3. Praktische Implementatie: LatentNN biedt een schaalbare, op optimalisatie gebaseerde oplossing die geen volledige Bayesiaanse sampling vereist, maar wel de voordelen van het modelleren van invoeronzekerheid biedt.
4. Analyse van Dimensie en Correlatie: De auteurs onderzoeken hoe het aantal invoerfeatures en de correlatie tussen deze features de correctie beïnvloeden.

4. Resultaten

De methode werd getest op synthetische data en astronomische spectra:

• Eendimensionale Regressie:
  • Bij een SNR van 1 (ruis gelijk aan signaalbereik) vertoont een standaard MLP een attenuatiefactor $\lambda_y \approx 0.5$ (50% bias).
  • LatentNN herstelt dit naar $\lambda_y \approx 1.0$, wat betekent dat de voorspellingen onbevooroordeeld zijn.
• Multivariate Invoer (Gecorreleerde Features):
  • Bij gecorreleerde features (zoals in spectra) helpt een hoger aantal dimensies ($p$) de bias te verminderen, omdat ruis in verschillende dimensies minder waarschijnlijk coherent is.
  • LatentNN presteert uitstekend voor $p \ge 10$ en SNR $\ge 2$.
  • Bij lage dimensies ($p=3$) en zeer lage SNR is de correctie moeilijker (posterior is complex), maar LatentNN presteert nog steeds aanzienlijk beter dan standaard MLP's (bijv. $\lambda_y \approx 0.7$ vs $0.2$).
• Toepassing op Ster-spectra:
  • Gebruikmakend van synthetische spectra (The Payne emulator) voor het voorspellen van metaliciteit ([M/H]).
  • Standaard MLP's onderschatten extreme metaliciteiten (bijv. een ster met [M/H] = -2 wordt voorspeld als -1.5).
  • LatentNN corrigeert deze systematische fout, zelfs bij hoge ruisniveaus, mits er voldoende informatieve pixels beschikbaar zijn.
• Grenzen: De methode werkt het beste wanneer de meetfouten kleiner zijn dan ongeveer de helft van het intrinsieke data-bereik (SNR > 2). Bij zeer lage SNR en weinig features neemt de variabiliteit tussen runs toe.

5. Betekenis en Conclusie

• Wetenschappelijke Impact: Attenuatiebias leidt tot een verkeerd beeld van de verdeling van astronomische parameters, vooral in de extremen (bijv. de staart van de metaliciteitsverdeling). Dit kan leiden tot fouten in het begrijpen van de vormingsgeschiedenis van de Melkweg.
• Paradigmaverschuiving: De paper waarschuwt dat meer complexiteit in modellen (dieper leren) niet automatisch zorgt voor betere resultaten als de invoer ruisachtig is. Het is essentieel om de statistische aard van de data (errors-in-variables) te modelleren.
• Toepasbaarheid: LatentNN biedt een framework voor betrouwbare inferentie in het laag-SNR regime, wat kenmerkend is voor veel astronomische toepassingen (spectroscopie, fotometrische roodverschuivingen, tijdsreeksen).
• Beschikbaarheid: De code is open-source beschikbaar gesteld, waardoor onderzoekers de methode kunnen toepassen op hun eigen data-gedreven modellen.

Kortom, LatentNN lost een fundamenteel statistisch probleem op dat vaak wordt genegeerd in het machine learning-gedeelte van de astronomie, en biedt een praktische weg naar onbevooroordeelde schattingen van fysische parameters uit ruisachtige waarnemingen.