Why Machine Learning Models Systematically Underestimate Extreme Values II: How to Fix It with LatentNN

1. El Problema: Sesgo de Atenuación en Redes Neuronales

El artículo aborda un problema fundamental en la inferencia astronómica basada en datos: el sesgo de atenuación (attenuation bias).

• Definición: Es la subestimación sistemática de los coeficientes de regresión (y, por extensión, de los valores extremos) debido a errores de medición en las variables de entrada.
• Contexto Astronómico: A diferencia de dominios como la visión por computadora o el procesamiento de lenguaje natural, donde el ruido de entrada es despreciable, la astronomía opera frecuentemente con relaciones señal-ruido (SNR) bajas (del orden de 10 o menos).
• Mecanismo: Cuando se entrena un modelo (lineal o no lineal) asumiendo que las observaciones ruidosas ($x_{obs}$) son los valores verdaderos ($x_{true}$), la varianza observada se infla artificialmente ($Var(x_{obs}) = Var(x_{true}) + \sigma_x^2$). Esto provoca que la relación aparente entre entrada y salida se "diluya".
  • Consecuencia: Los valores altos se predicen sistemáticamente demasiado bajos, y los valores bajos demasiado altos. El rango dinámico predicho se comprime hacia la media.
• Limitación de los Modelos Actuales: Se demuestra que aumentar la complejidad del modelo (usando Redes Neuronales Profundas en lugar de regresión lineal) o aplicar regularización (como L2/weight decay) no resuelve este problema. El sesgo es inherente al tratamiento de entradas ruidosas como verdaderas, independientemente de la arquitectura del modelo.

2. Metodología: LatentNN

El autor propone LatentNN, una extensión de la regresión de Deming (clásica en estadística para errores en variables) aplicada a redes neuronales mediante el uso de variables latentes.

• Concepto Central: En lugar de tratar $x_{obs}$ como verdad absoluta, el método trata los valores verdaderos $x_{true}$ (denominados $x_{latent}$ en la implementación) como variables latentes que deben estimarse conjuntamente con los parámetros de la red neuronal ($\theta$).
• Formulación de la Función de Pérdida:
  El objetivo es maximizar la verosimilitud conjunta de observar tanto las entradas como las salidas. Esto se traduce en minimizar una función de pérdida compuesta por dos términos:
  $$J(\theta, \{x_{latent,i}\}) = \sum_{i=1}^{N} \frac{(y_{obs,i} - f_\theta(x_{latent,i}))^2}{\sigma_{y,i}^2} + \sum_{i=1}^{N} \frac{(x_{obs,i} - x_{latent,i})^2}{\sigma_{x,i}^2}$$
  1. Término de Predicción: Mide el error entre la salida observada y la predicción del modelo basada en la entrada latente.
  2. Término de Verosimilitud Latente: Penaliza la desviación de la entrada latente respecto a la observación, ponderada por la incertidumbre de medición ($\sigma_x$).
• Optimización:
  • Se utiliza descenso de gradiente (estándar en frameworks como PyTorch o JAX).
  • Se optimiza simultáneamente sobre los pesos de la red ($\theta$) y las entradas latentes ($x_{latent}$).
  • Inicialización: Las variables latentes se inicializan en los valores observados ($x_{latent}^{(0)} = x_{obs}$).
  • Regularización: Se aplica weight decay solo a los parámetros de la red ($\theta$) para evitar el sobreajuste a configuraciones específicas de las variables latentes, pero no a las latentes mismas (ya que están restringidas por el segundo término de la pérdida).

3. Contribuciones Clave

1. Generalización del Sesgo: Demostración empírica y teórica de que las redes neuronales (MLP) sufren el mismo sesgo de atenuación que la regresión lineal, independientemente de su capacidad para aproximar funciones no lineales.
2. LatentNN: Presentación de un marco práctico y escalable para corregir este sesgo en redes neuronales, tratando las entradas como variables latentes inferibles.
3. Análisis de Dimensionalidad: Estudio de cómo la corrección varía según la dimensionalidad y la correlación de las características:
   • En dimensiones bajas ($p=1$), la corrección es muy efectiva.
   • En dimensiones intermedias con características correlacionadas (ej. $p=3$), la corrección es más difícil debido a la complejidad del espacio posterior, aunque sigue superando a los métodos estándar.
   • En dimensiones altas ($p \ge 10$) con características correlacionadas, el método es robusto y recupera el rango dinámico casi perfectamente.
4. Aplicación a Espectroscopía Estelar: Validación en un escenario realista de inferencia de metalicidad ([M/H]) a partir de espectros estelares sintéticos, demostrando la utilidad en el régimen de bajo SNR típico de las encuestas astronómicas.

4. Resultados Principales

• Corrección del Sesgo: En experimentos unidimensionales y multivariados, LatentNN logra un factor de atenuación $\lambda_y \approx 1$ (sin sesgo) en un amplio rango de SNR de entrada ($SNR_x \ge 2$), mientras que las redes neuronales estándar muestran una compresión severa ($\lambda_y < 1$).
• Rendimiento en Regímenes de Bajo SNR:
  • Para $SNR_x = 1$ (ruido igual al rango de señal), las redes estándar colapsan ($\lambda_y \approx 0.1 - 0.5$). LatentNN recupera $\lambda_y \approx 1$ en casos unidimensionales y mantiene un rendimiento aceptable ($\lambda_y \approx 0.7-0.9$) en casos multivariados.
• Aplicación Espectral:
  • En la inferencia de metalicidad estelar, el método corrige la subestimación sistemática de estrellas pobres en metales.
  • Sin corrección, una estrella con $[M/H] = -2.0$ podría predecirse como $-1.5$ o peor, afectando la identificación de objetos raros y la función de distribución de metalicidad (MDF).
  • LatentNN mantiene $\lambda_y \gtrsim 0.95$ para configuraciones de 10 y 30 píxeles informativos, incluso con errores de flujo del 10%.
• Robustez: El método es robusto frente a la variación de la SNR de salida ($SNR_y$), confirmando que el sesgo depende principalmente del ruido de entrada.

5. Significado e Implicaciones

• Para la Astronomía: Proporciona un marco esencial para la inferencia precisa en el régimen de bajo SNR, que es característico de datos astronómicos modernos (espectroscopía de baja resolución, fotometría, curvas de luz). Permite recuperar el rango dinámico real de los parámetros físicos, crucial para estudiar poblaciones extremas (estrellas muy pobres en metales, objetos de alto desplazamiento al rojo).
• Para el Aprendizaje Automático: Ilustra que las técnicas estadísticas clásicas de "errores en variables" son necesarias en el aprendizaje profundo cuando las entradas son inciertas. Desmiente la idea de que la complejidad del modelo por sí sola mitiga los problemas de datos ruidosos.
• Escalabilidad: Aunque introduce $N \times p$ parámetros adicionales (una por cada entrada de entrenamiento), el costo computacional es manejable en GPUs modernas para conjuntos de datos típicos de astronomía ($N \sim 10^3 - 10^5$), especialmente si se seleccionan características informativas.
• Limitaciones: Requiere conocer o estimar las incertidumbres de entrada ($\sigma_x$) y salida ($\sigma_y$). No es un método de muestreo bayesiano completo (proporciona estimaciones puntuales MAP), aunque puede verse como el límite de un modelo bayesiano jerárquico.

En resumen, LatentNN es una solución práctica y teóricamente fundamentada que permite a las redes neuronales realizar inferencias no sesgadas en presencia de errores de medición significativos, cerrando una brecha crítica entre la estadística clásica y el aprendizaje profundo aplicado a la ciencia de datos astronómicos.