A Probabilistic Autoencoder for Galaxy SED Reconstruction and Redshift Estimation: Application to Mock SPHEREx Spectrophotometry

Título: Un Autoencoder Probabilístico para la Reconstrucción de SED de Galaxias y Estimación de Corrimiento al Rojo: Aplicación a la Espectrofotometría Sintética de SPHEREx

1. El Problema

Las encuestas modernas de galaxias, como la misión SPHEREx de la NASA, generarán cientos de millones de espectros de baja resolución en el infrarrojo cercano (0.75–5 µm). Este tipo de datos ocupa un régimen intermedio entre la fotometría de banda ancha y la espectroscopía de alta resolución.

• Desafío principal: Estimar con precisión el corrimiento al rojo fotométrico (photo-z) y modelar la Distribución de Energía Espectral (SED) intrínseca de las galaxias.
• Limitaciones de los métodos actuales:
  • Ajuste de Plantillas (TF): Los métodos tradicionales ajustan una biblioteca discreta de plantillas a los datos. Suelen ser computacionalmente eficientes, pero pueden fallar al capturar la variabilidad completa de las SEDs. Además, el enfoque de "verosimilitud perfilada" (optimizar parámetros de nuisance para cada redshift) puede producir estimaciones de redshift sesgadas o excesivamente confiables (subestimación de incertidumbres), especialmente en fuentes de bajo relación señal-ruido (SNR) donde los parámetros están mal restringidos.
  • Métodos basados en datos: Aunque flexibles, a menudo carecen de un marco probabilístico robusto y de priores explícitos, dependiendo fuertemente de la representatividad del conjunto de entrenamiento.

2. Metodología

Los autores proponen un marco basado en un Autoencoder Probabilístico (PAE) combinado con inferencia bayesiana y flujos normalizadores.

• Modelo PAE:
  • Se entrena un autoencoder en espectros de galaxias en el marco de reposo (sin efectos observacionales) para aprender una representación latente de baja dimensión ($\zeta$) de las SEDs.
  • A diferencia de los autoencoders variacionales (VAE), no se impone una priori gaussiana durante el entrenamiento del autoencoder, permitiendo que la red aprenda la estructura de los datos.
  • Posteriormente, se entrena un Flujo Normalizador (NF) para mapear la distribución compleja de los vectores latentes $\zeta$ a una distribución base simple (gaussiana estándar $u$), facilitando el muestreo.
• Modelado Directo (Forward Modeling):
  • El modelo reconstruye los datos observados aplicando un corrimiento al rojo ($z$) y convolucionando con los filtros de SPHEREx.
  • Se incluye un factor de escala global que se margina analíticamente.
• Inferencia Bayesiana:
  • Se realiza una inferencia conjunta sobre los parámetros latentes ($u$) y el corrimiento al rojo ($z$) utilizando la verosimilitud de los datos observados y las priores definidas (NF para $u$ y una distribución paramétrica $p(z)$ para el redshift).
  • Se utiliza el algoritmo Microcanonical Langevin Monte Carlo (MCLMC) para muestrear la distribución posterior, aprovechando la eficiencia de los gradientes y la paralelización en GPU.
• Alternativa SBI:
  • Se presenta también un enfoque de Inferencia Basada en Simulación (SBI) utilizando un codificador Transformer y un flujo normalizador condicional. Este método aprende directamente la posterior $p(z|x)$ a partir de datos simulados ruidosos, ofreciendo una inferencia amortizada extremadamente rápida.

3. Contribuciones Clave

1. Marco PAE para Espectrofotometría: Desarrollo de PAESpec, una implementación pública que modela SEDs continuas en lugar de usar plantillas discretas, permitiendo priores explícitos y controlables.
2. Diagnóstico de Outliers: Identificación de que las discrepancias entre TF y PAE (específicamente cuando la incertidumbre del PAE es mucho mayor que la del TF) señalan casos donde el TF produce estimaciones "demasiado confiables" pero incorrectas debido a superficies de verosimilitud planas.
3. Análisis de Superficies de Verosimilitud: Demostración mediante perfiles de verosimilitud de que, en fuentes de bajo SNR, el modelo discreto del TF encuentra mínimos locales espurios, mientras que el modelo continuo del PAE refleja fielmente la falta de poder de restricción en los datos, produciendo distribuciones posteriores más amplias y honestas.
4. Comparación de Eficiencia: Evaluación de un método SBI que logra un rendimiento de redshift comparable al PAE pero con una velocidad de inferencia ~200 veces mayor.

4. Resultados

Las pruebas se realizaron sobre 20,000 galaxias simuladas con datos sintéticos de SPHEREx (102 bandas).

• Rendimiento de Reconstrucción: El PAE logra una reconstrucción de SED de alta fidelidad con errores fraccionales del 1-3%.
• Estimación de Redshift:
  • Precisión: El PAE es competitivo con el ajuste de plantillas (TF). En selecciones de alta precisión ($\sigma_z/(1+z) < 0.01$), ambos métodos tienen un NMAD similar (~0.005-0.006).
  • Robustez y Outliers: El PAE supera significativamente al TF en la reducción de outliers (galaxias con error > 3$\sigma$). Para selecciones más amplias, el PAE tiene una tasa de outliers de ~1.4-2.4%, frente al 3.2-6.9% del TF.
  • Calibración: Las distribuciones posteriores del PAE están mejor calibradas. El TF tiende a subestimar las incertidumbres en fuentes de bajo SNR.
• Detección de Problemas: Un corte simple basado en la relación de incertidumbres ($\hat{\sigma}_{PAE}/\hat{\sigma}_{TF} > 2$) identifica eficazmente a las fuentes donde el TF falla catastróficamente (outliers), permitiendo limpiar muestras existentes.
• Impacto de las Prioris:
  • La priori del flujo normalizador (NF) actúa como regularizador, reduciendo la fracción de outliers al restringir el espacio latente a SEDs físicamente plausibles.
  • Una priori informativa de redshift ($p(z)$) es crucial para fuentes de bajo SNR para romper degeneraciones y evitar soluciones de redshift incorrectas.
• Método SBI: El enfoque basado en Transformer/Flujo Normalizador condicional ofrece un rendimiento de redshift casi idéntico al PAE (NMAD y sesgo comparables) pero con un throughput de ~9 millones de galaxias por nodo-hora, frente a ~50,000 del PAE.

5. Significado e Impacto

Este trabajo establece un nuevo paradigma para la estimación de redshifts en la era de las grandes encuestas (como SPHEREx, Euclid y Rubin):

• Transición de Discreto a Continuo: Demuestra que reemplazar las plantillas discretas con una variedad continua aprendida (manifold) mejora la calibración de incertidumbres y la detección de fallos en modelos.
• Interpretabilidad Bayesiana: Proporciona un marco donde las priores son explícitas, permitiendo a los cosmólogos entender cómo afectan las suposiciones de la población a los resultados individuales.
• Escalabilidad: Al ofrecer tanto un método de inferencia riguroso (PAE) como una alternativa ultra-rápida (SBI) con rendimiento comparable, el trabajo ofrece herramientas prácticas para procesar los volúmenes masivos de datos que llegarán en los próximos años.
• Herramienta de Diagnóstico: La capacidad de usar el PAE para identificar y limpiar muestras de TF existentes es una aplicación inmediata y valiosa para mejorar la calidad de los catálogos actuales.

En resumen, el PAE no solo compite con los métodos tradicionales en precisión, sino que ofrece una representación más honesta de la incertidumbre y una mejor calibración estadística, esencial para la cosmología de precisión.