Improved photometric redshift estimations through self-organising map-based data augmentation

Título: Mejora de las estimaciones de redshift fotométrico mediante aumento de datos basado en Mapas Autoorganizados (SOM)

1. El Problema

La cosmología de precisión y el estudio de la evolución de galaxias dependen críticamente de la estimación precisa del corrimiento al rojo fotométrico ($z_{phot}$) para cientos de millones de galaxias, ya que las mediciones espectroscópicas precisas son demasiado costosas para cubrir grandes volúmenes del cielo.

• Limitaciones actuales: Los métodos de aprendizaje automático (ML) para estimar $z_{phot}$ requieren conjuntos de entrenamiento espectroscópicos completos y representativos. Sin embargo, las encuestas espectroscópicas existentes sufren de incompletitud, sesgos de selección (dependientes del brillo y el color) y cobertura desigual en el espacio de colores-magnitudes.
• Consecuencias: Esta falta de representatividad genera sesgos sistemáticos, aumenta la tasa de fallos catastróficos (errores grandes en $z_{phot}$) y distorsiona las distribuciones de probabilidad condicional, especialmente en galaxias tenues y a alto corrimiento al rojo ($z \gtrsim 1.5$), que son cruciales para futuros estudios de materia oscura y energía oscura con el Observatorio Vera C. Rubin (LSST).
• Desafío específico: Simplemente añadir datos simulados no es suficiente si los modelos de Distribución de Energía Espectral (SED) de las simulaciones difieren significativamente de los datos observacionales reales, lo que puede introducir nuevos sesgos.

2. Metodología

Los autores proponen un marco innovador que combina Mapas Autoorganizados (SOM) con aumento de datos para crear conjuntos de entrenamiento espectroscópicos sintéticos más representativos.

• Catálogos de Datos:
  • OpenUniverse2024: Utilizado como proxy para los datos observacionales reales del LSST (fases Y1 y Y10).
  • CosmoDC2: Utilizado exclusivamente para el aumento de datos. Aunque ambos catálogos son realistas, presentan diferencias en sus modelos SED, lo que simula la discrepancia entre simulaciones y observaciones reales.
• Proceso de Generación de Datos:
  1. Selección Fotométrica (Application): Se generan 501 realizaciones de datos fotométricos simulando el LSST (ruido, profundidad Y1 y Y10) sobre OpenUniverse2024.
  2. Degradación Espectroscópica: Se crean conjuntos de entrenamiento "degradados" aplicando cortes de magnitud, color y redshift, y tasas de éxito espectroscópico probabilísticas, imitando la compilación de múltiples encuestas espectroscópicas existentes. Esto resulta en vacíos significativos en el espacio de colores.
  3. Entrenamiento del SOM: Se entrena un SOM (140x140 para Y1, 180x180 para Y10) sobre los datos fotométricos completos para proyectar las SEDs de las galaxias en un mapa bidimensional.
  4. Aumento de Datos Dirigido (Augmentation):
     • Se identifican las celdas del SOM que están vacías o subrepresentadas en los conjuntos degradados.
     • Se muestrean galaxias de CosmoDC2 y se les asignan pesos basados en la ocupación de las celdas para alinear su distribución global con la de OpenUniverse2024.
     • Se añaden galaxias simuladas específicamente a las celdas vacías o donde los límites espectroscópicos han excluido poblaciones reales.
  5. Conjunto Combinado: Se fusionan los datos degradados y los aumentados para formar el conjunto de entrenamiento final.
• Modelado: Se utiliza el algoritmo FlexZBoost (basado en XGBoost y descomposición de funciones base) para estimar tanto los puntos de redshift como las distribuciones de probabilidad condicional $p(z)$.

3. Contribuciones Clave

• Marco SOM para Aumento de Datos: A diferencia de métodos anteriores que usaban límites simples de color-magnitud, este trabajo utiliza un SOM para visualizar y mapear el espacio de alta dimensión de las SEDs, permitiendo identificar y rellenar de manera precisa regiones específicas con falta de cobertura espectroscópica.
• Validación Robusta: Se realizaron 501 experimentos estadísticos variando el ruido fotométrico, las funciones de selección espectroscópica y las muestras de aumento, lo que permite cuantificar la incertidumbre sistemática de manera rigurosa.
• Adaptabilidad a Diferencias de Modelos: El método demuestra ser efectivo incluso cuando existe una discrepancia inherente entre los modelos SED de los catálogos de entrenamiento (CosmoDC2) y los de prueba (OpenUniverse2024), gracias al re-muestreo ponderado.
• Extensión a Escenarios Futuros: El estudio evalúa explícitamente el rendimiento para las profundidades de observación del año 1 (Y1) y año 10 (Y10) del LSST, abordando el desafío de las galaxias más tenues y distantes.

4. Resultados

El uso de la augmentación basada en SOM mejora significativamente el rendimiento de la estimación de redshift fotométrico:

• Reducción de Sesgos y Fallos Catastróficos:
  • En el escenario Y1, la augmentación reduce la tasa de fallos catastróficos ($|z_{phot} - z_{true}| > 1.0$) en un factor de aproximadamente 2.
  • La fracción de valores atípicos (outliers) disminuye entre un 10% y un 20%.
  • El sesgo escalado mediano ($\bar{\delta}_z$) se reduce en un factor de 2 a 3 para galaxias fuente a alto redshift ($z \gtrsim 1.5$).
• Mejora en la Modelización de Densidad Condicional:
  • Se observa una reducción significativa en la pérdida de divergencia (divergence loss) de los histogramas PIT (Probability Integral Transform), indicando que las distribuciones de probabilidad $p(z)$ son más fieles a la realidad y menos sesgadas.
  • La augmentación mitiga la sobre-suavización o subestimación de las anchuras de las PDFs en galaxias tenues.
• Robustez ante la Selección Espectroscópica:
  • La dispersión en el rendimiento entre las diferentes realizaciones experimentales disminuye notablemente al usar augmentación, lo que indica que el método hace que las estimaciones sean menos sensibles a las variaciones en las funciones de selección de las encuestas espectroscópicas.
• Rendimiento por Tipo de Muestra:
  • Para galaxias de lente (brillantes, $z < 1.5$), el rendimiento ya es excelente incluso sin augmentación, pero se mantiene estable.
  • Para galaxias fuente (tenues, alto redshift), la augmentación es crítica; sin ella, el modelo falla catastróficamente en regiones del espacio de colores no cubiertas por los datos espectroscópicos degradados.

5. Significado e Impacto

Este trabajo es fundamental para la preparación de la ciencia del Observatorio Vera C. Rubin (LSST) y la colaboración LSST DESC:

• Habilitador de Cosmología de Precisión: Al reducir sistemáticamente los sesgos y los fallos catastróficos en el redshift fotométrico, el método permite una calibración más precisa de las distribuciones de redshift enzimático (ensemble redshift distributions), un requisito indispensable para la cosmología de lentes gravitacionales débiles y estudios de estructura a gran escala.
• Escalabilidad: El enfoque basado en SOM es escalable y adaptable a futuros catálogos masivos, ofreciendo una vía para integrar datos de múltiples encuestas espectroscópicas (como DESI, Euclid, 4MOST) de manera eficiente.
• Marco de Referencia: Proporciona un marco metodológico robusto para abordar la incompletitud de los datos de calibración, un problema universal en la astronomía de sondeos de gran volumen.
• Futuro: Los autores planean extender este marco para optimizar el binning tomográfico y calibrar las distribuciones de redshift enzimático, integrando estas técnicas en el ecosistema de software de LSST (plataforma RAIL).

En resumen, la augmentación de datos basada en SOM no solo llena los vacíos en los datos de entrenamiento, sino que corrige activamente los sesgos inducidos por la selección, permitiendo estimaciones de redshift fotométrico más precisas y confiables para la próxima generación de estudios cosmológicos.