Improving Generalization and Uncertainty Quantification of Photometric Redshift Models

Resumen Técnico: Mejora de la Generalización y la Cuantificación de la Incertidumbre en Modelos de Desplazamiento al Rojo Fotométrico

Planteamiento del Problema
La estimación precisa del desplazamiento al rojo fotométrico (photo-z) es crítica para los sondeos cosmológicos de Etapa IV, como LSST y Euclid, que requieren mediciones precisas de las distribuciones de galaxias para restringir la energía oscura y la materia oscura. Los modelos actuales de aprendizaje automático (ML) para la estimación de photo-z se entrenan típicamente con desplazamientos al rojo espectroscópicos, que sirven como una verdad de terreno de alta precisión. Sin embargo, las muestras espectroscópicas suelen estar sesgadas hacia galaxias brillantes con líneas de emisión y no representan plenamente la diversa población de galaxias más tenues que los sondeos de campo amplio pretenden estudiar. Este desajuste de distribución limita la generalización de los modelos de ML cuando se aplican a poblaciones de galaxias más amplias. Además, mientras que las redes neuronales (NN) deterministas proporcionan estimaciones puntuales, carecen de una cuantificación de la incertidumbre inherente, lo cual es vital para evitar sesgos en los estudios de lentes débiles.

Metodología
Los autores abordan estos desafíos desarrollando y evaluando modelos de ML utilizando dos fuentes distintas de verdad de terreno:

1. GalaxiesML: Un conjunto de datos de ~286,000 galaxias con desplazamientos al rojo espectroscópicos, que representa poblaciones brillantes con objetivos espectroscópicos.
2. TransferZ: Un conjunto de datos recién construido de ~116,000 galaxias con desplazó al rojo fotométricos derivados del catálogo COSMOS2020 (usando el ajuste de plantillas LePhare) y fotometría HSC-PDR2. Este conjunto de datos cubre magnitudes más tenues y un rango de desplazamiento al rojo más amplio, complementando la muestra espectroscópica.

El estudio compara tres estrategias de entrenamiento:

• Verdad de Terreno Única: Entrenamiento sobre GalaxiesML o TransferZ por separado.
• Conjunto de Datos Compuesto: Entrenamiento de un único modelo en un conjunto de datos "Combo" que contiene tanto verdades de terreno espectroscópicas como fotométricas.
• Aprendizaje por Transferencia (Transfer Learning): Pre-entrenamiento de un modelo en el conjunto de datos más amplio TransferZ y posterior ajuste fino (fine-tuning) en el conjunto de datos preciso GalaxiesML.

Se emplean dos arquitecturas de modelos:

• Redes Neuronales Deterministas (NN): Que proporcionan estimaciones puntuales.
• Redes Neuronales Bayesianas (BNN): Que producen distribuciones de probabilidad para cuantificar la incertidumbre.

Para abordar la falta de incertidumbre en los modelos deterministas y mejorar la calibración de las BNN, los autores implementan la predicción conforme dividida (split conformal prediction). Este método utiliza un conjunto de calibración para generar intervalos de predicción con una cobertura estadística garantizada (por ejemplo, 68%), lo que permite el cálculo de las tasas de valores atípicos (3$\sigma$) tanto para las NN como para las BNN.

Contribuciones Clave

• Conjunto de Datos TransferZ: La creación y publicación de un conjunto de datos de referencia que combina los desplazamientos al rojo fotométricos de COSMOS2020 con la fotometría HSC-PDR2, optimizado para entrenar modelos de ML en poblaciones de galaxias más tenues y diversas.
• Marco Comparativo: Una evaluación sistemática del entrenamiento con conjuntos de datos compuestos frente al aprendizaje por transferencia para la estimación de photo-z, probando específicamente su capacidad de generalización a través de diferentes distribuciones de verdad de terreno.
• Cuantificación de la Incertidumbre: La aplicación de la predicción conforme dividida tanto a las NN deterministas como a las BNN para producir intervalos de predicción calibrados, permitiendo una comparación directa de las tasas de valores atípicos frente a los requisitos científicos de LSST.

Resultados

• Generalización: Los modelos entrenados con una sola verdad de terreno (ya sea espectroscópica o fotométrica) sufren una degradación significativa del rendimiento cuando se evalúan en el otro conjunto de datos. Por ejemplo, un modelo entrenado con GalaxiesML mostró un aumento de 127 veces en el sesgo cuando fue probado en TransferZ.
• Superioridad del Conjunto de Datos Compuesto: El modelo NN-Combo, entrenado en el conjunto de datos compuesto, demostró la generalización más robusta. Dentro del rango de desplazamiento al rojo $0.3 < z < 1.5$, el NN-Combo logró:
  • Un sesgo 4.5 veces menor comparado con un modelo de solo espectroscopía al ser evaluado en TransferZ.
  • 1.1 veces menos dispersión (scatter) y una tasa de valores atípicos 1.4 veces menor en comparación con la línea base de solo espectroscopía.
  • Cumplió dos de los tres requisitos científicos de LSST (sesgo y tasa de valores atípicos) en el conjunto de prueba de GalaxiesML y un requisito en el conjunto TransferZ.
• Limitaciones del Aprendizaje por Transferencia: Aunque el aprendizaje por transferencia mejoró el rendimiento en el conjunto de datos de ajuste fino (GalaxiesML), resultó en un rendimiento asimétrico, fallando en mantener la precisión en el conjunto de datos fotométrico TransferZ.
• Cuantificación de la Incertidumbre:
  • BNNs: Produjeron estimaciones de incertidumbre fiables y bien calibradas para fuentes espectroscópicas (GalaxiesML), pero fueron sensibles a los cambios de distribución, mostrando una mala calibración en TransferZ.
  • NNs Deterministas: Cuando se aumentaron con la predicción conforme dividida, alcanzaron niveles de cobertura estadística comparables a las BNN, pero tendieron a producir funciones de densidad de probabilidad (PDF) sobredispersas.
• Comparación de Arquitecturas: Las NN deterministas generalmente superaron a las BNN en el mantenimiento de estimaciones puntuales consistentes a través de diferentes verdades de terreno, mientras que las BNN proporcionaron una caracterización de la incertidumbre superior para los datos espectroscópicos.

Significancia y Afirmaciones
El artículo afirma que el entrenamiento en un conjunto de datos compuesto es una estrategia más efectiva que el aprendizaje por transferencia para desarrollar modelos de photo-z que se generalicen a través de diversas poblaciones de galaxias. Los autores postulan que la incorporación de desplazamientos al rojo fotométricos (de catálogos como COSMOS2020) junto con los datos espectroscópicos permite que los modelos aprendan la distribución completa de las propiedades de las galaxias, mitigando las brechas sistemáticas causadas por el muestreo espectroscópico sesgado.

El estudio concluye que, si bien el modelo NN-Combo aún no cumple totalmente con todos los requisitos científicos de LSST en todos los conjuntos de datos, representa un paso significativo hacia modelos capaces de manejar las poblaciones de galaxias más amplias requeridas para la cosmología de precisión. El trabajo enfatiza que la caracterización precisa de las PDF de photo-z es tan crítica como el rendimiento de las estimaciones puntuales para las restricciones cosmológicas. Los autores señalan limitaciones, incluyendo la posible subestimación de los errores en la verdad de terreno de TransferZ y la suposición de distribuciones de error gaussianas en su análisis de incertidumbre, sugiriendo que el trabajo futuro debería explorar PDFs no gaussianas y una mayor optimización de hiperparámetros para el aprendizaje por transferencia.