Quality Assessment of Spectroscopic Data Reduction Pipelines Using Artificial Intelligence: Scrutinizing Data Release 2 from the DESI Survey

Resumen Técnico: Evaluación de la Calidad de los Datos Espectroscópicos de DESI DR2 mediante IA No Supervisada

Planteamiento del Problema
Los sondeos espectroscópicos a gran escala como el Instrumento de Energía Oscura Espectroscópica (DESI) recolectan ahora datos a una escala (millones de espectros por mes) que hace que la inspección visual tradicional para el control de calidad (QA) sea impracticable. Los efectos sistemáticos en la reducción de datos pueden propagarse hacia sesgos en la estimación de desplazamientos al rojo (redshifts) y en las mediciones cosmológicas, mientras que las anomalías espectrales también pueden representar variabilidad astrofísica genuina o fallos instrumentales. Los métodos de QA automatizados existentes suelen depender de aprendizaje supervisado que requiere datos de entrenamiento etiquetados o banderas de calidad estándar del pipeline (por ejemplo, ZWARN), que pueden pasar por alto sutiles artefactos de reducción. Existe la necesidad de un método no supervisado y escalable para identificar espectros problemáticos sin etiquetado previo, capaz de operar en toda la huella del sondeo.

Metodología
Los autores presentan un pipeline no supervisado para la evaluación de la calidad espectroscópica aplicado a 58.291.334 espectros co-añadidos de DESI Data Release 2 (DR2). El método opera de forma independiente en cada uno de los 14.199 teselas (tiles) del sondeo para producir un catálogo de valores atípicos (outliers) a nivel de tesela. El pipeline consta de dos etapas primarias:

1. Reducción de Dimensionalidad (UMAP): El pipeline utiliza la Aproximación y Proyección de Variedades Uniformes (UMAP) para proyectar vectores de flujo de alta dimensión (concatenados de los brazos Azul, Rojo e Infrarrojo cercano, sumando aproximadamente 7.900 contenedores de longitud de onda) en un embebido 2D. Crucialmente, los autores no aplican eliminación de ruido, normalización del continuo ni filtrado específico de bandas antes del embebido. Esta elección deliberada asegura que los artefactos de reducción (por ejemplo, discontinuidades de flujo, residuales de calibración) permanezcan como parte de la señal a detectar. Los hiperparámetros de UMAP (vecinos $N_n=45$, distancia mínima $M_d=1.0$, métrica de coseno) se mantienen fijos en todas las teselas para garantizar la reproducibilidad y comparabilidad.
2. Agrupamiento (Friends-of-Friends): Los embebidos 2D se procesan mediante el algoritmo de Agrupamiento de Amigos de Amigos (Friends-of-Friends, FoF). Este algoritmo agrupa espectros basándose en la distancia euclídea en el espacio de embebido. Los espectros que forman componentes pequeños e aislados (tamaño $< N_{min}=5$) o elementos únicos (singletons) son marcados como candidatos a valores atípicos.

El enfoque no requiere datos de entrenamiento etiquetados; aprende la distribución de los espectros "normales" directamente de la población local de la tesela. El pipeline preserva los identificadores estándar de DESI (TILEID, PETAL_LOC, FIBER, TARGETID), lo que permite la recuperación directa y la auditoría de los espectros marcados.

Resultados Clave

• Detección de Valores Atípicos: El pipeline identificó 1.095.816 candidatos a valores atípicos en todo el sondeo. La fracción media de valores atípicos por tesela es de aproximadamente el 1,96%.
• Dependencia del Programa: Las tasas de valores atípicos varían significativamente según el programa de observación:
  • Programa Oscuro (Dark Program): ~0,76%
  • Programa Brillante (Bright Program): ~2,36%
  • Programa de Respaldo (Backup Program): ~7,31%
    Esto sugiere que las condiciones de observación y las poblaciones de objetivos son factores dominantes en las tasas de valores atípicos.
• Distribución Espacial: El análisis del plano focal revela que las fracciones de valores atípicos no son uniformes. Las tasas elevadas se concentran cerca de los bordes de los bloques de espectrógrafos de 500 fibras (pétalos), lo que indica variaciones instrumentales dependientes del borde (por ejemplo, cambios en el foco, el rendimiento o la resolución) en lugar de un gradiente global suave.
• Validación mediante Inspección Visual: Una inspección visual de 391 candidatos seleccionados aleatoriamente de los programas principales Dark y Bright reveló:
  • El 66,8% de los candidatos exhibió anomalías espectrales identificables consistentes con efectos de reducción conocidos (por ejemplo, discontinuidades de flujo en la unión de brazos, emisión espuria en el brazo Z, continuo azul negativo).
  • Solo el 4,1% de estos candidatos inspeccionados portaba una bandera ZWARN distinta de cero del pipeline de reducción estándar.
  • Esta gran discrepancia demuestra que el método UMAP+FoF recupera una población sustancial de espectros problemáticos que los diagnósticos estándar pasan por alto.
• Anomalías Genuinas: Extrapolando al catálogo completo del sondeo principal, los autores estiman que aproximadamente 218.000 candidatos no muestran artefactos de reducción identificables y podrían corresponder a espectros atípicos genuinos.

Significancia y Reivindicaciones
El artículo sostiene que este marco no supervisado proporciona una capa complementaria de evaluación de calidad a los diagnósticos existentes del pipeline. Al aislar un núcleo denso de espectros típicos de los componentes aislados, el método concentra los esfuerzos de revisión humana en los espectros con mayor probabilidad de ser problemáticos, en lugar de reemplazar el juicio humano.

Los autores enfatizan que el pipeline es:

• Escalable: Procesa las teselas de forma independiente, lo que lo hace factible para el análisis a escala de sondeo y adecuado para un QA casi en tiempo real.
• Reproducible: Los hiperparámetros fijos permiten la comparación directa de la calidad de los datos a través de sucesivas entregas de datos (por ejemplo, rastrear el impacto de las correcciones del pipeline como la transición de "Kibo" a "Loa").
• Práctico: Sirve como un monitor del rendimiento de la reducción, identificando efectos instrumentales sutiles (como los cercanos a los límites del espectrógrafo) que de otro modo podrían pasar desapercibidos pero que podrían impactar en los análisis cosmológicos.

El trabajo no pretende definir una taxonomía global de todas las anomalías o corregir espectros automáticamente. En su lugar, posiciona la herramienta como un mecanismo de priorización para la revisión humana, reduciendo la carga de inspección del conjunto de datos completo a un subconjunto manejable de candidatos de alta probabilidad. Los autores señalan que el trabajo futuro se centrará en integrar esto en las operaciones diarias y extender el método a otros sondeos espectroscópicos multi-objeto.