Applying Vision Transformers on Spectral Analysis of Astronomical Objects

Resumen Técnico: Aplicación de Vision Transformers en el Análisis Espectral de Objetos Astronómicos

Enunciado del Problema
La espectroscopía astronómica es fundamental para determinar las propiedades físicas y químicas de los objetos celestes y comprender la estructura a gran escala del universo. Sin embargo, el análisis de datos espectrales enfrenta desafíos significativos debido al crecimiento exponencial en el volumen de datos de las encuestas modernas como el Sloan Digital Sky Survey (SDSS) y el Large Sky Area Multi-Object Fiber Spectroscopic Telescope (LAMOST). Los métodos tradicionales, como el ajuste de plantillas, a menudo simplifican la complejidad de los datos, limitando la precisión y dependiendo en gran medida de la selección de plantillas de referencia. Aunque la inspección manual ofrece una alternativa, es propensa a la incertidumbre y no escala a millones de objetos. Los enfoques de aprendizaje profundo existentes han mostrado promesa, pero a menudo dependen de datos simulados, tratan los espectros estrictamente como señales unidimensionales sin aprovechar las capacidades de procesamiento de imágenes multicanal, o requieren diseños arquitectónicos específicos que pueden no generalizarse bien entre diversos tipos de objetos.

Metodología
Los autores proponen un marco novedoso que adapta los Vision Transformers (ViTs) —arquitecturas diseñadas originalmente para el reconocimiento de imágenes— para analizar espectros astronómicos unidimensionales. La innovación central radica en transformar datos espectrales 1D (longitud de onda frente a flujo) en representaciones de imágenes bidimensionales, permitiendo así el uso de modelos ViT preentrenados.

• Fuentes de Datos: El estudio utiliza datos espectroscópicos reales del SDSS (Liberación de Datos 18) y del LAMOST (Liberación de Datos 10, Versión 2.0). Los conjuntos de datos se procesaron para eliminar entradas de baja calidad y se normalizaron. Los autores construyeron conjuntos de datos "Medium" (representación equilibrada de clases) y "Big" (volumen completo de la encuesta), combinándolos en un conjunto de datos conjunto denominado "SLOMOST".
• Representaciones de Imagen: Se exploraron tres métodos distintos para codificar espectros en imágenes de 224 × 224 píxeles:
  1. Gráfico Simple: Un gráfico de líneas 2D directo del espectro.
  2. Gráfico de Superposición: El espectro se divide en tres segmentos iguales, cada uno mapeado a un canal de color RGB separado para aumentar la visibilidad de los detalles.
  3. Mapa 2D: Una representación tipo mapa de calor donde los datos de flujo 1D se reorganizan en una cuadrícula cuadrada (utilizando bloques de 3×3 píxeles por punto de datos) y se colorean según la intensidad, creando una codificación espacial densa de las características espectrales.
• Arquitectura del Modelo: Los autores emplearon una columna vertebral ViT preentrenada (DINO, específicamente facebook/dino-vitb16) originalmente entrenada en ImageNet. Este modelo se ajustó finamente en los conjuntos de datos de imágenes espectrales sin preentrenamiento en espectros desde cero.
  • Clasificación: Se añadió una cabeza personalizada para la clasificación morfológica (Estrellas, Cuásares, Galaxias).
  • Regresión: Se adjuntó una cabeza de regresión lineal al token CLS para estimar el corrimiento al rojo ($z$) y los parámetros estelares (Temperatura Efectiva $T_{eff}$, Gravedad Superficial $\log g$ y Metalicidad $[Fe/H]$).
• Entrenamiento: Los modelos se ajustaron finamente utilizando el Error Cuadrático Medio (MSE) para la regresión y la entropía cruzada categórica para la clasificación, con hiperparámetros optimizados mediante ajuste.

Contribuciones Clave

1. Primera Aplicación a Gran Escala de ViT a Espectros Reales: Hasta donde saben los autores, esta es la primera aplicación de Vision Transformers a datos espectrales astronómicos a gran escala utilizando observaciones reales en lugar de entradas sintéticas.
2. Adaptación Cross-Modal: El trabajo demuestra la viabilidad de reutilizar modelos fundacionales basados en imágenes para datos científicos 1D mediante transformación espacial, aprovechando el mecanismo de autoatención para capturar tanto características espectrales locales como globales.
3. Evaluación Comparativa Exhaustiva: El estudio evalúa múltiples estrategias de codificación y compara el rendimiento en diversas tareas (clasificación, regresión de corrimiento al rojo y regresión de parámetros estelares) frente a líneas base establecidas.

Resultados

• Clasificación: El modelo logró una alta precisión en la distinción entre estrellas, galaxias y cuásares. La representación Mapa 2D arrojó los mejores resultados, alcanzando una precisión del 99.4% y una puntuación F1 de 0.991 en el conjunto de datos SLOMOST-Big. Esto superó a las líneas base tradicionales de aprendizaje automático, incluidas las Máquinas de Vectores de Soporte (SVM) y los Bosques Aleatorios (RF), que alcanzaron aproximadamente un 96% de precisión en estudios comparables. La representación Mapa 2D redujo específicamente la confusión entre cuásares y galaxias.
• Estimación del Corrimiento al Rojo: El modelo demostró un rendimiento sólido en la regresión del corrimiento al rojo, alcanzando un $R^2$ de 0.992 en el conjunto de datos SLOMOST-Big utilizando la representación Mapa 2D. Este rendimiento es comparable al codificador de espectros de AstroCLIP (que reportó $R^2 = 0.990$), pero se logró en un conjunto de datos sustancialmente más grande y diverso (más de 14 millones de objetos frente a ~200 mil) utilizando una sola GPU NVIDIA 4090 durante nueve días. El modelo también mantuvo una alta precisión en un amplio rango de relaciones Señal-Ruido (SNR).
• Regresión de Parámetros Estelares: Aunque el modelo inferió con éxito los parámetros estelares, los resultados fueron más variables. La representación Gráfico Simple funcionó mejor para $T_{eff}$ y $\log g$ ($R^2 \approx 0.79$), mientras que el Gráfico de Superposición fue superior para la metalicidad ($[Fe/H]$) en el conjunto de datos grande ($R^2 \approx 0.78$). El Mapa 2D, aunque excelente para clasificación y corrimiento al rojo, fue menos efectivo para estas regresiones de parámetros específicos, lo que sugiere que diferentes estrategias de codificación pueden ser óptimas para diferentes propiedades físicas.

Significado y Afirmaciones
El artículo afirma que convertir los datos espectrales en representaciones de imágenes 2D permite a los Vision Transformers capturar eficazmente patrones espectrales complejos que los modelos 1D tradicionales o los métodos de ajuste de plantillas podrían pasar por alto. Los resultados demuestran que los modelos de visión preentrenados pueden ajustarse finamente con éxito para tareas espectroscópicas, ofreciendo una alternativa escalable, flexible y basada en datos a las pipelines actuales.

Los autores enfatizan que su enfoque no depende de datos sintéticos, abordando una brecha en las aplicaciones anteriores de aprendizaje profundo en astronomía. Concluyen que, aunque el método muestra "un rendimiento y escalabilidad sólidos" en la clasificación y la estimación del corrimiento al rojo, la regresión de parámetros estelares presenta desafíos adicionales que pueden requerir un refinamiento arquitectónico adicional o enfoques híbridos. El trabajo se posiciona como un paso fundamental hacia herramientas de propósito general para la ciencia espectral, capaces de manejar el volumen creciente y la heterogeneidad de los datos de futuras encuestas como MSE, 4MOST y DESI.