Applying Vision Transformers on Spectral Analysis of Astronomical Objects

Resumo Técnico: Aplicação de Vision Transformers na Análise Espectral de Objetos Astronômicos

Enunciado do Problema
A espectroscopia astronômica é fundamental para determinar as propriedades físicas e químicas de objetos celestes e compreender a estrutura em grande escala do universo. No entanto, a análise de dados espectrais enfrenta desafios significativos devido ao crescimento exponencial no volume de dados provenientes de levantamentos modernos como o Sloan Digital Sky Survey (SDSS) e o Large Sky Area Multi-Object Fiber Spectroscopic Telescope (LAMOST). Métodos tradicionais, como o ajuste de modelos (template-fitting), frequentemente simplificam a complexidade dos dados, limitando a precisão e dependendo fortemente da seleção de modelos de referência. Embora a inspeção manual ofereça uma alternativa, ela é propensa a incertezas e não escala para milhões de objetos. Abordagens existentes de aprendizado profundo mostraram promessa, mas frequentemente dependem de dados simulados, tratam espectros estritamente como sinais 1D sem aproveitar capacidades de processamento de imagens multicanal ou exigem designs arquitetônicos específicos que podem não generalizar bem entre diversos tipos de objetos.

Metodologia
Os autores propõem uma estrutura inovadora que adapta Vision Transformers (ViTs) — arquiteturas originalmente projetadas para reconhecimento de imagens — para analisar espectros astronômicos unidimensionais. A inovação central reside na transformação de dados espectrais 1D (comprimento de onda versus fluxo) em representações de imagem bidimensionais, permitindo assim o uso de modelos ViT pré-treinados.

• Fontes de Dados: O estudo utiliza dados espectroscópicos reais do SDSS (Data Release 18) e do LAMOST (Data Release 10, Versão 2.0). Os conjuntos de dados foram processados para remover entradas de baixa qualidade e normalizados. Os autores construíram conjuntos de dados "Medium" (representação equilibrada de classes) e "Big" (volume completo do levantamento), combinando-os em um conjunto de dados conjunto denominado "SLOMOST".
• Representações de Imagem: Três métodos distintos foram explorados para codificar espectros em imagens de 224 × 224 pixels:
  1. Gráfico Simples: Um gráfico de linha 2D direto do espectro.
  2. Gráfico de Sobreposição: O espectro é dividido em três segmentos iguais, cada um mapeado para um canal de cor RGB separado para aumentar a visibilidade dos detalhes.
  3. Mapa 2D: Uma representação semelhante a um mapa de calor onde os dados de fluxo 1D são remodelados em uma grade quadrada (usando blocos de 3×3 pixels por ponto de dados) e coloridos por intensidade, criando uma codificação espacial densa de características espectrais.
• Arquitetura do Modelo: Os autores empregaram uma espinha dorsal ViT pré-treinada (DINO, especificamente facebook/dino-vitb16) originalmente treinada no ImageNet. Este modelo foi ajustado finamente (fine-tuned) nos conjuntos de dados de imagem espectral sem pré-treinamento em espectros do zero.
  • Classificação: Uma cabeça personalizada foi adicionada para classificação morfológica (Estrelas, Quasares, Galáxias).
  • Regressão: Uma cabeça de regressão linear foi acoplada ao token CLS para estimar o desvio para o vermelho (redshift, $z$) e parâmetros estelares (Temperatura Efetiva $T_{eff}$, Gravidade Superficial $\log g$ e Metalicidade $[Fe/H]$).
• Treinamento: Os modelos foram ajustados finamente usando Erro Quadrático Médio (MSE) para regressão e entropia cruzada categórica para classificação, com hiperparâmetros otimizados via ajuste.

Principais Contribuições

1. Primeira Aplicação em Grande Escala de ViT a Espectros Reais: Ao conhecimento dos autores, esta é a primeira aplicação de Vision Transformers a dados espectrais astronômicos em grande escala usando observações reais em vez de entradas sintéticas.
2. Adaptação Cross-Modal: O trabalho demonstra a viabilidade de reaproveitar modelos fundamentais baseados em imagens para dados científicos 1D através de transformação espacial, aproveitando o mecanismo de autoatenção para capturar tanto características espectrais locais quanto globais.
3. Avaliação Abrangente: O estudo avalia múltiplas estratégias de codificação e compara o desempenho em diversas tarefas (classificação, regressão de desvio para o vermelho e regressão de parâmetros estelares) contra bases de referência estabelecidas.

Resultados

• Classificação: O modelo alcançou alta precisão na distinção entre estrelas, galáxias e quasares. A representação Mapa 2D produziu os melhores resultados, atingindo 99,4% de precisão e uma pontuação F1 de 0,991 no conjunto de dados SLOMOST-Big. Isso superou bases de referência de aprendizado de máquina tradicionais, incluindo Máquinas de Vetor de Suporte (SVM) e Florestas Aleatórias (RF), que alcançaram aproximadamente 96% de precisão em estudos comparáveis. A representação Mapa 2D reduziu especificamente a confusão entre quasares e galáxias.
• Estimativa de Desvio para o Vermelho: O modelo demonstrou forte desempenho na regressão de desvio para o vermelho, alcançando um $R^2$ de 0,992 no conjunto de dados SLOMOST-Big usando a representação Mapa 2D. Este desempenho é comparável ao codificador de espectro do AstroCLIP (que relatou $R^2 = 0,990$), mas foi alcançado em um conjunto de dados substancialmente maior e mais diversificado (14M+ objetos vs. ~200k) usando uma única GPU NVIDIA 4090 ao longo de nove dias. O modelo também manteve alta precisão em uma ampla gama de razões Sinal-Ruído (SNR).
• Regressão de Parâmetros Estelares: Embora o modelo tenha inferido com sucesso parâmetros estelares, os resultados foram mais variáveis. A representação Gráfico Simples performou melhor para $T_{eff}$ e $\log g$ ($R^2 \approx 0,79$), enquanto o Gráfico de Sobreposição foi superior para metalicidade ($[Fe/H]$) no conjunto de dados grande ($R^2 \approx 0,78$). O Mapa 2D, embora excelente para classificação e desvio para o vermelho, foi menos eficaz para essas regressões específicas de parâmetros, sugerindo que diferentes estratégias de codificação podem ser ótimas para diferentes propriedades físicas.

Significado e Afirmações
O artigo afirma que converter dados espectrais em representações de imagem 2D permite que Vision Transformers capturem efetivamente padrões espectrais complexos que modelos 1D tradicionais ou métodos de ajuste de modelos poderiam perder. Os resultados demonstram que modelos de visão pré-treinados podem ser ajustados finamente com sucesso para tarefas espectroscópicas, oferecendo uma alternativa escalável, flexível e orientada por dados aos pipelines atuais.

Os autores enfatizam que sua abordagem não depende de dados sintéticos, abordando uma lacuna em aplicações anteriores de aprendizado profundo em astronomia. Eles concluem que, embora o método mostre "forte desempenho e escalabilidade" na classificação e estimativa de desvio para o vermelho, a regressão de parâmetros estelares apresenta desafios adicionais que podem exigir refinamento arquitetônico adicional ou abordagens híbridas. O trabalho é posicionado como um passo fundamental em direção a ferramentas de propósito geral para a ciência espectral, capazes de lidar com o volume crescente e a heterogeneidade de dados de levantamentos futuros como MSE, 4MOST e DESI.