Stellar flare detection in XMM-Newton with gradient boosted trees

Título: Detecção de Erupções Estelares em XMM-Newton com Árvores de Gradiente Boosted

1. Problema e Contexto

O projeto EXTraS (Exploring the X-ray Transient and variable Sky) analisou a variabilidade de cerca de 500.000 fontes de raios-X detectadas pelo telescópio XMM-Newton. Embora o projeto tenha gerado uma vasta quantidade de curvas de luz e características (features) derivadas, a identificação manual de erupções estelares (flares) em raios-X é um processo demorado e subjetivo.

• Desafio: A necessidade de processar um grande volume de dados (31.832 fontes variáveis) para identificar erupções estelares de forma eficiente, mantendo a rigorosidade científica.
• Objetivo: Desenvolver um classificador supervisionado para automatizar a detecção de erupções estelares, liberando um catálogo atualizado para a comunidade e utilizando ferramentas de IA explicável (XAI) para garantir a interpretabilidade dos resultados.

2. Metodologia

Dados e Amostras:

• Fonte de Dados: Curvas de luz (0,2-12 keV) e funções de distribuição cumulativa (CDF) derivadas das observações do XMM-Newton/EPIC entre 2000 e 2020.
• Conjunto de Dados: Um conjunto tabular de 31.832 fontes variáveis descritas por 108 características (features).
• Amostra de Treinamento (Ground Truth): Uma subamostra de 13.851 fontes foi selecionada (observadas entre 2012 e 2020), cruzada com catálogos ópticos (SIMBAD e Gaia-DR3) para identificar estrelas.
• Rotulagem: Duas coautoras inspecionaram visualmente as curvas de luz. Foram rotuladas 953 fontes como "erupção" (das quais 163 possuem múltiplas erupções) e o restante como "não erupção".
• Features: O conjunto inclui características estatísticas independentes de modelos (média, mediana, assimetria, curtose), características dependentes de modelos (ajuste de templates de erupção, eclipses, etc.) e características da CDF. Características dependentes do fluxo médio foram excluídas para evitar viés em direção a fontes mais brilhantes.

Modelo de Machine Learning:

• Algoritmo: Classificador de Gradient Boosting (implementado via GradientBoostingClassifier do scikit-learn).
• Divisão dos Dados: 80% para treinamento e 20% para teste, com estratificação para manter a proporção de classes.
• Tratamento de Desequilíbrio: O conjunto é desbalanceado (<10% de positivos). A técnica SMOTE (oversampling sintético) foi testada, mas rejeitada pois degradou a precisão do modelo em ~10%.
• Hiperparâmetros: 1000 estimadores (árvores), mantendo os demais parâmetros padrão.

Técnicas de Explicabilidade (XAI):
Para garantir que o modelo seja compreensível e confiável, foram utilizadas:

• Importância de Permutação de Features (PFI): Para identificar quais características impactam mais a precisão.
• SHAP (Shapley Additive Explanations): Para explicar previsões individuais (por que um ponto específico foi classificado como erupção ou não), analisando a contribuição de cada feature.
• UMAP: Para visualização do espaço de features de alta dimensão em 2D.
• ICE (Individual Conditional Expectation): Para visualizar como a mudança em uma única feature afeta a previsão, mantendo as outras fixas.

Mitigação de Viés:
Foi investigado o viés relacionado ao brilho da fonte (BRIGHT). Embora características de fluxo médio tenham sido removidas, foi testada uma estratégia de remoção de correlação (usando a biblioteca fairlearn) para garantir que o modelo não discriminasse fontes baseadas no brilho, embora a estratégia principal tenha sido a exclusão de features diretamente dependentes do fluxo médio.

3. Resultados Principais

Desempenho no Conjunto de Teste:
O modelo alcançou os seguintes métricas no conjunto de teste (20% dos dados rotulados):

• Acurácia: 97,1%
• Precisão: 82,4% (82,4% das fontes classificadas como erupção são realmente erupções).
• Recall (Completude): 73,3% (o modelo encontra 73,3% de todas as erupções reais).
• F-score: 77,6%

Comparação com Métodos Baseline:

• O modelo superou significativamente um critério simples baseado no ajuste de um template de erupção (F_NSIGMA_FLCON > 5), que apresentou uma precisão de apenas 33,4% (embora com recall alto de 89,5%).
• Um modelo treinado apenas com features independentes de modelos teve desempenho inferior (Precisão: 69,4%), indicando que o ajuste de templates físicos é crucial para a detecção.

Análise de Erros:

• Falsos Positivos: Geralmente correspondem a curvas de luz com comportamento de erupção que não possuem contraparte estelar identificada (ex: fontes não estelares ou estrelas não catalogadas). O modelo aprendeu o padrão de "erupção", mas o ground truth exigia confirmação estelar.
• Falsos Negativos: Frequentemente associados a curvas de luz com múltiplas erupções, ruído excessivo ou variabilidade peculiar que confunde o modelo.

Catálogo Gerado:

• Aplicando o modelo a todas as 31.832 fontes variáveis, foram identificados 2.088 candidatos a erupções estelares.
• Estima-se que 1.721 ± 18 sejam erupções estelares reais.
• A distribuição de latitude galáctica dos candidatos confirma que são predominantemente fontes estelares (concentradas no plano galáctico).

4. Contribuições e Significância

1. Maior Catálogo de Erupções: O trabalho libera o maior catálogo de erupções estelares em raios-X até a data, baseado em uma varredura sistemática e imparcial do céu (EXTraS).
2. Eficiência Operacional: A integração deste classificador no fluxo de trabalho de astrônomos reduziria o tempo de inspeção visual em aproximadamente 50% em comparação com métodos baseados apenas em ajuste de templates, mantendo uma alta qualidade de seleção.
3. Interpretabilidade Científica: Ao contrário de "caixas pretas" (como redes neurais profundas), o uso de Gradient Boosting combinado com XAI (SHAP, UMAP, ICE) permitiu entender como o modelo toma decisões, validando que ele utiliza características físicas relevantes (como o ajuste do template de erupção e a diferença entre mediana e máximo).
4. Validação de Abordagem: O estudo demonstra que uma abordagem baseada em features (em vez de aprendizado profundo direto das curvas de luz) ainda é state-of-the-art para dados tabulares em astronomia, especialmente quando a interpretabilidade é um requisito científico.
5. Escalabilidade: A metodologia é aplicável a futuros missões (como ATHENA e AXIS) e outros catálogos, desde que características comparáveis sejam extraídas.

Conclusão:
O artigo apresenta uma solução robusta e explicável para a detecção de erupções estelares em grandes volumes de dados de raios-X. O modelo não apenas automatiza a triagem, mas também oferece insights sobre a natureza das fontes variáveis, equilibrando a necessidade de alta precisão (para reduzir o trabalho manual) com a completude necessária para estudos estatísticos.