A Leakage-Controlled Time-Series Forecasting Benchmark for GOES Soft X-ray and Proton Flux

O Sol não é uma estrela constante e imutável. É um motor dinâmico que ocasionalmente entra em erupção, enviando rajadas de radiação e partículas de alta energia que viajam em direção à Terra à velocidade da luz. Quando essas erupções atingem o nosso planeta, podem interromper a tecnologia na qual dependemos todos os dias, desde os satélites que guiam o nosso GPS até as redes elétricas que iluminam as nossas cidades. Para proteger esses sistemas, os cientistas precisam saber não apenas que uma erupção está a caminho, mas exatamente como ela se comportará: quão rápido subirá, quão intensa se tornará e quanto tempo durará. Durante décadas, investigadores tentaram prever estes eventos usando modelos computacionais, mas um novo estudo sugere que a forma como temos testado estes modelos tem escondido uma falha crítica.

Uma equipa de investigadores do Instituto de Astronomia e Ciência Espacial da Coreia construiu um novo teste, mais rigoroso, para ver se a inteligência artificial consegue realmente prever a intensidade das erupções solares e o fluxo de protões energéticos. Em vez de simplesmente pedir a um computador para adivinhar se uma erupção vai acontecer ou não, pediram-lhe para prever a subida e descida contínua, minuto a minuto, dos níveis de radiação. Eles reuniram dados abrangendo quase três décadas, cobrindo múltiplos ciclos de atividade solar, e organizaram cuidadosamente o teste para que o computador não pudesse aceder a informações futuras. Esta abordagem rigorosa revelou uma verdade surpreendente: embora alguns modelos sejam excelentes a prever o fundo geral e calmo da atividade solar, eles falham largamente ao prever os picos súbitos e perigosos que representam o maior risco para a nossa tecnologia.

O cerne deste trabalho é um novo benchmark, um teste padronizado concebido para eliminar um erro comum conhecido como "vazamento de dados" (data leakage). Em muitos estudos anteriores, os investigadores misturavam os seus dados aleatoriamente antes de treinar os seus modelos. Isto é como estudar para um exame de história lendo as respostas antes de ver as perguntas. Como a atividade solar segue uma linha temporal, misturar os dados permitiu que os modelos aprendessem padrões do futuro que nunca teriam num cenário do mundo real. O novo benchmark corrige isto ao dividir os dados em blocos de tempo estritos e não sobrepostos. Os modelos são treinados em dados passados e testados apenas em dados futuros, garantindo que qualquer habilidade que demonstrem seja uma previsão genuína, e não memória. Os investigadores testaram dez modelos diferentes de aprendizagem profunda moderna contra dois alvos específicos: o fluxo de raios-X suaves, que mede a intensidade das erupções solares, e o fluxo de protões, que mede o fluxo de partículas de alta energia que podem danificar naves espaciais.

Quando os investigadores realizaram os testes, os resultados foram uma mistura de sucesso e limitações sóbrias. Um modelo, uma rede recorrente de segmentos, provou ser o mais preciso a prever a forma geral das curvas de radiação. Produziu consistentemente os menores erros ao medir a diferença entre as suas previsões e os dados reais. No entanto, esta precisão geral contava apenas metade da história. Quando os investigadores olharam especificamente para a capacidade de prever os picos súbitos e impulsivos que definem uma erupção solar perigosa, o modelo com melhor desempenho ficou aquém. Tornou-se tão focado em acertar a média do fundo calmo e silencioso que suavizou os picos agudos, falhando efetivamente nos momentos mais críticos. De facto, para prever estes picos súbitos, a pontuação de habilidade do melhor modelo situou-se no "piso de persistência", não performando melhor do que um palpite simples de que as condições atuais permaneceriam as mesmas, com uma pontuação próxima de 0,10.

Este desajuste entre a precisão geral e a capacidade de detetar eventos perigosos é a descoberta mais significativa do artigo. Os investigadores descobriram que minimizar o erro médio na verdade incentiva os modelos a ignorar os eventos raros e extremos, porque esses eventos são tão infrequentes em comparação com o fundo calmo. Um modelo que tenta ser perfeito na média tenderá naturalmente a prever as partes calmas e monótonas dos dados, deixando os picos violentos sem previsão. Curiosamente, este problema apareceu apenas para as erupções solares. Ao prever o fluxo de protões energéticos, que tendem a persistir por dias uma vez iniciados, os modelos que eram bons na matemática geral também eram bons em detetar os eventos. Os dois tipos de atividade solar comportam-se de forma diferente: as erupções são súbitas e caóticas, enquanto os fluxos de protões são mais como uma onda lenta e contínua, mais fácil de rastrear.

O estudo também comparou estes novos modelos computacionais com as previsões operacionais atuais utilizadas pela Administração Nacional Oceânica e Atmosférica (NOAA). Para os fluxos de protões, os novos modelos foram competitivos com os sistemas existentes liderados por humanos. Mas para as erupções solares, nenhum dos modelos de inteligência artificial conseguiu superar a base de referência mais sofisticada de assumir que, se um evento acabou de ocorrer, outro seguirá. Embora o melhor modelo tenha desempenhado quase o dobro da habilidade de um palpite trivial de "valor constante" (que assume que as condições nunca mudam), ainda ficou significativamente abaixo da referência operacional e da base de persistência mais realista. Mesmo as arquiteturas de aprendizagem profunda mais avançadas, que revolucionaram muitos outros campos, não conseguiram decifrar o código de prever o tempo exato e a intensidade de uma erupção com mais de algumas horas de antecedência. Os investigadores notaram que esta dificuldade pode não ser uma falha dos próprios modelos computacionais, mas um limite fundamental dos dados; o início súbito de uma erupção parece ser inerentemente imprevisível a partir do histórico do fluxo de radiação isoladamente.

Em última análise, este trabalho serve como um necessário choque de realidade para o campo da previsão do tempo espacial. Demonstra que um modelo pode ter uma taxa de erro baixa e ainda assim ser inútil para o seu propósito pretendido se falhar em capturar os eventos extremos. Os investigadores disponibilizaram os seus dados, código e estrutura de teste ao público, convidando outros cientistas a tentar resolver este problema sob as mesmas regras estritas. Ao remover a possibilidade de aceder a informações futuras e focar-se na habilidade específica de detetar picos perigosos, eles criaram um alvo claro para a próxima geração de ferramentas de previsão. O caminho a seguir, sugerem eles, pode exigir novos tipos de modelos que sejam especificamente desenhados para valorizar os momentos raros e violentos sobre a média calma, ou talvez uma mudança para o uso de diferentes tipos de dados solares que possam deter as chaves para prever estas erupções súbitas. Até lá, a capacidade de prever as tempestades solares mais perigosas continua a ser um desafio aberto, um que exige que olhemos para além das simples pontuações de precisão para compreender o que os nossos modelos estão realmente a aprender.