ThousandWorlds: A benchmark for climate emulation of potentially habitable exoplanets

Resumo Técnico: ThousandWorlds: um benchmark para a emulação climática de exoplanetas potencialmente habitáveis

Definição do Problema
A detecção de vida além da Terra depende da interpretação de assinaturas atmosféricas tênues de exoplanetas potencialmente habitáveis. No entanto, essas assinaturas são ambíguas; por exemplo, uma detecção de oxigênio pode indicar biologia ou apenas a fotodissociação da água. Resolver essa ambiguidade requer a compreensão do clima do planeta hospedeiro, incluindo temperatura, circulação, nuvens e transporte de calor. Atualmente, esse entendimento é derivado de Modelos de Circulação Global (GCMs), que são computacionalmente caros (exigindo $10^4$–$10^6$ horas-núcleo por execução) e requerem tempo significativo de especialistas para configuração. Esse custo limita os estudos a pequenos conjuntos de configurações selecionadas manualmente, criando um gargalo para varreduras de parâmetros e quantificação de incertezas em larga escala. Embora emuladores de aprendizado de máquina (ML) ofereçam uma solução potencial, o progresso foi estagnado pela ausência de um conjunto de dados multimodelo curado. As simulações existentes estão espalhadas em formatos incompatíveis, grades verticais e variáveis de saída distintas, impedindo o treinamento de emuladores robustos que possam generalizar entre diferentes simuladores.

Metodologia e Construção do Conjunto de Dados
Os autores introduzem o ThousandWorlds, um benchmark pronto para ML projetado para a emulação de exoclimas e o regime mais amplo de regressão parâmetro-para-campo, com múltiplos simuladores e poucos dados.

• Composição do Conjunto de Dados: O conjunto de dados compreende aproximadamente 1.800 simulações de cinco GCMs distintos: o Unified Model (UM), ExoCAM, ExoCAM-pre-2022, LFRic e ExoPlaSim. Essas simulações cobrem um domínio físico de mundos aquosos com acoplamento de maré (planetas rochosos cobertos por oceanos na zona habitável).
• Entradas: Cada simulação é definida por oito parâmetros planetários contínuos: raio, gravidade superficial, período de rotação, pressão superficial, fração volumétrica de CO$_2$, fração volumétrica de CH$_4$, fluxo estelar incidente e temperatura estelar. Um rótulo discreto identifica a origem do GCM.
• Saídas: O alvo é o estado atmosférico de tempo médio representado por 53 campos em uma grade de latitude–longitude de $32 \times 64$ com 10 níveis de pressão. As variáveis incluem temperatura, umidade, ventos (zonal e meridional), fração de nuvens, temperatura superficial, radiação de ondas longas de saída (OLR) e radiação de ondas curtas absorvida (ASR).
• Desafios de Dados: O conjunto de dados incorpora intencionalmente três subconjuntos aninhados para estagiar níveis crescentes de dificuldade:
  1. Single-complete: Regressão usando apenas o GCM UM (sem transferência multi-simulador, sem ausência de dados).
  2. Multi-complete: Regressão usando todos os cinco GCMs com observações completas (introduz transferência cross-GCM).
  3. Multi-partial: O conjunto de dados completo usando todos os cinco GCMs e 53 campos, introduzindo ausência estruturada (diferentes grades verticais, variáveis ausentes e níveis de pressão).
• Protocolos de Avaliação:
  1. Protocolo Padrão: Utiliza um conjunto de teste maior para classificar métodos uns contra os outros usando o Erro Quadrático Médio (RMSE) ponderado pela área.
  2. Protocolo de Planetas Compartilhados (Shared-Planets): Restringe a avaliação a planetas simulados por ambos os GCMs alvo (UM e ExoCAM). O erro do emulador é medido em relação ao desacordo entre os próprios dois GCMs. Esta métrica avalia se o emulador performa melhor do que a incerteza epistêmica inerente dos modelos de física.

Métodos de Base (Baselines)
Os autores avaliaram sete baselines abrangendo métodos simples, aprendizado profundo e processos gaussianos (GPs):

• Simples: Média de treino (Train-mean) e k-Vizinhos Mais Próximos (kNN).
• Aprendizado Profundo: Coord-MLP (MLP ponto a ponto), Coord-DeepONet (arquitetura DeepONet) e PCA-MLP (PCA nos coeficientes espectrais seguido de regressão MLP).
• Processos Gaussianos: PPCA-ICM (compressão por PCA probabilístico seguido de regressão por GP de Modelo de Coregionalização Intrínseca) e GPLFR (Regressão de Fator Latente de Processo Gaussiano, uma otimização end-to-end da representação latente e do kernel GP).

Principais Resultados

• Desempenho: Métodos baseados em GP emergiram como os baselines mais fortes. O GPLFR alcançou o menor RMSE na maioria das variáveis em todos os subconjuntos, seguido de perto pelo PPCA-ICM.
• Limitações do Aprendizado Profundo: Entre os métodos de aprendizado profundo, o PCA-MLP teve o melhor desempenho. Notavelmente, o Coord-DeepONet e o Coord-MLP tiveram desempenho inferior em relação aos métodos GP, particularmente no subconjunto Single-complete. Isso sugere que o regime de poucos dados e de parâmetro-para-campo da emulação de exoclima apresenta desafios para abordagens de aprendizado profundo padrão "off-the-shelf".
• Especificidades das Variáveis: O kNN foi competitivo com os métodos aprendidos para fração de nuvens, ventos e ASR, sugerindo que essas variáveis são dominadas por templates espaciais locais ou variabilidade entre GCMs, em vez de tendências globais suaves. Por outro lado, os campos de temperatura mostraram o benefício mais claro de modelos não lineares complexos.
• Utilidade Científica: Sob o protocolo de planetas compartilhados, os melhores baselines (GPLFR, PPCA-ICM, PCA-MLP) alcançaram RMSEs relativos abaixo de 1 para a maioria das variáveis. Isso indica que esses emuladores podem prever os outputs de um GCM individual com mais precisão do que os GCMs concordam entre si, um limiar de relevância prática para astrônomos de exoplanetas. No entanto, permanece uma margem significativa nos termos de erro absoluto (por exemplo, RMSE de temperatura superficial em torno de 10 K).
• Composição de Dados: Dados de GCM auxiliares (modelos de menor fidelidade) beneficiaram os métodos GP, mas foram neutros ou prejudiciais aos métodos de aprendizado profundo, sugerindo que os GPs são melhores em explorar informações cross-GCM. Dados fora do domínio físico estrito do alvo foram benéficos para todos os métodos, provavelmente ajudando a ancorar as previsões próximas às fronteiras do domínio.

Significância e Alegações
O artigo afirma que o ThousandWorlds preenche uma lacuna crítica no aprendizado de máquina científico ao fornecer o primeiro conjunto de dados grande e curado e multi-GCM para emular climas de exoplanetas potencialmente habitáveis. Sua significância reside em:

1. Benchmarking de um Regime Desafiador: Ele expõe um regime (poucos dados, parâmetro-para-campo, multi-simulador) onde o aprendizado profundo padrão tem dificuldades e onde os processos gaussianos atualmente superam os demais, oferecendo um campo de teste para novos métodos substitutos (surrogates).
2. Utilidade Científica: Fornece um framework para medir o desempenho do emulador não apenas contra uma verdade fundamental única, mas contra a dispersão de modelos de física de alta fidelidade, abordando diretamente a incerteza epistêmica inerente à ciência climática.
3. Recurso Comunitário: Ao lançar o conjunto de dados e o código, os autores visam acelerar o campo da pesquisa de exoclima, permitindo varreduras de parâmetros em larga escala e quantificação de incertezas fundamentada que eram anteriormente proibitivas computacionalmente.

Os autores permanecem modestos, observando que, embora os emuladores estejam se aproximando da precisão do desacordo entre GCMs, eles ainda não são substitutos perfeitos para execuções completas de GCM, e o benchmark é atualmente limitado a mundos aquosos com acoplamento de maré, excluindo outras classes de planetas, como planetas secos ou órbitas excêntricas.