💰 quantitative finance

A harmonised dataset for Earth system foundation models

Este artigo apresenta o WorldTensor, um conjunto de dados globais harmonizados que alinha diversas variáveis ambientais e socioeconômicas em uma grade padronizada de 0,25° e uma estrutura anual para permitir o treinamento de modelos de fundação de sistemas terrestres multimodais que capturem a dinâmica acoplada entre humanos e o ambiente.

Autores originais: Carlos Rodriguez-Pardo, Massimo Tavoni

Publicado 2026-07-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Carlos Rodriguez-Pardo, Massimo Tavoni

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a Terra como uma máquina gigante e complexa com dois motores principais: o mundo natural (clima, oceanos, florestas) e o mundo humano (cidades, fazendas, usinas de energia, economias). Por muito tempo, cientistas construíram "supercérebros" (chamados de modelos de fundação) para entender como esses motores funcionam. No entanto, houve um grande problema: os supercérebros foram alimentados apenas com dados sobre o motor natural. Eles sabem tudo sobre chuva e vento, mas são quase cegos para a forma como os humanos constroem cidades, queimam combustíveis ou movimentam dinheiro.

Este artigo apresenta o WorldTensor, um novo e massivo "manual de instruções" projetado para corrigir esse ponto cego. Pense no WorldTensor não como um único livro, mas como uma biblioteca gigante e perfeitamente organizada onde cada fato sobre o planeta — desde uma gota de chuva até a chaminé de uma fábrica — está escrito no mesmo tipo de papel, na mesma linguagem e arquivado na mesma gaveta.

Aqui está como o artigo detalha isso:

1. O Problema: Um Amontoado Bagunçado de Quebra-Cabeças

Antes do WorldTensor, tentar estudar a Terra e os humanos juntos era como tentar resolver um quebra-cabeça onde metade das peças é de uma imagem do oceano e a outra metade é de uma imagem de uma cidade, mas todas têm tamanhos, formas e idiomas diferentes.

Alguns dados são diários (como o clima); outros ocorrem apenas a cada poucos anos (como contagens populacionais).
Alguns dados são uma grade de quadrados (como um mapa); outros são apenas uma lista de pontos (como a localização de usinas de energia).
Alguns mapas usam diferentes sistemas de coordenadas, tornando impossível alinhá-los.

Os cientistas passavam meses apenas limpando e alinhando esses dados antes mesmo de poderem iniciar suas pesquisas.

2. A Solução: A Biblioteca "WorldTensor"

Os autores criaram o WorldTensor, um conjunto de dados harmonizado que atua como um tradutor universal e um mestre organizador.

A Grade: Eles pegaram centenas de fontes de dados diferentes e as forçaram a entrar em uma única grade padrão (0,25 graus, aproximadamente o tamanho de um quarteirão de uma grande cidade). Imagine pegar uma foto de alta resolução, um esboço e uma lista de números, e imprimir todos eles exatamente no mesmo papel quadriculado para que se alinhem perfeitamente.
O Tempo: Eles padronizaram o tempo para um ritmo anual. Se uma fonte tinha dados diários, eles os resumiram em uma média anual. Se uma fonte tinha dados apenas a cada 5 anos, eles preencheram as lacunas para criar uma linha do tempo anual suave.
O Conteúdo: É uma mistura "multimodal". Não possui apenas clima; possui:
- Natureza: Oceanos, gelo, solo, florestas e qualidade do ar.
- Humanos: População, PIB (riqueza), usinas de energia, estradas e até zonas de conflito.
- A Mistura: Como os humanos alteram a natureza (como o desmatamento de florestas) e como a natureza afeta os humanos (como inundações atingindo cidades).

3. Como Eles Construíram Isso (A Analogia da Cozinha)

Pense nas fontes de dados como ingredientes crus vindos de diferentes mercados. Alguns são peixes frescos (clima diário), outros são feijões secos (censo anual) e outros são temperos (pontos no mapa de fábricas).

Regridding (Re-gradeamento): Eles pegaram o "peixe" e o cortaram em pedaços do mesmo tamanho dos "feijões".
Rasterização: Eles pegaram os "temperos" (pontos no mapa) e os espalharam para que parecessem uma camada suave de tempero sobre a grade.
Padronização: Eles garantiram que cada ingrediente fosse medido nas mesmas unidades (como converter xícaras para gramas) e rotulado claramente.
Controle de Qualidade: Eles verificaram os ingredientes para garantir que não estivessem estragados. Se um número era fisicamente impossível (como uma temperatura de 500°C na Terra), eles o sinalizavam. Eles também verificaram se o "mapa" não tinha rasgos ou emendas onde as bordas não coincidiam.

4. Como Isso se Parece

O artigo mostra que este conjunto de dados é enorme. Ele contém mais de 52.000 arquivos cobrindo os anos de 1900 a 2025.

Inclui 14 "departamentos" diferentes (como Clima, Energia, Sistemas Humanos, Riscos/Perigos).
Permite que um computador veja que uma mudança nas emissões (humano) está ligada a uma mudança na qualidade do ar (natureza), ou que a urbanização (humano) está ligada ao risco de inundação (natureza).

5. Por Que Isso Importa (O Treinamento do "Supercérebro")

O objetivo principal do WorldTensor é treinar Modelos de Fundação.

Antes: Um supercérebro aprendia a prever o tempo, mas não entendia que construir uma represa altera o fluxo do rio, ou que uma guerra impede as pessoas de cultivar a terra.
Agora: Com o WorldTensor, um supercérebro pode aprender a dinâmica acoplada. Ele pode aprender como as ações humanas e as forças naturais empurram e puxam umas às outras em escala global.

O artigo valida isso mostrando que os dados funcionam. Quando testaram contra eventos históricos reais (como o El Niño de 1997 ou a pandemia de 2020), os dados mostraram corretamente os picos e quedas de temperatura, emissões e conflitos. Provou que a "biblioteca" é precisa e está pronta para ser lida por computadores.

Resumo

O WorldTensor é um conjunto de dados massivo, limpo e organizado que finalmente coloca os motores "Humano" e "Terra" na mesma página. Ele transforma um amontoado caótico de mapas e números incompatíveis em uma imagem única e coerente do nosso planeta, permitindo que a IA finalmente aprenda como vivemos sobre e com a Terra, em vez de apenas estudar a Terra isoladamente.

Resumo Técnico: WorldTensor – Um Conjunto de Dados Harmonizado para Modelos de Fundação do Sistema Terrestre

Definição do Problema
Os modelos de fundação do sistema terrestre avançaram rapidamente na simulação de dinâmicas físicas do clima e do tempo, aproveitando principalmente dados de reanálise densos e de satélite. No entanto, uma lacuna crítica permanece: esses modelos omitem amplamente os sistemas humanos que impulsionam as emissões, alteram o uso da terra, constroem infraestruturas e determinam a vulnerabilidade. Embora os dados necessários para descrever as dinâmicas acopladas humano–Terra existam em reanálises, sensoriamento remoto, inventários de emissões e indicadores socioeconômicos, eles permanecem fragmentados. Essas fontes diferem em resoluções nativas, projeções, frequências temporais (variando de diárias a instantâneos esparsos de vários anos) e convenções de metadados. Essa fragmentação dificulta o desenvolvimento de modelos de fundação verdadeiramente multimodais capazes de aprender dinâmicas acopladas entre sistemas ambientais e humanos em escala planetária. Os esforços atuais são frequentemente limitados ao Norte Global ou carecem de uma representação unificada que permita o raciocínio conjunto entre domínios físicos e socioeconômicos.

Metodologia
Os autores apresentam o WorldTensor, um conjunto de dados global harmonizado projetado para servir como um recurso de treinamento unificado para fluxos de trabalho de aprendizado de máquina. O conjunto de dados alinha centenas de variáveis ambientais e socioeconômicas a uma grade espacial de 0,25° padronizada (correspondente ao ERA5) e a um arcabouço temporal anual.

A construção do WorldTensor envolveu quatro princípios fundamentais: suporte espacial compartilhado, resolução temporal compartilhada, cobertura de domínio multimodal e um formato legível por máquina. A metodologia incluiu:

Seleção de Fontes: Um conjunto curado de variáveis de alta qualidade foi selecionado com base na relevância para as dinâmicas acopladas humano–Terra (cobrindo clima físico, processos terra/oceano, emissões, infraestrutura, riscos e atividade socioeconômica) e cobertura global. As fontes foram excluídas se carecessem de extensão global, alinhamento temporal confiável ou reprodutibilidade.
Harmonização Espacial: Todas as entradas em grade foram regridadas para a grade canônica de 0,25°. Campos contínuos utilizaram reamostragem bilinear, enquanto camadas categóricas utilizaram atribuição de vizinho mais próximo para preservar as fronteiras de classe. Conjuntos de dados de pontos, linhas e polígonos (ex: usinas de energia, eventos de conflito) foram rasterizados em campos contínuos ou mapas de densidade usando regras específicas de geometria. Atenção especial foi dada ao tratamento da costura de longitude, comportamento da borda polar e prevenção de artefatos espaciais.
Harmonização Temporal: Frequências heterogêneas de origem foram convertidas para um modelo comum de liberação anual. Dados diários e mensais foram agregados usando estatísticas apropriadas para cada variável (ex: média, soma, máximo, mínimo). Conjuntos de dados socioeconômicos esparsos foram interpolados entre anos âncora. Variáveis estáticas (ex: batimetria, textura do solo) foram liberadas como camadas invariantes no tempo.
Modelo de Dados e Empacotamento: O conjunto de dados é distribuído como arquivos NetCDF comprimidos, aderindo às convenções de metadados CF. A estrutura é modular: variáveis temporais são armazenadas como <dominio>/<variável>/<AAAA>.nc>, enquanto variáveis estáticas residem em static//<variável>.nc`. O conjunto de dados inclui 757 unidades liberadas (658 famílias de variáveis temporais e 99 camadas estáticas), totalizando aproximadamente 46 GB.

Principais Contribuições

Conjunto de Dados WorldTensor: Um conjunto de dados global harmonizado e unificado abrangendo 14 domínios de alto nível: clima, extremos, qualidade do ar, emissões, uso da terra, vegetação, hidrologia, criosfera, oceano, agricultura, energia, sistemas humanos, riscos/conflitos e contexto estático.
Representação Padronizada: O conjunto de dados fornece uma representação única para variáveis que anteriormente eram incompatíveis, permitindo que modelos aprendam acoplamentos entre domínios (ex: entre emissões e composição atmosférica, ou mudança no uso da terra e hidrologia).
Infraestrutura Reprodutível: Os autores fornecem um pipeline de processamento completo, incluindo módulos de download específicos para cada fonte, scripts de harmonização e ferramentas automatizadas de controle de qualidade.
Interfaces de Aprendizado de Máquina: O lançamento inclui exemplos em PyTorch (WorldTensorYearDataset e WorldTensorPatchDataset) que demonstram como ingerir os dados em fluxos de trabalho de treinamento de modelos de fundação, lidando tanto com camadas temporais quanto estáticas.

Resultados e Validação Técnica
O artigo valida o WorldTensor através de uma estrutura de cinco camadas:

Plausibilidade Física: 54 variáveis representativas foram testadas contra limites físicos; menos de 0,1% dos pixels excederam as faixas esperadas. Médias globais ponderadas pela área para temperatura, precipitação, NDVI, população e emissões de metano corresponderam a benchmarks autoritativos (WMO, ERA5, MODIS, GPW, EDGAR).
Consistência Interna: Frações de estado de uso da terra foram verificadas para somar corretamente contra o orçamento de terra (excluindo gelo/água). Variáveis cumulativas de risco e infraestrutura foram confirmadas como monotonicamente não decrescentes.
Fidelidade do Sinal Temporal: O conjunto de dados capturou com sucesso anomalias históricas sem conhecimento prévio, incluindo o El Niño de 2015–16 (pico de temperatura), a guerra civil na Síria (fatalidades de conflito), a erupção do Pinatubo (queda na radiação solar) e a perturbação de emissões da COVID-19 de 2020 (atenuada na resolução anual).
Estrutura Espacial: Semivariogramas empíricos confirmaram que a autocorrelação espacial ampla é preservada entre os domínios. Variáveis ambientais mostraram autocorrelação de longo alcance (ex: temperatura ~~2580 km), enquanto variáveis de sistemas humanos como o PIB permaneceram mais localizadas (~~300 km).
Coerência Multivariada: A Análise de Componentes Independentes (ICA) em variáveis não estáticas recuperou zonas eco-climáticas distintas (florestas boreais, florestas tropicais, regiões áridas) sem supervisão geográfica, confirmando que os dados codificam uma estrutura geograficamente significativa.
Utilidade de Características: A análise de incorporação geoespacial mostrou que as Características Convolucionais Aleatórias (RCF) extraídas de patches do WorldTensor superaram significativamente a codificação posicional de Fourier simples para prever variáveis retidas (média de $R^2$ de 0,63 vs. 0,34), demonstrando que o conjunto de dados preserva a textura espacial fina e padrões de coocorrência multivariada.

Significância e Alegações
O artigo posiciona o WorldTensor como uma infraestrutura de pesquisa, em vez de um benchmark vinculado a uma classe específica de modelo. Sua principal significância reside em abordar a fragmentação de dados que restringe a próxima geração de modelos de fundação do sistema terrestre. Ao co-localizar dimensões ambientais, humanas e estáticas em um único recurso, o WorldTensor fornece a "matéria-prima" para que modelos aprendam como os sistemas humanos modificam e respondem às dinâmicas planetárias.

Os autores afirmam que esta representação unificada é essencial para tarefas como:

Treinamento de embeddings geoespaciais de propósito geral.
Transferência de aprendizado entre tarefas de previsão ambiental e socioeconômica.
Redução de escala (downscaling) ou preenchimento de lacunas de campos socioeconômicos esparsos.
Geração de características para modelos de impacto climático e risco.

O artigo reconhece limitações, observando que a resolução anual é menos adequada para previsões meteorológicas sub-diárias ou detecção de eventos extremos de curta duração, e que a grade de 0,25° pode suavizar estruturas urbanas finas ou introduzir precisão aparente para dados pontuais esparsos. No entanto, afirma que o WorldTensor permite com sucesso o estudo das dinâmicas acopladas humano–Terra em uma escala planetária, indo além do sistema climático físico para incluir os drivers e respostas humanas que moldam a mudança global.