Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications

O artigo apresenta o Prithvi-EO-2.0, um modelo fundamental de observação da Terra de código aberto e multi-temporal que, treinado em 4,2 milhões de amostras globais, supera seu antecessor e outros modelos concorrentes em diversas tarefas geoespaciais, desde monitoramento de desastres até mapeamento de culturas, graças à sua versatilidade e ao envolvimento contínuo de especialistas.

O essencial

Imagine que você tem um livro de receitas gigante, mas em vez de pratos, ele contém milhões de fotos de todo o planeta Terra tiradas por satélites ao longo de 10 anos. O Prithvi-EO-2.0 é como um "chef de cozinha" superinteligente que leu esse livro inteiro e aprendeu a cozinhar (ou seja, a analisar) qualquer prato que você pedir, desde identificar uma floresta até detectar uma enchente.

Aqui está a explicação desse projeto, traduzida para uma linguagem do dia a dia:

1. O que é o Prithvi-EO-2.0?

Pense nele como um super-herói da observação da Terra. Ele é a versão 2.0 de um modelo anterior (o Prithvi-EO-1.0). A diferença principal é que o novo modelo é muito mais esperto porque:

• Viu mais coisas: Foi treinado com 4,2 milhões de amostras de imagens de satélite de todo o mundo (não só dos EUA, como o anterior).
• Entende o tempo: Ele não olha apenas uma foto estática. Ele entende que a Terra muda. Ele sabe que uma árvore fica verde na primavera e perde folhas no inverno. Ele "vê" o passar do tempo nas imagens.
• Sabe onde está: Ele sabe exatamente onde a foto foi tirada (latitude e longitude), o que ajuda a entender o clima e o tipo de solo daquela região específica.

2. Como ele aprendeu? (A "Escola" do Modelo)

Para treinar esse cérebro artificial, os cientistas usaram uma técnica chamada aprendizado auto-supervisionado.

• A analogia do "Jogo do Esconde-Esconde": Imagine que você mostra uma foto para o modelo, mas cobre 70% dela com uma "máscara" preta. O modelo tem que tentar adivinhar o que está escondido com base no que ele vê nas partes restantes.
• Ao fazer isso milhões de vezes com imagens de 10 anos, o modelo aprendeu padrões: "Ah, se vejo água azul aqui e terra marrom ali, e a água cresceu na próxima foto, provavelmente é uma enchente". Ele aprendeu a "ler" a Terra sem precisar que alguém escrevesse etiquetas manuais para cada foto.

3. O que ele consegue fazer? (Seus Superpoderes)

O papel mostra que o Prithvi-EO-2.0 foi testado em três grandes áreas, como se fosse um médico fazendo check-ups em diferentes partes do corpo do planeta:

• Resposta a Desastres (O Socorrista):

  • Enchentes: Ele consegue ver onde a água subiu e onde a terra seca, ajudando a salvar vidas.
  • Incêndios: Ele identifica áreas queimadas e mede o "grau" da queimadura (se foi leve ou se destruiu tudo).
  • Deslizamentos: Ele detecta quando a terra se moveu, mesmo com poucas fotos de treinamento.
  • O diferencial: Ele funciona muito bem mesmo quando tem poucas fotos para aprender (aprendizado com poucos dados), o que é crucial em emergências.

• Mapas de Terra e Plantas (O Agrônomo):

  • Ele consegue dizer se um campo está plantando milho, soja ou trigo, e monitorar se a plantação está saudável.
  • Ele faz isso em diferentes escalas: desde ver uma única árvore em um drone até ver grandes florestas inteiras.

• Dinâmica dos Ecossistemas (O Biólogo):

  • Ele estima quanto carbono as árvores estão absorvendo (Biomassa).
  • Ele calcula a "fotossíntese" (GPP), ou seja, quanta energia a natureza está produzindo naquele local.

4. Por que ele é melhor que os outros?

O papel compara o Prithvi-EO-2.0 com outros "chefes" (modelos de IA) famosos.

• O resultado: O Prithvi-EO-2.0 venceu na maioria das provas, superando o modelo anterior em 8%.
• A mágica: A grande sacada foi ensinar o modelo a entender tempo e lugar ao mesmo tempo. Outros modelos olhavam apenas a imagem (o "o quê"), mas o Prithvi-EO-2.0 entende o "quando" e o "onde". É a diferença entre ver uma foto de um bebê chorando e entender que ele está chorando porque é hora da mamãe chegar.

5. O Grande Segredo: Ciência Aberta

O projeto não guardou esse superpoder para si.

• Eles colocaram o modelo gratuitamente na internet (no Hugging Face e no GitHub).
• Eles criaram um "kit de ferramentas" (chamado TerraTorch) para que qualquer pessoa, mesmo sem ser um gênio em programação, possa usar esse modelo para resolver problemas locais.
• É como se eles tivessem dado a receita do superpoder para o mundo inteiro usar.

Resumo em uma frase

O Prithvi-EO-2.0 é um cérebro artificial treinado com uma década de fotos de satélite de todo o planeta, que aprendeu a entender não apenas como a Terra parece, mas como ela muda com o tempo e o clima, ajudando-nos a combater desastres, cuidar da agricultura e proteger o meio ambiente com mais precisão do que nunca.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications", apresentado em português:

1. Problema e Motivação

O campo da Observação da Terra (EO) enfrenta desafios significativos na adoção de Modelos de Fundação Geoespacial (GFMs). O artigo identifica três limitações principais nos modelos existentes:

• Falta de Modelagem Temporal Robusta: A maioria dos GFMs não aproveita a natureza multi-temporal dos dados de EO. Os que o fazem geralmente focam em séries temporais longas restritas a pequenas áreas ou pixels individuais, ou tratam o tempo apenas como aumento de dados (augmentation) em vez de uma dimensão estrutural.
• Validação Insuficiente: Há uma falta de validação profunda que considere diversos tipos de tarefas e protocolos de comparação claros, dificultando que os usuários avaliem a adequação dos modelos para seus casos de uso específicos.
• Barreiras de Adaptação: Adaptar GFMs de ponta para diferentes aplicações muitas vezes exige expertise em IA, devido à falta de ferramentas e guias claros para fine-tuning (ajuste fino).

Além disso, modelos anteriores muitas vezes eram treinados apenas em dados dos EUA ou com conjuntos de dados menores, limitando sua generalização global.

2. Metodologia

A. Conjunto de Dados e Amostragem

• Fonte de Dados: O modelo foi treinado no arquivo de dados Harmonized Landsat and Sentinel-2 (HLS) da NASA, que harmoniza imagens de satélites Landsat 8/9 e Sentinel-2A/2B.
• Escala e Resolução: O conjunto de dados de pré-treinamento contém 4,2 milhões de amostras de séries temporais globais em resolução de 30 metros.
• Estratégia de Amostragem:
  • Foi criada uma distribuição diversificada de classes de cobertura do solo (LULC) e ecorregiões, com oversampling de áreas urbanas e de alta entropia para capturar paisagens heterogêneas.
  • As sequências temporais consistem em 4 imagens com intervalos de 1 a 6 meses entre os timestamps, cobrindo o período de 2014 a 2023. Isso permite capturar padrões sazonais e tendências de longo prazo.
  • Foram aplicados filtros rigorosos para remover nuvens, sombras e dados faltantes.

B. Arquitetura do Modelo (Prithvi-EO-2.0)

• Base: O modelo utiliza a abordagem de Autoencoder com Máscara (MAE) com um backbone Vision Transformer (ViT).
• Inovações Arquiteturais:
  • Embutimentos 3D: Substituição dos embutimentos posicionais 2D por 3D (tempo, altura, largura) para processar sequências de imagens espaciais e temporais.
  • Embutimentos de Metadados: Incorporação explícita de metadados de localização (latitude/longitude) e tempo (ano/dia do ano) como embeddings aditivos ponderados. Isso ajuda a organizar o espaço de embedding e permite que o modelo aprenda a generalizar geograficamente e temporalmente.
  • Mecanismo de Drop: Durante o pré-treinamento, os metadados de tempo e localização são aleatoriamente removidos (com probabilidade de 0,1) para forçar o modelo a aprender representações robustas mesmo na ausência desses dados.
• Variantes: Foram desenvolvidas duas versões: 300M (baseada em ViT-L) e 600M (baseada em ViT-H) parâmetros.
• Pré-treinamento: Realizado em supercomputadores (JUWELS) por 400 épocas, utilizando a tarefa de reconstrução de imagens mascaradas.

C. Avaliação e Fine-Tuning

• Benchmarking: Utilização do framework GEO-Bench para comparação justa com outros GFMs (como SatMAE, Scale-MAE, DOFA, etc.) em tarefas de classificação e segmentação semântica.
• Tarefas de Domínio (SME-led): Colaboração com especialistas para avaliar o modelo em três categorias:
  1. Resposta a Desastres: Mapeamento de inundações, cicatrizes de incêndios, intensidade de queimadas e detecção de deslizamentos.
  2. Mapeamento de Cobertura do Solo e Culturas: Segmentação de culturas nos EUA, classificação de uso do solo na Europa e segmentação temporal de culturas na França (PASTIS).
  3. Dinâmica de Ecossistemas: Estimativa de Biomassa Aérea (AGB) e Produtividade Primária Bruta (GPP).
• Ferramentas: Integração no TerraTorch (baseado em PyTorch Lightning) para facilitar o fine-tuning e a reprodutibilidade.

3. Principais Contribuições

1. Novo Modelo Multi-Temporal: Lançamento do Prithvi-EO-2.0, que supera o predecessor (Prithvi-EO-1.0) ao incorporar explicitamente dimensões temporais e de localização na arquitetura.
2. Conjunto de Dados Global e Diverso: Criação de um conjunto de pré-treinamento massivo (4,2M de amostras) com cobertura global e diversidade de ecossistemas, superando a limitação geográfica de modelos anteriores.
3. Validação Abrangente: Avaliação rigorosa através do GEO-Bench e de tarefas reais lideradas por especialistas, demonstrando a versatilidade do modelo em diferentes resoluções (de 0,1m a 15m) e domínios.
4. Acesso Aberto e Reprodutibilidade: Disponibilização do modelo (300M e 600M) como open-source no Hugging Face e código no GitHub, integrados ao ecossistema TerraTorch, seguindo a abordagem de "Ciência Aberta Confiável".

4. Resultados

• Benchmarking (GEO-Bench): O Prithvi-EO-2.0 superou o modelo anterior em 8% em média em várias tarefas. Ele também superou seis outros GFMs populares em tarefas de classificação e segmentação, demonstrando que modelos maiores (600M) e com embeddings temporais/locais (TL) performam melhor.
• Resposta a Desastres:
  • Inundações e Incêndios: Melhorou significativamente a IoU (Interseção sobre União) para classes críticas (água e cicatrizes de queimadas) em comparação ao Prithvi-EO-1.0.
  • Deslizamentos: Em cenários de few-shot learning (apenas ~1% dos dados de treino), o Prithvi-EO-2.0 manteve desempenho estável, enquanto modelos baseados em U-Net sofreram degradação severa, evidenciando a capacidade de generalização do modelo de fundação.
• Mapeamento de Culturas e Uso do Solo:
  • Superou o baseline ViViT em tarefas de classificação na Europa, mesmo com conjuntos de dados menores.
  • Demonstrou robustez ao lidar com sequências temporais mais longas (12 frames) do que as usadas no pré-treinamento (4 frames).
• Dinâmica de Ecossistemas:
  • Na estimativa de GPP, o modelo alcançou um $R^2$ superior (até 0,88) comparado a modelos de Random Forest e XGBoost, sem a necessidade de índices de vegetação manuais, provando sua capacidade de extrair informações espetais e espectrais complexas.
  • Na estimativa de Biomassa, aproximou-se do desempenho de modelos multimodais (óptico + SAR) usando apenas dados ópticos, embora a integração direta de SAR tenha sido desafiadora.

5. Significado e Impacto

O Prithvi-EO-2.0 representa um avanço significativo na aplicação de IA para Observação da Terra. Ao resolver a limitação da modelagem temporal e fornecer um modelo treinado globalmente, ele reduz a dependência de grandes conjuntos de dados rotulados para tarefas específicas. A demonstração de que um modelo pré-treinado com dados de 30m pode generalizar bem para tarefas de alta resolução (como monitoramento de árvores individuais ou gado) e para diferentes domínios (desastres, agricultura, ecologia) valida a eficácia da abordagem de "Modelo de Fundação".

O projeto exemplifica a colaboração interinstitucional (IBM, NASA, universidades) e o compromisso com a ciência aberta, fornecendo ferramentas acessíveis para que pesquisadores e profissionais de todo o mundo possam desenvolver soluções para desafios ambientais e sociais urgentes.