Earth-Agent: Unlocking the Full Landscape of Earth Observation with Agents

O artigo apresenta o Earth-Agent, um novo quadro de trabalho baseado em agentes que integra dados de observação terrestre RGB e espectrais em um ecossistema de ferramentas unificado, permitindo raciocínio espaciotemporal quantitativo complexo e avaliando seu desempenho por meio do benchmark Earth-Bench.

O essencial

Imagine que a Terra é um gigante adormecido, e nós, humanos, temos muitos olhos para observá-lo: câmeras que veem cores (RGB), sensores que sentem calor, radares que veem através de nuvens e satélites que medem a saúde das plantas.

Por anos, tentamos ensinar computadores a "olhar" para essas imagens e responder perguntas. Mas os computadores atuais são como crianças muito inteligentes, mas com uma visão muito limitada. Eles conseguem dizer "isso é um carro" ou "isso é uma floresta" em uma foto, mas se você pedir para eles calcularem o crescimento de uma cidade ao longo de 10 anos, ou preverem uma seca baseada em dados complexos de temperatura e umidade, eles travam. Eles não têm ferramentas para fazer a matemática pesada nem a paciência para analisar milhares de fotos de uma vez.

É aqui que entra o Earth-Agent, o protagonista desta pesquisa.

O Que é o Earth-Agent? (A Metáfora do "Detetive com Maleta de Ferramentas")

Pense no Earth-Agent não como um único cérebro, mas como um Detetive Especialista que trabalha em uma agência de inteligência global.

1. O Detetive (O Cérebro): É a Inteligência Artificial (o "cérebro" do sistema). Ele entende o que você pede.
2. A Maleta de Ferramentas (O Kit de 104 Ferramentas): Diferente de outros sistemas que só têm um martelo (olhar para fotos), o Earth-Agent tem uma maleta cheia de ferramentas especializadas:
   • Uma calculadora para medir a umidade do solo.
   • Um microscópio para contar carros em um estacionamento.
   • Um termômetro para medir a temperatura do mar.
   • Um mapa para traçar tendências de desmatamento.

Como ele funciona?
Se você perguntar: "Quantas árvores foram queimadas na Amazônia no último mês e qual foi a tendência de temperatura?", o Detetive não tenta adivinhar. Ele abre a maleta:

• Pega a ferramenta de "contagem de fogo".
• Pega a ferramenta de "análise de temperatura".
• Pega a ferramenta de "comparação de datas".
• Ele executa essas ferramentas uma após a outra, como um maestro regendo uma orquestra, até chegar à resposta exata.

O Grande Problema que Eles Resolveram

Antes, os computadores de observação da Terra eram como fotógrafos amadores:

• Só tiravam fotos coloridas (RGB).
• Só olhavam para uma foto de cada vez.
• Se você pedisse algo complexo, eles inventavam respostas (alucinação) porque não sabiam usar calculadoras.

O Earth-Agent mudou o jogo:

• Vê tudo: Não só cores, mas calor, radar e dados brutos de satélites.
• Vê muito: Consegue analisar milhares de imagens de uma vez, como se tivesse 1000 olhos trabalhando simultaneamente.
• Pensa em etapas: Ele não dá a resposta final de cara. Ele faz um plano: "Primeiro, vou baixar os dados. Depois, vou calcular o índice de vegetação. Depois, vou comparar com o ano passado."

O "Exame de Direção" (Earth-Bench)

Para provar que o Detetive é bom, os criadores não apenas disseram "confie em nós". Eles criaram um exame de direção extremamente difícil, chamado Earth-Bench.

Imagine um teste de direção onde você não só precisa estacionar o carro, mas também:

• Calcular a distância exata entre dois prédios usando dados de satélite.
• Prever quando uma enchente vai acontecer baseado em dados de chuva de 10 anos.
• Fazer isso usando ferramentas específicas, e não apenas "chutando".

O Earth-Bench tem 248 desses desafios complexos. Quando colocaram o Earth-Agent para fazer o teste, ele superou todos os outros "motoristas" (outros modelos de IA), mostrando que ele realmente sabe usar as ferramentas e seguir o raciocínio lógico.

Por que isso importa para você?

Imagine que você é um agricultor, um gestor de cidades ou um cientista do clima.

• Antes: Você precisava de uma equipe de 10 especialistas para baixar dados, limpar arquivos, rodar cálculos complexos e interpretar gráficos.
• Com o Earth-Agent: Você pode simplesmente perguntar: "Me diga onde a seca está piorando na região e mostre os dados" e o sistema faz todo o trabalho pesado, usando as ferramentas certas, em segundos.

Resumo em uma frase

O Earth-Agent é como dar a um assistente de IA uma caixa de ferramentas de engenharia completa e ensinar a ele a pensar passo a passo, transformando-o de um simples "olhador de fotos" em um cientista da Terra autônomo capaz de resolver problemas complexos do nosso planeta.

É um grande passo para usar a inteligência artificial não apenas para "ver" o mundo, mas para realmente entender e cuidar dele.

Resumo técnico

Resumo Técnico: Earth-Agent

1. Problema e Motivação

A Observação da Terra (EO) é fundamental para compreender a evolução do sistema terrestre, abrangendo desde o planejamento urbano até o monitoramento de desastres. No entanto, a pesquisa atual enfrenta limitações significativas:

• Limitações dos MLLMs (Modelos de Linguagem Multimodal): A maioria dos modelos baseados em MLLMs foca apenas em dados RGB (visuais), processa poucas imagens por vez e realiza raciocínio de um único passo (ex: classificação simples). Eles não conseguem processar dados espectrais brutos (como infravermelho térmico ou radar) nem realizar análises quantitativas complexas que exigem integração com ferramentas externas.
• Limitações dos Agentes Atuais: As tentativas existentes de agentes para EO são incipientes, muitas vezes limitadas a tarefas perceptivas (como detecção de mudanças), sem um ecossistema de ferramentas pré-definido e com avaliação que ignora a trajetória de raciocínio, focando apenas na resposta final.
• Falta de Avaliação Sistêmica: Não há protocolos padronizados que avaliem tanto a qualidade do raciocínio (trajetória) quanto o resultado final em tarefas científicas complexas.

O artigo propõe a necessidade de um sistema que vá além da percepção básica, integrando dados espectrais e produtos processados, permitindo raciocínio multi-etapa e quantitativo através de ferramentas especializadas.

2. Metodologia: O Framework Earth-Agent

O Earth-Agent é apresentado como o primeiro framework agênico unificado para EO, projetado para operar dentro de um ecossistema de ferramentas baseado no Model Context Protocol (MCP).

• Arquitetura Baseada em ReAct: O agente opera como um Processo de Decisão de Markov Parcialmente Observável (POMDP), seguindo um ciclo ReAct (Reasoning + Acting):
  1. Observação: Recebe o objetivo da tarefa e o histórico de interações.
  2. Pensamento (Think): O LLM controlador planeja a próxima ação com base no histórico e no objetivo.
  3. Ação (Act): Invoca ferramentas específicas do kit de ferramentas.
  4. Atualização de Memória: O resultado da ferramenta é adicionado ao histórico para o próximo passo.
• Ecossistema de Ferramentas (Toolkits): O sistema integra 104 ferramentas especializadas organizadas em cinco kits domain-específicos:
  1. Índices (Index): Cálculo de índices de sensoriamento remoto (ex: NDVI, NDWI, NBR).
  2. Inversão (Inversion): Recuperação de parâmetros geofísicos (ex: Temperatura da Superfície Terrestre - LST, Vapor de Água Precipitável - PWV).
  3. Percepção (Perception): Classificação de cenas, detecção de objetos e segmentação (usando modelos como SAM2, SM3Det).
  4. Análise (Analysis): Detecção de tendências temporais, decomposição sazonal e análise de autocorrelação espacial.
  5. Estatística (Statistics): Pré-processamento de dados em larga escala, cálculo de médias, variâncias e mascaramento de nuvens.
• Suporte Multi-Modal: Diferente de abordagens anteriores, o Earth-Agent processa nativamente três tipos de dados:
  • RGB: Imagens ópticas convencionais.
  • Spectrum: Dados espectrais brutos (ex: Landsat, MODIS, ASTER).
  • Products: Produtos terrestres processados (ex: dados do Google Earth Engine).

3. Contribuições Principais

1. Earth-Agent Framework:

   • Unificação de dados perceptivos e espectrais em uma única arquitetura.
   • Integração de 104 ferramentas e modelos especialistas via MCP, permitindo raciocínio quantitativo e espacial-temporal complexo.
   • Extensibilidade fácil para novas ferramentas de domínio.

2. Earth-Bench (Benchmark):

   • Um novo conjunto de dados de avaliação contendo 248 questões curadas por especialistas e 13.729 imagens.
   • Cobre três modalidades (Spectrum, Products, RGB) e 14 tipos de tarefas (ex: monitoramento de temperatura, previsão do tempo, gestão de desastres).
   • Protocolo de Avaliação de Nível Duplo:
     • Avaliação End-to-End: Mede a precisão da resposta final e a eficiência da trajetória.
     • Avaliação Step-by-Step: Avalia a qualidade da trajetória de raciocínio através de quatro métricas: Tools-Any-Order (cobertura de ferramentas), Tools-In-Order (sequência correta), Tools-Exact-Match (correspondência exata prefixada) e Parameter Accuracy (precisão dos argumentos).
   • Suporta dois regimes de consulta: Auto-Planning (o agente planeja sozinho) e Instruction-Following (o agente segue passos explícitos).

4. Resultados Experimentais

Os experimentos foram conduzidos com 13 modelos LLM (incluindo GPT-5, Gemini-2.5, DeepSeek-V3.1, Kimi-K2, Qwen3, etc.) no Earth-Bench.

• Desempenho Geral: O Earth-Agent superou significativamente os agentes gerais (como Operator, Manus, Coze) e os MLLMs tradicionais de sensoriamento remoto em todas as modalidades.
  • No Earth-Bench-Lite (subconjunto comparável), o Earth-Agent (com GPT-5) alcançou 55.83% de precisão média, superando o segundo melhor (GPT-Agent com 40.42%).
  • Em tarefas de Classificação, Detecção e Segmentação, o Earth-Agent superou modelos especializados como LHRS-Bot e VHM, demonstrando maior generalização ao invocar ferramentas específicas para cada tarefa.
• Análise por Modalidade:
  • Products: Os modelos tiveram melhor desempenho, indicando que tarefas baseadas em dados estruturados são mais fáceis de raciocinar.
  • Spectrum: O desempenho foi mais desafiador devido à complexidade do processamento de dados brutos e à necessidade de grandes volumes de imagens.
  • RGB: Embora a precisão final tenha sido menor em alguns casos devido a limitações nos modelos especialistas de percepção subjacentes, a capacidade de planejar o uso de ferramentas foi superior.
• Impacto do Raciocínio: O estudo mostrou que modelos com treinamento prévio em chamadas de ferramentas (como GPT-5 e DeepSeek-V3.1) performaram melhor. A métrica de Tool-Exact-Match revelou que, embora os modelos identifiquem as ferramentas corretas, ainda cometem erros em parâmetros e sequências, o que impacta a precisão final.
• Latência: A maior parte da latência é atribuída às chamadas do LLM, não às ferramentas. Estratégias de processamento em lote (batch) foram implementadas para mitigar isso.

5. Significado e Conclusão

O Earth-Agent representa uma mudança de paradigma na aplicação de IA à Observação da Terra:

• Transição de Percepção para Análise Científica: Move o campo de modelos que apenas "descrevem" imagens para agentes que realizam análises quantitativas, recuperam parâmetros físicos e executam workflows científicos complexos.
• Padrão de Avaliação Rigoroso: O Earth-Bench estabelece um novo padrão ao exigir não apenas a resposta correta, mas também uma trajetória de raciocínio lógica e verificável, essencial para aplicações científicas confiáveis.
• Escalabilidade e Extensibilidade: A arquitetura baseada em MCP permite que o sistema cresça com a adição de novas ferramentas e modelos sem re-treinar o núcleo do LLM, facilitando a integração contínua de avanços em sensoriamento remoto.

Em suma, o trabalho demonstra que a combinação de LLMs avançados com um ecossistema estruturado de ferramentas especializadas é o caminho necessário para habilitar a próxima geração de aplicações de IA na ciência da Terra, superando as barreiras atuais de raciocínio superficial e limitação de modalidades.