Resumo Técnico: EO-Gym

Declaração do Problema

A análise de Observação da Terra (EO) é inerentemente um processo interativo onde a resolução de incertezas frequentemente exige expandir a região de interesse, recuperar observações históricas e alternar entre modalidades de sensoriamento (por exemplo, de óptico para Radar de Abertura Sintética). No entanto, os benchmarks existentes de EO colapsam amplamente esse fluxo de trabalho dinâmico em tarefas de entrada fixa e turno único. Embora os Modelos de Linguagem e Visão (VLMs) mostrem promessa para automatizar fluxos de trabalho analíticos, a comunidade carece de um benchmark multimodal controlado e reproduzível que suporte a coleta de evidências dinâmica e sequencial através do espaço, tempo e modalidade. Os recursos atuais restringem-se à compreensão estática ou carecem das ferramentas especializadas e da fundamentação ambiental necessárias para agentes autônomos de EO.

Metodologia

Os autores introduzem o EO-Gym, um framework controlado e executável projetado para operacionalizar a análise de EO como um problema de aquisição interativa de evidências.

1. O Ambiente EO-Gym

O EO-Gym é um espaço de trabalho geoespacial local no estilo Gymnasium, apoiado por um data lake orientado a metadados contendo mais de 660.000 arquivos multimodais indexados por localização, tempo e tipo de sensor. O ambiente fornece 35 ferramentas especializadas em EO organizadas em três paradigmas centrais:

• Planejamento Espacial: Ferramentas para panorâmica e zoom além dos recortes de imagem iniciais.
• Busca Temporal: Ferramentas para recuperar observações históricas para localizações específicas.
• Alternância Cross-Modal: Ferramentas para alinhar e alternar entre visualizações ópticas e SAR usando uma espinha dorsal geoespacial compartilhada.

Para garantir uma avaliação rigorosa, o ambiente suporta três configurações operacionais:

• Modo de Resposta: Verificado (usando saídas de simulador apoiadas por verdade-terrena para isolar a qualidade do planejamento) e Não Verificado (usando saídas brutas de ferramentas para testar a robustez ponta a ponta).
• Prompting: Simples (instruindo a coleta de evidências via chamada de função) e Detalhado (fornecendo orientação de alto nível sobre acesso temporal, geoespacial e cross-modal).
• Esquema de Ferramentas: Habilidade (expondo apenas ferramentas relevantes para a tarefa) e Todas (expondo o esquema completo de 35 ferramentas).

2. Benchmark EO-GYM-DATA

Aproveitando o ambiente, os autores construíram o EO-GYM-DATA, um benchmark de trajetória em grande escala compreendendo:

• 9.078 trajetórias e 34.604 passos de raciocínio.
• Dados fundamentados em oito conjuntos de dados públicos de EO (incluindo FAIR1M, XBD, M4-SAR, SARDet-100K) e imagens Landsat/Sentinel-2.
• Seis famílias de tarefas principais: Impacto de Desastres, Raciocínio Temporal, Navegação Espacial, Compreensão Visual, Contagem de Objetos e Raciocínio Geoespacial.
• Uma divisão estrita de treino/teste baseada no contexto da trajetória (imagem de origem + tipo de pergunta + espaço de ferramentas) para prevenir vazamento de dados, com verificação manual para o conjunto de teste.

3. Treinamento e Avaliação do Modelo

Os autores ajustaram finamente o QWEN3-VL-4B-INSTRUCT usando Adaptação de Baixa Renda (LoRA) no EO-GYM-DATA para criar o EO-GYM-4B. A avaliação foi conduzida em 10 VLMs abertos e fechados (incluindo séries Qwen3-VL, GPT-4.1/5.1 e variantes Gemini-2.5) usando uma métrica Pass@k (k=1, 2, 3) e diagnósticos de execução (razão de chamada de ferramenta, taxa de erro ilegal e cobertura de ferramentas).

Principais Contribuições

1. Ambio de EO Controlado e Executável: O EO-Gym fornece um ambiente local totalmente executável que suporta navegação espacial, recuperação temporal, alternância cross-modal e uso de ferramentas específicas de EO, indo além de benchmarks de entrada estática.
2. Benchmark de Trajetória Multimodal de EO: O EO-GYM-DATA oferece um conjunto de dados em escala de treinamento de 9.078 trajetórias de uso de ferramentas, combinando de forma única o suporte a VLMs com um espaço de trabalho massivo de coleta de dados.
3. Benchmark Unificado e Linha de Base de Referência: O artigo avalia 10 modelos de última geração e estabelece o EO-GYM-4B como uma forte linha de base de referência especializada em EO.

Resultados

• Lacuna de Desempenho: VLMs de propósito geral robustos lutam com o raciocínio interativo de EO, particularmente em fluxos de trabalho temporais e cross-modal. Por exemplo, sob a configuração principal de avaliação (Verificado/Habilidade/Simples), o QWEN3-VL-4B-INSTRUCT base alcançou um Pass@3 de 0,49, enquanto o modelo fechado de melhor desempenho, GEMINI-2.5-PRO, atingiu 0,67.
• Impacto do Ajuste Fino: O EO-GYM-4B superou significativamente todas as linhas de base, alcançando um Pass@3 de 0,74. Isso representa uma melhoria absoluta substancial de +0,25 sobre seu modelo base.
• Ganhos Específicos por Tarefa: O modelo ajustado finamente mostrou as melhorias mais dramáticas em tarefas que exigem coleta ativa de dados, como Raciocínio Temporal (Pass@3 aumentou de 0,29 para 0,69) e Impacto de Desastres (de 0,30 para 0,68).
• Fidelidade de Execução: O EO-GYM-4B demonstrou comportamento superior de uso de ferramentas, alcançando a maior pontuação Tool-any (0,760) e reduzindo chamadas de ferramentas desnecessárias em comparação com seu modelo base.
• Robustez: O modelo manteve alto desempenho mesmo no modo "Não Verificado" (saídas brutas de ferramentas) e quando as ferramentas foram renomeadas, sugerindo que aprendeu semântica funcional em vez de memorizar strings de ferramentas.

Significado e Alegações

O artigo alega que o EO-Gym fornece uma fundação reproduzível para o desenvolvimento de agentes autônomos capazes de raciocínio geoespacial em escala planetária. Ao mudar o paradigma da previsão estática para a aquisição interativa de evidências, o framework destaca que, embora modelos de propósito geral lutem com fluxos de trabalho dinâmicos de EO, o ajuste fino específico de EO pode sistematicamente fechar essa lacuna. Os autores postulam que seu trabalho operacionaliza o EO como um problema de coleta de evidências que exige planejamento através de modalidades geoespaciais, temporais e de sensoriamento, oferecendo um campo de prova rigoroso para futuros sistemas agênticos em sensoriamento remoto.

Os autores notam modestamente limitações, incluindo a falta de testes explícitos para transferência de conhecimento entre os três paradigmas centrais de acesso a dados devido ao acoplamento de trajetórias, e a dependência atual de ferramentas predefinidas em vez de geração de código aberto-ended. Eles sugerem que escalar o treinamento para modelos de base maiores pode aprimorar ainda mais as capacidades de raciocínio interativo.