Resumo Técnico: GeoR-Bench

Declaração do Problema

A pesquisa atual em inteligência das geociências demonstrou progresso em tarefas restritas, como interpretação de sensoriamento remoto e resposta a perguntas geográficas. No entanto, os benchmarks existentes permanecem amplamente específicos para tarefas, focando em capacidades isoladas de reconhecimento ou legendagem. Eles não conseguem capturar a natureza aberta e fundamentada visualmente dos problemas reais dos sistemas terrestres. Consequentemente, permanece incerto o quão longe os sistemas de IA atuais estão de alcançar uma verdadeira inteligência em geociências, que exige não apenas realismo visual superficial, mas a capacidade de compreender, raciocinar sobre e prever mudanças nos sistemas terrestres para produzir resultados cientificamente válidos.

Metodologia

Design do Benchmark: GeoR-Bench

Para abordar a lacuna na avaliação do raciocínio em geociências, os autores introduzem o GeoR-Bench, um benchmark projetado para avaliar o raciocínio visual em geociências por meio de edição visual informada por raciocínio. O princípio central é que a inteligência em geociências de um modelo deve ser medida pela sua capacidade de converter a compreensão dos sistemas terrestres em uma geração correta e fundamentada visualmente.

• Composição do Conjunto de Dados: O benchmark contém 440 amostras curadas abrangendo 6 categorias de geociências (Geomorfologia, Hidrologia, Dinâmica da Atmosfera e Oceano, Criosfera, SIG e Geometria Espacial, e Ciência da Crosta) e 24 tipos de tarefas.
• Fontes de Dados: O conjunto de dados integra formas visuais heterogêneas, incluindo imagens de observação terrestre do mundo real (satélite, mapas, MDEs) e representações científicas formais (seções transversais, diagramas, rótulos geológicos).
• Estrutura da Tarefa: Cada amostra segue um formato padronizado composto por uma imagem de entrada, uma imagem de saída de referência (ground truth), uma instrução em linguagem natural e uma rubrica de julgamento específica para a tarefa. As tarefas variam de evolução temporal (por exemplo, crescimento de deltas, recuo de geleiras) a reconstrução espacial (por exemplo, vistas de rua para satélite) e conclusão de diagramas científicos.

Protocolo de Avaliação

Os autores propõem um framework de avaliação tridimensional para julgar as saídas dos modelos, suplementado por uma métrica de precisão estrita:

1. Raciocínio: Avalia se a saída gerada reflete a geração física, espacial ou baseada em processos pretendida. Isso é avaliado comparando a entrada, a referência, a previsão do modelo e uma rubrica específica para a tarefa (por exemplo, verificando se a frente de um delta progride corretamente ou se um ciclone gira no sentido anti-horário).
2. Consistência: Avalia se a saída gerada preserva as relações visuais necessárias com a imagem de entrada e a referência, incluindo estilo, estrutura e preservação de conteúdo fora da edição.
3. Qualidade: Mede a usabilidade visual do artefato gerado (por exemplo, ausência de desfoque, distorção ou artefatos) independentemente da correção científica.
4. Precisão Estrita: Uma amostra é contada como correta apenas se satisfizer simultaneamente Raciocínio, Consistência e Qualidade.

Configuração Experimental

Os autores avaliaram 21 modelos multimodais, compreendendo tanto sistemas de código fechado (por exemplo, GPT-Image-2, variantes FLUX.2, série Nano Banana) quanto sistemas de código aberto (por exemplo, Qwen-Edit, Step-1x, Bagel).

• Ferramentas de Avaliação: Raciocínio e Consistência foram pontuados usando Gemini 3 Flash com escalas normalizadas de 0–100 baseadas nas rubricas. A Qualidade da Imagem foi avaliada usando Q-Align.
• Validação: O pipeline de avaliação automatizada foi validado contra classificações de especialistas, mostrando que o Gemini 3 Flash alcançou o menor Erro Absoluto Médio (MAE) para alinhamento de Raciocínio e Consistência.

Principais Resultados

Desempenho Geral

• O Raciocínio em Geociências é um Gargalo Crítico: Nenhum modelo alcançou uma precisão estrita acima de 50%. O modelo de melhor desempenho, GPT-Image-2, alcançou 42,7% de precisão estrita.
• Lacuna de Código Aberto: O melhor modelo de código aberto, Qwen-Edit-2511, alcançou apenas 10,3% de precisão estrita, aproximadamente quatro vezes menor que o modelo de código fechado líder. Cinco modelos de código aberto pontuaram abaixo de 2%, e o OmniGen pontuou 0%.
• Discrepância entre Desempenho Visual e Científico: Um padrão consistente emergiu, onde as pontuações de consistência visual e qualidade da imagem foram significativamente mais altas que as pontuações de raciocínio. Por exemplo, o FLUX.2 Pro alcançou uma pontuação de qualidade de 79,1, mas uma pontuação de raciocínio de apenas 42,6, resultando em uma precisão estrita de 5,6%. Isso indica que os modelos frequentemente geram resultados visualmente plausíveis, mas cientificamente incorretos.

Análise por Categoria

• Tarefas Mais Fáceis: As tarefas de Hidrologia e Criosfera foram as mais tratáveis, com os principais modelos alcançando 50–57% de precisão estrita. Essas tarefas frequentemente dependem de padrões temporais recorrentes (por exemplo, transições sazonais úmido/seco, recuo de geleiras) onde os priores de aparência se alinham com o comportamento científico.
• Tarefas Mais Difíceis: A Dinâmica da Atmosfera e Oceano provou ser a mais difícil, com os principais modelos pontuando apenas 35,3%. Essas tarefas exigem raciocínio sobre forças físicas complexas (por exemplo, efeito Coriolis, estrutura de circulação) que não podem ser falsificadas por priores visuais superficiais. A Geomorfologia também apresentou desafios significativos devido à sua dependência de lógica de transporte de sedimentos baseada em processos.

Ablação e Análise

• Instruções Explícitas: Fornecer instruções procedimentais explícitas (por exemplo, "adicionar canais distributários") aumentou significativamente os modelos de código aberto (por exemplo, Qwen-Edit-2511 melhorou de 10,3% para 24,7%), sugerindo que eles dependem de decomposição overt em vez de priores implícitos de geociências. Os modelos de código fechado mostraram ganhos mais modestos, implicando capacidades de raciocínio implícito mais fortes.
• Raciocínio vs. Geração: A análise confirma que os modelos atuais são substancialmente mais fracos no raciocínio em geociências do que na preservação da aparência visual. A dimensão "Raciocínio" é o principal discriminador de competência em geociências, pois as pontuações de Qualidade e Consistência tendem a saturar em todo o ranking.

Significado e Alegações

O artigo afirma que o GeoR-Bench preenche uma lacuna crítica ao avaliar se os modelos multimodais podem converter a compreensão de domínio em saídas visuais cientificamente corretas, em vez de apenas produzir imagens naturais plausíveis.

• Inteligência Mensurável: O benchmark estabelece que a inteligência em geociências é mensurável por meio de edição visual informada por raciocínio, onde a imagem editada serve como evidência direta da capacidade do modelo de externalizar a compreensão dos sistemas terrestres.
• Limitações Atuais: Os resultados fornecem evidências concretas de que os sistemas de IA atuais, mesmo os modelos de código fechado de fronteira, falham em capturar os processos subjacentes das ciências da Terra. Eles geram resultados "superficialmente plausíveis", mas carecem da validade científica rigorosa necessária para domínios críticos como resposta a desastres e adaptação climática.
• Direção Futura: Os autores postulam que a pesquisa futura deve ir além da plausibilidade estética em direção à geração de imagens fundamentada fisicamente e fiel cientificamente. O benchmark serve como uma sonda para impulsionar o progresso no raciocínio visual multimodal em geociências.