Resumo Técnico: LithoBench

Declaração do Problema

A interpretação litológica de sensoriamento remoto é uma tarefa crítica para levantamentos geológicos, exploração mineral e mapeamento regional. Diferentemente do reconhecimento geral de cobertura do solo, a interpretação litológica é um processo intensivo em conhecimento, exigindo a inferência de tipos de rocha a partir de características visuais sutis (textura, tom, estrutura) e contexto geológico. Os Modelos Atuais de Visão e Linguagem (LVLMs) oferecem potencial para interpretação automatizada, contudo, sua avaliação é dificultada pela falta de benchmarks dedicados. Os conjuntos de dados existentes de sensoriamento remoto focam principalmente na percepção em nível de pixel (classificação, segmentação) ou detecção de objetos genérica, falhando em capturar as semânticas geológicas multinível, o raciocínio informado por especialistas e o conhecimento específico do domínio necessários para a análise litológica profissional. Além disso, benchmarks multimodais gerais não estão alinhados com as cadeias de raciocínio específicas necessárias para distinguir tipos de rocha visualmente semelhantes ou explicar suas origens genéticas.

Metodologia

Os autores propõem o LithoBench, um benchmark multinível projetado para avaliar a compreensão semântica geológica na interpretação litológica de sensoriamento remoto. A construção do LithoBench segue um pipeline rigoroso, semiautomático e com especialista no loop:

1. Coleta e Pré-processamento de Dados:

   • Fonte: Imagens de satélite Gaofen-2 (GF-2) de alta resolução de regiões de superfície exposta no noroeste da China.
   • Categorias: 12 categorias litológicas e de cobertura do solo representativas (por exemplo, rochas arenosas, diorito, granito, rochas carbonáticas, solo, água).
   • Pré-processamento: As imagens são recortadas em patches de 224×224. Os rótulos são recalibrados utilizando levantamentos de campo, amostragem de testemunhos e interpretação de sensoriamento remoto para garantir confiabilidade. Amostras de baixa qualidade e patches de litologia mista são filtrados, resultando em 112.163 patches de imagem de alta qualidade.

2. Geração de Descrições Estruturadas:

   • Um modelo multimodal (selecionado como GPT-5.4 por meio de revisão por especialistas e comparação em pares) gera descrições geológicas estruturadas para cada patch.
   • As descrições seguem o formato "campo–valor enumerado–frase de evidência", abrangendo tom, textura, padrão, estrutura, hidrogeomorfologia e pistas de escala espacial.
   • Um mecanismo de controle de qualidade pontua os pares imagem-descrição, retendo o top 50% (~56.000 pares) para tarefas subsequentes.

3. Construção de Base de Conhecimento Dual-Modal:

   • Base de Conhecimento Textual: Contém ~1.000 artigos recentes de petrologia e geologia de sensoriamento remoto e mais de 20 livros didáticos profissionais, fragmentados e codificados para recuperação.
   • Base de Conhecimento de Imagem: Um conjunto curado por especialistas de 1.200 amostras representativas (100 por categoria) codificadas com CLIP para suportar recuperação de similaridade visual e geração de distratores.

4. Geração de QA Multinível:

   • As tarefas são organizadas em cinco níveis cognitivos baseados em uma taxonomia de Bloom revisada: Identificação e Descrição, Análise Comparativa, Explicação de Mecanismos, Aplicação Prática e Raciocínio Abrangente.
   • Estratégia de Geração:
     • Evidência Visual: Utilizada para Identificação e Análise Comparativa. Distratores para Questões de Múltipla Escolha (QME) são construídos usando amostras visualmente semelhantes recuperadas da base de conhecimento de imagens.
     • Recuperação de Conhecimento: Utilizada para Explicação de Mecanismos, Aplicação Prática e Raciocínio. Os 3 fragmentos de texto principais são recuperados para fundamentar as respostas em evidências geocientíficas.
   • Formatos: O benchmark inclui tanto QME quanto tarefas de geração aberta.

5. Filtragem de Qualidade e Construção do Benchmark:

   • Um pool inicial de ~270.000 instâncias candidatas é gerado.
   • Um processo de filtragem em múltiplos estágios combina pontuação de LLM-como-Juiz (através de dimensões como qualidade da pergunta, solidez geológica e risco de vazamento) com revisão por especialistas.
   • Uma estratégia dinâmica de alocação de cotas garante representação equilibrada entre categorias e níveis de capacidade, resultando no conjunto de dados final LithoBench de 10.000 instâncias (4.000 QME e 6.000 abertas).

Contribuições Principais

1. Conjunto de Dados LithoBench: Um benchmark em grande escala e multinível contendo 10.000 instâncias de interpretação anotadas por especialistas em 12 categorias litológicas. Ele abrange exclusivamente cinco níveis de capacidade, indo além do reconhecimento simples para raciocínio geocientífico complexo.
2. Pipeline de Construção: Um pipeline semiautomático, inovador, com especialista no loop e fundamentado em conhecimento, que integra descrições visuais estruturadas, recuperação dual-modal (texto e imagem) e geração hierárquica de tarefas para garantir validade geológica e confiabilidade na avaliação.
3. Avaliação Sistemática: Uma avaliação abrangente de diversos LVLMs de código aberto e fechado (incluindo variantes de Qwen, InternVL, GPT, Claude e Gemini), revelando limitações específicas nos modelos atuais quanto à discriminação fina e raciocínio de domínio.

Resultados

Experimentos no LithoBench revelam lacunas significativas entre as capacidades atuais dos LVLMs e os requisitos para interpretação litológica em nível de especialista:

• Tendências de Desempenho: Os modelos geralmente performam melhor em tarefas de ordem inferior (Identificação, Descrição, Análise Comparativa), mas mostram quedas substanciais de desempenho em tarefas de ordem superior (Explicação de Mecanismos, Aplicação Prática, Raciocínio Abrangente).
• Impacto do Ajuste Fino: O ajuste fino específico do domínio (LoRA) nos dados de treinamento do LithoBench melhora significativamente o desempenho, particularmente na discriminação fina e na precisão objetiva das QME, demonstrando o valor da supervisão de domínio.
• Métricas de Avaliação: Respostas abertas apresentam pontuações baixas em métricas automáticas padrão (BLEU-4, ROUGE-L) em comparação com conjuntos de dados gerais de sensoriamento remoto, destacando a dificuldade da tarefa. No entanto, as pontuações de LLM-como-Juiz capturam melhor a expressão profissional e a estrutura de raciocínio, revelando que alta sobreposição lexical não garante correção geológica.
• Modos de Falha: Os modelos frequentemente lutam para distinguir tipos de rocha visualmente semelhantes (por exemplo, diorito vs. rochas carbonáticas) e falham em fornecer explicações geologicamente sólidas para processos genéticos ou aplicações práticas.

Significado e Alegações

O artigo afirma que o LithoBench estabelece um campo de testes dedicado para avançar modelos multimodais guiados por conhecimento geológico. Seu significado reside em:

• Mudança de Paradigma de Avaliação: Deslocar o foco da simples previsão de rótulos para a avaliação da compreensão geocientífica, incluindo descrição visual, interpretação genética e raciocínio multi-etapa.
• Especificidade de Domínio: Demonstrar que a compreensão litológica de sensoriamento remoto não é uma extensão direta de tarefas multimodais gerais, mas requer percepção visual precisa, fundamentação confiável em conhecimento geológico e raciocínio especializado.
• Utilidade Diagnóstica: Fornecer uma base estruturada para diagnosticar falhas de modelos, orientar treinamento específico de domínio e desenvolver capacidades de raciocínio aprimoradas por conhecimento para interpretação litológica em nível de especialista a partir de imagens de sensoriamento remoto.

Os autores enfatizam que, embora o LithoBench suporte avaliação sistemática de modelos e adaptação, ele é projetado como um benchmark de pesquisa e recurso de suporte à decisão, não como um substituto autônomo para validação de campo geológica profissional.