Resumo Técnico: Compass: Navegando na Integração Global de Dados de Chumbo Marinho através de um Agente LLM Guiado por Especialistas

Declaração do Problema

O chumbo (Pb) marinho e seus isótopos são traçadores críticos para compreender a circulação oceânica e a história da poluição antropogênica. No entanto, observações in-situ de alta qualidade são custosas e esparsas, com a maioria dos dados históricos enterrada no texto não estruturado, tabelas e figuras de artigos acadêmicos. Isso cria um problema de "silos de dados", onde conjuntos de dados críticos são inacessíveis para síntese em escala global.

As soluções existentes enfrentam duas limitações primárias:

1. Curadoria Manual: Embora programas como o GEOTRACES garantam alta fidelidade dos dados, são intensivos em mão de obra e não escaláveis frente ao crescimento exponencial da literatura científica.
2. Extração Automatizada: Modelos de Linguagem de Grande Escala (LLMs) de propósito geral e modelos específicos de domínio ajustados frequentemente falham em contextos científicos de alto risco. LLMs gerais carecem das restrições lógicas específicas do domínio necessárias, levando a alucinações e saídas cientificamente inválidas (por exemplo, interpretar mal notações de isótopos ou conversões de unidades). Por outro lado, modelos ajustados frequentemente degradam as capacidades de seguimento de instruções necessárias para fluxos de trabalho complexos e multi-etapa.

O desafio central é alcançar tanto escalabilidade quanto rigor científico, fechando a lacuna entre a compreensão linguística de propósito geral e as restrições lógicas estritas exigidas pela geoquímica marinha.

Metodologia: O Framework Compass

Para abordar esses desafios, os autores propõem o Compass, um framework de agente LLM que operacionaliza uma abordagem de adaptação guiada por especialistas. Em vez de confiar no ajuste fino de caixa-preta ou na geração aumentada por recuperação não estruturada (RAG), o Compass integra a expertise de domínio diretamente no fluxo de trabalho do agente por meio de uma Árvore de Conhecimento.

1. Design da Árvore de Conhecimento

Co-desenhada com cientistas marinhos, a Árvore de Conhecimento ($T$) é uma estrutura hierárquica onde os nós representam tarefas ou subtarefas específicas. Cada nó está associado a um conjunto de conhecimento quadridimensional ($K$):

• Conhecimento de Fundo ($BK$): Conceitos e terminologia do domínio.
• Restrições Lógicas ($LC$): Regras explícitas e dependências condicionais que definem caminhos de execução válidos.
• Diretrizes Operacionais ($OG$): Procedimentos passo a passo e especificações de formato de saída.
• Critérios de Validação ($VC$): Métricas de qualidade e verificações de restrições físicas para validar a correção da saída.

Esta estrutura codifica não apenas o que o agente deve saber, mas como ele deve raciocinar e validar suas saídas, garantindo que o fluxo de trabalho seja interpretável e cientificamente confiável.

2. Arquitetura do Agente

O Compass decompõe a tarefa complexa de integração de dados em um pipeline hierárquico de três fases:

• Fase de Coleta: Um componente de classificação de artigos recupera artigos candidatos de repositórios (por exemplo, Semantic Scholar, AceMap) e utiliza LLMs guiados pela Árvore de Conhecimento para identificar artigos contendo dados-alvo de Pb marinho.
• Fase de Extração: Um componente de classificação de tabelas utiliza ferramentas de análise de PDF (MinerU) para extrair conteúdo tabular. Em seguida, LLMs analisam as tabelas com informações contextuais (legendas, descrições) para classificar e filtrar as tabelas de dados-alvo.
• Fase de Agregação: Três componentes lidam com a integração:
  • Associação de Dados: Liga elementos relacionados dentro dos artigos (por exemplo, associar medições de Pb com coordenadas de notas de rodapé).
  • Fusão de Fontes Cruzadas: Normaliza cabeçalhos de tabelas heterogêneos em um esquema unificado.
  • Padronização de Dados: Converte valores em unidades consistentes usando funções de conversão geradas por LLM.

3. Mecanismo de Validação

O Compass emprega uma estratégia de validação multicamada informada pelos Critérios de Validação da Árvore de Conhecimento:

• Verificações Automáticas de Restrições Físicas: Cada registro extraído passa por verificação de intervalo de valores, validação cruzada de conversão de unidades e filtragem de outliers geográficos. Falhas acionam um mecanismo de reversão para reprocessar a subtarefa específica, prevenindo a propagação de erros.
• Validação Manual por Especialistas: Uma amostra aleatória estratificada é revisada por cientistas marinhos para avaliar a precisão ponta a ponta.

Principais Contribuições

1. Framework Compass: O desenvolvimento de um Agente LLM aprimorado por Árvore de Conhecimento que decompõe hierarquicamente fluxos de trabalho científicos complexos, permitindo a extração e integração precisa de dados de granularidade fina (texto e tabelas) de fontes acadêmicas heterogêneas.
2. Adaptação Guiada por Especialistas: Uma demonstração de que a injeção de conhecimento estruturado de especialistas por meio de uma Árvore de Conhecimento co-desenhada pode efetivamente fechar a lacuna entre LLMs de propósito geral e domínios científicos de alto risco, sem a necessidade de ajuste fino custoso.
3. Maior Banco de Dados Integrado de Pb Marinho: A implantação do Compass em mais de 230.000 artigos de acesso aberto para recuperar 3.751 registros de Pb anteriormente não incorporados, estabelecendo o maior banco de dados integrado de Pb marinho até a data.

Resultados e Desempenho

Os autores avaliaram o Compass contra LLMs de propósito geral (por exemplo, GPT-4o, Gemini-2.5-pro) e modelos específicos de domínio ajustados (por exemplo, K2, OceanGPT) usando um conjunto de dados de referência de 337 tabelas em 10 categorias.

• Desempenho em Benchmark: O Compass (usando um backbone Qwen2.5-32B) alcançou as maiores pontuações em todas as tarefas.
  • Classificação de Artigos: 96,0% de precisão.
  • Classificação de Tabelas: 94,7% de precisão.
  • Extração Ponta a Ponta: Alcançou uma pontuação F1 de 0,465, superando o GPT-4o (0,373) e o Gemini-2.5-pro (0,404).
  • Comparação com Modelos Ajustados: Modelos específicos de domínio como o OceanGPT apresentaram desempenho pobre (F1: 0,009), destacando que o ajuste fino sozinho degrada as capacidades de seguimento de instruções essenciais para integração multi-etapa.
• Estudos de Ablação: A remoção da lógica estruturada em árvore reduziu a pontuação F1 para 0,402, e a remoção dos nós de conhecimento reduziu para 0,381. A ativação do mecanismo de reversão de validação automatizada melhorou ainda mais a pontuação F1 para 0,619.
• Escala de Implantação: O Compass processou 230.000 artigos, identificando 110 artigos relevantes e extraindo 3.751 novos registros.
• Qualidade dos Dados:
  • Verificações automatizadas alcançaram taxas de aprovação de 100% para verificações de intervalo de valores e limites geográficos, e 95% para conversão de unidades.
  • A validação manual por especialistas em um subconjunto de 22 artigos (946 pontos de dados) confirmou 92% de precisão (IC 95%: ±1,7%).
  • As principais fontes de erro foram confusão semântica (por exemplo, classificar erroneamente amostras de água da chuva como água do mar) e erros de associação de dados.

Significado e Impacto

Os autores afirmam que este trabalho demonstra a viabilidade de agentes guiados por especialistas para fechar a lacuna entre LLMs de propósito geral e domínios científicos rigorosos.

• Expansão de Dados: A integração adiciona 16.455 novos registros ao conjunto de dados GEOTRACES existente (um aumento de 86%), expandindo significativamente a cobertura em regiões subamostradas, como o Mar da China Oriental, o Mar Arábico e o Oceano Antártico.
• Utilidade Científica: O conjunto de dados enriquecido suporta a estimativa de inventário global de Pb, identificação de fontes via razões de isótopos estáveis e a investigação das respostas oceânicas à eliminação global da gasolina com chumbo.
• Eficiência: O pipeline exigiu aproximadamente 52 horas de GPU, representando uma melhoria de eficiência de mais de quatro ordens de grandeza em comparação com a curadoria manual.
• Ciência Aberta: Os autores lançaram uma plataforma de visualização interativa (JingWei) e o código-fonte para facilitar o acesso científico aberto e a reprodutibilidade.

O artigo conclui que, embora existam limitações relacionadas à extração de figuras e dependências de análise de PDF a montante, o design modular permite melhorias futuras. O trabalho estabelece uma alternativa prática e de baixo custo ao treinamento de modelos específicos de domínio para descoberta de dados escalável nas geociências.