Resumo Técnico: Levando a Busca Agêntica à Descoberta de Dados de Observação da Terra

Declaração do Problema

A descoberta de dados de observação da Terra é caracterizada não pela escassez de dados, mas pela dificuldade de navegar por metadados fragmentados, ferramentas diversas e caminhos de acesso complexos através de milhares de conjuntos de dados hospedados pela NASA e seus Centros de Arquivos Ativos Distribuídos (DAACs). Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma interface natural para expressar intenções de recuperação, sua aplicação direta na geociência enfrenta dois desafios primários:

1. Lacuna de Conhecimento de Domínio: Os corpora de pré-treinamento de LLMs gerais carecem de dados observacionais e conhecimento de domínio específicos da geociência, levando a uma compreensão imprecisa de consultas específicas do domínio.
2. Limitações de Contexto: Mesmo com Geração Aumentada de Recuperação (RAG), a janela de contexto do LLM limita o número de candidatos que ele pode processar. O decaimento da atenção em contextos longos significa que apenas os candidatos classificados no topo influenciam a resposta final, tornando a qualidade do ranking um gargalo crítico. Além disso, modelos de incorporação (embedding) gerais frequentemente exibem um viés de média sistemático que desalinha as distâncias para a terminologia da geociência.

O artigo postula que o valor latente dos Grafos de Conhecimento (KGs) pode ser amplificado através da busca agêntica, onde um LLM invoca autonomamente ferramentas externas para fundamentar seu raciocínio, em vez de depender apenas de índices estáticos pré-construídos ou conhecimento interno.

Metodologia

O sistema proposto é um pipeline de busca agêntica de três estágios projetado para recuperar e reclassificar conjuntos de dados de observação da Terra:

1. Arquitetura do Pipeline

• Estágio 1: Roteador (Ferramentas Oficiais): O sistema primeiro tenta resolver as consultas usando o ecossistema existente da NASA (Harmony, Science Discovery Engine, WorldView, Giovanni). Se uma ferramenta satisfizer totalmente a solicitação, o pipeline termina precocemente com saída anotada com proveniência.
• Estágio 2: Recuperação Híbrida: Se as ferramentas oficiais forem insuficientes, o sistema recupera candidatos do corpus do Repositório de Metadados Comuns da NASA (CMR) usando uma abordagem híbrida:
  • Ancoragem Lexical: Utiliza BM25 para capturar identificadores científicos exatos (nomes de missões, códigos de instrumentos), que são sinais de alta precisão.
  • Pontuação Semântica Adaptável à Tarefa: Aborda o deslocamento de domínio e o viés específico de pares. Os autores propõem dois métodos:
    • NN-SSC (Correção de Pontuação Neural): Mantém o codificador (encoder) de base congelado e treina um Perceptron Multicamadas (MLP) leve sobre as incorporações concatenadas de consulta-conjunto de dados para gerar uma pontuação de relevância. Isso permite correções não lineares e específicas para cada par.
    • Fine-tuning do Codificador: Realiza o ajuste fino direto do transformer de sentença em triplas (consulta, positivo, negativo difícil).
  • Fusão Híbrida: Combina BM25 e pontuações neurais via uma combinação convexa ($\alpha \cdot \hat{s}_{NN} + (1-\alpha) \cdot \hat{s}_{BM25}$). O peso $\alpha$ é derivado analiticamente com base no desempenho independente relativo dos pontuadores para evitar o ajuste no conjunto de teste.
• Estágio 3: Reclassificação Agêntica: Uma janela de top-$K$ candidatos é passada para um LLM. Diferente da reclassificação padrão, a versão agêntica equipa o LLM com acesso autônomo a ferramentas. Antes de classificar, o modelo executa uma rotina de cinco etapas:
  1. Pesquisar no arXiv por artigos relevantes.
  2. Usar pesquisa na web para contexto adicional.
  3. Desambiguar descrições de candidatos via pesquisa na web.
  4. Raciocinar passo a passo sobre o ajuste.
  5. Gerar a lista classificada final.
     Isso contrasta com uma reclassificação de LLM de disparo único (single-shot), que depende exclusivamente do texto do candidato inserido sem chamadas de ferramentas.

2. Construção do Benchmark: NASA-EO-Bench

Para permitir uma avaliação rigorosa, os autores construíram o NASA-EO-Bench, derivado do Grafo de Conhecimento de Observação da Terra da NASA (NASA EO-KG).

• Fonte: 10.636 publicações revisadas por pares mais citadas.
• Verdade Fundamental (Ground Truth): "Rótulos de prata" (silver labels) são formados pelos conjuntos de dados explicitamente citados nas arestas "USES DATASET" do KG.
• Escala: 47.654 pares consulta-conjunto de dados (21.272 consultas baseadas em tarefas) divididos em conjuntos de treinamento (38k pares) e teste (9.5k pares).
• Geração de Consultas: LLMs geram consultas no estilo "Eu quero..." a partir de resumos de artigos, simulando a intenção de um especialista.
• Métricas:
  • Baseadas em Citação: Recall@K, Média de Precisão Preditiva (MAP), Média de Posto Recíproco (MRR).
  • Semânticas: Precisão@K de LLM-como-Juiz (usando Qwen3.6-35B-A3B para julgar se um conjunto de dados mede a variável física exigida).

Principais Resultados

Experimentos foram conduzidos no conjunto de teste NASA-EO-Bench usando vários baselines e os métodos propostos:

1. Desempenho da Suíte de Recuperação:

   • O baseline de cosseno não adaptado teve um desempenho ruim (R@10 = 0,0755), demonstrando um significativo deslocamento de domínio.
   • A abordagem NN-SSC + BM25 (Híbrida) alcançou os melhores métricas de Verdade Fundamental, elevando o Recall@10 para 0,4275 e o MRR para 0,2517.
   • Isso representa uma melhoria de >5× sobre o baseline de cosseno não adaptado tanto para R@10 quanto para MRR.
   • A fusão híbrida foi crítica; remover o BM25 causou uma queda no MAP e no MRR, confirmando a necessidade de sinais lexicais exatos para a geociência.

2. Eficiência do NN-SSC:

   • O NN-SSC (460K parâmetros treináveis) igualou ou superou o desempenho de um codificador totalmente ajustado (fine-tuned) (~125M parâmetros treináveis), sendo significativamente mais eficiente em termos de parâmetros.

3. Reclassificação Agêntica vs. Disparo Único (Single-shot):

   • A reclassificação de LLM de disparo único (ex: GPT-5.5) melhorou consistentemente o MAP e o MRR em relação ao backbone de recuperação sozinho, confirmando que o raciocínio do LLM complementa a recuperação supervisionada.
   • A reclassificação agêntica (LLM com acesso a ferramentas) gerou ganhos direcionais adicionais sobre a reclassificação de disparo único em um subconjunto estratificado de $N=200$.
     • Para o Claude Opus 4.7: O MRR aumentou de 0,367 (disparo único) para 0,388 (agêntico).
     • Para o DeepSeek v4 pro: O MRR aumentou de 0,366 para 0,374.
   • A abordagem agêntica foi 5 a 10 vezes mais cara por consulta devido às idas e voltas das ferramentas, mas demonstrou que o uso autônomo de ferramentas fornece valor complementar ao prompting estático.

Significância e Alegações

O artigo afirma operacionalizar a busca agêntica "confiável" e "verificável" no domínio da geociência através de três contribuições principais:

1. NASA-EO-Bench: O primeiro benchmark de larga escala (21k consultas) para recuperação de conjuntos de dados de geociência que suporta treinamento supervisionado e utiliza rótulos de prata baseados em citações, indo além de avaliações manuais de pequena escala ou avaliações grosseiras de LLM-como-juiz.
2. Suíte de Correção de Recuperação: Uma demonstração de que combinar sinais lexicais (BM25) e semânticos (NN-SSC) via fusão derivada analiticamente supera significativamente os baselines não adaptados, abordando o deslocamento de domínio específico da terminologia da geociência.
3. Comparação Agêntica Controlada: Uma comparação rigorosa, utilizando o mesmo modelo, mostrando que a reclassificação agêntica (LLM + uso autônomo de ferramentas) fornece um ganho mensurável sobre a reclassificação de disparo único. O artigo argumenta que a capacidade de fundamentar decisões de classificação no contexto externo (web/arXiv) é uma capacidade distinta e valiosa para a descoberta de conjuntos de dados, particularmente para desambiguação de candidatos e tratamento de consultas específicas de eventos.

Os autores mantêm uma postura modesta, reconhecendo que a verdade fundamental baseada em citações é um "rótulo de prata" que pode perder conjuntos de dados relevantes, mas não citados (viés de popularidade de conjuntos de dados) e que os experimentos agênticos foram limitados a um subconjunto estratificado sem intervalos de confiança de bootstrap pareados. No entanto, os resultados fornecem evidências consistentes de que a busca agêntica, quando fundamentada em ferramentas externas, melhora o pipeline de recuperação além do que o prompting estático de LLM pode alcançar.