Resumo Técnico: EO-Agents

Problema

A pesquisa em observação da Terra (EO - Earth Observation) é fundamentalmente combinatória, baseando-se no emparelhamento específico de produtos de medição (por exemplo, umidade do solo com índices de vegetação) em vez de conjuntos de dados únicos. Embora a NASA distribua mais de 8.000 conjuntos de dados de EO, o espaço combinatório de potenciais emparelhamentos ($\sim 10^6$) excede em muito a capacidade humana de levantamento. As abordagens atuais de Grandes Modelos de Linguagem (LLMs) para a geração de hipóteses científicas dependem tipicamente de recuperação de literatura não estruturada, tratando hipóteses como afirmações textuais de formato livre. No entanto, em domínios observacionais ricos em dados, uma hipótese útil é inseparável do produto de medição específico e executável necessário para testá-la. Os pipelines atuais fundamentados em literatura frequentemente falham em ancorar diretamente as hipóteses a conjuntos de dados nomeados, tratando a identificação do conjunto de dados como um efeito colateral da geração de texto, em vez de uma restrição estrutural.

Metodologia

Os autores propõem o EO-Agents, um pipeline que fundamenta a geração de hipóteses diretamente no Grafo de Conhecimento de Observação da Terra da NASA (EO-KG), em vez de texto não estruturado. O sistema opera em três estágios:

1. Recuperação de Grafo de Conhecimento e GNN

• Fonte de Dados: O pipeline utiliza o EO-KG, um grafo heterogêneo com 150.351 nós (incluindo Conjuntos de Dados, Publicações, Instrumentos, Plataformas, etc.) e 436.203 arestas.
• Supervisão: A supervisão de couso é derivada de publicações que citam múltiplos conjuntos de dados. Os pares são rotulados com base no ano da publicação, criando uma divisão temporal: treinamento (artigos $\le$ 2022), validação (2023) e teste (2024).
• Modelo de Ranking: Uma Rede Neural de Grafos (GNN) heterogênea baseada em GraphSAGE é treinada via predição de ligação para classificar candidatos a emparelhamento de conjuntos de dados.
  • Arquitetura: O modelo utiliza agregadores específicos por tipo para diferentes tipos de arestas (ex: couso, montagem em plataforma, pertinência a palavras-chave). Os nós de conjuntos de dados são inicializados com embeddings SPECTER2 de 768 dimensões; outros tipos de nós utilizam embeddings aprendíveis.
  • Pontuação: Dois cabeçotes de pontuação são avaliados: um pontuador de produto escalar ($z_{dot}$) e um pontuador MLP ($z_{mlp}$). O cabeçote de produto escalar performa melhor em pares de "cold-start" (onde um conjunto de dados não possui couso de treinamento), enquanto o cabeçote MLP se destaca em pares "cross-DAAC" (conjuntos de dados de arquivos diferentes).
  • Saída: A GNN classifica os pares por probabilidade de couso, trazendo à tona os 200 principais pares novos (aqueles não observados nos conjuntos de treinamento/validação/teste).

2. Pipeline de Três Agentes de LLM

Os 200 pares candidatos são processados por um cascata de três agentes de LLM, cada um instanciado com GPT-5.2 ou Claude Sonnet 4.6. Todos os agentes operam com temperatura 0 e saída JSON estrita para minimizar a variância de amostragem.

• Agente 1 (Filtro): Recebe o par de conjuntos de dados e seus resumos. Ele pontua o par em Plausibilidade (1–5) e Novidade (1–5) sem ver qualquer texto de hipótese gerada. Ele seleciona os 40 principais pares usando uma regra em camadas que equilibra alta plausibilidade com novidade suficiente.
• Agente 2 (Gerador): Recebe os 40 pares selecionados e gera uma hipótese de pesquisa estruturada para cada um. A saída inclui uma questão de pesquisa, hipótese testável, método de análise, achado esperado, importância científica e tag de domínio. Crucialmente, ele não vê as pontuações do Agente 1 para evitar a regressão em direção às preferências do filtro.
• Agente 3 (Juiz): Avalia as hipóteses geradas em Importância, Tractabilidade e Novidade. Este agente opera sob duas condições:
  • Cego: Vê apenas o texto da hipótese.
  • Contextual: Vê o texto da hipótese mais os metadados subjacentes do conjunto de dados.

3. Avaliação Fatorial

Para avaliar a confiabilidade da avaliação baseada em LLM, os autores conduzem um experimento fatorial $2 \times 2 \times 2$ através dos três papéis de agente (Filtro, Gerador e Juiz) e das duas condições de julgamento (Cego, Contextual). Isso resulta em 640 julgamentos para 160 hipóteses, permitindo uma decomposição de variância do processo de pontuação.

Principais Resultados

1. Desempenho de Recuperação

A GNN heterogênea supera significativamente os baselines (Popularidade, Vizinhos Comuns, Adamic–Adar, MF-SVD e modelos apenas de conteúdo como SPECTER2 e BGE-base) em todos os pools de teste.

• Cold-Start: A GNN atinge um Hits@10 de 0,519, superando baselines de conteúdo (0,477) e heurísticas estruturais (0,211).
• Cross-DAAC: A GNN atinge um Hits@10 de 0,175 (produto escalar) e 0,266 (MLP), demonstrando a capacidade de ligar conjuntos de dados entre diferentes arquivos onde a similaridade de conteúdo frequentemente falha devido ao jargão científico genérico.
• Novidade vs. Plausibilidade: Os pares novos previstos pela GNN recebem pontuações de plausibilidade de juízes de LLM quase indistinguíveis de cousos reais retidos de publicações de 2024 (ex: 4,38 vs. 4,57 para GPT), indicando que o sistema traz à tona combinações exploráveis e cientificamente coerentes.

2. Confiabilidade da Avaliação e Decomposição de Variância

O experimento fatorial revela insights críticos sobre a confiabilidade do LLM-como-juiz:

• Estabilidade de Ranking: Os rankings das hipóteses são altamente estáveis entre diferentes configurações de agentes. 159 de 160 hipóteses mudam em no máximo 2 pontos de ranking entre diferentes condições de juiz.
• Variância de Pontuação Absoluta:
  • Importância: Fortemente dependente da Identidade do Juiz (25,1% da variância). O GPT-5.2 consistentemente avalia a importância de forma mais alta que o Claude Sonnet 4.6.
  • Tractabilidade: Dominada pela Condição Cego/Contextual (15,8% da variância). As hipóteses parecem mais executáveis quando os juízes veem apenas o texto; fornecer metadados do conjunto de dados reduz as pontuações de tractabilidade, sugerindo que o texto sozinho superestima a viabilidade.
  • Novidade: Mostra baixa variância entre todos os fatores, com os juízes tendo dificuldade em discriminar a novidade entre tipos de pares.
• Acordo Inter-Avaliador: O acordo é maior para tractabilidade ($\kappa_q \approx 0,47$) e menor para importância ($\kappa_q \approx 0,14$), confirmando que "avanço significativo" é a métrica mais subjetiva e mais sensível aos vieses do modelo.

3. Saída Gerada

O pipeline produziu 160 hipóteses estruturadas abrangendo cinco domínios principais: ecoidrologia, glaciologia, interações aerosol-nuvem, fenologia da vegetação e química estratosférica. Um exemplo representativo vincula dados de magnetômetro a bordo do IceBridge com velocidade do gelo antártico derivada de InSAR para hipotetizar que anomalias magnéticas subglaciais predizem padrões de fricção basal.

Significância e Alegações

O artigo reivindica três contribuições primárias:

1. Fundamentação Estruturada: Introduz um pipeline de geração de hipóteses para ciência observacional que vincula cada hipótese gerada por LLM a um par específico de conjuntos de dados da NASA via um ranker de grafo de conhecimento, indo além da recuperação de texto de formato livre.
2. Coerência Científica: Demonstra que os emparelhamentos novos previstos pelo modelo são avaliados como tão plausíveis quanto cousos reais da literatura, fornecendo evidência de que o pipeline gera ideias cientificamente coerentes além da distribuição de treinamento do modelo.
3. Limitações de Avaliação: Fornece evidência empírica de que, embora os rankings de hipóteses sejam estáveis, as pontuações absolutas em avaliações de LLM-como-juiz são altamente dependentes do modelo de juiz específico e da disponibilidade de dados contextuais. Isso destaca o risco de confiar em avaliações de juiz único para pontuação absoluta.

Os autores enfatizam que o sistema é projetado para ideação, não execução. As 160 hipóteses servem como sementes para investigação liderada por humanos e requerem verificação por especialistas do domínio e análise real de dados antes de serem tratadas como achados. O trabalho não pretende substituir cientistas humanos, mas sim aumentar a camada de descoberta, trazendo à tona direções de pesquisa acionáveis e fundamentadas em dados que, de outra forma, permaneceriam inexploradas no vasto espaço combinatório da observação da Terra.