Resumo Técnico: SciDataSailor: Exploração Profunda de Dados Científicos

Declaração do Problema

A descoberta científica depende cada vez mais de repositórios hierárquicos extensos que contêm arquivos heterogêneos e interdependentes (por exemplo, medições brutas, metadados, anotações e artefatos derivados). Diferente dos corpora de linguagem natural, esses conjuntos de dados carecem de esquemas explícitos e interfaces de consulta padronizadas, exigindo que os pesquisadores naveguem por estruturas de diretórios complexas, infiram a organização implícita dos dados, alinhem evidências entre múltiplos arquivos e validem conclusões. Este processo é laborioso, propenso a erros e escala mal.

Embora os agentes de Grandes Modelos de Linguagem (LLMs) tenham avançado em planejamento e uso de ferramentas, as pesquisas existentes negligenciam amplamente sua capacidade de interagir diretamente com ativos de dados científicos reais em ambientes executáveis. A maioria dos sistemas agênticos opera sobre documentos da web ou corpora textuais via consultas estruturadas, falhando em abordar os desafios específicos de inspecionar arquivos brutos, inferir esquemas e fundamentar conclusões em saídas observadas de ferramentas. Além disso, construir manualmente trajetórias diversas e confiáveis para o treinamento de agentes neste domínio é proibitivamente caro.

Metodologia

Os autores introduzem o Deep Scientific Data Exploring (Exploração Profunda de Dados Científicos), um paradigma de tarefa onde os agentes devem navegar por repositórios desconhecidos, interpretar arquivos heterogêneos, executar análises e produzir conclusões fundamentadas em observações executadas. Para operacionalizar isso, eles apresentam o SciDataSailor, um framework para sintetizar trajetórias de interação com ferramentas equilibrando exploração ampla com exploração direcionada (exploitation).

Framework Central: SciDataSailor

O SciDataSailor instancia a síntese de trajetória como uma Busca em Árvore Monte Carlo (MCTS) aprimorada com quatro mecanismos específicos de tarefa:

1. Sementes de Exploração Estratificadas por Dificuldade: Intenções de exploração (sementes) são atribuídas a quatro níveis de dificuldade ($L_0$ a $L_3$) com base no raciocínio e na evidência exigidos. $L_0$ foca no mapeamento de dados, enquanto $L_3$ visa a usabilidade científica e verificações de robustez.
2. Urgência de Primeiro Passo de Feedback Duplo (DF-FPU): Para abordar a ineficiência do MCTS convencional ao tratar filhos não visitados de forma uniforme, o SciDataSailor utiliza um Juiz-LLM pré-execução para estimar o potencial de utilidade de uma sonda ($\rho_w$) e um juiz pós-execução para avaliar a utilidade realizada ($y_w$). Isso permite que o sistema priorize visitas iniciais promissoras e calibre os valores dos nós com base nos resultados observados, filtrando ramos de baixa evidência.
3. Geração de Ação de Estratégia-para-Ferramenta Hierárquica: Antes de instanciar uma decisão como uma sonda executável, o sistema propõe e pontua estratégias de alto nível (ex: inspeção de esquema, análise estatística, integração entre arquivos). Esta hierarquia reduz sondas redundantes e promove a coleta de evidências complementares.
4. Ramificação Guiada por Entropia: Um mecanismo de expansão adaptativo que amplia o orçamento de ramificação para estados incertos (alta entropia) e o estreita para estados óbvios. Isso combina a entropia prévia de pontuações prospectivas com a entropia preditiva de nível de token para otimizar a utilização do orçamento de ramificação.

Controle de Qualidade

O framework incorpora um controle de qualidade rigoroso para garantir que as trajetórias sejam executáveis e fundamentadas em evidências:

• Validade de Execução: Validações baseadas em regras rejeitam traços com erros não resolvidos, blocos ausentes ou observações malformadas.
• Detecção de Alucinação ao Nível de Passo: Um verificador LLM checa se cada ação segue logicamente do estado e se o raciocínio está fundamentado na observação, removendo transições não suportadas.
• Tratamento de Incerteza: Instâncias ambíguas são retidas ou descartadas para evitar o treinamento em dados não confiáveis.

Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Formulação da Tarefa e Metodologia de Síntese: Os autores formulam a exploração profunda de dados científicos como interações de longo horizonte com chamadas de ferramentas em repositórios reais. Eles introduzem o SciDataSailor, que sintetiza trajetórias executáveis e fundamentadas em evidências usando os mecanismos descritos acima.
2. Recursos de Treinamento e Avaliação Executáveis:
   • SciDataSailor-SFT-2K: Um corpus de ajuste fino supervisionado (SFT) contendo 1.102 trajetórias de exploração de metinformação e 1.225 pares de perguntas e respostas focados em datasets, construídos a partir de datasets heterogêneos das ciências da vida, da terra e físicas.
   • SciDataSailor-Bench: Um conjunto de benchmarks compreendendo 627 tarefas de sumarização de metainformação e 586 tarefas de perguntas e respostas científicas através de 27 datasets brutos. Ele avalia agentes em seis dimensões, incluindo heterogeneidade de formato de dados, exploração aberta e fundamentação em repositórios brutos.
3. Caracterização Empírica de Agentes de Dados Científicos: Os autores realizam comparações extensas sob um protocolo de agente executável unificado, revelando diferenças sistemáticas entre modelos proprietários e de pesos abertos.

Resultados Experimentais

A avaliação foi conduzida no SciDataSailor-Bench usando um scaffold de agente estilo ReAct unificado com execução em Python, testando modelos sob orçamentos de 12 e 24 passos de ReAct.

• Modelos Proprietários vs. Modelos de Pesos Abertos: Modelos proprietários (ex: GPT-5.4, Claude-Opus-4.7) demonstraram maior confiabilidade e eficiência. Por exemplo, na trilha de metainformação com um orçamento de 12 passos, o GPT-5.4 alcançou um Pass@1 de 65,22 e uma Taxa de Sucesso (SR) de 98,07, enquanto o modelo de pesos abertos mais forte (GPT-OSS-120B) alcançou 27,54 Pass@1. Modelos de pesos abertos frequentemente exigiram exploração extensa de tentativa e erro para alcançar resultados bem-sucedidos.
• Efeito do Ajuste Fino Supervisionado (SFT): O ajuste fino de um modelo compacto de pesos abertos (Qwen3.5-9B) no SciDataSailor-SFT-2K resultou em melhorias substanciais.
  • Trilha de Metainformação: O Pass@1 aumentou de 14,01 para 28,99, e o SR de 49,76 para 96,14. O número médio de passos de ReAct caiu de 10,21 para 6,24.
  • Eficiência: O modelo treinado via SFT igualou a eficiência do muito maior GPT-5.4, completando tarefas em aproximadamente 5 chamadas de ferramenta, independentemente do orçamento, enquanto consumiu menos tokens totais do que as bases de pesos abertos maiores.
• Análise Comportamental: O modelo treinado via SFT exibiu comportamento de "solucionador monolítico", gerando blocos de código abrangentes e autossuficientes com alta complexidade estrutural (ex: aninhamento mais profundo, mais nós de fluxo de controle) em vez de depender de depuração iterativa de pequenos passos. Esta estratégia reduziu cadeias de erros e melhorou a completude na primeira tentativa.

Significância e Alegações

O artigo alega que a Exploração Profunda de Dados Científicos apresenta um desafio distinto para agentes de LLM porque a evidência está distribuída em arquivos heterogêneos e esquemas implícitos que não podem ser reconstruídos apenas via recuperação de texto.

• Lacuna Comportamental: O estudo identifica uma lacuna pronunciada onde modelos proprietários exploram repositórios científicos de forma mais consistente e eficiente, enquanto modelos de pesos abertos frequentemente dependem de interações adicionais de tentativa e erro.
• Valor da Supervisão: Os autores demonstram que a supervisão ao nível de token sobre trajetórias agênticas verificadas transfere efetivamente padrões de decisão, melhorando significativamente a precisão, a taxa de conclusão e a eficiência de interação de modelos compactos de pesos abertos, particularmente sob orçamentos restritos.
• Limitações: O artigo nota modestamente que, embora o SFT melhore a eficiência, a imitação ao nível de token oferece suporte limitado para a recuperação de falhas de execução imprevistas. Eles sugerem que combinar a supervisão de trajetória com o aprendizado por reforço guiado por verificador é um caminho promissor para fortalecer as capacidades de autocorreção adaptativa.

O trabalho estabelece um novo benchmark e paradigma de treinamento para agentes que devem descobrir, executar, verificar e integrar evidências em ambientes científicos de código aberto, indo além do QA estático para a exploração dinâmica fundamentada em evidências.