Resumo Técnico: SCIPATHS: Previsão de Trajetórias para Descoberta Científica

Definição do Problema

O progresso científico depende de sequências de contribuições habilitadoras, contudo, os benchmarks existentes de IA para Ciência (AI4Science) concentram-se predominantemente na previsão de citações, recuperação de literatura ou geração de ideias. Essas tarefas frequentemente tratam os outputs científicos como entidades autônomas, falhando em modelar as dependências específicas que tornam o progresso possível. A previsão baseada em citações atua atualmente no nível do artigo, o que pode confundir contribuições heterogêneas dentro de uma única publicação (por exemplo, distinguir entre um conjunto de dados e um modelo lançados no mesmo artigo). Além disso, a supervisão baseada em citações depende de proxies de influência que podem não refletir com precisão a necessidade funcional do trabalho anterior.

Este artigo introduz a previsão de trajetórias de descoberta: dado uma contribuição científica-alvo e a literatura anterior disponível em um momento específico, a tarefa é (1) identificar as contribuições habilitadoras necessárias para realizar o alvo e (2) fundamentar cada contribuição habilitadora em trabalhos anteriores representativos quando tal trabalho existe, ou marcá-la como não mapeada. O desafio central é raciocinar retroativamente a partir de um alvo até os blocos de construção funcionais específicos e as dependências de trabalhos anteriores que o tornam viável.

Metodologia

O Benchmark SCIPATHS

Os autores apresentam o SCIPATHS, um benchmark construído a partir de artigos de aprendizado de máquina e processamento de linguagem natural (NeurIPS, ICML, ACL, EMNLP, 2023–2025). O conjunto de dados consiste em:

• 262 Trajetórias Douradas Anotadas por Especialistas: Estas servem como padrão de avaliação.
• 2.444 Trajetórias Prateadas: Geradas automaticamente em um cenário de hindsight para treinamento e análise em larga escala.

Processo de Construção:

1. Seleção do Alvo: As contribuições-alvo são selecionadas com base em evidências de reutilização a jusante. Um classificador de intenção de citação identifica contextos "USOS" e "EXTENDE", que são então verificados por LLMs para garantir dependência funcional em vez de mera menção.
2. Agrupamento de Contribuições: Os contextos de uso a jusante são agrupados por similaridade semântica para consolidar usos repetidos em artigos independentes, formando contribuições-alvo candidatas.
3. Anotação por Especialistas: Os anotadores decompõem cada alvo em uma trajetória sob um critério de necessidade construtiva: uma contribuição habilitadora é incluída apenas se sua remoção impedisse a realização do alvo em sua forma reivindicada.
4. Esquema de Anotação: Cada trajetória registra:
   • Contribuições Habilitadoras: Componentes funcionais (por exemplo, inicializações de modelos, fontes de dados, métodos centrais).
   • Papéis: Funções funcionais como Método Central, Framework Conceitual, Fonte de Dados, etc.
   • Fundamentações: Artigos anteriores representativos ou uma decisão de "não mapeado" se nenhum trabalho anterior isolado realizar limpa e claramente a contribuição.
   • Racionais: Explicações baseadas em evidências para as decisões de necessidade e fundamentação.

Formulação da Tarefa

O benchmark define duas tarefas:

• Tarefa A (Geração de Contribuições Habilitadoras): Dada uma reivindicação de contribuição-alvo, o modelo prevê o conjunto de contribuições habilitadoras, seus papéis funcionais e racionais.
• Tarefa B (Fundamentação em Trabalho Anterior): Dadas as contribuições habilitadoras (seja douradas ou previstas), o modelo deve identificar artigos anteriores que as realizam ou marcá-las como não mapeadas. Isso é avaliado sob uma busca de literatura com orçamento fixo (Semantic Scholar) com recuperação e reclassificação.

Métricas de Avaliação

• Tarefa A: Avaliada usando correspondência semântica estrita um-para-um via um juiz LLM (Gemini 3.1 Pro). Precisão, recall e F1 são computados usando correspondência bipartida máxima para evitar que previsões amplas recebam crédito por múltiplas contribuições distintas.
• Tarefa B: Avaliada usando precisão@K, recall@K e F1@K no nível do artigo. Adicionalmente, a cobertura de contribuições mede a fração de contribuições habilitadoras douradas mapeadas para as quais pelo menos uma fundamentação aceitável aparece nos top-K resultados.

Resultados Principais

Tarefa A: Geração de Contribuições Habilitadoras

Modelos de linguagem de fronteira e de peso aberto atuais recuperam apenas uma fração limitada de trajetórias de especialistas:

• Desempenho: O melhor modelo (Gemini 3.1 Pro) atinge uma pontuação F1 de 0,189 sob correspondência semântica estrita, com um recall de 0,246. As bases de peso aberto performam significativamente pior (F1 < 0,06).
• Dificuldade de Decomposição: Os modelos lutam mais com dependências metodológicas centrais. Embora consigam identificar confiavelmente recursos concretos como inicializações de modelos (Recall ~0,46) e fontes de dados (Recall ~0,34), falham em inferir mecanismos metodológicos específicos (Recall ~0,12).
• Ganhos Contextuais: Fornecer contextos de citação ou trabalhos relacionados melhora o desempenho ligeiramente, mas não fecha a lacuna para a recuperação no nível de especialista.
• Supergeração: Modelos que preveem um alto número de contribuições (por exemplo, GPT-5 Mini com ~9,5 por alvo) não alcançam recall mais alto, indicando que a quantidade não compensa a incapacidade de identificar requisitos funcionais necessários.

Tarefa B: Fundamentação em Trabalho Anterior

• Gargalo de Decomposição: O desempenho de fundamentação melhora substancialmente quando contribuições habilitadoras douradas são fornecidas (por exemplo, a Cobertura@5 sobe de 0,083 para 0,357 para o agente Gemini). Isso demonstra que saber o que buscar é o principal gargalo.
• Falha de Ponta a Ponta: Ao usar contribuições previstas pelo modelo da Tarefa A, o desempenho de fundamentação não melhora em relação à recuperação apenas de reivindicações. Os modelos atuais ainda não geram contribuições habilitadoras que sirvam como alvos de busca eficazes.
• Dificuldade de Fundamentação: Mesmo com contribuições douradas, a fundamentação permanece desafiadora. Em um cenário de diagnóstico, o melhor modelo fundamenta apenas 26,8% das contribuições fundamentáveis, embora identifique corretamente casos não mapeados com alta precisão (82,4%).

Significado e Afirmativas

O artigo postula que o raciocínio de dependência científica é uma capacidade distinta de recuperar artigos relacionados ou gerar ideias plausíveis. Os resultados sugerem que:

1. A Decomposição é o Gargalo Primário: A incapacidade de identificar os blocos de construção científicos corretos (contribuições habilitadoras) é uma barreira mais significativa à recuperação de trajetórias do que a capacidade de classificar ou recuperar artigos.
2. Necessidade de Raciocínio Estruturado: A previsão científica requer modelos que possam representar trajetórias de pesquisa como trajetórias de dependência estruturadas, raciocinando retroativamente de um alvo para seus pré-requisitos, em vez de simplesmente agregar listas de citações.
3. Limitações do AI4Science Atual: Modelos de linguagem atuais, mesmo os de fronteira, lutam para reconstruir os componentes funcionais intermediários que tornam uma contribuição científica viável, mesmo para domínios provavelmente presentes em seus dados de pré-treinamento.

O SCIPATHS desloca o foco da avaliação para essa capacidade ausente, fornecendo um recurso para modelar trajetórias de pesquisa e analisar a estrutura do progresso científico. Os autores enfatizam que o benchmark captura trajetórias fundamentadas em evidências, em vez de um relato histórico único, reconhecendo que múltiplas decomposições válidas podem existir.