Resumo Técnico: Backtesting Histórico para Descoberta de Questões Científicas

Declaração do Problema

Os métodos atuais de avaliação de sistemas de IA que geram questões de pesquisa científica dependem de métricas subjetivas: pontuações de painéis de especialistas, classificações de LLM-como-juiz ou estudos de caso curados. Essas abordagens são inerentemente não falsificáveis; elas medem a opinião no momento da geração, em vez da utilidade real ou do valor de verdade das questões conforme elas evoluem dentro da comunidade científica. Não existe um padrão existente para determinar se uma questão gerada foi genuinamente perspicaz, respondida por pesquisas futuras ou baseada em uma premissa que foi posteriormente refutada.

Metodologia: O Protocolo de Backtesting Histórico

O artigo propõe o Backtesting Histórico, um protocolo análogo ao backtesting financeiro, para avaliar geradores de questões científicas contra resultados futuros observáveis. O protocolo opera sob estrita isolação temporal:

1. Corte Temporal ($T$): Uma data histórica divide a literatura em um Corpus Passado (disponível $\le T$) e um Corpus Futuro (estritamente $> T$).
2. Geração de Questões: Um sistema gera questões usando apenas o Corpus Passado. Cada questão deve registrar sua evidência de origem pré-corte.
3. Congelamento: As questões geradas são serializadas e congeladas. Não é permitida a qualquer momento o acesso à literatura pós-corte durante a geração ou o congelamento.
4. Recuperação Futura: Para cada questão congelada, um sistema de recuperação fixo (usando embeddings de texto) identifica os $k$ documentos principais do Corpus Futuro.
5. Avaliação de Resultado: Um juiz (LLM ou humano) avalia a questão contra a evidência futura recuperada, atribuindo dois rótulos independentes:
   • Destino da Questão (Outcome Fate): Respondida, Parcialmente Abordada, Proposta mas Aberta (proposta independentemente pela comunidade) ou Não Abordada.
   • Destino da Premissa (Premise Fate): Suportada, Refutada, Enfraquecida, Ainda Plausível ou Não Aplicável.
6. Métricas: As métricas principais incluem Cobertura (taxa de atenção futura), Taxa de Resposta, Taxa de Refutação de Premissa e Tempo de Antecedência (Lead Time) (tempo até que a comunidade proponha independentemente a mesma questão).

O protocolo é agnóstico ao modelo; ele avalia a lista congelada de questões, independentemente de como foram produzidas.

Principais Contribuições

1. Formalização do Protocolo: Um framework de avaliação rigoroso que separa a geração de questões da avaliação, definindo uma taxonomia de resultado bidimensional (destino da questão vs. destino da premissa) e regras estritas de isolação temporal para evitar vazamento de dados (data leakage).
2. Benchmark Astronomy v1: Uma instância reproduzível no domínio de atmosferas de exoplanetas (corte: 31-12-2020). Inclui:
   • Um corpus passado (2.512 artigos) e um corpus futuro temporalmente isolado (1.891 artigos, 2021–2026).
   • 10 questões congeladas de um sistema de grafo de evidências e quatro geradores de linha de base (Aleatórios/Claims, LLM Direto, Revisão de trabalhos futuros, Líderes de citação).
   • Registros completos de recuperação, rótulos adjudicados e computação de métricas com um único comando.
3. Instância Escalada (Astronomy v1L): Um benchmark maior (424 questões de linha de base, 5.754 artigos futuros) usado para testar conclusões de amostra pequena e refinar afirmações estatísticas.
4. Decomposição de Geradores e Teste de Estresse: Experimentos separando "previsão" (foresight) de "memorização retrospectiva" (hindsight memorization) por:
   • Variar geradores (LLM-apenas vs. Estrutura-apenas vs. Estrutura+LLM) em um corte fixo.
   • Variar cortes (2010–2024) para geradores fixos para testar o desempenho através da fronteira de treinamento do modelo.
5. Estudo de Validade de Medição: Um estudo de concordância de sete avaliadores (2 humanos, 5 juízes LLM) revelando que a concordância humano-humano é baixa ($\kappa = 0,17$) e que a concordância modelo-modelo ($\kappa = 0,60$) superestima significativamente a confiabilidade em comparação com o alinhamento humano.
6. Instância Prospectiva: Um teste pré-registrado e livre de contaminação (200 questões congeladas em 17-08-2026, pontuadas entre 2027–2030) para fornecer uma avaliação definitiva e graduada no tempo.

Principais Resultados

Achados do Piloto e Escalados

• Engajamento vs. Resolução: Embora questões de LLM "fluentes" alcancem alta Cobertura (96% de engajamento com a literatura futura), elas falham em resolver questões específicas (0% respondidas no piloto, 15% na instância escalada, estatisticamente indistinguíveis de templates aleatórios).
• A Estrutura de Evidência Importa: Sistemas que priorizam a estrutura de evidência (identificando tensões entre reivindicações pré-corte) superam o prompting de LLM puro. Na instância escalada, geradores focados primeiro na estrutura alcançaram uma taxa de resposta de 39% e uma taxa de refutação de premissa de 13%, comparadas a 15% e 0% para o prompting direto de LLM.
• Refutação de Premissa: Este é o resultado mais raro, porém o mais valioso. O sistema de grafo de evidências identificou com sucesso uma questão ($q_{008}$) sobre a abundância de água em HD 209458 b. A premissa (água fortemente subsolar) foi subsequentemente refutada por três análises independentes no corpus futuro, as quais a questão havia explicitamente solicitado.
• Assinaturas de Contaminação: Geradores apenas de LLM mostram alta similaridade de fraseologia com a literatura futura (sugerindo memorização), mas baixa especificidade (nomeando objetos específicos) e nenhuma previsão específica (zero refutações fora da era de treinamento do modelo).

Decomposição da Previsão (Foresight)

O estudo isola três componentes de "fazer boas perguntas":

1. Prior de Tópico: LLMs são excelentes em prever quais tópicos serão populares (alto engajamento), mas isso é um prior de tópico, não previsão (foresight).
2. Descoberta Estrutural: A capacidade de localizar configurações contestáveis em evidências existentes (ex: reivindicações conflitantes) é a principal fonte de previsão. Essa capacidade existe em geradores estruturais sem pesos (weight-free).
3. Articulação: Os LLMs servem como uma camada de realização, convertendo tensões estruturais detectadas em questões precisas e falsificáveis, aumentando significativamente as taxas de resolução quando adicionados a geradores estruturais.

Validade da Medição

• Confiabilidade Humana: Dois anotadores humanos concordaram apenas em $\kappa = 0,17$.
• Confiabilidade do Juiz: Juízes LLM concordaram com anotadores humanos profissionais em $\kappa = 0,17–0,26$, comparável à concordância humano-humano.
• Armadilha de Consenso de Modelo: Modelos de fronteira concordaram entre si em $\kappa = 0,60$. O artigo argumenta que confiar na concordância modelo-modelo para validar juízes (uma prática comum) superestimaria a confiabilidade em um fator de três.
• Conclusão: Taxas absoltas são relativas ao avaliador. Alegações comparativas (ex: Sistema A > Sistema B) permanecem robustas através de diferentes juízes, desde que o juiz não seja degenerado (ou seja, não colapse o espaço de rótulos).

Significância e Alegações

O artigo não afirma que a IA pode atualmente identificar confiavelmente as questões científicas mais valiosas. Em vez disso, afirma ter mudado a categoria de avaliação:

• Do Subjetivo para o Falsificável: A qualidade da questão científica é movida de uma questão de gosto ("interessante") para uma quantidade mensurável e comparável ("100% engajada, 10% levaram à refutação").
• Previsão vs. Memorização: O protocolo demonstra que a "relevância memorizada" (LLMs ecoando fraseologia futura) é distinta da "previsão científica" (identificar tensões estruturais que levam a respostas ou refutações futuras). O sinal de previsão reside na estrutura de evidência pré-corte, não nos pesos do modelo.
• Utilidade do Benchmark: O protocolo fornece um mecanismo para auditar e comparar geradores de questões sem depender de opinião. Ele identifica que a geração focada primeiro na estrutura de evidência supera o prompting de LLM-apenas em escala, e que o campo requer uma taxonomia de confiabilidade antes que qualquer juiz (humano ou modelo) possa ser pontuado.

O artigo conclui que, embora os números específicos sejam provisórios, o protocolo em si é a principal contribuição, oferecendo um caminho para a avaliação computável e falsificável da descoberta de questões científicas.