Resumo Técnico: SCICOQA – Garantia de Qualidade para Alinhamento entre Artigos Científicos e Código

1. O Problema

A "crise de reprodutibilidade" na ciência, particularmente na Inteligência Artificial e nas ciências computacionais, levanta dúvidas sobre a confiabilidade das pesquisas publicadas. Embora a publicação de código seja considerada um pré-requisito para a reprodutibilidade, a mera disponibilidade do código não garante que ele seja uma implementação fiel do método descrito no artigo científico.

Discrepâncias entre o texto do artigo e a implementação no código surgem frequentemente devido a:

• Detalhes de implementação omitidos no texto.
• Simplificações feitas para legibilidade no artigo.
• Atualizações no código que não foram refletidas no manuscrito.
• Diferenças de autoria entre quem escreveu o artigo e quem implementou o código.

Essas inconsistências podem levar a variações de desempenho não reportadas, invalidar comparações científicas e minar a confiança na ciência. Atualmente, a detecção dessas discrepâncias depende de revisões manuais (peer review) ou esforços de reprodução posteriores, processos que são lentos, caros e não escaláveis, especialmente com o surgimento de sistemas autônomos de "Cientistas de IA".

2. Metodologia

Os autores propõem o SCICOQA, um novo conjunto de dados e uma tarefa de benchmark projetada para detectar discrepâncias semânticas entre artigos científicos e seus repositórios de código.

2.1 Definição de Discrepância

O trabalho define uma "discrepância artigo-código" como um conflito semântico onde o código não reproduz fielmente o método reportado. Isso exclui bugs de software, configurações de hiperparâmetros (que são ajustáveis) e detalhes de engenharia triviais. As discrepâncias são categorizadas em três tipos:

1. Diferenças: O código implementa uma lógica distinta da descrita (ex: usar norma L1 em vez de L2).
2. Omissões no Artigo: O código contém componentes críticos que não estão descritos no texto.
3. Omissões no Código: Um passo descrito no artigo está ausente no repositório.

2.2 Coleta de Dados

O dataset SCICOQA consiste em 635 discrepâncias, divididas em:

• Dados Reais (92 amostras): Coletados a partir de issues do GitHub e artigos de reprodutibilidade (ML Reproducibility Challenge). Esses dados foram filtrados manualmente e validados por modelos de linguagem avançados (Gemini 3.1 Pro e GPT-5) para garantir precisão.
• Dados Sintéticos (543 amostras): Gerados automaticamente para escalar o dataset e cobrir domínios além da IA (Física, Biologia Quantitativa, Estatística, etc.). O processo envolveu:
  1. Seleção de repositórios de código com licenças permissivas.
  2. Uso do GPT-5 para gerar modificações de código ("diffs") que criam discrepâncias controladas e semanticamente significativas em relação ao artigo original.
  3. Validação rigorosa para garantir que as alterações não sejam meros bugs, mas sim divergências conceituais.

2.3 Avaliação

O benchmark avalia 22 Grandes Modelos de Linguagem (LLMs), incluindo modelos proprietários (GPT-5, Gemini) e open-weight (Qwen, DeepSeek, Mistral, etc.).

• Tarefa: Dado o texto do artigo e o repositório de código, o modelo deve listar as discrepâncias encontradas.
• Métrica: O desempenho é medido principalmente por Recall (capacidade de encontrar todas as discrepâncias existentes), utilizando um modelo "LLM-as-a-Judge" (GPT-OSS 20B) para comparar as previsões do modelo com o ground truth.

3. Principais Contribuições

1. Novo Dataset (SCICOQA): O primeiro dataset de grande escala focado especificamente no alinhamento entre texto científico e código, cobrindo múltiplos domínios das ciências computacionais.
2. Metodologia de Geração Sintética: Uma pipeline robusta para criar discrepâncias sintéticas realistas, permitindo a expansão do benchmark para domínios onde dados reais de discrepância são escassos.
3. Taxonomia de Discrepâncias: Uma classificação detalhada que distingue entre tipos (Diferença, Omissão no Artigo, Omissão no Código) e categorias (Algoritmo, Modelo, Função de Perda, Avaliação, Dados, Treinamento).
4. Benchmark de Longo Contexto: O dataset desafia os modelos com prompts que combinam artigos e códigos, totalizando em média mais de 56.000 tokens, com muitos casos ultrapassando 100k tokens, testando a capacidade de raciocínio em contexto longo.

4. Resultados

Os experimentos revelaram desafios significativos para os modelos de linguagem atuais:

• Desempenho Geral: Os melhores modelos (Gemini 3.1 Pro e GPT-5 Mini) alcançaram um Recall de apenas 46,7% nos dados reais. Isso significa que eles falham em detectar mais da metade das discrepâncias existentes.
• Precisão vs. Recall: Os modelos tendem a ter alta precisão (quando dizem que há um erro, geralmente estão certos), mas baixa recall (perdem muitos erros).
• Dificuldade por Tipo:
  • Omissões no Código são as mais fáceis de detectar.
  • Diferenças têm dificuldade intermediária.
  • Omissões no Artigo (onde o código tem algo que o artigo não diz) são as mais difíceis, pois exigem que o modelo identifique que um componente existe no código sem referência textual explícita para comparação.
• Impacto do Contexto: O desempenho degrada-se consistentemente conforme o tamanho do input (número de tokens) aumenta. Modelos sofrem mais com repositórios de código grandes (comum em CS) do que com domínios menores.
• Dados Sintéticos vs. Reais: Há uma forte correlação (r = 0,94) entre o desempenho em dados sintéticos e reais, validando a utilidade dos dados sintéticos para avaliação relativa de modelos.
• Ablação (Apenas Código): Quando o artigo é removido e apenas o código é fornecido, o desempenho cai drasticamente (queda média de 19,2 pontos percentuais), confirmando que a tarefa exige raciocínio multimodal (cruzamento entre texto e código).

5. Significado e Conclusão

O SCICOQA demonstra que, embora os LLMs atuais sejam promissores como assistentes, ainda não são confiáveis o suficiente para atuar como árbitros autônomos da validade científica. A baixa taxa de recall (menos de 50%) indica que confiar cegamente nessas ferramentas para garantir a reprodutibilidade pode levar a uma falsa sensação de segurança.

Implicações Futuras:

• Ferramentas de QA Automatizada: É necessário desenvolver sistemas mais robustos para verificar a fidelidade de implementações, especialmente com o avanço de "Cientistas de IA" que geram código e artigos autonomamente.
• Revisão por Pares: O dataset serve como uma ferramenta para treinar e avaliar sistemas que auxiliem revisores humanos a identificar inconsistências rapidamente.
• Padronização: O trabalho enfatiza a necessidade de mais trilhas de reprodutibilidade em conferências para capturar sistematicamente essas discrepâncias e expandir a coleta de dados reais.

Em suma, o SCICOQA estabelece um marco crítico para a garantia de qualidade na ciência computacional, destacando a lacuna atual entre a capacidade de geração de código dos LLMs e a capacidade de verificação rigorosa da fidelidade científica.