Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes

Resumo Técnico: A Inteligência Não é o Gargalo: Validando a Pontuação de Primeira Passagem de um Manuscrito por LLM contra Resultados de Revisão por Pares

Problema
A revisão por pares está atualmente sob tensão devido ao aumento nos volumes de submissão e ao ruído inerente à tomada de decisão humana, onde experimentos de consistência (ex: NeurIPS) mostam que decisões de aceitação/rejeição frequentemente mudam após novas execuções. Embora os Modelos de Linguagem de Grande Escala (LLMs) estejam sendo cada vez mais implantados para auxiliar na revisão por pares, as avaliações existentes focam predominantemente na qualidade do texto gerado por esses modelos (ex: sobreposição com comentários humanos). Há uma falta de validação quanto às pontuações numéricas atribuídas pelos LLMs em relação aos resultados humanos reais. A questão crítica para a implantação é se uma pontuação atribuída por um LLM serve como um sinal válido para a triagem de submissões, especificamente para sinalizar trabalhos fracos, em vez de apenas gerar um texto que soa plausível.

Metodologia
Os autores validam o AIPR, uma plataforma interativa que lê o PDF de um manuscrito submetido e emite uma revisão estruturada e fundamentada em evidências, incluindo cinco dimensões de qualidade e uma pontuação geral ponderada (0–100).

• Arquitetura do Sistema: O AIPR opera via um "pipeline congelado" usando apenas engenharia de prompt, sem ajuste fino (fine-tuning) em revisões, decisões ou classificações. Ele emprega um processo de duas passagens:
  1. Passagem do Revisor: Lê o artigo contra uma rubrica detalhada (~2.200 palavras) para gerar cinco pontuações dimensionais (Novidade, Rigor, Aplicabilidade, Clareza, Citação) com justificativas e destaques literais.
  2. Passagem de Auditoria: Releitura do artigo com uma ferramenta de busca bibliográfica ao vivo para verificar os destaques e propor citações ausentes contra um índice bibliográfico real (OpenAlex), garantindo que as citações sejam fundamentadas em registros reais em vez de alucinações.
• Verdade Fundamental (Ground Truth): O estudo utiliza dados públicos da ICLR 2026 (OpenReview), onde as submissões rejeitadas são públicas. A verdade fundamental consiste em níveis de decisão (Rejeitado, Poster, Oral) e a média das avaliações dos revisores.
• Design Experimental:
  • Coortes: Uma coorte primária (M, n=300) graduada por um modelo mais barato (GPT-5.4-mini) e uma coorte de produção aninhada (H, n=100) graduada por um modelo de fronteira (GPT-5.4).
  • Baseline: Um baseline "Direto" usando o mesmo modelo de fronteira (GPT-5.4) nos mesmos PDFs, mas com um único prompt de um parágrafo (~50 palavras) e sem rubrica ou auditoria.
  • Pré-registro: Todas as hipóteses, métricas e limiares foram pré-registrados antes que quaisquer pontuações fossem confrontadas com os resultados para evitar vazamento de dados ou viés.
  • Hipóteses: O estudo testa se a pontuação separa submissões rejeitadas de aceitas (AUROC), se aumenta monotonicamente entre os níveis e se correlaciona com as avaliações médias dos revisores, e se a engenharia de pipeline agrega valor sobre o modelo bruto.

Principais Resultados

1. Validade da Pontuação: A pontuação geral do AIPR discrimina com sucesso submissões rejeitadas de aceitas.
   • Separação: Na coorte primária, a AUROC é de 0,82 (95% CI 0,78–0,87), subindo para 0,87 na coorte de produção.
   • Eficácia de Triagem (H1): O quintil inferior de pontuação (os 20% mais baixos) é rejeitado a uma taxa de 89,8% (Coorte M) e 100,0% (Coorte H), representando um aumento de ~1,8x a 2,0x sobre a taxa de rejeição base. Artigos do tipo "Oral" estão virtualmente ausentes nesta faixa de baixa pontuação.
   • Correlação: A pontuação correlaciona-se com as avaliações médias dos revisores (Spearman $\rho$ = 0,52 para a Coorte M) e aumenta monotonicamente através dos níveis de decisão (Rejeitado < Poster < Oral).
2. Modelo vs. Engenharia (O "Gargalo"):
   • Discriminação: O baseline "Direto" (modelo bruto com um prompt simples) atinge uma AUROC de 0,80, o que é estatisticamente indistinguível do pipeline completo do AIPR (0,87, $\Delta$AUROC = 0,07, $p=0,09$). Isso indica que a inteligência do modelo de fronteira é o principal motor do sinal, não a complexa engenharia.
   • Confiabilidade: A engenharia adiciona confiabilidade significativa. O pipeline AIPR produz pontuações altamente consistentes entre execuções repetidas (mediana do desvio padrão dentro do mesmo artigo de 0,7 pontos), enquanto o prompt puro oscila significativamente (mediana do desvio padrão de 2,8 pontos).
   • Fundamentação: Diferente do baseline que retorna apenas um número, o pipeline retorna uma revisão estruturada, fundamentada em evidências e com citações verificáveis.

Significância e Alegações
A alegação central do artigo é que "A inteligência não é o gargalo; a confiabilidade é."

• Validação de Pontuação Baseada Apenas em Prompt: O estudo demonstra que uma pontuação de LLM baseada apenas em prompt, sem treinamento, pode rastrear validamente os resultados de revisão por pares humanos, especificamente para o caso de uso estreito de triagem de baixo nível (sinalizar trabalhos fracos para atenção humana).
• Papel da Engenharia: O valor do pipeline de engenharia (AIPR) sobre um prompt de modelo bruto não é uma maior discriminação, mas sim estabilidade e fundamentação. O pipeline garante que a pontuação seja reproduzível entre execuções e fornece uma revisão estruturada e fundamentada em evidências que um revisor humano possa utilizar, em vez de um escalar volátil.
• Limitações e Escopo: Os autores declaram explicitamente que não pretendem alegar que a pontuação prevê probabilidades de aceitação, classifica artigos fortes ou substitui o julgamento humano. A validação é específica para a classe de submissões "fracas em relação ao nível do evento" em um único campo (Aprendizado de Máquina). O estudo reconhece que a verdade fundamental (avaliações humanas) é, por si só, ruidosa e potencialmente influenciada por outras ferramentas de IA, estabelecendo um teto para a correlação alcançável.

Em conclusão, o artigo valida que os LLMs de fronteira possuem a capacidade inerente de julgar a qualidade de manuscritos, mas para a implantação como ferramenta de triagem, o desafio crítico de engenharia é converter essa capacidade bruta em um instrumento confiável, fundamentado e consistente.