DeepReviewer 2.0: A Traceable Agentic System for Auditable Scientific Peer Review

O DeepReviewer 2.0 é um sistema agênico controlado por processos que gera revisões científicas auditáveis e rastreáveis, superando modelos de ponta e comitês humanos na cobertura de problemas críticos sem exigir fine-tuning.

O essencial

Imagine que você é um editor de uma revista científica muito famosa. Todos os dias, você recebe centenas de artigos complexos escritos por cientistas. Sua tarefa é ler cada um, dizer se é bom, apontar os erros e sugerir como consertá-los. Isso é o Revisão por Pares (Peer Review).

O problema? É um trabalho exaustivo, lento e, às vezes, os revisores humanos cometem erros ou esquecem de verificar certas coisas.

Aí entra o DeepReviewer 2.0. Pense nele não como um robô que apenas "escreve um texto bonito", mas como um detetive digital com um caderno de anotações à prova de falhas.

Aqui está a explicação simples de como ele funciona, usando analogias do dia a dia:

1. O Problema: O "Comentário Vago"

Antes, os sistemas de IA tentavam imitar um revisor humano. Eles escreviam: "Os experimentos estão fracos".

• O problema: O autor do artigo pensa: "Onde? Em qual tabela? Qual gráfico? O que exatamente eu devo mudar?". É como um professor dizendo "estude mais" sem dizer o quê.

2. A Solução: O "Contrato de Rastreabilidade"

O DeepReviewer 2.0 muda as regras do jogo. Ele não quer apenas escrever um texto; ele quer entregar um Pacote de Revisão Rastreável.

Imagine que o artigo é uma casa.

• Revisores antigos (ou IAs antigas): Dizem: "A cozinha está bagunçada".
• DeepReviewer 2.0: Diz: "Na cozinha, no armário da esquerda, na prateleira do meio, você deixou a louça suja. Aqui está a foto da sujeira. Para consertar, você precisa lavar a panela X e guardar o copo Y."

Ele usa três pilares principais:

A. O "Diário de Bordo" (Ledger)

Antes de escrever a crítica, o sistema lê o artigo e cria um "diário de bordo". Ele anota:

• O que o autor disse que fez (a promessa).
• Onde está a prova disso no texto (o endereço).
• O que pode dar errado se a prova não for convincente (o risco).
  Se o sistema não consegue encontrar a prova no texto, ele não inventa. Ele marca como "suspeito" e vai investigar mais.

B. O "Detetive de Comparação" (Verificação de Novidade)

Muitas vezes, autores dizem: "Nós somos os primeiros a fazer isso!".
O DeepReviewer 2.0 não acredita apenas na palavra deles. Ele vai à biblioteca digital (pesquisa outros artigos) e faz uma comparação de "camisa por camisa":

• "Você disse que inventou um novo motor. Mas o artigo X já fez um motor igual, usando o mesmo combustível e medindo a mesma velocidade."
• Se a comparação não for justa (ex: comparar um carro de corrida com uma bicicleta), o sistema ignora. Ele só compara coisas que são realmente parecidas.

C. O "Portão de Saída" (Export Gate)

Este é o segredo. O sistema não pode entregar a revisão se não tiver provas suficientes.
Imagine que você é um fiscal de obras. Você só assina o laudo final se:

1. Você tiver visitado pelo menos 3 cômodos diferentes.
2. Você tiver tirado fotos de pelo menos 10 problemas.
3. Cada problema tiver um "endereço" exato na planta da casa.
   Se o sistema não cumprir essas regras, ele não exporta a revisão. Isso evita que ele alucine ou invente críticas falsas.

3. Como isso ajuda as pessoas?

O artigo mostra que, quando testado contra revisores humanos e outras IAs:

• É mais preciso: Ele encontra mais problemas graves (como experimentos faltando) do que as IAs comuns.
• É mais útil: Como ele diz exatamente onde está o erro e como consertar, o autor do artigo sabe exatamente o que fazer.
• É transparente: Se você não concordar com a crítica, pode clicar no link que o sistema deu e ir direto para a frase ou tabela que gerou a crítica. Você pode verificar por si mesmo.

4. O que ele NÃO é

O artigo é muito honesto sobre isso: O DeepReviewer 2.0 não é um juiz final.
Ele é um assistente.

• Ele não decide se o artigo é aceito ou rejeitado.
• Ele não garante que a ciência está 100% correta (às vezes, ele pode errar a interpretação).
• Ele é uma ferramenta para ajudar o revisor humano a ser mais rápido, mais justo e mais detalhista.

Resumo em uma frase

O DeepReviewer 2.0 é como um arquiteto de construção que, em vez de apenas dizer "essa parede está torta", entrega um mapa com a foto da parede, a régua de medição e um plano passo a passo de como endireitá-la, garantindo que ninguém possa dizer "não sei onde você viu o erro".

É uma evolução de "escrever bem" para "provar o que se diz", tornando a ciência mais confiável e as correções mais fáceis de fazer.

Resumo técnico

Resumo Técnico: DeepReviewer 2.0

1. O Problema

A revisão por pares automatizada tem sido frequentemente abordada como um problema de geração de texto fluente. No entanto, revisores humanos e coordenadores de área (Area Chairs) necessitam de julgamentos que sejam auditoráveis e acionáveis.

• Falhas dos sistemas atuais: Muitos sistemas geram críticas que soam plausíveis, mas são difíceis de verificar porque não estão ancoradas em evidências concretas do manuscrito (ex: apontar tabelas, parágrafos ou equações específicas).
• Consequência: Se um sistema diz que "os experimentos são insuficientes" sem apontar onde ou por quê, o revisor não pode validar o julgamento e o autor não sabe o que corrigir.
• Objetivo do trabalho: Desenvolver um sistema de revisão automatizada que priorize a rastreabilidade (onde a preocupação se aplica e qual a evidência) e a acionabilidade (quais ações concretas de reparo são necessárias), em vez de apenas a fluência do texto.

2. Metodologia

O DeepReviewer 2.0 é um sistema baseado em agentes que opera sob um contrato de saída rigoroso. Ele não gera apenas um texto livre, mas um "pacote de revisão rastreável". O fluxo de trabalho é dividido em duas etapas cognitivas principais, seguidas por um mecanismo de controle de exportação.

A. Contrato de Saída (Output Contract)
O sistema deve produzir um pacote estruturado contendo:

1. Relatório Estruturado: Resumo, pontos fortes, fracos e julgamento geral.
2. Anotações Ancoradas: Críticas vinculadas a localizações específicas no PDF (página, parágrafo, caixa delimitadora).
3. Plano de Reparo Priorizado: Ações concretas para os autores (ex: reescrever, adicionar baselines, corrigir métricas).
4. Avaliação de Novidade/Valor: Comparação explícita com trabalhos anteriores sob configurações equivalentes.

B. Fluxo de Trabalho (Agentic Cognitive Chain)

• Fase I: Revisão Prévia Independente (Diagnóstico Global)
  • O sistema analisa o PDF, convertendo-o em unidades semânticas ancoradas (texto, figuras, equações com coordenadas).
  • Constrói um Livro-Contas de Reivindicação-Evidência-Risco (Claim-Evidence-Risk Ledger). Para cada reivindicação do artigo, o sistema registra a evidência interna e o risco científico se essa evidência estiver faltando.
  • Gera uma Agenda de Investigação com perguntas específicas a serem resolvidas na próxima fase.
• Fase II: Verificação Orientada e Síntese
  • Verificação de Novidade: Utiliza um agente de busca acadêmica (PASA) para encontrar trabalhos comparáveis. Aplica um Portão de Configuração Correspondente (Matched-Setting Gate): apenas compara trabalhos que usam a mesma tarefa, dataset e métrica principal.
  • Anotações Ancoradas: Escreve críticas estruturadas vinculadas às localizações no documento, explicando o risco científico e sugerindo reparos específicos.
  • Portão de Exportação (Export Gate): O sistema não exporta o pacote de revisão a menos que atenda a orçamentos mínimos de rastreabilidade (ex: número mínimo de verificações de literatura, número mínimo de anotações ancoradas e estrutura de relatório válida).

C. Garantias de Processo
O sistema não garante a "verdade semântica" absoluta (pode errar em fatos), mas garante propriedades de processo: todo julgamento crítico deve ter um link para uma evidência no artigo, e toda crítica deve terminar com uma ação reparadora.

3. Principais Contribuições

1. Contrato de Saída Rastreável: Reenquadra a revisão automatizada para exigir um pacote de evidências (relatório, anotações ancoradas, plano de reparo) em vez de apenas texto fluente.
2. Fluxo de Trabalho Controlado por Processos: Implementa uma cadeia cognitiva com livro de contas explícito, verificação de novidade sob configurações correspondentes e um portão de exportação que força a rastreabilidade mínima.
3. Avaliação com Três Protocolos:
   • Cobertura estrita de problemas (diagnóstico).
   • Classificação anônima entre sistemas automáticos.
   • Comparação cega contra um comitê de revisão humana.

4. Resultados Experimentais

O sistema foi avaliado em 134 submissões do ICLR 2025 usando um modelo não ajustado de 196B parâmetros (Step-3.5-Flash).

• Cobertura de Problemas (RQ1): O DeepReviewer 2.0 superou a linha de base (Gemini-3.1-Pro) na cobertura estrita de problemas críticos (Major Issues), alcançando 37,26% contra 23,57% do baseline. Isso representa uma redução significativa na taxa de "misses" críticos.
• Classificação entre Sistemas Automáticos (RQ2): Em comparações cegas anônimas contra outros sistemas (incluindo CycleReviewer e AgentReview), o DeepReviewer 2.0 ficou em 1º lugar, com uma pontuação Elo de Bradley-Terry de 2057, superando o Gemini-3.1-Pro (1915).
• Comparação com Revisores Humanos (RQ3): Em comparação cega contra um comitê de revisão humana, o DeepReviewer 2.0 venceu em 71,63% das comparações (considerando a média micro de todas as dimensões).
  • Pontos Fortes: Venceu significativamente em Valor Construtivo (84,50% de vitórias) e Clareza de Comunicação (86,05% de vitórias).
  • Pontos de Melhoria: As margens foram menores em Precisão Técnica (59,69%) e Profundidade Analítica (58,14%), indicando que o sistema é excelente em organizar evidências e guiar revisões, mas ainda tem lacunas em raciocínio técnico complexo.
  • Limitação Identificada: O sistema teve cobertura de 0% na categoria "Ética", destacando uma lacuna crítica para implantação em cenários de alto risco.

5. Significado e Conclusão

O DeepReviewer 2.0 posiciona-se não como um substituto para a revisão por pares humana, mas como uma ferramenta assistiva que transforma a revisão em um artefato auditável.

• Mudança de Paradigma: A pesquisa demonstra que impor restrições de processo (rastreabilidade, ancoragem, orçamentos de verificação) melhora a utilidade prática e a confiabilidade percebida das revisões automatizadas, mesmo que o modelo subjacente não seja infalível.
• Impacto Prático: Ao fornecer um "rastro de evidências" (links para o texto original, comparações diretas e planos de ação), o sistema permite que revisores humanos validem rapidamente os julgamentos e que autores saibam exatamente o que corrigir.
• Aviso de Segurança: O artigo enfatiza que o sistema não deve ser tratado como uma "oráculo" de verdade semântica e alerta para riscos como injeção de prompts em PDFs e a necessidade de supervisão humana, especialmente em domínios sensíveis (ética, medicina, segurança).

Em resumo, o DeepReviewer 2.0 prova que a automação da revisão científica pode ser mais eficaz quando focada na transparência do processo e na acionabilidade do feedback, superando sistemas anteriores que priorizavam apenas a geração de texto persuasivo.