FirstPass: Grounding AI Scientific Judgment in Multi-Round Editorial Outcomes

Resumo Técnico: FirstPass – Fundamentando o Julgamento Científico de IA em Resultados Editoriais de Múltiplas Rodadas

Definição do Problema
Os sistemas atuais de IA para revisão por pares científica sofrem de três falhas fundamentais:

1. Estreiteza de Domínio: Os conjuntos de dados existentes (ex: PeerRead, ReviewMT, MARG) derivam exclusivamente de conferências de Ciência da Computação e Aprendizado de Máquina. Modelos treinados neles falham em capturar normas científicas específicas de domínios como biologia, química ou física (ex: controles de contaminação ou atribuições de espectros de NMR).
2. Tratamento Estático: A revisão por pares é um diálogo iterativo, mas os sistemas atuais geram revisões em uma única etapa (single shot), ignorando as iterações entre autor e resposta onde as reivindicações científicas são testadas sob estresse.
3. Avaliação Circular: Os sistemas são frequentemente avaliados por mimetismo estilístico (o quão bem eles se parecem com uma revisão) em vez de alinhamento com decisões e resultados editoriais reais.

Consequentemente, esses sistemas tratam a revisão por pares como uma tarefa de geração de texto, em vez de um exercício de julgamento científico, falhando em prever se um manuscrito exigirá novos ciclos de revisão ou em identificar quais preocupações metodológicas sobreviverão à réplica.

Metodologia
Os autores introduzem o FIRSTPASS, um conjunto de dados e um modelo ajustado (fine-tuned) projetados para abordar essas lacunas através de três componentes principais:

• Construção do Conjunto de Dados: Os autores curaram 3.668 diálogos completos de revisão por pares de múltiplas rodadas da Nature Communications (janeiro de 2023 – dezembro de 2025) abrangendo cinco domínios científicos: biologia, química, neurociência, física e geociências.

  • Integridade: Aproveitando a revisão por pares transparente e obrigatória da revista (desde novembro de 2022), o conjunto de dados garante 100% de integridade de conteúdo. Auditorias automatizadas e verificação manual de uma amostra aleatória confirmaram taxas de erro negligenciáveis na extração do texto.
  • Rótulos: Os resultados editoriais são derivados do número de rodadas de revisão: duas rodadas são rotuladas como STANDARD (Padrão), e três ou mais são rotuladas como EXTENDED (Estendido). Isso serve como um proxy para preocupações metodológicas não resolvidas.
  • Tarefas: O conjunto de dados suporta três tarefas de treinamento: (1) Geração de revisão (Artigo $\to$ Rodada 1), (2) Atualização do revisor (Artigo + Rodada 1 + Resposta do Autor $\to$ Rodada 2), e (3) Predição de resultado (Diálogo completo $\to$ Rótulo).

• Arquitetura do Modelo e Treinamento:

  • Modelo Base: O Qwen2.5-7B-Instruct foi selecionado por sua forte capacidade de raciocínio científico e janela de contexto de 32k tokens, necessária para lidar com artigos completos e diálogos de múltiplas rodadas.
  • Ajuste Fino (Fine-tuning): A Adaptação de Baixo Posto (LoRA) foi aplicada com rank $r=32$ e $\alpha=64$. Dois adaptadores separados foram treinados: um para classificação (CLS) e outro para geração (SFT).
  • Decisão de Design Crítica (Mascaramento de Perda Apenas na Resposta): Os autores identificaram que o ajuste fino de instrução padrão calcula a perda sobre toda a sequência, incluindo milhares de tokens de entrada. Para tarefas de entrada longa/saída curta, isso faz com que o sinal de classificação seja abafado pela predição do texto de entrada. Os autores implementaram o mascaramento de perda apenas na resposta (excluindo tokens de entrada do cálculo da perda).
  • Estratégia de Truncamento: As entradas que excedem o limite de sequência são truncadas simetricamente (mantendo os primeiros 55% e os últimos 45% dos tokens) para preservar tanto o conteúdo científico do artigo quanto as trocas mais recentes entre revisores.

Principais Descobertas e Resultados

• A Necessidade do Mascaramento de Perda Apenas na Resposta: A descoberta mais significativa é que o mascaramento de perda apenas na resposta é um pré-requisito arquitetônico, não meramente uma otimização.

  • Sem o mascaramento, a precisão do modelo na predição de resultados cai para 62,0%, performando pior que a linha de base da maioria (65,4%).
  • Com o mascaramento, a precisão sobe para 80,5% com um F1-macro de 78,2%. Essa oscilação de 18,5 pontos percentuais demonstra que a omissão do mascaramento é catastrófica para este regime de tarefa.

• Predição de Ciclo de Revisão:

  • O FIRSTPASS alcançou 80,5% de precisão no conjunto de teste (318 exemplos), superando a linha de base da maioria em 15,1 pontos percentis e a melhor linha de base zero-shot (Gemini-3.1-flash-lite-preview) em 10,4 pontos percentis.
  • A significância estatística foi confirmada via teste exato de McNemar ($p < 0,001$) contra todas as linhas de base, exceto Qwen2.5-7B zero-shot ($p=0,185$).
  • O desempenho foi consistente em todos os cinco domínios (variando de 76,9% a 83,8%), indicando que o modelo captura sinais generalizáveis de preocupações não resolvidas em vez de sofrer overfitting a vocabulários específicos.

• Geração de Revisão:

  • O FIRSTPASS gerou revisões com média de 1.187 palavras, significativamente mais próximas das referências humanas (2.155 palavras) do que as outras linhas de base.
  • Alcançou uma pontuação ROUGE-L de 0,154, superando significativamente o Qwen zero-shot, DeepSeek e Gemini ($p < 0,001$).
  • Embora o Llama-3-8B tenha alcançado um ROUGE-L ligeiramente superior (0,164), os autores atribuem isso a "artefatos de comprimento", onde o modelo gerou texto mais curto e formulaico (1.006 palavras) que otimizou a sobreposição de n-grams sem profundidade. O FIRSTPASS produziu críticas mais longas e ricas em conteúdo.

Significância e Alegações
O artigo posiciona o FIRSTPASS como um passo em direção a sistemas de IA que atuam como "coautores científicos antecipatórios", em vez de meras ferramentas.

• Julgamento vs. Mimetismo: Ao treinar em diálogos completos e avaliar contra resultados editoriais reais, o FIRSTPASS demonstra que a IA pode exercer julgamento científico — prevendo se um manuscrito exigirá ciclos de revisão estendidos — em vez de apenas mimetizar a prosa de revisão.
• Generalizabilidade: O desempenho consistente entre domínios sugere que os sinais de preocupação não resolvida do revisor são transferíveis entre disciplinas, um pré-requisito para um coautor confiável em um ambiente multidisciplinar.
• Contribuição Metodológica: O artigo fornece a primeira demonstração empírica controlada de que o mascaramento de perda apenas na resposta é crítico para tarefas de classificação de entrada longa/saída curta, oferecendo uma lição generalizável para o treinamento de LLMs em documentos científicos.

Limitações Reconhecidas pelos Autores
Os autores mantêm uma postura modesta sobre o status atual de implantação:

• Escopo de Dados: O conjunto de dados inclui apenas artigos publicados; manuscritos rejeitados (que poderiam oferecer sinais mais fortes sobre os limites de publicabilidade) são inacessíveis.
• Modalidade: O pipeline é exclusivamente de texto, excluindo figuras e dados suplementares que frequentemente impulsionam as preocupações dos revisores.
• Validade do Rótulo: O rótulo "STANDARD/EXTENDED" é um proxy baseado na contagem de rodadas e pode ser influenciado por estilos de comunicação ou logística editorial, em vez de puramente mérito científico.
• Validação: O caso de uso de "coautor" é uma hipótese de implantação. A avaliação atual mede a precisão de predição em diálogos concluídos. A validação prospectiva (onde autores usam a ferramenta pré-submissão e os resultados são monitorados) é identificada como o próximo passo necessário para confirmar a alegação de coautoria.
• Generalizabilidade: O desempenho além da Nature Communications (ex: periódicos com culturas de revisão ou formatos diferentes) permanece não testado.