Judgment-Grounded Expansion for Peer Review Generation

Problema
A geração automática de revisões é uma direção promissora para acelerar o progresso científico, mas a maioria dos sistemas existentes adota uma configuração de ponta a ponta que gera revisões de forma autônoma, com pouca ou nenhuma intervenção humana. Embora isso minimize o esforço humano, limita o controle humano durante a criação de conteúdo e levanta preocupações significativas de responsabilidade. Foi demonstrado que revisões totalmente automatizadas tornam-se homogeneizadas entre diferentes artigos, exibem falhas de verificação e são suscetíveis à manipulação. Há uma necessidade de equilibrar melhor a automação com a responsabilidade, particularmente em contextos formais como a revisão de conferências, onde a supervisão humana é crucial.

Metodologia
Os autores formalizam a expansão fundamentada em julgamento (judgment-grounded expansion), um modo de colaboração humano-IA no qual um revisor fornece uma afirmação avaliativa (um ponto principal e seu respectivo julgamento) sobre um artigo, e o sistema a expande em um ou vários candidatos a comentários de revisão fundamentados na submissão.

O processo é modelado como um fluxo de trabalho estruturado de gerar-verificar-refinar:

1. Entrada Humana: O revisor fornece uma afirmação avaliativa concisa (ex: "A novidade é um ponto forte").
2. Geração: O sistema gera um conjunto de comentários candidatos. Diferente da predição de ponto único, utiliza-se a predição de conjunto para aumentar a probabilidade de cobrir o comentário pretendido pelo revisor.
3. Verificação de Qualidade: O revisor avalia os candidatos com base em duas dimensões:
   • Intenção: Relevância (aborda o ponto principal?) e Especificidade (captura a especificidade pretendida?).
   • Fundamentação: Evidência (é livre de alucinações, condiz com a evidência humana ou é suficientemente suporte?) e Raciocínio (a conexão lógica é clara?).
4. Refinamento: Se um candidato falha na verificação, o revisor pode refinar a entrada (ex: esclarecendo a especificidade ou solicitando evidências alternativas) para disparar a regeração.

Para enfrentar o desafio da avaliação escalável (que tipicamente exige participação humana custosa), os autores desenvolvem métodos de simulação usando dois tipos de proxies para a entrada humana: um proxy baseado em exemplares (usando entradas reais de usuários como exemplos de contexto) e um proxy baseado em aspectos (usando aspectos do artigo e rótulos de força/fraqueza). Eles também simulam verificações de qualidade usando um LLM-como-juiz (LLM-as-a-judge).

Para enfrentar a curadoria do conjunto de candidatos (equilibrando a necessidade de cobertura versus a carga cognitiva do revisor), os autores formulam o problema como uma tarefa de predição conformal. Isso permite que o sistema gere conjuntos de predição de tamanho variável com uma garantia formal de cobertura do alvo, expandindo o conjunto apenas quando o modelo está incerto.

Principais Contribuições

1. Nova Formulação de Tarefa: O artigo formaliza a expansão fundamentada em julgamento como um modo específico de colaboração e a modela como um processo de gerar-verificar-refinar, distinguindo-a da expansão de escrita geral ao ancorar a geração no próprio julgamento avaliativo do revisor.
2. Novos Dados de Interação: Um estudo de usuário foi realizado com 6 participantes em 14 artigos, coletando 81 instâncias de interação humano-modelo. Este conjunto de dados caracteriza padrões de entrada de revisores, comportamentos de verificação de qualidade e experiência do usuário.
3. Novo Pipeline de Avaliação: Um novo método de simulação é desenvolvido para permitir a avaliação reprodutível e em larga escala da expansão fundamentada em julgamento, permitindo a análise de como modelos de base e fatores da tarefa afetam a geração.
4. Aplicação de Predição Conformal: O artigo demonstra que a predição conformal é bem adequada para equilibrar o tamanho do conjunto de candidatos e a cobertura do alvo, oferecendo uma maneira fundamentada de gerenciar o equilíbrio entre cobertura e o fardo do revisor.

Resultos

• Estudo de Usuário: Entradas concisas (média de 17,5 palavras) mostraram-se capazes de suportar uma expansão bem-sucedida, com 72,8% das interações resultando em aceitação imediata. Casos de falha frequentemente derivaram de entradas que eram muito breves, hesitantes ou que referenciavam artigos externos. Os participantes relataram esforço moderado para corrigir as revisões geradas, mas alta satisfação com o resultado final e uma forte preferência pela expansão fundamentada em julgamento em vez de escrever do zero.
• Simulação e Avaliação: Uma avaliação em larga escala comparando a expansão fundamentada em julgamento (JGE) com baselines de ponta a ponta (E2E) mostrou que a JGE geralmente se alinha melhor com as revisões de referência, particularmente para modelos maiores e aqueles treinados com objetivos de raciocínio (ex: destilação DeepSeek-R1). A JGE também demonstrou maior utilidade prática em termos de precisão técnica e profundidade analítica.
• Robustez: A JGE apresentou significativamente maior robustez adversária do que a geração E2E. Quando submetida a ataques de injeção de prompt, a JGE exibiu mudanças muito menores nas previsões de pontuação, indicando que ancorar a geração no julgamento do revisor torna o sistema menos suscetível à manipulação.
• Pontuação de Utilização de Julgamento (JUScore): Uma medida diagnóstica foi introduzida para quantificar o quanto um modelo específico se beneficia do julgamento do revisor. Os resultados indicaram que modelos com maior desempenho de ponta a ponta não possuem necessariamente JUScores altos; por exemplo, o Qwen3-32B apresentou os maiores ganhos com o julgamento do revisor.
• Curadoria de Candidatos: Experimentos mostraram que a predição conformal usando escores de não conformidade baseados em ranking forneceu um melhor equilíbrio entre tamanho e cobertura do que o ranking baseado em escore fixo, permitindo que os praticantes ajustem o sistema para uma cobertura mais ampla ou para reduzir a carga cognitiva.

Significância
O artigo estabelece a expansão fundamentada em julgamento como uma tarefa concreta e fornece fundamentos empíricos e metodológicos para o design de futuros sistemas colaborativos de geração de revisão. Argumenta-se que esta abordagem acomoda uma necessidade genuína de equilibrar automação e responsabilidade, garantindo que o revisor permaneça responsável pela postura avaliativa enquanto delega o trabalho de expansão ao sistema. O trabalho oferece um estudo sistemático e recursos (dados, métodos de simulação e métricas de avaliação) para avançar o desenvolvimento de revisões assistidas por IA que sejam responsáveis.