Large Language Models Threaten Double-blind Review

Resumo Técnico: Grandes Modelos de Linguagem Ameaçam a Revisão Duplo-Cega

Definição do Problema
A revisão por pares duplo-cega é um mecanismo fundamental na publicação científica projetado para mitigar o viés relacionado à reputação do autor, afiliação institucional e visibilidade prévia. Sua eficácia baseia-se na premissa de que manuscritos anonimizados (sem nomes, afiliações e citações explícitas) não contêm informações suficientes para revelar seus autores de forma confiável. Embora pesquisas anteriores tenham demonstrado que a autoria pode ser recuperada usando marcadores estilísticos, padrões lexicais ou estruturas bibliográficas, este estudo investiga uma vulnerabilidade mais profunda: se Grandes Modelos de Linguagem (LLMs) podem desanonimizar artigos usando apenas textos científicos mínimos (títulos e resumos) ao inferir assinaturas conceituais latentes. A questão central é se a premissa de anonimato se mantém quando a inferência é limitada a grupos restritos de especialistas da área e os sinais superficiais são removidos.

Metodologia
Os autores conduziram um experimento controlado de atribuição de autoria utilizando um corpus de mais de 12.000 artigos científicos publicados entre 2024 e 2025, extraídos do Semantic Scholar. Para garantir que os modelos não estivessem dependendo de dados de treinamento memorizados, o conjunto de avaliação foi estritamente isolado temporalmente dos cortes de treinamento dos modelos utilizados (Qwen2.5-72B e LLaMA3-70B, ambos com cortes em 2023).

• Restrições de Entrada: Os modelos receberam apenas títulos e resumos dos artigos. Todos os identificadores explícitos, afiliações e metadados bibliográficos foram excluídos.
• Grupos de Candidatos: Para cada artigo, o modelo foi apresentado com um conjunto fechado de cinco candidatos: um autor verdadeiro e quatro distratores. O estudo variou a construção desses distratores:
  • Aleatórios: Extraídos de domínios não relacionados.
  • Especialistas do Domínio (Semantic Scholar): Autores recomendados como trabalhando em tópicos semelhantes.
  • Especialistas do Domínio (OpenAlex): Autores recuperados via OpenAlex, representando um grupo mais estritamente alinhado e conceitualmente fundamentado.
• Definições de Verdade Fundamental (Ground Truth): O "autor verdadeiro" foi definido de três maneiras para testar a robustez entre as disciplinas: o último autor, o autor mais sênior (maior contagem de publicações) e o autor mais júnior (menor contagem de publicações).
• Estrutura de Avaliação: Em vez de exigir uma única previsão, o estudo empregou uma estrutura de classificação baseada em confiança. Os modelos classificaram os candidatos e atribuíram pontuações de confiança. Um "conjunto de suspeitos" foi construído acumulando candidatos até que sua probabilidade cumulativa excedesse um limiar $\tau$ (ex: 0,5 ou 0,9). As métricas incluíram acurácia Top-k, MRR (Rank Médio Recíproco), Recall do Conjunto de Suspeitos e ECE (Erro de Calibração Esperado).
• Baseline Humano: Um grupo de controle composto por vinte pesquisadores de pós-graduação com expertise em aprendizado de máquina realizou a mesma tarefa para estabelecer um baseline humano.
• Verificações de Inferência Avançada: O estudo testou a agregação de modelos (combinando as previsões de Qwen e LLaMA) e a deliberação de múltiplas rodadas (raciocínio iterativo) para verificar se a complexidade melhorava a atribuição.

Principais Resultados

1. Desempenho Superior dos LLMs: Os LLMs superaram significativamente os pesquisadores humanos na identificação de autores a partir de títulos e resumos.

   • Acurácia Top-1: Os LLMs alcançaram ~42% de acurácia (Qwen2.5-72B), comparado a 11% para os pesquisadores humanos.
   • Qualidade de Classificação: Os LLMs alcançaram um MRR de 0,623 versus 0,36 para humanos (estatisticamente significativo, $p < 0,001$).
   • Eficiência do Conjunto de Suspeitos: Em um limiar de confiança moderado ($\tau = 0,5$), os LLMs mantiveram o autor verdadeiro em 61,6% dos casos, enquanto reduziram o conjunto de suspeitos para uma média de 1,95 candidatos. Os humanos mantiveram o autor verdadeiro em apenas 22% dos casos com um tamanho de conjunto de suspeitos semelhante.

2. Assinaturas Conceituais Latentes: O estudo descobriu que o colapso do anonimato é impulsionado por "regularidades latentes" na forma como os pesquisadores estruturam problemas, delimitam contribuições e posicionam seu trabalho, e não por peculiaridades estilísticas.

   • Quando os distratores foram extraídos de domínios não relacionados, o recall saltou para 84,1%, indicando que os modelos dependem fortemente do alinhamento topical.
   • Mesmo com distratores altamente confundíveis (especialistas do OpenAlex com perfis de pesquisa sobrepostos), o recall permaneceu em 51,5%, significativamente acima do baseline humano.

3. Variações Disciplinares e de Senioridade:

   • Disciplina: A erosão do anonimato foi mais pronunciada em Medicina (66% de recall em $\tau=0,5$) do que em Ciência da Computação (58%), sugerindo que as convenções de pesquisa específicas de cada campo amplificam os sinais identificáveis.
   • Senioridade: O efeito foi consistente tanto para autores seniores quanto para juniores, indicando que os riscos de anonimato não se limitam a pesquisadores proeminentes, mas aplicam-se também a cientistas em início de carreira.

4. Limites da Complexidade:

   • Agregação: Combinar as previsões de múltiplos modelos trouxe apenas melhorias marginais em relação ao melhor modelo individual.
   • Deliberação: O raciocínio de múltiplas rodadas na verdade degradou o desempenho, aumentando o tamanho do conjunto de suspeitos e reduzindo o recall. Isso sugere que etapas adicionais de raciocínio introduzem incerteza em vez de novos sinais de autoria quando a entrada é restrita a resumos curtos.

Significância e Alegações
O artigo argumenta que a revisão duplo-cega enfrenta uma limitação estrutural na era da pesquisa aumentada por IA. Os achados desafiam a premissa fundamental de que remover identificadores explícitos é suficiente para preservar o anonimato. Os autores afirmam que:

• O Anonimato é Probabilístico, Não Absoluto: A revisão duplo-cega não falha em um sentido absoluto (ou seja, a identificação perfeita não é garantida), mas sofre de uma "vulnerabilidade graduada". Os LLMs podem sistematicamente reduzir o conjunto de autores plausíveis para um subgrupo pequeno e de alta confiança, o que pode ser suficiente para influenciar as expectativas e o comportamento dos revisores.
• Inferência Além do Estilo: A ameaça não provém de mimetismo estilístico ou artefatos bibliográficos, mas do próprio conteúdo semântico — especificamente, as formas únicas pelas quais os pesquisadores estruturam problemas e definem contribuições.
• Implicações de Política: As diretrizes atuais de anonimização, que focam em características de nível superficial (nomes, citações, afiliações), podem ser insuficientes. Os autores sugerem que a comunidade de pesquisa deve reavaliar como o anonimato e a justiça são mantidos, reconhecendo que a identidade pode ser inferida a partir da própria estruturação científica do trabalho.

O artigo conclui de forma modesta, observando que, embora os modelos reduzam a incerteza, eles nem sempre identificam o autor correto com certeza. No entanto, a redução consistente do conjunto de candidatos representa uma mudança significativa no perfil de risco da revisão duplo-cega, exigindo uma reavaliação das políticas de revisão em um ecossistema integrado à IA.