Policies Permitting LLM Use for Polishing Peer Reviews Are Currently Not Enforceable

1. O Problema

Recentemente, conferências científicas e revistas acadêmicas (como ICLR, ACL e EMNLP) implementaram políticas que proíbem o uso completo de Grandes Modelos de Linguagem (LLMs) na redação de revisões, mas permitem o uso para polimento (correção gramatical, paráfrase e melhoria de fluxo) de textos originalmente escritos por humanos.

O problema central investigado neste trabalho é: Essas políticas são aplicáveis? A premissa de que detectores de texto IA podem distinguir entre uma revisão totalmente gerada por IA e uma revisão humana polida por IA é questionada. Se os detectores não conseguirem fazer essa distinção com alta precisão, a aplicação dessas políticas resultará em:

• Falsos positivos: Revisões legítimas (humanas e polidas) sendo acusadas de violação de política, levando a acusações injustas de má conduta acadêmica.
• Subestimação ou superestimação: A dificuldade em quantificar a real extensão do uso de IA na comunidade científica.

O artigo destaca que, em grandes conferências (ex: NeurIPS com 75.000 revisões), uma taxa de falso positivo de apenas 0,1% resultaria em 75 acusações injustas.

2. Metodologia

Os autores construíram um framework rigoroso para avaliar a eficácia dos detectores de IA no contexto específico de revisões por pares.

A. Criação do Dataset

Foi criado um conjunto de dados massivo de 50.156 revisões, cobrindo vários níveis de colaboração humano-IA:

1. Revisões Humanas (H): Originais, pré-ChatGPT (extraídas do dataset PeerRead de 2013-2017).
2. IA Gerada com Prompts Básicos (AI-BP): Revisões geradas apenas com o papel e as diretrizes da conferência.
3. IA Gerada com Prompts Elaborados (AI-EP): Inclui dicas adicionais e melhores práticas de revisão.
4. IA Gerada com Entrada Humana (AI-HI): O humano extrai pontos-chave e a IA expande o texto (simulando assistência substancial).
5. Humana Polida por IA (H-AI): Revisões humanas originais submetidas a LLMs apenas para correção gramatical e de fluxo (o único uso permitido pelas políticas de "apenas polimento").
6. Revisões Humanizadas: Versões das acima passadas por ferramentas de "humanização" (paráfrase adversária) para tentar enganar detectores.

O dataset foi dividido em um subconjunto "fácil" (modelos mais antigos, prompts simples) e um subconjunto "difícil" (modelos de ponta como GPT-5, Gemini-2.5, Qwen-3, com prompts variados).

B. Avaliadores (Detectores)

Cinco detectores de estado da arte foram avaliados:

• Código Aberto (Zero-shot): LogLikelihood, Fast-DetectGPT, Binoculars.
• Comerciais (Proprietários): Pangram (Pangram Labs) e GPTZero.
• Métricas: Taxa de Verdadeiros Positivos (TPR) para detectar violações e Taxa de Falsos Positivos (FPR) para não penalizar revisões humanas polidas.

C. Estratégias de Detecção Específicas para Revisão

Os autores testaram se o contexto único das revisões por pares poderia melhorar a detecção:

1. Contexto do Manuscrito: Usar o texto do artigo submetido como contexto para calcular a probabilidade da revisão (condicionamento).
2. Similaridade com Referências: Gerar revisões de referência via IA para o mesmo papel e medir a similaridade semântica com a revisão candidata.
3. Aprendizado Supervisionado: Treinar classificadores (Stylometric e RoBERTa) especificamente no domínio de revisões científicas.

3. Principais Resultados

A. Desempenho dos Detectores Comerciais

• Detecção de IA Pura: Pangram e GPTZero identificam com alta precisão (>95%) revisões totalmente geradas por IA (AI-BP, AI-EP).
• Falsos Positivos em Revisões Polidas (H-AI): Este é o ponto crítico. Ambos os detectores comerciais classificam uma fração não trivial de revisões humanas polidas como "IA" (e não como "Mista" ou "Humana").
  • Pangram: FPR de 3,1% em revisões H-AI.
  • GPTZero: FPR de 3,4% em revisões H-AI.
  • Isso significa que, em uma conferência grande, milhares de revisões legítimas seriam erroneamente marcadas como violações.

B. Desempenho dos Detectores Open-Source

• Detectores como Fast-DetectGPT e Binoculars têm desempenho inferior, especialmente no subconjunto "difícil" (modelos novos).
• O uso do contexto do manuscrito (paper) melhorou a detecção de IA pura, mas aumentou drasticamente a taxa de falsos positivos em revisões humanas polidas, tornando-os ainda menos viáveis para aplicação de políticas.

C. Limitações de Abordagens Específicas

• Similaridade: A distribuição de pontuações de similaridade entre revisões polidas e totalmente geradas por IA se sobrepõe significativamente, impossibilitando a distinção confiável em nível individual.
• Classificadores Supervisionados: Embora funcionem bem em dados de treinamento (in-distribution), eles falham em generalizar para novos modelos de LLM não vistos durante o treinamento (out-of-distribution), apresentando taxas de erro variáveis e imprevisíveis.

D. O Efeito da "Humanização"

• Ferramentas de humanização (paráfrase adversária) reduzem drasticamente a capacidade de detecção de IA pura.
• Surpreendentemente, a humanização aumentou a taxa de falsos positivos para revisões polidas no GPTZero (saltando de 3% para 65,6%), tornando a política de "apenas polimento" completamente inaplicável se houver uso de humanizadores.

E. Comportamento Inesperado dos LLMs

• Ao solicitar apenas "polimento", os LLMs frequentemente introduzem novo conteúdo técnico se o prompt não for extremamente restritivo (ex: incluir o manuscrito ou não limitar o tamanho).
• Revisões que introduzem novo conteúdo são muito mais propensas a serem detectadas como "IA", sugerindo que a linha entre "polimento" e "geração" é tênue e difícil de controlar via prompt.

4. Contribuições Chave

1. Prova de Inaplicabilidade: Demonstra empiricamente que, com a tecnologia atual, é impossível fazer cumprir políticas que permitam o polimento por IA sem penalizar injustamente revisões humanas legítimas.
2. Dataset de Referência: Disponibiliza o maior dataset público de revisões por pares com níveis variados de assistência de IA (50k+ amostras), incluindo dados de "hard subset" com modelos de ponta.
3. Ceticismo sobre Estatísticas Públicas: Alerta que estimativas recentes (ex: a alegação de que 21% das revisões do ICLR 2026 foram geradas por IA) provavelmente estão superestimadas, pois confundem revisões de autoria mista/polida com revisões totalmente geradas por IA.
4. Diretrizes Práticas: Oferece recomendações para revisores que desejam usar IA para polimento (ex: não incluir o manuscrito no prompt, instruir explicitamente a não adicionar conteúdo, verificar o output), embora afirme que mesmo assim o risco de detecção falsa permanece.

5. Significado e Implicações

• Para Políticas Acadêmicas: As atuais políticas de "apenas polimento" são tecnicamente ingênuas. A única forma de garantir a integridade do processo de revisão com a tecnologia atual seria uma proibição total de LLMs (No-LLM-use), mas isso impediria o uso benéfico de ferramentas de correção. Alternativamente, a comunidade deve aceitar que a detecção automatizada não é viável para aplicação de políticas de polimento.
• Para a Comunidade Científica: Há um risco real de acusações falsas de má conduta acadêmica baseadas em detectores falhos. A confiança nos relatórios de detecção de IA deve ser tratada com extrema cautela.
• Futuro da Pesquisa: A detecção de autoria mista (humana + IA) é um problema fundamental não resolvido. Avanços futuros não apenas em detecção, mas em transparência e talvez em métodos de marcação de conteúdo (watermarking), serão necessários antes que políticas de uso seletivo de IA sejam viáveis.

Em resumo, o artigo conclui que a tecnologia de detecção de texto atual não possui a precisão necessária para distinguir entre violações de política (IA gerando conteúdo) e uso permitido (IA polindo texto humano), tornando a aplicação dessas políticas inaplicável no cenário atual.