Position: Academic Conferences are Potentially Facing Denominator Gaming Caused by Fully Automated Scientific Agents

Resumo Técnico: Jogo do Denominador de Conferências por Agentes

Declaração do Problema
O artigo identifica uma vulnerabilidade estrutural crítica em conferências acadêmicas de alto nível: a política implícita de manter taxas de aceitação relativamente estáveis (tipicamente 20–30%) apesar do crescimento exponencial dos volumes de submissão. Essa estabilidade, destinada a sinalizar seletividade, cria um "denominador" previsível que pode ser explorado. Os autores postulam uma nova ameaça sistêmica denominada Jogo do Denominador de Conferências por Agentes. Neste cenário, agentes maliciosos implantam agentes científicos totalmente automatizados para gerar e submeter vastas quantidades de artigos superficialmente plausíveis, mas de baixa qualidade científica. O objetivo não é que esses artigos de baixa qualidade sejam aceitos, mas inflar artificialmente a contagem total de submissões (o denominador). Sob uma política de taxa de aceitação fixa, isso força a conferência a aumentar o número absoluto de artigos aceitos para manter a porcentagem-alvo. Consequentemente, o limiar de aceitação é reduzido, aumentando estatisticamente a probabilidade de que um conjunto-alvo de artigos legítimos, escritos por humanos, seja aceito, mesmo que sua qualidade intrínseca permaneça inalterada.

Metodologia e Modelagem de Ameaças
O artigo formaliza essa ameaça por meio de um modelo matemático e de uma arquitetura de sistema de prova de conceito:

1. Formalização Matemática:
   Seja $N_h$ as submissões humanas e $N_a$ as submissões geradas por IA. Se uma conferência mantiver uma taxa de aceitação estável $\alpha$, o total de artigos aceitos será $N_{acc} = \alpha(N_h + N_a)$. Assumindo que os artigos de IA sejam rejeitados ($N^a_{acc} \approx 0$), a taxa de aceitação efetiva para artigos humanos torna-se $\hat{\alpha} \approx \alpha(1 + \frac{N_a}{N_h})$. À medida que a razão entre submissões de IA e humanas aumenta, a probabilidade de aceitação efetiva para artigos humanos aumenta proporcionalmente, independentemente da qualidade.

2. Arquitetura do Sistema (Prova de Conceito):
   Os autores propõem um pipeline multiagente consistindo em dois agentes especializados:

   • Agente de Pesquisa: Utiliza Modelos de Linguagem de Grande Escala (LLMs) para gerar manuscritos distintos e estilisticamente plausíveis. Crucialmente, este agente baixa modelos LaTeX específicos da conferência (arquivos .sty e .tex) para construir um "esqueleto de artigo" que corresponda perfeitamente aos requisitos de formatação do local, contornando assim a rejeição inicial baseada em falhas estruturais.
   • Agente de Submissão: Automatiza o processo logístico de submissão usando plataformas de gerenciamento de conferências (por exemplo, OpenReview). Ele trata do registro de contas (potencialmente aproveitando e-mails educacionais para ataques de Síbil), preenchimento de formulários via APIs e até mesmo réplicas automatizadas.
   • Validação de Viabilidade: Os autores conduziram um teste controlado, em pequena escala e ponta a ponta, onde um agente científico gerou um rascunho e um agente de submissão registrou e submeteu o manuscrito via OpenReview. O experimento confirmou a executabilidade técnica da cadeia de geração-registro-submissão.

Principais Contribuições

• Definição de um Novo Vetor de Ameaça: O artigo define formalmente o "Jogo do Denominador de Conferências por Agentes", distinguindo-o da simples inflação de conteúdo ou de fábricas de artigos tradicionais. Destaca a mudança da manipulação da qualidade do conteúdo para a manipulação do próprio mecanismo de seleção.
• Análise de Assimetria Econômica: Os autores demonstram um desequilíbrio acentuado onde os atacantes incorrem em custos marginais negligenciáveis (usando APIs de LLM baratas e plataformas de submissão gratuitas), enquanto a comunidade acadêmica arca com o ônus defensivo na forma de trabalho voluntário não remunerado e de alta qualificação (revisores e presidentes de comitê).
• Avaliação de Risco Sistêmico: O artigo analisa as consequências mais amplas, incluindo:
  • Esgotamento dos Revisores: Um fluxo de artigos de baixa qualidade degrada a relação sinal-ruído, acelerando a fadiga e afastando revisores experientes.
  • Crise de Segurança Epistêmica: A transição de fábricas de artigos impulsionadas por humanos para impulsionadas por agentes colapsa o custo da fraude acadêmica, tornando difícil confiar na autenticidade da literatura científica.
  • Erosão da Reputação: À medida que os limiares de aceitação são manipulados para baixo, o prestígio dos anais de conferência diminui, potencialmente desencadeando um ciclo vicioso de declínio na qualidade das submissões.

Resultados e Avaliação
O artigo não apresenta dados empíricos em grande escala sobre ataques bem-sucedidos (já que os autores aderiram à divulgação responsável, realizando apenas um teste mínimo de viabilidade de execução única). Em vez disso, os "resultados" são teóricos e analíticos:

• Viabilidade: A prova de conceito valida que as barreiras técnicas para lançar tal ataque são baixas.
• Ineficácia das Defesas Atuais: Os autores avaliam defesas potenciais e as consideram insuficientes:
  • Defesas Técnicas (Detectores de IA): Considerados pouco confiáveis devido a altas taxas de falsos positivos e à natureza de "gato e rato" da geração adversarial, onde os geradores podem ser ajustados para evadir detectores específicos.
  • Defesas de Política (Taxas de Submissão/Revisão Multietapa): Embora potencialmente eficazes, as taxas levantam preocupações de equidade, e a triagem prévia apenas transfere o ônus para os presidentes de comitê sem resolver o esgotamento de recursos.
  • Defesas Sistêmicas: Os autores argumentam que a única solução robusta reside em romper o vínculo entre o volume de submissões e os números de aceitação (por exemplo, limitando o número absoluto de artigos aceitos) ou implementando sistemas de submissão baseados em reputação.

Significância e Alegações
O artigo afirma que a comunidade acadêmica enfrenta uma vulnerabilidade pouco discutida que ameaça a integridade da validação científica. Argumenta que confiar principalmente na detecção técnica é uma estratégia perdedora contra um adversário determinado e automatizado. A significância deste trabalho reside em seu chamado por reformas proativas de políticas e incentivos em nível de sistema, em vez de correções técnicas reativas. Os autores instam a comunidade a abordar a vulnerabilidade estrutural raiz — a norma de taxa de aceitação estável — antes que tais ataques se tornem rotineiros, salvaguardando assim a confiança e a sustentabilidade do ecossistema de publicações acadêmicas.