SafeReview: Defending LLM-based Review Systems Against Adversarial Hidden Prompts

1. Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais integrados à revisão por pares acadêmica (por exemplo, para ICLR e AAAI), eles enfrentam uma ameaça de segurança crítica: Prompts Ocultos Adversariais.

• A Ameaça: Autores maliciosos incorporam instruções covertas dentro de suas submissões (por exemplo, no Resumo ou na Conclusão) que enganam o revisor LLM a ignorar fraquezas, inflar pontuações ou fornecer revisões favoráveis.
• A Vulnerabilidade: Diferentemente da injeção de prompt padrão que sequestra a tarefa do sistema, prompts ocultos manipulam o resultado da avaliação enquanto mantêm a coerência semântica com o artigo.
• Limitações das Defesas Atuais: Defesas estáticas (treinadas em ataques conhecidos) falham porque as estratégias adversariais evoluem rapidamente. Métodos existentes lutam com documentos de longo formato (onde o texto malicioso é uma pequena fração do total) e frequentemente sacrificam a qualidade ou a justiça da revisão para alcançar robustez.

2. Metodologia: Framework SafeReview

Os autores propõem o SafeReview, um framework de treinamento adversarial co-evolutivo projetado para criar uma "corrida armamentista" dinâmica entre um atacante e um defensor. Esta abordagem vai além do treinamento estático ao adaptar continuamente ambos os modelos.

Componentes Principais

1. Gerador (Atacante):

   • Modelo: Qwen3-4B-Instruct.
   • Objetivo: Gerar prompts de injeção sofisticados ($\tau$) para manipular as pontuações de revisão.
   • Treinamento: Utiliza Otimização de Política Relativa em Grupo (GRPO).
   • Função de Recompensa: Uma recompensa híbrida equilibrando dois objetivos:
     • Disrupção de Classificação: Maximizar a diferença entre a correlação de Spearman do lote atacado versus a verdade fundamental.
     • Manipulação de Pontuação: Maximizar o aumento da pontuação ($\Delta s$) do artigo atacado.
   • Estratégia: Os prompts são inseridos aleatoriamente em seções padrão do artigo (Resumo, Metodologia, Conclusão, etc.) para garantir que o defensor aprenda a detectar ataques independentemente da localização.

2. Defensor (Revisor):

   • Modelo: DeepReviewer-14B (um LLM específico de domínio).
   • Objetivo: Manter pontuações de revisão precisas e imparciais, apesar das injeções adversariais.
   • Treinamento: Utiliza Otimização Direta de Preferência (DPO).
   • Pares de Preferência: Para cada artigo atacado ($p \oplus \tau$), o modelo é treinado para preferir a revisão gerada para a versão limpa do artigo ($y^+$) em vez da revisão gerada para a versão atacada ($y^-$).

O Processo Co-evolutivo

O framework opera em um loop iterativo (Algoritmo 1):

1. Evolução do Ataque: O Gerador usa GRPO para criar novos ataques mais difíceis com base nas vulnerabilidades atuais do Defensor.
2. Fortalecimento da Defesa: O Defensor usa DPO para aprender com esses novos ataques, atualizando sua política para rejeitar as entradas manipuladas.
3. Aprendizado de Currículo: Essa interação dinâmica cria naturalmente um currículo de dificuldade crescente, forçando o Defensor a generalizar contra modelos de ameaça em evolução, em vez de memorizar padrões de ataque específicos.

3. Contribuições Principais

1. Formulação: A primeira formulação da defesa contra prompts adversariais ocultos em revisão por pares como um problema de aprendizado co-evolutivo, onde as capacidades de ataque e defesa melhoram em conjunto.
2. Pipeline de Treinamento Estável: Um pipeline novel adaptado para documentos científicos de longo formato, combinando GRPO para geração de ataques e DPO para fortalecimento da defesa. Isso aborda a instabilidade do treinamento adversarial baseado em RL padrão em grandes modelos.
3. Avaliação Abrangente: Demonstrou que o SafeReview supera defesas estáticas e baselines existentes em múltiplas métricas, alcançando preservação de classificação e justiça superiores sem penalizar a escrita confiante legítima.

4. Resultados Experimentais

O framework foi avaliado no conjunto de dados DeepReview-13k e em um conjunto de dados do NeurIPS 2024.

• Baseline de Vulnerabilidade: Sem defesa, prompts ocultos adversariais inflaram significativamente as pontuações (por exemplo, a pontuação média aumentou de 5,72 para 7,33) e degradaram a correlação entre as pontuações da IA e a verdade fundamental.
• Desempenho da Defesa (vs. Ataques GRPO):
  • Correlação de Spearman: O SafeReview alcançou 0,409, uma melhoria de 19,2% sobre o DPO Estático (0,343) e significativamente maior que a baseline DeepReview (0,354). Isso indica uma capacidade superior de manter a classificação correta dos artigos.
  • Taxa de Falso Positivo (FPR): O SafeReview reduziu a taxa de aceitação errônea de artigos defeituosos para 38,2%, superando o DPO Estático (42,2%) e a Defesa do Sistema (43,6%).
  • Justiça (FNR): O SafeReview manteve uma baixa Taxa de Falso Negativo (36,1%), garantindo que artigos legítimos não fossem rejeitados injustamente.
• Generalização Cross-Arquitetura: Quando testado contra ataques gerados por uma família de modelos diferente (Llama-3.2-3B), o SafeReview manteve alta robustez (Spearman 0,392), provando que aprende características adversariais gerais em vez de superajustar a artefatos específicos do gerador.
• Análise de Justiça:
  • Escrita Confiante: O SafeReview mostrou uma melhoria de 10x na correlação de classificação para artigos "Aceitos" (que frequentemente usam linguagem confiante) em comparação com a baseline. Isso prova que o modelo não supercorrige ou penaliza a escrita assertiva legítima.
  • Alinhamento Humano: As classificações do SafeReview alinharam-se mais estreitamente com os julgamentos de especialistas humanos do que a baseline, particularmente para artigos rejeitados.

5. Significado e Impacto

• Integridade Acadêmica: O SafeReview fornece uma camada de segurança fundamental para a adoção crescente de IA na revisão por pares, garantindo que sistemas automatizados não possam ser facilmente manipulados para aceitar pesquisas de baixa qualidade.
• Paradigma de Defesa Dinâmica: Desloca o paradigma de segurança de "correções" estáticas para co-evolução dinâmica, o que é essencial para defender contra adversários adaptativos em domínios de ponta aberta como a escrita acadêmica.
• Implantação Prática: O framework demonstra que alta robustez pode ser alcançada sem sacrificar a qualidade das revisões para entradas benignas, tornando-o viável para fluxos de trabalho reais de conferências e periódicos.

Limitações e Trabalho Futuro:
O trabalho atual foca em injeções estilo instrução em veículos de Ciência da Computação. O trabalho futuro visa estender o framework para submissões multimodais, revisores baseados em APIs proprietárias (onde o ajuste fino é impossível) e perturbações semânticas mais sutis e não baseadas em instruções.