Security in LLM-as-a-Judge: A Comprehensive SoK

Título: Segurança em LLM-como-Juiz: Uma Sistematização Abrangente do Conhecimento (SoK)

1. O Problema

O paradigma LLM-as-a-Judge (LaaJ) — onde modelos de linguagem grandes (LLMs) são utilizados para avaliar a qualidade, segurança ou correção de saídas geradas por outros modelos — tornou-se fundamental para a escalabilidade de processos de avaliação em IA. No entanto, a integração desses juízes automatizados em pipelines críticos introduziu riscos de segurança e confiabilidade que permanecem amplamente inexplorados.

O problema central identificado é a vulnerabilidade sistêmica dos juízes baseados em LLM. Eles não são apenas ferramentas passivas de avaliação, mas podem se tornar:

1. Alvos de ataques: Manipulados para alterar suas avaliações (ex: inflar pontuações de respostas ruins).
2. Instrumentos de ataque: Utilizados por adversários para otimizar e refinar ataques contra outros sistemas.
3. Fontes de viés: Apresentando inconsistências, viés de posição, viés de comprimento e suscetibilidade a injeção de prompts, comprometendo a integridade de benchmarks e sistemas de segurança.

A literatura atual está fragmentada, com estudos espalhados entre NLP, segurança de software e segurança de IA, sem um quadro unificado que analise especificamente as implicações de segurança do paradigma LaaJ.

2. Metodologia

Os autores realizaram uma Sistematização do Conhecimento (SoK) rigorosa seguindo os seguintes passos:

• Coleta de Dados: Busca abrangente em bases de dados acadêmicas principais (Google Scholar, IEEE Xplore, ACM Digital Library, Springer, ScienceDirect) e no arXiv.
• Critérios de Seleção: Foram analisados 863 trabalhos publicados entre 2020 e 2026. Após filtragem por qualidade (priorizando revistas Q1 e conferências A*/A, excluindo revisões de literatura e duplicatas), 45 estudos relevantes foram selecionados para análise detalhada.
• Abordagem Analítica: Os trabalhos foram categorizados com base no papel que o LaaJ desempenha no cenário de segurança, resultando em uma nova taxonomia. A análise focou em ataques, defesas, métricas de avaliação e aplicações em domínios de segurança.

3. Contribuições Principais

O artigo oferece as seguintes contribuições originais:

1. Primeira Visão Abrangente de Segurança: É o primeiro SoK focado exclusivamente nos aspectos de segurança dos sistemas LaaJ.
2. Nova Taxonomia de Segurança: Propõe uma classificação que distingue cinco perspectivas:
   • Ataques contra sistemas LaaJ (manipulação do juiz).
   • Ataques realizados através de LaaJ (uso do juiz como ferramenta de ataque).
   • Defesas que utilizam LaaJ para detecção de ameaças.
   • LaaJ como alvo de avaliação (meta-avaliação da confiabilidade do juiz).
   • LaaJ como estratégia de avaliação em aplicações de segurança.
3. Análise Comparativa: Uma revisão crítica das limitações atuais, lacunas de pesquisa e tendências emergentes.
4. Identificação de Desafios Abertos: Mapeamento de oportunidades para pesquisa futura visando sistemas mais robustos e confiáveis.

4. Resultados e Descobertas Chave

A análise dos 45 trabalhos selecionados revelou vulnerabilidades críticas e tendências importantes:

A. LaaJ como Alvo de Ataques (Threat Landscape)

• Ataques de Tempo de Treinamento:
  • Envenenamento de Dados (Poisoning): A contaminação de apenas 1% dos dados de treinamento de um juiz pode inflar drasticamente as pontuações de atacantes (ex: BadJudge).
  • Manipulação de Rubricas (RIPD): Adversários podem alterar as instruções (rubricas) em linguagem natural para desviar as preferências do juiz em domínios específicos, mantendo a performance em benchmarks padrão. Isso é invisível para revisores humanos.
• Ataques de Tempo de Inferência:
  • Injeção de Prompt: Técnicas como "JudgeDeceiver" e "JudgeDeceiver" alcançam taxas de sucesso de ataque (ASR) de 89% a 99%, manipulando o juiz para ignorar instruções originais.
  • Viés de Segmentação de Tokens: Ataques como "Emoji Attack" exploram como emojis alteram a tokenização, reduzindo a detecção de conteúdo inseguro em até 12% (e até 96% em modelos específicos como ShieldLM).
  • Chaves Mestras (Master Keys): Entradas triviais (como "Thought process:" ou pontuação) podem eliciar recompensas falsas em modelos de recompensa, explorando a tendência do juiz de "resolver" o problema em vez de avaliar a resposta.

B. LaaJ como Instrumento de Ataque

• O paradigma LaaJ pode ser reutilizado para otimizar ataques. Por exemplo, em Backdoors Contextuais, um LLM juiz é usado para refinar demonstrações envenenadas em um processo adversarial, aumentando a taxa de sucesso de ataques em agentes autônomos de mais de 90%.

C. LaaJ como Estratégia de Defesa e Avaliação

• Detecção de Ameaças: LaaJ está sendo usado para detectar malware, injeção de SQL/XSS e anomalias em redes, oferecendo explicabilidade (XAI) que métodos tradicionais não possuem.
• Revisão de Código e Engenharia de Software: LaaJ auxilia na revisão de patches e detecção de vulnerabilidades, mas enfrenta desafios de precisão e alucinação.
• Governança: Ferramentas estão sendo desenvolvidas para detectar se um código foi gerado por IA (integridade acadêmica) e monitorar o uso indevido de agentes de IA.

D. Limitações e Viéses

• Os juízes LLM sofrem de viés de posição (favorecer a primeira resposta), viés de verbosidade (favorecer respostas longas) e viés de auto-reforço (favorecer suas próprias saídas).
• A confiabilidade varia drasticamente dependendo do modelo, do prompt e do domínio, com erros de avaliação superiores a 50% em testes de estresse.

5. Significado e Impacto

Este trabalho é fundamental para o campo de IA Segura por:

1. Alertar sobre Riscos Críticos: Demonstra que a automação da avaliação via LaaJ, sem salvaguardas de segurança, pode corromper pipelines de RLHF (Reinforcement Learning from Human Feedback), benchmarks de segurança e sistemas de filtragem de conteúdo.
2. Fornecer um Mapa de Caminhos: A taxonomia proposta permite que pesquisadores e engenheiros classifiquem ameaças e projetem defesas específicas (ex: comitês de juízes, detecção de injeção, validação de rubricas).
3. Definir a Agenda de Pesquisa: Identifica a necessidade urgente de benchmarks padronizados para segurança de LaaJ, métodos de defesa robustos contra injeção de prompts e frameworks que combinem supervisão humana com avaliação automatizada.

Em suma, o artigo conclui que, à medida que o LaaJ se torna uma autoridade de decisão em sistemas críticos, a robustez adversarial e a confiabilidade desses juízes devem ser tratadas como requisitos de segurança primários, e não como características secundárias.