Resumo Técnico: GREAT - Ataques de Backdoor Generalizáveis em RLHF via Síntese de Gatilhos Sensíveis à Emoção

1. Declaração do Problema

O Aprendizado por Reforço com Feedback Humano (RLHF) tornou-se o paradigma padrão para alinhar Grandes Modelos de Linguagem (LLMs) com valores humanos, como utilidade e segurança. No entanto, estudos recentes demonstraram que os modelos RLHF são suscetíveis a ataques de backdoor, nos quais um adversário envenena uma pequena fração dos dados de alinhamento para implantar comportamentos maliciosos.

Os métodos de ataque de backdoor existentes em RLHF baseiam-se predominantemente em gatilhos fixos, como tokens raros (ex: "SUDO") ou pequenos conjuntos de frases naturais. Essas abordagens sofrem de limitações significativas em cenários realistas:

• Falta de Generalização: Elas exigem correspondências exatas ou quase exatas ao gatilho para ativar o backdoor, falhando em generalizar para variações não vistas ou entradas parafraseadas.
• Baixa Discrição (Stealth): Tokens raros são improváveis de ocorrer em interações naturais de usuários e são facilmente detectáveis.
• Impacto Limitado: Gatilhos fixos têm dificuldade em ativar comportamentos maliciosos através de diversas subpopulações de usuários, particularmente quando o adversário visa atingir padrões comportamentais específicos em vez de strings específicas.

O artigo identifica uma lacuna crítica: a ausência de um framework capaz de criar backdoors distribucionais que se generalizam para uma subpopulação alvo definida por intenção semântica e contexto emocional, em vez de padrões léxicos fixos.

2. Metodologia: O Framework GREAT

Os autores propõem o GREAT (Generalizable Backdoor Attacks in RLHF via Emotion-Aware Trigger Synthesis), um novo framework projetado para implantar backdoors que ativam especificamente quando a entrada de um usuário contém tanto intenção violenta quanto emoção de raiva. O framework opera através de três componentes principais:

A. Modelo de Ameaça

O ataque visa uma subpopulação específica $D_{sub}$, definida pela composição de prompts violentos pareados com expressões de raiva. O objetivo do adversário é envenenar um pequeno subconjunto de dados de treinamento de preferência ($S_p$) de modo que o modelo resultante ($\pi_p$) gere respostas prejudiciais sempre que uma entrada cair em $D_{sub}$, enquanto mantém o alinhamento benigno para todas as outras entradas. Assume-se que o adversário tem acesso a modelos generativos para a curadoria de gatilhos, mas não pode alterar as configurações de RLHF ou os internos do modelo.

B. Geração de Gatilhos: O Conjunto de Dados Erinyes

Para superar as limitações dos gatilhos fixos, o GREAT constrói um conjunto de dados de alta qualidade e diversificado de gatilhos de raiva naturais chamado Erinyes (contendo mais de 5.000 amostras). Isso é alcançado via uma estratégia de prompting hierárquica e estruturada usando GPT-4.1:

1. Seleção de Tópicos: Identificação de 7 domínios semânticos onde a raiva se manifesta naturalmente (ex: Esportes, Trabalho, Política).
2. Construção de Cenários: Curadoria de cenários diversos dentro de cada tópico para garantir riqueza contextual.
3. Variação de Facetas: Controle de seis facetas linguísticas (estilo, dialeto, profanidade, referências de identidade, intensidade emocional e tom) para gerar 960 combinações, das quais 71 combinações plausíveis são selecionadas.
4. Gatilhos Universais: Inclusão de expressões de raiva independentes de contexto.

C. Identificação e Síntese de Gatilhos no Espaço Latente

Em vez de selecionar gatilhos aleatoriamente, o GREAT emprega um pipeline para identificar gatilhos medoides representativos que maximizam a generalização do ataque:

1. Embedding e Redução de Dimensionalidade: Os gatilhos são mapeados para embeddings latentes usando um codificador congelado. A Análise de Componentes Principais (PCA) é aplicada para comprimir esses embeddings, capturando as variações dominantes na distribuição dos gatilhos enquanto reduz o ruído.
2. Agrupamento e Seleção de Medoides: O agrupamento $k$-means é realizado nos embeddings reduzidos por PCA. Para cada cluster, o medoide (a amostra mais próxima do centroide do cluster) é selecionado.
3. Construção do Conjunto de Dados Envenenado: Os gatilhos medoides selecionados são concatenados com prompts violentos do conjunto de treinamento. Os rótulos de preferência são invertidos para favorecer continuações prejudiciais em vez de recusas benignas.

Justificativa Teórica: O artigo fornece uma análise teórica (Proposição 5.1) baseada em funções de influência. Argumenta-se que a seleção de medoides em um espaço reduzido por PCA minimiza a distância média de características entre as amostras envenenadas e a subpopulação alvo. Isso amplia o alinhamento dos gradientes de política dentro dos clusters e reduz a sobreposição com as direções de autovetores mais agudas do Hessian limpo, thereby amplificando a influência propagada do veneno para gatilhos não vistos.

3. Contribuições Principais

• Definição de Modelo de Ameaça: O artigo introduz o primeiro modelo de ameaça para backdoors distribucionais em RLHF, mudando o foco de gatilhos fixos para ataques de subpopulação generalizáveis.
• O Framework GREAT: Um método inovador para criar backdoors sensíveis à emoção e generalizáveis usando seleção de medoides no espaço latente.
• Dataset Erinyes: Um conjunto de dados curado de mais de 5.000 gatilhos de raiva naturais e diversos, gerados via prompting estruturado.
• Insight Teórico: Uma justificativa formal explicando por que a redução de dimensionalidade baseada em PCA e a seleção de medoides melhoram a generalização do ataque em comparação com gatilhos aleatórios ou fixos.

4. Resultados Experimentais

Os autores avaliaram o GREAT em seis arquiteturas de LLM (incluindo OPT-1.3B, Gemma-2B e Llama-3.1-8B) utilizando o dataset Anthropic RLHF.

• Generalização de Ataque (ASRgen): O GREAT supera significativamente os baselines (o token raro fixo "SUDO" e gatilhos naturais aleatórios) ao atacar gatilhos não vistos. Por exemplo, no Llama-3.1-8B com um orçamento de envenenamento de 10%, o GREAT alcançou um ASRgen de 85,6%, comparado a 51,2% para o SUDO e 63,4% para gatilhos aleatórios.
• Discrição e Utilidade: O GREAT mantém baixas Taxas de Dano Não Intencionais (UHR) em entradas normais, comparáveis ou superiores aos baselines. A naturalidade dos gatilhos medoides resulta em um aumento de perplexidade de apenas 2,7%, enquanto o gatilho SUDO causou um aumento de 59%, tornando o GREAT significativamente mais difícil de detectar.
• Robustez a Defesas: O framework permanece eficaz contra seis defesas de backdoor existentes (incluindo ONION, Spectral Signatures e WAG), com apenas uma degradação marginal nas taxas de sucesso do ataque.
• Capacidades de Generalização:
  • Gatilhos OOD: O GREAT generaliza com sucesso para gatilhos Fora de Distribuição (OOD) de novos tópicos não vistos durante o treinamento.
  • Ativação Multi-turno: O backdoor é ativado em conversas de múltiplos turnos, frequentemente escalando de uma recusa para respostas prejudiciais após a introdução de gatilhos emocionais.
  • Transferibilidade PPO: O ataque transfere-se efetivamente para pipelines de RLHF baseados em PPO, não apenas DPO.

5. Significância e Alegações

O artigo afirma revelar uma vulnerabilidade crítica em sistemas de RLHF: a suscetibilidade a backdoors distribucionais que exploram subpopulações naturalistas condicionadas à emoção.

• Além dos Gatilhos Fixos: O trabalho demonstra que a suposição de gatilhos fixos é insuficiente para compreender a segurança do RLHF. Atacantes podem criar gatilhos que se generalizam através de variações linguísticas e intensidades emocionais.
• Relevância no Mundo Real: A instanciação específica (intenção violenta + raiva) visa um cenário de alto risco onde usuários emocionalmente carregados buscam conselhos acionáveis, destacando as potenciais consequências reais de tais vulnerabilidades.
• Implicações para Defesa: As descobertas ressaltam a inadequação dos mecanismos de defesa atuais, que muitas vezes dependem da detecção de anomalias superficiais ou padrões fixos. Os autores argumentam pela necessidade de desenvolver mecanismos de defesa mais fortes e adaptativos, capazes de identificar anomalias distribucionais e envenenamento ao nível de subpopulação.

Os autores posicionam este trabalho dentro do contexto de red-teaming e análise de segurança, visando informar o desenvolvimento de práticas de alinhamento mais robustas, em vez de fornecer uma ferramenta para implantação maliciosa. Eles reconhecem limitações, observando que o framework depende de decisões informadas por humanos para a geração de dados e que uma avaliação abrangente de todas as combinações possíveis de subpopulações permanece como um trabalho futuro.