GAVEL: Towards Rule-Based Safety Through Activation Monitoring

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão cada vez mais vulneráveis a ataques de representação, onde intenções nocivas são ofuscadas ou parafraseadas no texto superficial, contornando filtros tradicionais de entrada/saída. Embora o monitoramento baseado em ativação (detecção de conceitos nocivos nos estados ocultos internos do modelo) ofereça uma solução, as abordagens existentes sofrem com três limitações críticas:

1. Baixa Precisão: Detectores treinados em conjuntos de dados de uso indevido amplos (por exemplo, "discurso de ódio" genérico) geram altas taxas de falsos positivos (por exemplo, sinalizar discussões culturais benignas).
2. Flexibilidade Limitada: A imposição de políticas nuances e específicas de domínio (por exemplo, violação específica de propriedade intelectual ou regras corporativas) exige o re-treinamento de detectores ou a coleta de novos conjuntos de dados caros para cada alteração de política.
3. Falta de Interpretabilidade: Quando um detector é acionado, frequentemente não fornece uma explicação do porquê ou de quais conceitos específicos causaram o alarme, dificultando a auditoria e a responsabilização.

2. Metodologia: O Framework GAVEL

Os autores propõem o GAVEL (Governance via Activation-based Verification and Extensible Logic), uma mudança de paradigma da classificação grosseira para a segurança baseada em regras de ativação. O framework decompõe o comportamento do modelo em primitivas interpretáveis e impõe a segurança por meio de regras lógicas.

A. Elementos Cognitivos (ECs)

Em vez de detectar categorias amplas, o GAVEL define Elementos Cognitivos (ECs): primitivas de nível de ativação, finas e interpretáveis, que representam comportamentos, tarefas ou tópicos específicos do modelo.

• Exemplos: "Fazer uma ameaça", "Processamento de pagamento", "Mascarar-se como humano", "Elaboração de consulta SQL" ou "Construir confiança".
• Conjuntos de Dados de Excitação: Para capturar um EC específico, os autores constroem conjuntos de dados apenas de texto ($D_c$) contendo exemplares desse comportamento. Eles utilizam uma estratégia específica de prompt ("Pense sobre [EC] enquanto revisa...") para elicitar ativações internas fortes e alinhadas.
• Extração de Características: As ativações são extraídas das saídas de atenção das camadas intermediárias a posteriores do transformer (especificamente as camadas 13–26 no Mistral-7B), que foram encontradas como gerando maior precisão de detecção e menores falsos positivos do que os estados ocultos MLP.

B. Detecção Multi-Rótulo

Um classificador multi-rótulo ($g$) leve é treinado nos vetores de ativação coletados. Diferentemente dos classificadores de rótulo único, este modelo pode detectar múltiplos ECs simultaneamente dentro de um único token (por exemplo, um token pode acionar tanto "Ameaçar" quanto "Ferramentas de Pagamento"). Isso permite que o sistema lide com estados cognitivos complexos e sobrepostos.

C. Aplicação Baseada em Regras

As restrições de segurança são definidas como regras lógicas Booleanas sobre a presença de ECs.

• Sintaxe: As regras seguem uma sintaxe legível por humanos, semelhante a ferramentas de cibersegurança (por exemplo, Snort, YARA): parar se <condição>.
• Lógica: As condições são fórmulas Booleanas usando E ($\land$), OU ($\lor$) e NÃO ($\neg$) sobre as probabilidades dos ECs.
  • Exemplo: parar se Ameaça E Pagamento E Interpretação (detecta um padrão específico de golpe enquanto permite "Ameaça" em contextos não financeiros).
• Monitoramento Temporal: As regras são avaliadas sobre uma janela deslizante de tokens para capturar comportamentos dependentes de contexto (por exemplo, um golpe que constrói confiança ao longo de várias trocas antes de pedir dinheiro).

D. Fluxo de Trabalho

1. Contribuição da Comunidade: A comunidade contribui com conjuntos de dados de ECs apenas de texto e conjuntos de regras (agnósticos ao modelo).
2. Configuração: Um proprietário de modelo seleciona os ECs relevantes e compõe regras com base em sua política específica.
3. Treinamento: O proprietário treina o classificador multi-rótulo em seu modelo específico usando os conjuntos de dados de EC fornecidos.
4. Implantação: O sistema é executado em tempo real, classificando ativações de tokens e acionando ações (parar, substituir, direcionar) quando as regras são disparadas.

3. Contribuições Principais

1. Elementos Cognitivos (ECs): Introdução de um vocabulário modular e composicional de primitivas de ativação interpretáveis que desacopla a definição de segurança do treinamento do modelo.
2. Framework GAVEL: Um sistema prático para definir, compartilhar e impor políticas de segurança por meio de regras lógicas sobre ECs, permitindo configuração rápida sem re-treinar o modelo base.
3. Recursos Abertos: Lançamento do código-fonte do GAVEL, GAVEL Studio (uma ferramenta interativa de autoria de regras), um vocabulário inicial de ECs e um pipeline para automatizar a geração de regras/ECs usando agentes LLM.
4. Mudança de Paradigma: Movendo a segurança da IA de detectores estáticos e opacos de caixa preta para sistemas baseados em regras transparentes, auditáveis e colaborativos, inspirados em práticas de cibersegurança.

4. Resultados Experimentais

Os autores avaliaram o GAVEL no Mistral-7B em nove categorias de uso indevido (Cibercrime, Dano Psicológico, Automação de Golpes) e o compararam com bases de referência, incluindo Llama Guard, Perspective API, RepBending e classificadores de ativação padrão.

• Precisão e Revocação: O GAVEL alcançou pontuações AUC > 0,98 e taxas de Falsos Positivos (FPR) próximas de zero na maioria das categorias. Superou significativamente as bases de referência em precisão, particularmente em cenários complexos como "Golpes de Autoridade Tributária" e "Isca Romântica".
• Robustez a Ataques Adversariais:
  • Desvio: Quando o conteúdo nocivo foi diluído com texto benigno, juízes baseados em texto (GPT-4) falharam (a detecção caiu para ~12%), enquanto o GAVEL manteve >85% de revocação monitorando estados internos.
  • Evasão: O GAVEL permaneceu robusto contra tentativas de esconder intenções via reescrita.
• Generalização:
  • Entre Modelos: ECs treinados em um modelo transferiram-se efetivamente para outros (Llama3, Qwen, Gemma) com perda mínima de desempenho.
  • Entre Idiomas: ECs definidos em inglês generalizaram-se para espanhol e mandarim com degradação de desempenho negligenciável, provando que capturam conceitos abstratos em vez de tokens superficiais.
• Eficiência: O sobrecarga do GAVEL é negligenciável (<1% de aumento na latência, ~0,21ms por token), tornando-o viável para implantação em tempo real.

5. Significado

• Interpretabilidade e Auditabilidade: Diferentemente de detectores de caixa preta, o GAVEL fornece razões explícitas para violações de segurança (por exemplo, "Regra disparada porque 'Ameaça' E 'Pagamento' foram detectados"), permitindo auditoria com intervenção humana.
• Escalabilidade e Colaboração: Ao desacoplar o "o quê" (ECs) do "como" (regras), o framework permite que a comunidade compartilhe componentes de segurança. Organizações podem adotar ECs pré-treinados e simplesmente configurar regras para suas necessidades específicas, evitando o custo de re-treinamento.
• Flexibilidade de Política: Permite a imposição de políticas nuances e específicas de domínio (por exemplo, "Permitir discussão de discurso de ódio em contextos acadêmicos, mas bloqueá-lo no atendimento ao cliente") que são impossíveis de definir com conjuntos de dados de uso indevido genéricos.
• Futuro da Governança de IA: O GAVEL estabelece uma fundação para um ecossistema de segurança de IA colaborativo, transparente e programável, espelhando o sucesso do compartilhamento de regras na cibersegurança.