A Lightweight Explainable Guardrail for Prompt Safety

Este artigo apresenta o LEG, uma barreira de segurança leve e explicável que utiliza aprendizado multi-tarefa, dados sintéticos com mitigação de viés e uma nova função de perda ponderada por incerteza para alcançar desempenho de classificação e explicação de segurança de prompts no estado da arte com um tamanho de modelo significativamente menor.

O essencial

Imagine que você tem um assistente robótico muito poderoso e criativo (um Modelo de Linguagem de Grande Escala, ou LLM) que pode escrever histórias, resolver problemas de matemática e conversar com você. Mas, como qualquer ferramenta poderosa, ele às vezes pode ser enganado a dizer algo perigoso, como como construir uma bomba ou espalhar ódio.

Para evitar isso, geralmente colocamos um "segurança" na frente do robô. Se alguém fizer uma pergunta ruim, o segurança a impede antes mesmo que o robô a ouça.

O problema com os guardas de segurança atuais é que eles são:

1. Muito pesados e lentos: São como tanques gigantes e lentos que levam muito tempo para verificar cada pergunta.
2. Silenciosos: Dizem "Não", mas não conseguem explicar por que disseram não. É como um porteiro que o expulsa sem dizer qual regra você violou.

Este artigo apresenta um novo tipo de guarda chamado LEG (Guardrail Explicável e Leve). Pense no LEG como um analista de segurança de olhos atentos e pensamento rápido, pequeno o suficiente para caber no seu bolso, mas inteligente o suficiente para identificar problemas e explicar exatamente o que deu errado.

Veja como o LEG funciona, dividido em partes simples:

1. O Detetive Dois-em-Um (Aprendizado Multi-tarefa)

A maioria dos guardas de segurança tem apenas uma função: decidir se uma pergunta é "Segura" ou "Insegura". O LEG tem duas funções ao mesmo tempo:

• Função A: Decidir se a pergunta é segura.
• Função B: Apontar com o dedo as palavras específicas na pergunta que a tornaram insegura.

A Analogia: Imagine um professor corrigindo a redação de um aluno.

• Um guarda normal apenas coloca um grande "F" vermelho no papel.
• O LEG coloca um "F" vermelho e destaca a frase específica que violou as regras, dizendo: "Você reprovou porque usou estas três palavras".

2. O Treinamento do "Advogado do Diabo" (Dados Sintéticos)

Para ensinar o LEG a identificar as palavras ruins, os pesquisadores precisaram de muitos exemplos. Mas os humanos estão ocupados, e os dados existentes não tinham as "palavras destacadas" necessárias para ensinar o LEG.

Então, eles usaram um truque inteligente com outra IA para gerar os dados de treinamento. Eles jogaram uma partida de "Advogado do Diabo" contra a IA de treinamento:

• Eles perguntaram à IA: "Por que esta pergunta é segura?" (Mesmo que ela fosse realmente insegura).
• Depois perguntaram: "Por que esta pergunta é insegura?"
• O Truque: Se a IA ficasse confusa por seu próprio viés (pensando que a pergunta era segura apenas porque perguntaram "por que é segura?"), os pesquisadores descartavam essa resposta. Eles mantinham apenas as respostas onde a IA argumentava corretamente contra o viés.
• O Resultado: O LEG aprendeu com exemplos de alta qualidade de "contra-viés", ensinando-o a observar o contexto das palavras, e não apenas as palavras em si.

3. O Mecanismo de "Foco" (A Função de Perda)

Quando o LEG está aprendendo, às vezes ele fica confuso com exemplos complicados. Os pesquisadores deram ao LEG uma ferramenta especial de "foco".

• A Analogia: Imagine que o LEG está estudando para uma prova. Se ele acertar uma pergunta fácil, não precisa estudá-la novamente. Mas se errar uma pergunta difícil, o LEG recebe um "empurrão" para estudar aquela pergunta específica com esforço extra.
• Isso garante que o LEG gaste sua energia nos casos difíceis e confusos, em vez de desperdiçar tempo com os fáceis.

4. Por que o LEG é uma Mudança de Jogo

O artigo afirma que o LEG supera os melhores guardas de segurança atuais em três aspectos principais:

• É Rápido e Leve: Enquanto outros guardas são como caminhões pesados (ocupando enormes quantidades de memória e tempo de computador), o LEG é como uma carrinho de patins. É minúsculo (algumas versões são 75 vezes menores que a concorrência), mas tão rápido quanto, senão mais rápido.
• É Honesto (Fiel): Como o LEG destaca as palavras específicas que usou para tomar sua decisão, sabemos que ele não está apenas chutando. Os pesquisadores testaram isso "abafando" as palavras que o LEG destacou. Quando fizeram isso, o LEG ficou confuso e não conseguiu mais tomar a decisão correta. Isso prova que o LEG está realmente olhando para as pistas certas.
• É Inteligente em Novas Situações: O LEG foi testado em perguntas que ele nunca havia visto antes (Fora do Domínio). Mesmo quando as perguntas eram totalmente novas, o LEG performou tão bem quanto, ou melhor do que, os guardas gigantes e lentos.

Resumo

O artigo apresenta o LEG como um novo guarda de segurança para IA, minúsculo e rápido. Diferente dos guardas atuais, que são lentos e silenciosos, o LEG reage rapidamente e pode apontar exatamente as palavras que tornam uma pergunta perigosa. Ele aprendeu essa habilidade jogando uma partida inteligente de "Advogado do Diabo" com outras IAs para criar seu próprio manual de treinamento, e provou que consegue lidar com situações complicadas sem precisar de um computador massivo para executá-lo.

Resumo técnico

1. Declaração do Problema

A implantação de Modelos de Linguagem de Grande Porte (LLMs) exige mecanismos de segurança robustos para prevenir a geração de conteúdo prejudicial, ilegal ou inadequado. As soluções de segurança existentes enfrentam três limitações críticas:

• Falta de Explicabilidade: A maioria dos modelos de segurança (por exemplo, Llama Guard, ShieldGemma) atua como "caixas pretas", sinalizando prompts como inseguros sem fornecer razões interpretáveis ou destacar palavras problemáticas específicas. Isso prejudica a transparência e a auditoria.
• Alta Sobrecarga Computacional: As barreiras de segurança (guardrails) mais avançadas frequentemente dependem de LLMs grandes (por exemplo, 7B–8B parâmetros), resultando em alta latência de inferência e uso de memória, o que é inadequado para aplicações em tempo real.
• Rigidez: Métodos baseados em alinhamento (RLHF, DPO) exigem o retreinamento do LLM base para abordar novas preocupações de segurança, o que é custoso e inflexível.

Os autores propõem o LEG (Lightweight Explainable Guardrail), uma solução modular e de baixa latência que classifica simultaneamente a segurança do prompt e fornece explicações fiáveis em nível de palavra.

2. Metodologia

O LEG emprega uma arquitetura de Aprendizado Multitarefa (MTL) projetada para otimizar conjuntamente a classificação de prompts e a geração de explicações.

A. Arquitetura

• Codificador Compartilhado: Um codificador Transformer leve (baseado no DeBERTa-v3) serve como base.
• Duas Cabeças (Heads):
  1. Classificador de Prompt: Uma cabeça linear que prevê um rótulo binário (Seguro/Inseguro) para o prompt inteiro.
  2. Classificador de Explicação: Uma cabeça linear em nível de token que atribui um rótulo binário (Seguro/Inseguro) a cada palavra na entrada, identificando os termos específicos que impulsionam a decisão.
• Eficiência: O modelo é significativamente menor (22M a 304M parâmetros) em comparação com as barreiras de segurança existentes (frequentemente >1B parâmetros).

B. Geração de Dados Sintéticos (Endereçando a Escassez de Dados)

Como os conjuntos de dados existentes carecem de rótulos de explicação em nível de palavra, os autores introduzem uma estratégia inovadora para gerar dados sintéticos de explicação usando um LLM (GPT-4o-mini), mitigando o viés de confirmação:

1. Consulta Adversarial: Para um determinado prompt, o LLM é consultado duas vezes com suposições opostas:
   • Consulta 1: "Por que este prompt é seguro? Liste as palavras."
   • Consulta 2: "Por que este prompt é inseguro? Liste as palavras."
2. Verificação de Consistência: O sistema verifica se o LLM se alinha corretamente ao rótulo de verdade fundamental (ground-truth) em uma consulta e contradiz a suposição oposta na outra.
3. Extração de Rótulos: Se o raciocínio do LLM for consistente com a verdade fundamental em ambas as consultas, a interseção das palavras identificadas é usada como o rótulo sintético. Se o LLM sucumbir ao viés de confirmação (por exemplo, justificando um prompt inseguro como seguro), nenhum rótulo de palavra é gerado para aquela instância.

C. Treinamento Conjunto e Função de Perda

O modelo é treinado usando uma nova Função de Perda Conjunta que combina supervisão forte com supervisão fraca:
$$L = \frac{1}{2\sigma_1^2} L_{pc} + \frac{1}{2\sigma_2^2} L_{ec} + \log \sigma_1 + \log \sigma_2$$

• $L_{pc}$ (Perda de Classificação de Prompt): Combina Entropia Cruzada com Perda Focal, modulada por um sinal de supervisão fraca ($\delta_p$). Este sinal aumenta o peso da perda para instâncias difíceis ou mal classificadas com base nas estatísticas de polarização global de tokens.
• $L_{ec}$ (Perda de Explicabilidade): Combina similarmente Entropia Cruzada e Perda Focal em nível de token, modulada por um sinal de polarização em nível de token ($\delta_t$).
• Ponderação por Incerteza: Os parâmetros $\sigma_1$ e $\sigma_2$ são aprendíveis, equilibrando dinamicamente as duas tarefas para evitar que uma domine a otimização.

3. Principais Contribuições

1. Arquitetura MTL Inovadora: Um modelo leve que aprende conjuntamente a classificação de segurança e a explicação em nível de palavra, garantindo que as explicações sejam fiáveis ao processo de decisão.
2. Dados Sintéticos Resistentes a Viés: Uma estratégia para gerar rótulos de alta qualidade em nível de palavra, aproveitando e contrapondo o viés de confirmação de LLMs, permitindo treinamento supervisionado para explicabilidade sem anotação humana massiva.
3. Função de Perda Avançada: Uma perda conjunta que incorpora ponderação baseada em incerteza e modulação de perda focal para lidar efetivamente com desequilíbrio de classes e casos difíceis.
4. Avaliação Abrangente: Testes rigorosos em cenários dentro do domínio (in-domain) e fora do domínio (OOD), demonstrando que o LEG supera ou iguala modelos muito maiores.

4. Resultados Experimentais

Os autores avaliaram o LEG em três conjuntos de dados: AEGIS2.0, WildGuardMix e ToxicChat0124.

• Desempenho na Classificação de Prompt:
  • O LEG (especificamente a variante "Large" de 304M) alcançou desempenho Estado da Arte (SOTA) ou próximo do SOTA em configurações dentro e fora do domínio.
  • Superou significativamente a API de Moderação da OpenAI (61,41% vs. 69,98% F1 no ToxicChat OOD) e igualou modelos de 8B parâmetros (como Llama Guard 3), apesar de ser ~25 vezes menor.
• Desempenho em Explicabilidade:
  • O LEG alcançou pontuações F1 SOTA para classificação de explicação em nível de palavra, superando significativamente métodos post-hoc como LIME e SHAP, bem como classificadores de tokens independentes.
  • Avaliação de Fidelidade: Um teste de perturbação por mascaramento de palavras confirmou que mascarar as palavras identificadas pelo LEG como "inseguras" causou uma queda significativa na precisão da classificação, provando que as explicações estão causalmente ligadas à decisão do modelo.
• Eficiência Computacional:
  • Tempo de Inferência: O LEG xs (22M parâmetros) processa entradas em 7,81 ms, comparado a 26–36 ms para o GuardReasoner e >57 ms para o Llama Guard 3.
  • Memória: O LEG utiliza 1,01 GB de memória de GPU, enquanto o GuardReasoner requer até 78 GB.
• Robustez:
  • O LEG manteve um desempenho forte no XSTest (prompts benignos com palavras-chave prejudiciais), mostrando que depende do contexto em vez de heurísticas superficiais de palavras-chave.
  • Generalizou-se bem para tópicos de risco não vistos e categorias de segurança de granularidade fina.

5. Significado

Este artigo aborda uma lacuna crítica na segurança de LLMs, fornecendo uma solução que é leve, modular e explicável.

• Implantação Prática: Sua baixa latência e pegada de memória tornam viável a integração em tempo real em diversas pipelines de LLM sem exigir retreinamento caro do modelo base.
• Confiança e Transparência: Ao fornecer explicações fiáveis em nível de palavra, o LEG permite que auditores de segurança e desenvolvedores entendam por que um prompt foi bloqueado, facilitando um melhor alinhamento de políticas e depuração.
• Inovação Metodológica: A abordagem para gerar dados sintéticos de explicação, contrapondo o viés de confirmação, oferece um novo paradigma para a criação de conjuntos de dados supervisionados para tarefas de explicabilidade onde anotações humanas são escassas.

Em resumo, o LEG demonstra que barreiras de segurança explicáveis e de alto desempenho não exigem recursos computacionais massivos, desafiando a premissa predominante de que segurança e explicabilidade devem ocorrer à custa da eficiência.