Safety Is Not Universal: The Selective Safety Trap in LLM Alignment

1. Declaração do Problema

As avaliações de segurança atuais para Modelos de Linguagem de Grande Escala (LLMs) criam uma ilusão perigosa de proteção universal. Ao agregar danos sob categorias genéricas (por exemplo, "Ódio à Identidade"), os benchmarks existentes obscurecem vulnerabilidades críticas em relação a populações específicas. Os autores identificam um modo de falha sistêmico denominado Armadilha de Segurança Seletiva, onde os modelos defendem robustamente grupos demográficos específicos e de alta visibilidade (frequentemente dominantes nos dados de treinamento centrados nos EUA), deixando comunidades sub-representadas altamente vulneráveis a ataques adversariais idênticos.

O desafio central é que o alinhamento de segurança não é uma capacidade semântica uniforme, mas sim uma hierarquia demográfica. As métricas atuais falham em determinar para quem um modelo é seguro, levando a uma falsa sensação de segurança onde a segurança é meramente sobreajustada a minorias específicas presentes na distribuição de dados, deixando a "cauda longa" de grupos sub-representados indefesa.

2. Metodologia

A. MiJaBench (Benchmark de Jailbreaking para Minorias)

Para auditar sistematicamente esse fenômeno, os autores introduziram o MiJaBench, um benchmark adversarial bilíngue (Inglês–Português) projetado para isolar vulnerabilidades específicas de demografia.

• Escala: 43.961 prompts de jailbreaking controlados.
• Cobertura: 16 grupos minoritários distintos (por exemplo, Negros, LGBTQIA+, Pessoas com Deficiência, Imigrantes, Idosos).
• Pipeline de Construção:
  1. Semente de Discurso de Ódio: Derivada de ToxiGen (Inglês) e ToxSyn (Português) para garantir contexto cultural nativo, em vez de artefatos de tradução automática.
  2. Cenário Contextual: 21 categorias narrativas diversas (por exemplo, História, Tecnologia Futurista, Mitologia) para impor geração de alta entropia e evitar convergência determinística do modelo.
  3. Estratégia de Jailbreaking: Quatro técnicas adversariais controladas:
     • Atribuição de Persona: Cenários de interpretação de papéis.
     • Mudança de Representação: Ofuscação via línguas de baixo recurso, JSON ou Leetspeak.
     • Cadeia de Pensamento (CoT): Decomposição da intenção prejudicial em etapas lógicas.
     • Racionalização Lógica: Enquadramento do discurso de ódio como um exercício analítico.
  4. Reescrevedor Adversarial: Um pipeline estocástico usando Qwen-3-235B para sintetizar esses componentes em prompts coesos que contornam filtros de segurança, preservando a intenção prejudicial original.

B. MiJaBench-Align

Os autores executaram o MiJaBench em 14 LLMs de última geração (incluindo Llama-3, Gemma-3, Qwen-3, GPT-4o mini e Gemini 2.0 Flash), variando de 1B a mais de 70B de parâmetros. Isso gerou 615.454 pares prompt-resposta, formando o corpus MiJaBench-Align.

C. Protocolo de Avaliação

• Métrica: Taxa de Defesa (DR), o inverso da Taxa de Sucesso do Ataque (ASR).
• LLM como Juiz: Um sistema de avaliação automatizado usando um ensemble de voto majoritário de modelos de ponta (Qwen-3, Llama-3.3, GPT-OSS) para classificar as respostas como "Seguras" ou "Perigosas".
• Verdade Terrena: Validada por especialistas humanos usando um protocolo estrito de classificação binária focado no sucesso técnico (o modelo produziu o conteúdo prejudicial?) em vez de ofensividade subjetiva.

3. Principais Contribuições

1. MiJaBench & MiJaBench-Align: O primeiro benchmark bilíngue e em grande escala projetado especificamente para auditar vulnerabilidades de segurança específicas de demografia, indo além de taxonomias genéricas de danos.
2. Identificação da Armadilha de Segurança Seletiva: Evidência empírica mostrando que o alinhamento de segurança não é universal. As taxas de defesa flutuam em até 42% dentro do mesmo modelo, exclusivamente com base na demografia-alvo.
3. O Paradoxo da Escala: A descoberta de que aumentar o tamanho do modelo (escalabilidade) atua como um amplificador de viés. Modelos maiores melhoram a segurança média, mas alocam desproporcionalmente sua capacidade aumentada para proteger grupos dominantes, ampliando a lacuna de segurança para minorias sub-representadas.
4. Alinhamento Equitativo via DPO: Uma demonstração de que a Otimização Direta de Preferência (DPO) direcionada em um modelo de pequena escala (1 bilhão de parâmetros) pode alcançar forte generalização zero-shot para demografias e estratégias de ataque não vistas, provando que a segurança seletiva é uma falha solúvel de objetivos de alinhamento, e não uma restrição arquitetônica.

4. Principais Resultados

• Disparidade Demográfica: Os modelos exibem um sistema de segurança de "dois níveis". Por exemplo, em inglês, os modelos mostraram um desvio de +12,29% na taxa de defesa para comunidades Negras, mas um desvio de -8,05% para Pessoas com Deficiência.
• Consistência Cross-Linguística: A hierarquia de segurança persiste em português, confirmando que o viés está codificado nas representações semânticas latentes do modelo, em vez de ser um artefato superficial dos dados de treinamento em inglês. No entanto, a magnitude da disparidade é ligeiramente menor em português, provavelmente devido a menos sobreajuste a discursos sociopolíticos específicos dos EUA.
• Efeitos de Escala:
  • Família Qwen-3: A escalabilidade de 1,7B para 32B de parâmetros aumentou a taxa global de defesa de 2% para 16%, mas a disparidade (desvio padrão entre grupos) aumentou de 0,004 para 0,062.
  • Anomalia: O modelo Llama-3.2-1B alcançou uma taxa global de defesa de 36% com limites de disparidade significativamente mais apertados ($\sigma \approx 0,059$), superando modelos muito maiores (por exemplo, Qwen-3-32B em 16%, GPT-4o mini em 28%). Isso sugere que a disparidade severa não é uma restrição inevitável de capacidade, mas uma falha de alocação de alinhamento.
• Vulnerabilidade à Lógica: Os modelos são significativamente mais vulneráveis a jailbreaks de Racionalização Lógica e Cadeia de Pensamento (DR $\approx$ 7–23%) em comparação com Mudança de Representação (DR $\approx$ 39%), indicando que os modelos priorizam o seguimento de instruções lógicas em vez de restrições de segurança quando o dano é enquadrado como uma premissa.

5. Significado e Implicações

• Redefinição da Avaliação de Segurança: O artigo argumenta que pontuações agregadas de segurança são enganosas. A verdadeira segurança exige auditoria do desempenho através de interseções demográficas específicas, e não apenas categorias amplas.
• Crítica às Leis de Escala: Desafia a suposição de que "maior é mais seguro", demonstrando que, sem intervenção direcionada, a escalabilidade exacerba a desigualdade ao superotimizar para grupos de alto recurso e alta visibilidade.
• Caminho para IA Equitativa: O sucesso da DPO em um modelo de 1B prova que modelos pequenos podem aprender um conceito generalizado e transferível de dano. Isso oferece um caminho viável e computacionalmente eficiente para mitigar a segurança seletiva sem exigir retreinamento massivo de modelos de fronteira.
• Relevância Global: Ao incluir o português, o estudo destaca que as lacunas de segurança não são exclusivas de contextos de língua inglesa, mas são questões sistêmicas nas representações latentes de modelos multilíngues, necessitando de treinamento de segurança culturalmente diverso.

Em conclusão, o artigo fornece um framework de diagnóstico (MiJaBench) e uma estratégia de remediação (DPO) para transicionar a segurança de LLMs de um privilégio seletivo para alguns grupos para proteção equitativa para todas as comunidades.