Beyond Creed: A Non-Identity Safety Condition A Strong Empirical Alternative to Identity Framing in Low-Data LoRA Fine-Tuning

1. Problema e Motivação

O alinhamento de segurança em Grandes Modelos de Linguagem (LLMs) é frequentemente tratado através de regras explícitas (como na Constitutional AI) ou através de framing de identidade (onde o modelo é instruído a agir como uma persona com crenças ou valores específicos).

• Hipótese Dominante: Existe uma crença intuitiva e amplamente aceita de que enquadrar a segurança como parte da "identidade" ou "credo" do assistente (ex: "Eu sou um assistente que se recusa a fazer mal") torna o alinhamento mais estável e robusto do que simplesmente listar regras externas.
• Questão de Pesquisa: Este trabalho questiona se o uso de linguagem de "credo" (creed-style) e manutenção de identidade são realmente necessários para obter os maiores ganhos de segurança, ou se a eficácia observada pode ser atribuída a outros fatores, como o estilo retórico e a clareza das instruções, independentemente da semântica de identidade.

2. Metodologia

Os autores realizaram um estudo de controle rigoroso utilizando Fine-tuning com LoRA (Low-Rank Adaptation) em cenários de baixa quantidade de dados (low-data).

• Modelos Avaliados: Três famílias de modelos instruídos de diferentes arquiteturas e tamanhos:
  • Llama 3.1 8B
  • Qwen2.5 7B
  • Gemma 3 4B
• Condições de Supervisão (4 Grupos): Todos os grupos utilizam as mesmas regras de segurança centrais, mas diferem na formulação do prompt de supervisão e na composição dos dados de treinamento:
  • Grupo A (Constitucional): Regras de segurança seculares padrão (formato de lista de regras).
  • Grupo B (Credo): O mesmo conteúdo de segurança reescrito como "tenets" (princípios) ancorados na identidade do assistente (linguagem de credo).
  • Grupo C (Credo + Cauda de ID): O mesmo prompt de credo do Grupo B, mas com 20 exemplos neutros substituídos por exemplos de "manutenção de identidade" (onde o modelo descreve seu mundo, confissões e reflete sobre sua natureza em primeira pessoa).
  • Grupo D (Não-Identidade): O conteúdo de segurança é idêntico ao dos grupos A e B, mas remove todas as referências explícitas à identidade, credo ou autodescrição religiosa. O Grupo D imita o estilo retórico, tom e comprimento do Grupo B, mas sem o componente de identidade.
• Dados de Treinamento: Conjuntos de dados sintéticos e controlados (aprox. 130 exemplos por condição), incluindo recusas a pedidos prejudiciais, recusas a jailbreaks e exemplos neutros.
• Avaliação de Segurança: Utilização do HarmBench (320 comportamentos).
  • Pipeline de Julgamento: Um sistema dual-judge combinando modelos hospedados na AWS Bedrock (DeepSeek v3.2 e Sonnet 4.6). Casos de discordância ou limítrofes foram resolvidos manualmente por humanos com critérios rigorosos (qualquer passo operacional útil para o ataque é considerado falha de segurança).
• Avaliação de Capacidade: Testes em MMLU e ARC-Challenge para garantir que os ganhos de segurança não degradassem a inteligência geral do modelo.

3. Principais Contribuições

1. Comparação Controlada: Fornecem uma comparação direta de quatro formatos de supervisão, isolando o efeito da linguagem de identidade.
2. Desafio Empírico à Hipótese do Credo: Demonstram que a condição de "não-identidade" (Grupo D) supera consistentemente o "credo" (Grupo B) e as variantes de identidade, desafiando a versão forte da hipótese de que a internalização de identidade é necessária para a máxima robustez.
3. Ganhos Magnos: O Grupo D apresentou ganhos significativos sobre a linha de base (média de +19.1 pontos percentuais), superando amplamente os ganhos do Credo (+6.7pp) e das regras constitucionais puras (+3.3pp).
4. Sem Trade-off de Capacidade: Confirmaram que os modelos com maior segurança (Grupo D) não sofreram degradação mensurável em tarefas de conhecimento geral (MMLU/ARC).
5. Levante Prático: Posicionam a redação e o tom da supervisão como alavancas de segurança práticas e baseadas em dados, ao lado de métodos de otimização complexos.

4. Resultados Chave

• Desempenho Geral (HarmBench): A ordem descritiva consistente foi D > B > C ≥ A > Baseline.
  • Llama 3.1: D (74.4%) > B (67.8%) > A (64.1%).
  • Gemma 3: D (76.9%) > B (57.5%) > A (52.8%).
  • Qwen2.5: D (74.1%) > B (62.8%) > A (61.3%).
• Análise Estatística: O Grupo D superou significativamente o Grupo B em todos os modelos (p < 0.001), com as maiores margens observadas no Gemma (+19.4pp) e Qwen (+11.2pp).
• Robustez: A vantagem do Grupo D foi consistente em todas as categorias do HarmBench (padrão, contextual e direitos autorais), indicando que a melhoria não é um artefato de um tipo específico de comportamento, mas sim uma mudança no prior de recusa do modelo.
• Capacidade: As variações nos scores de MMLU e ARC-Challenge entre os grupos foram mínimas (máximo de 0.24pp em MMLU e 0.94pp em ARC), provando que a segurança aprimorada não veio à custa da utilidade do modelo.

5. Significado e Conclusão

O artigo conclui que, no contexto de fine-tuning LoRA com poucos dados em modelos de escala pequena a média:

• A linguagem de "credo" não é o determinante primário: A suposição de que a identidade religiosa ou de credo é essencial para a segurança robusta é refutada empiricamente neste cenário.
• O estilo importa mais que a semântica de identidade: Os ganhos atribuídos ao "credo" podem ser explicados por fatores como clareza, tom direto, concisão e compromisso semântico forte, que podem ser alcançados sem a linguagem de identidade.
• Implicações para Pesquisa: A curadoria de dados para segurança deve focar mais na redação, tom e decisividade das instruções do que na tentativa de forçar uma "personalidade" ou "credo" no modelo. O Grupo D sugere que é possível obter o melhor alinhamento removendo a linguagem de identidade, mantendo a estrutura retórica forte.

Em suma, o trabalho oferece um desafio empírico bem delimitado à ideia de que a "internalização de identidade" é a chave para a segurança, sugerindo que a condição de não-identidade bem casada é, atualmente, a estratégia mais eficaz para fine-tuning de segurança em modelos menores.