Resumo Técnico: Quebrando a Segurança na Fronteira do Token

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) modernos são alinhados para segurança usando Aprendizado por Reforço com Feedback Humano (RLHF) e Otimização de Preferência Direta (DPO) para recusar solicitações prejudiciais. No entanto, esses mecanismos de segurança são sistematicamente contornados por perturbações em nível de caractere (ex: capitalização aleatória, leetspeak, embaralhamento de caracteres) que permanecem legíveis para humanos. Embora trabalhos anteriores tenham estabelecido que tais perturbações têm sucesso e que a tokenização Byte-Pair Encoding (BPE) é frágil, o mecanismo estrutural específico que conecta as perturbações de entrada à falha de segurança permanecia não caracterizado. Este artigo identifica e testa uma causa estrutural central: a tokenização BPE fragmenta palavras criticamente seguras em pedaços de sub-palavras, e os dados de treinamento de alinhamento não contêm entradas intencionalmente fragmentadas. Consequentemente, os modelos compreendem solicitações prejudiciais fragmentadas, mas falham em disparar o sinal de recusa treinado em texto limpo.

Metodologia

Os autores propõem e validam uma cadeia mecanística de ponta a ponta que conecta a fragmentação BPE à falha de segurança comportamental. O estudo abrange cinco famílias de modelos (Qwen-3-4B, Qwen-2.5-7B, Gemma-3-4B, Llama-3.1-8B, Mistral-7B) e utiliza as seguintes abordagens experimentais:

1. Otimização para Fragmentação: Um algoritmo ganancioso insere espaços nos prompts para maximizar a redução do "gap de logit" (a diferença entre o logit do token de recusa mais alto e o logit do token de conformidade mais alto). Isso testa se forçar a fragmentação BPE colapsa o gatilho de recusa.
2. Patching de Ativação: Para localizar a interrupção, os autores decompõem o gap de logit em contribuições por camada e usam o patching de ativação para substituir as ativações do fluxo residual fragmentadas por versões limpas, medindo a restauração do sinal de segurança.
3. Análise de Distribuição de Treinamento: Os autores escanearam 30.000 exemplos em três conjuntos de dados de alinhamento públicos (PKU-SafeRLHF, Anthropic HH-RLHF, BeaverTails) em busca de entradas fragmentadas (leetspeak, inserção de espaços, caixa mista).
4. Mutação Direcionada: Ataques Best-of-N (BoN) foram executados mutando exatamente uma palavra por vez para isolar se as palavras de segurança crítica eram o locus específico de interrupção em comparação com palavras neutras.
5. Avaliação de Defesa: Uma grade controlada de 68 células (55 checkpoints treinados) comparou configurações SFT e DPO. O estudo introduziu o Conv-Benign, um diagnóstico pareado que mede a taxa de recusa do modelo em prompts benignos sob a mesma sonda de fragmentação, para distinguir entre "reparo seletivo" de segurança e "colapso global" (excesso de recusa).

Resultados Principais

1. A Cadeia Mecanística

• Colapso por Fragmentação: A inserção de espaços (que garante a interrupção BPE enquanto preserva os caracteres) colapsou o sinal de recusa do primeiro token em 80–100% dos prompts prejudiciais do HarmBench em todas as cinco famílias de modelos.
• Impacto Comportamental: Dos prompts onde o sinal de recusa inverteu, 48% resultaram em saídas genuinamente prejudiciais (intervalo por modelo: 29–65%). A polaridade do gap de logit mostrou um ROC-AUC agrupado de 0.84 na previsão da recusa comportamental.
• Localização de Camada: A interrupção se localiza nos últimos ~30% das camadas. Nos modelos Qwen e Gemma, o sinal de recusa está concentrado em algumas camadas tardias (padrão concentrado), enquanto no Llama e Mistral, é distribuído por muitas camadas (padrão distribuído). O patching de ativação confirmou que a fragmentação interrompe causalmente essas vias específicas de camadas tardias.

2. Evidência de um Gap de Distribuição de Treinamento

• Zero Prompts Fragmentados: O levantamento de 30.000 exemplos de alinhamento encontrou zero prompts intencionalmente fragmentados.
• O Alinhamento Cria o Sinal: Modelos base (não alinhados) mostraram apenas sinais de recusa fracos em entradas fragmentadas. Modelos instruct (alinhados) mostraram sinais fortes em entradas limpas, mas esses sinais colapsaram quando as entradas foram fragmentadas. Isso confirma que o alinhamento cria o mecanismo de recusa, mas apenas para as tokenizações limpas.
• Compreensão vs. Recusa: Probes de completação de palavras mostraram que os modelos podem compreender palavras de segurança fragmentadas (30–60% de precisão), provando que o pré-treinamento ensina a compreensão de textos "sujos", enquanto o alinhamento falha em ensinar a recusa deles.
• Palavras de Segurança como Gargalo: Mutar palavras criticamente seguras produziu taxas de sucesso de ataque (ASR) significativamente maiores do que mutar palavras neutras, isolando as palavras de segurança como o locus de interrupção.

3. Limitações de Defesa

• Ineficácia do DPO: Nenhuma configuração DPO alcançou o fechamento estável de ASR nas famílias testadas. Embora algumas células DPO tenham reduzido o ASR, as melhorias não foram estáveis entre sementes ou tamanhos de pool.
• Colapso Global do SFT: O SFT treinado em prompts fragmentados fechou o ASR em 3 de 5 famílias (Llama, Mistral, Gemma), mas apenas via colapso global. Esses modelos exibiram uma queda massiva na recusa em prompts benignos (Conv-Benign), indicando que aprenderam a recusar tudo em vez de reparar seletivamente a lacuna de segurança.
• Diagnóstico Conv-Benign: A introdução do Conv-Benign revelou que as receitas atuais de alinhamento (LoRA-16) não podem reparar seletivamente o gap de fragmentação sem incorrer em um custo para a utilidade (excesso de recusa).

Significância e Alegações

O artigo afirma transformar jailbreaks de nível de caractere de uma observação empírica em uma explicação mecanística falsificável. A contribência central é identificar que a vulnerabilidade não é meramente uma falta de robustez, mas um descompasso estrutural: a tokenização BPE fragmenta tokens criticamente seguros, e o alinhamento de segurança nunca foi treinado nessas representações fragmentadas.

Os autores enfatizam que:

• O gap de logit é um diagnóstico de nível de gatilho, não uma condição suficiente para dano, mas é a primeira camada de um sistema de segurança multicamadas.
• As receitas atuais de fine-tuning (SFT/DPO) sob as restrições testadas (LoRA-16) falham em fechar o gap de distribuição seletivamente; elas ou falham em fechá-lo ou colapsam a utilidade do modelo globalmente.
• A segurança robusta provavelmente requer intervenções no ou acima do gargalo BPE (ex: correções ao nível do token ou raciocínio de Cadeia de Pensamento - CoT que reconstrua a semântica antes da decisão de segurança), em vez de apenas mais dados de alinhamento.

O estudo conclui que a "distribuição ausente" (entradas fragmentadas nos dados de alinhamento) é necessária, mas não suficiente para o reparo sob as receitas atuais, e que as falhas de segurança observadas são uma consequência direta da arquitetura de tokenização interagindo com a distribuição dos dados de treinamento.