Has This Checkpoint Been Abliterated? A Two-Signal Audit and Its Failure Map

Resumo Técnico: "Este Checkpoint foi Abliterado? Uma Auditoria de Dois Sinais e seu Mapa de Falhas"

Definição do Problema
A rápida proliferação de modelos de "pesos abertos" que foram "abliterados" (privados de mecanismos de recusa) representa um desafio significativo para plataformas e órgãos de governança. Esses artefatos costumam aparecer logo após o lançamento de grandes modelos base. As salvaguardas de tempo de execução atuais são insuficientes para auditorias pré-implantação porque pontuam as gerações do modelo, em vez do próprio artefato do modelo. Além disso, o acesso de caixa-preta isoladamente não pode sustentar auditorias rigorosas. A questão central abordada é: Um artefato de checkpoint específico teve seu mecanismo de recusa removido?

Metodologia
Os autores propõem uma auditoria de checkpoint livre de limiares que combina dois sinais internos complementares, padronizados e somados para criar um único escore. A auditoria requer um checkpoint candidato ($M_c$) e um checkpoint de referência confiável e atestado ($M_b$).

1. Lacuna de Recusa de Ativação Ancorada na Referência ($\rho$):

   • Mecanismo: Calcula a razão da lacuna de ativação "prejudicial-menos-benigna" no modelo candidato versus o modelo de referência.
   • Definição: $\rho = \text{gap}(M_c) / \text{gap}(M_b)$, onde a lacuna é a diferença média das ativações do último token sobre prompts prejudiciais vs. benignos em uma banda de camada de meio de empilhamento.
   • Função: Fornece especificidade de recusa. Um valor próximo de 1 indica um mecanismo de recusa intacto; um valor próximo de 0 indica remoção.
   • Limitação: É limitado a uma única direção (a direção da diferença de médias) e pode perder remoções ao longo de direções não canônicas ou em modelos com destilação de raciocínio onde a recusa migra para a cadeia de pensamento (chain-of-thought).

2. Energia de Recuperação de Pesos ($E_1$):

   • Mecanismo: Mede a fração de energia de rank-1 da diferença de pesos ($\Delta W = W_b - W_c$) nas matrizes de projeção de saída de atenção e de down-MLP.
   • Definição: $E_1 = \frac{1}{|W|} \sum \frac{\sigma_1^2(\Delta W_m)}{\sum \sigma_i^2(\Delta W_m)}$.
   • Função: Fornece recall. Detecta qualquer edição de peso de baixo rank, capturando remoções multidirecionais que a lacuna de ativação perde.
   • Limitação: Não consegue distinguir entre a remoção de recusa e edições benignas de baixo rank (ex: ajuste fino agressivo) por si só.

3. Detector Combinado:

   • Os dois sinais são negativamente correlacionados ($r \approx -0.41$) e complementares em rotulagem.
   • O escore final é a soma de seus z-scores: $s(M_c) = z(-\rho) + z(E_1)$.
   • O sistema utiliza padronização transdutiva baseada em uma população de referência e define um ponto de operação via estatística $J$ de Youden em um conjunto de calibração.

Principais Contribuições

1. Detector de Triagem de Checkpoint Eficaz: O somatório de z-scores alcança um AUROC de 0,95 em um registro de 273 checkpoints (57 não censurados, 37 benignos), superando significativamente qualquer sinal isolado (0,84 e 0,90). Ele se transfere para famílias de modelos não vistos com uma acurácia balanceada de 0,89 (FPR 0,11).
2. Mapa de Falhas: O artigo mapeia explicitamente dois modos de falha:
   • Referência Simulada (Spoofed Reference): Se a referência declarada for ela própria adversarial (já abliterada) ou se o candidato for usado como sua própria referência, a auditoria falha sem qualquer treinamento ($\Delta W=0, \rho=1$).
   • Evasão de Caixa-Branca (White-Box Evasion): Um proprietário de caixa-branca pode treinar um checkpoint para evadir o detector (levando o escore abaixo do limiar) enquanto mantém o comportamento inseguro e a coerência.
3. Registro Público: A avaliação é conduzida em um registro de 273 checkpoints abrangendo Qwen, DeepSeek-distilled Qwen, Llama e Gemma, incluindo negativos benignos (ajustes finos, merges, ajustes de instrução).

Resultados

• Separabilidade: O detector combinado separa 53 dos 57 checkpoints não censurados de edições benignas. Os 4 casos perdidos foram variantes ordinárias de abliteração, não "receitas difíceis" complexas.
• Transferibilidade: Sob uma calibração de "deixar uma família de fora", o detector mantém alto desempenho (Acurácia Balanceada 0,89), enquanto métodos de limiar absoluto (como AMS Tier-1) falham significativamente (Acurácia Balanceada 0,35).
• Complementaridade: A lacuna de ativação falha quando a recusa é removida ao longo de múltiplas direções ou escondida em traços de raciocínio; a energia de peso captura isso, mas sinaliza excessivamente edições benignas. A combinação mitiga essas fraquezas individuais.
• Evasão: Um ataque adaptativo de caixa-branca conseguiu levar um modelo Qwen2.5-1.5B do status de "detectado" para "evadido" ao longo de 600 passos de treinamento. O modelo resultante permaneceu inseguro para o controle (20/20 prompts prejudiciais) e coerente, incorrendo apenas em um pequeno "imposto de ofuscação" no conhecimento geral e matemática.

Significância e Alegações
O artigo posiciona esta auditoria como uma ferramenta de triagem eficaz, não uma solução à prova de manipulação.

• Utilidade: Fornece um filtro rápido e barato para plataformas sinalizarem checkpoints para revisão humana antes do implante, reduzindo significativamente a dependência da pontuação de geração em tempo de execução.
• Limites: Os autores afirmam explicitamente que as alegações da auditoria são limitadas pelo registro avaliado e pela suposição de uma referência atestada.
• Uso Dual: O artigo reconhece que a própria metodologia fornece uma "receita de evasão consciente da detecção", observando que o ajuste fino natural não abre essa vulnerabilidade, mas a otimização direcionada sim.
• Modéstia: Os autores não alegam resolver o problema da segurança totalmente. Eles enfatizam que a auditoria depende inteiramente da integridade da atestação base; se a referência for simulada, a auditoria é nula na raiz. Além disso, a capacidade de evasão de caixa-branca demonstra que proprietários determinados podem treinar para superar esses sinais enquanto mantêm o comportamento inseguro.