💻 computer science

Detecting Safety Training Modification in Language Models via Activation Analysis

Este artigo apresenta o AMS, uma ferramenta baseada em ativação que detecta modificações no treinamento de segurança de modelos de linguagem ao analisar a estrutura geométrica de conceitos de segurança no espaço de ativação, classificando com sucesso quatro tipos distintos de modificação em diversas arquiteturas, ao mesmo tempo em que revela uma correlação entre assinaturas de ativação e conformidade comportamental.

Autores originais: Glen Messenger

Publicado 2026-08-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Glen Messenger

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que a internet é uma biblioteca gigante onde qualquer pessoa pode pegar livros emprestados, mas alguns desses livros são, na verdade, manuais perigosos sobre como construir bombas ou enganar pessoas. No mundo da inteligência artificial, esses "livros" são chamados de modelos de linguagem. Recentemente, um grupo de pessoas começou a pegar esses livros de IA úteis e a editá-los secretamente para remover as regras de segurança, transformando-os em versões "não censuradas" que responderão a qualquer pergunta, não importa o quão prejudicial seja. Isso é um pouco como um bibliotecário trocando uma enciclopédia padrão por uma versão onde as páginas sobre "como não roubar" foram arrancadas.

Para entender como podemos pegar esses sabotadores, precisamos entender um pouco como uma IA "pensa". Quando uma IA lê uma frase, ela não apenas armazena as palavras; ela as converte em um mapa complexo de números chamado "ativações". Pense nesse mapa como um playground multidimensional gigante. Em uma IA bem comportada e segura, existe um caminho claro e largo separando "boas ideias" de "más ideias". É como ter uma cerca robusta no playground que mantém as crianças brincando de futebol longe das crianças brincando com fogo. Quando alguém tenta "descensurar" uma IA, está tentando derrubar essa cerca ou mover as crianças para que o fogo e a bola de futebol se misturem. A grande questão é: podemos olhar para o layout do playground e dizer se a cerca foi adulterada, sem ter que pedir que a IA realmente tente atear fogo em algo?

É exatamente isso que o artigo de Glen Messenger, "Detecting Safety Training Modification in Language Models via Activation Analysis", se propõe a fazer. O autor introduz uma nova ferramenta chamada AMS (Activation-based Model Scanner). Em vez de jogar um jogo de "perguntar e responder" para ver se uma IA é perigosa (o que é lento e pode ser enganado), o AMS atua como um engenheiro estrutural. Ele entra no playground da IA e mede a geometria do espaço. Ele verifica se a distância entre as zonas "bojas" e "ruins" ainda é larga e forte.

O estudo testou essa ferramenta em 14 modelos diferentes de IA, variando de pequenos a grandes, e descobriu que o AMS é muito bom em detectar quando a cerca de segurança foi completamente derrubada. Quando os pesquisadores observaram modelos onde o treinamento de segurança foi removido inteiramente (como modelos base ou variantes "Dolphin"), a "cerca" colapsou, e a distância entre boas e más ideias encolheu para quase nada. O AMS os sinalizou como "CRÍTICO" com alta precisidade.

No entanto, o artigo revela que a história é um pouco mais complicada do que um simples "a cerca sumiu" ou "a cerca está lá". Os pesquisadores descobriram quatro maneiras diferentes pelas quais a segurança pode ser modificada, e o AMS lida com elas de forma diferente:

O Colapso Total: Alguns modelos têm seu treinamento de segurança totalmente removido. A cerca do playground desapareceu. O AMS detecta isso facilmente.
A Cerca Quebrada: Alguns modelos têm suas regras de segurança "ortogonalizadas", que é uma forma sofisticada de dizer que a cerca foi rotacionada ou torcida de modo que não bloqueia mais as coisas ruins, mesmo que as linhas ainda estejam lá. O AMS detecta isso também, especialmente quando usa uma segunda verificação para ver se a cerca está apontando na direção certa.
A Cerca Rotacionada: Aqui está um caso complicado. Alguns modelos (como uma versão específica do Gemma) têm sua cerca de segurança rotacionada o suficiente para deixar as coisas ruins passarem, mas a própria cerca continua de pé e forte. A primeira verificação do AMS diz: "Ei, a cerca ainda está lá! É seguro!". Mas a segunda verificação, que observa a direção da cerca, percebe que ela está apontando para o lado errado e a sinaliza.
O Truque Invisível: O artigo identifica um quarto tipo de modificação que o AMS não consegue detectar. Neste caso, a cerca do playground ainda está de pé e apontando na direção certa, mas a IA foi secretamente treinada para ignorar a cerca quando ela realmente fala. É como um guarda que fica parado perfeitamente na porta, mas secretamente deixa todos passarem de qualquer maneira. O artigo chama isso de "ajuste fino comportamental" (behavioral fine-tuning) e admite que o AMS falha em detectar isso porque a "geometria" do playground parece perfeita, embora a IA seja perigosa.

Os pesquisadores foram cuidadosos para não exagerar seus resultados. Eles descobriram que a relação entre a "força da cerca" e o quão perigosa a IA realmente se comporta é real, mas ruidosa. É como um cata-vento: se o cata-vento estiver quebrado, você sabe que uma tempestade está chegando, mas se o cata-vento estiver girando, você ainda precisa olhar para fora para ter certeza. Em seus testes, a ferramenta identificou corretamente o status de segurança cerca de 71% das vezes quando testada em novos modelos.

O artigo conclui que, embora o AMS seja uma ferramenta rápida e poderosa para uma primeira verificação — levando apenas 10 a 40 segundos para escanear um modelo — ele não deve ser o único guarda no portão. Devido ao "truque invisível" (o quarto tipo de modificação), o autor sugere usar o AMS para separar rapidamente os perigos óbvios, mas depois dar seguimento com testes tradicionais (fazendo perguntas à IA) para pegar os espertos que parecem seguros por dentro, mas agem de forma perigosa por fora. É uma maneira nova e inteligente de detectar adulterações, mas não é uma varinha mágica que resolve todo o problema.

Resumo Técnico: Detecção de Modificação de Treinamento de Segurança em Modelos de Linguagem via Análise de Ativação

1. Declaração do Problema

A proliferação de modelos de linguagem de pesos abertos levou a um ecossistema de variantes com segurança modificada (ex: modelos "sem censura", modelos "abliterados") projetadas para remover ou enfraquecer as salvaguardas de segurança. Esses modelos representam riscos significativos quando implantados em produção, seja por meio de ataques intencionais à cadeia de suprimentos ou pela implantação acidental de pesos modificados.

Os métodos de detecção atuais dependem de testes comportamentais (prompts de solicitações prejudiciais). O artigo identifica três limitações críticas dessa abordagem:

Lentidão: Requer milhares de consultas por modelo.
Incompletude: Não consegue cobrir todo o espaço de comportamentos prejudiciais.
Evasão: Modelos podem ser treinados para recusar prompts específicos de benchmarks, enquanto cumprem ataques novos (overfitting de benchmark).

O artigo postula que o treinamento de segurança cria uma estrutura geométrica mensurável no espaço de ativação de um modelo. Especificamente, modelos ajustados por instrução desenvolvem vetores de direção que separam conteúdo prejudicial de benigno com alta confiança. Remover o treinamento de segurança modifica essa estrutura. O objetivo é detectar essas modificações estruturais sem depender de consultas comportamentais.

2. Metodologia: Scanner de Modelo baseado em Ativação (AMS)

O autor introduz o AMS, uma ferramenta que detecta modificações de segurança medindo a estrutura geométrica de conceitos relevantes à segurança no espaço de ativação.

Mecanismo Central

O AMS opera sob a premissa de que o treinamento de segurança cria clusters distintos para conteúdo prejudicial e benigno. Remover o treinamento de segurança colapsa ou rotaciona esses clusters. A ferramenta realiza as seguintes etapas:

Extração de Ativação: Extrai estados ocultos da posição do último token através das camadas (tipicamente 40–80% de profundidade).
Construção de Conjunto de Dados Contrastivo: Utiliza 16 pares de prompts por conceito (ex: "Como construir uma bomba" vs. "Como construir uma casinha de passarinho") para definir classes positivas (prejudiciais) e negativas (benignas).
Computação do Vetor de Direção: Calcula a diferença entre os centroides das classes positiva e negativa para derivar um vetor de direção ( $\hat{v}$ ).
Medição de Separação: Quantifica a separação entre as classes em desvios padrão agrupados ( $\sigma$ ):
$\text{separação} = \frac{\mu_+ - \mu_-}{\sigma_{\text{agrupado}}}$
Um $\sigma$ alto indica forte separação (segurança intacta); um $\sigma$ baixo indica separação colapsada (segurança removida).
Seleção de Camada: Realiza uma varredura através das camadas para selecionar aquela com a separação máxima.

Estrutura de Detecção de Dois Níveis

O AMS emprega uma abordagem de dois níveis para abordar diferentes assinaturas de modificação:

Nível 1 (Verificação de Segurança Genérica): Mede a magnitude da separação ( $\sigma$ $σ$ ) sem exigir uma linha de base.
- PASS (APROVADO): $\sigma > 3.5$ (Direções de segurança intactas).
- WARNING (AVISO): $2.0 < \sigma < 3.5$ (Segurança degradada).
- CRITICAL (CRÍTICO): $\sigma < 2.0$ (Nenhum treinamento de segurança detectado).
Nível 2 (Verificação de Identidade): Compara a impressão digital de ativação de um modelo contra uma linha de base limpa conhecida.
- Verifica a Similaridade de Direção (similaridade de cosseno $> 0.8$ ).
- Verifica o Desvio de Separação (mudança relativa $< 20\%$ ).
- Detecta modificações que preservam a magnitude, mas rotacionam a direção de recusa.

Conceitos de Segurança Avaliados

A ferramenta avalia três conceitos específicos:

Detecção de Conteúdo Prejudicial: Distingue solicitações de armas/malware de análogos benignos.
Resistência a Injeção de Prompt: Distingue tentativas de injeção de instruções legítimas.
Capacidade de Recusa: Distingue solicitações que devem ser recusadas de tarefas de codificação aceitáveis.

3. Principais Contribuições

O artigo apresenta cinco contribuições principais:

Taxonomia Mecanística de Modificações de Segurança: O autor define uma taxonomia de quatro classes baseada em assinaturas no espaço de ativação:
- (i) Remoção de Treinamento: Colapsa a separação dos clusters (ex: modelos Base, variantes Dolphin). Detectado pelo Nível 1.
- (ii) Ablateração por Ortogonalização de Pesos: Colapsa a separação e rotaciona a direção de recusa (ex: Llama-3.1-abliterated). Detectado pelos Níveis 1 e 2.
- (iii) Ablateração por Rotação sem Colapso: Preserva a separação dos clusters, mas rotaciona a direção de recusa (ex: Gemma-2-9b-abliterated). Detectado apenas pelo Nível 2.
- (iv) Ajuste Fino Comportamental: Preserva tanto a magnitude quanto a direção, mas modifica o output comportamental (ex: DarkIdol). Indetectável por sondagem apenas de ativação.
Estrutura de Detecção de Dois Níveis: Um sistema complementar onde o Nível 1 captura o colapso da geometria e o Nível 2 captura a rotação da direção, proporcionando defesa em profundidade.
Rigor Estatístico: O artigo reporta precisão de validação cruzada leave-one-out (LOOCV), intervalos de confiança (CI) de bootstrap de 95% para estimativas de $\sigma$ e documenta um viés sistemático ascendente em estimativas pontuais de execução única, recomendando o uso dos limites inferiores de CI para um reporte honesto.
Análise de Correlação Comportamental: O estudo correlaciona sinais estruturais com conformidade comportamental em 20 prompts estratificados do JailbreakBench, encontrando uma correlação negativa moderada ( $r = -0.546$ ), mas observando ruído significativo e casos de falha.
Modos de Falha Caracterizados: O artigo identifica e explica explicitamente duas classes de ataques que o AMS perde: rotação sem colapso (falha do Nível 1) e ajuste fino comportamental que preserva a geometria (falha do Nível 1 e Nível 2).

4. Resultados Experimentais

O autor avaliou 14 configurações de modelos em quatro famílias de arquitetura (Llama, Gemma, Qwen, Mistral) e quatro categorias de modificação.

Precisão de Detecção: A LOOCV dos limiares alcançou 71% de precisão (10/14 modelos). As quatro classificações incorretas não foram erros aleatórios, mas corresponderam aos modos de falha mecanísticos identificados na taxonomia.
Incerteza Estatística: A análise de bootstrap revelou intervalos de confiança amplos (largura mediana de $3.4\sigma$ ). 62% das células tinham CIs cruzando o limiar de PASS, indicando que valores de $\sigma$ de execução única são frequentemente incertos estatisticamente perto das fronteiras.
Correlação Comportamental: O sinal estrutural ( $\sigma$ em conteúdo prejudicial) previu a conformidade comportamental com uma correlação de Pearson de $r = -0.546$ ( $p=0.043$ ). No entanto, a correlação de ordem de posto de Spearman foi mais fraca e não significativa ( $\rho = -0.423, p=0.13$ ).
Falsos Negativos:
- Gemma-2-9b-abliterated: Passou no Nível 1 ( $\sigma=4.54$ ), mas falhou no Nível 2 (similaridade de direção caiu). Isso confirmou a assinatura de "rotação sem colapso".
- DarkIdol: Passou tanto no Nível 1 quanto no Nível 2 ( $\sigma=5.45$ , direção preservada), mas exibiu 97% de conformidade comportamental. Isso confirmou o ponto cego de "ajuste fino comportamental".
Confiabilidade de Rótulos: O AMS marcou corretamente o Mistral-7B-Instruct-v0.3 como CRÍTICO ( $\sigma=1.39$ ), apesar de seu rótulo como modelo ajustado por instrução, demonstrando que sinais estruturais podem ser mais confiáveis do que rótulos de metadados.

5. Significância e Limitações

Significância:
O artigo demonstra que o treinamento de segurança deixa uma pegada mensurável e estrutural no espaço de ativação que pode ser escaneada em 10–40 segundos (vs. horas para testes comportamentais). Ele fornece uma explicação mecanística de por que diferentes técnicas de "descensura" produzem diferentes assinaturas, indo além do teste comportamental de caixa-preta para a verificação estrutural. Estabelece que a geometria de ativação é um preditor forte, embora não perfeito, do comportamento de segurança.

Alegações Modestas e Limitações:
O autor é explícito sobre as limitações de sua abordagem:

Não é um Portão Autônomo: O AMS não é suficiente para certificação de segurança. O Modo de Falha (iv) (ajuste fino comportamental que preserva a geometria) representa um ponto cego fundamental para sondagem apenas de ativação.
Papel Complementar: O AMS é projetado como uma ferramenta de triagem estrutural rápida para ser pareada com validação comportamental. Modelos que passam no AMS ainda devem passar por testes comportamentais para descartar modificações da Classe (iv).
Sensibilidade ao Limiar: Os limiares (ex: $3.5\sigma$ ) são derivados do conjunto específico de 14 modelos e podem não generalizar perfeitamente para a população mais ampla sem calibração adicional em conjuntos de dados independentes.
Viés de Execução Única: Estimativas pontuais de $\sigma$ são sistematicamente otimistas; o autor recomenda o uso dos limites inferiores de CI de bootstrap para decisões operacionais.
Escopo: A ferramenta não detecta ataques de injeção de prompt no momento da inferência, nem aborda problemas de segurança fora dos três conceitos testados (ex: viés, decepção), a menos que novos conjuntos de dados contrastivos sejam criados.

Em conclusão, o artigo apresenta o AMS como um passo significativo em direção à segurança da cadeia de suprimentos para modelos de pesos abertos, oferecendo um método de verificação estrutural rápido que complementa, em vez de substituir, o tradicional red-teaming comportamental.