Resumo Técnico: Direcionando com Segurança ou de Cara com o Abismo? Repensando a Especificidade e a Robustez na Intervenção em Tempo de Inferência

Definição do Problema

O direcionamento de modelos (model steering — intervenções em tempo de inferência) surgiu como uma alternativa leve ao ajuste fino (fine-tuning) para controlar Grandes Modelos de Linguagem (LLMs). Embora a eficácia desses métodos — se eles alteram com sucesso uma propriedade alvo — seja bem estudada, sua especificidade — se eles alteram apenas a propriedade alvo sem efeitos colaterais indesejados — permanece subexaminada.

As avaliações existentes focam frequentemente em se o direcionamento preserva a fluência geral ou o desempenho em benchmarks não relacionados. No entanto, em aplicações críticas de segurança, o direcionamento opera em espaços de representação emaranhados onde as intervenções podem degradar comportamentos intimamente relacionados à propriedade alvo, mesmo que habilidades não relacionadas permaneçam intactas. Especificamente, as avaliações atuais não consideram a especificidade de robustez: se o direcionamento preserva propriedades de segurança e controle sob mudanças de distribuição, como ataques de jailbreak adversariais.

Estrutura Proposta: Três Dimensões de Especificidade

Os autores propõem um framework para distinguir três dimensões de especificidade para fornecer uma visão mais completa da confiabilidade do direcionamento:

1. Especificidade Geral: O direcionamento preserva a fluência do modelo e o desempenho em tarefas não relacionadas à propriedade alvo (ex: conhecimento geral, raciocínio matemático)?
2. Especificidade de Controle: O direcionamento preserva comportamentos relacionados à propriedade alvo (propriedades de controle)? Por exemplo, ao direcionar para reduzir a sobre-recusa (overrefusal), o modelo ainda recusa corretamente consultas genuinamente prejudiciais?
3. Especificidade de Robustez: O direcionamento preserva essas propriedades de controle sob mudanças de distribuição, especificamente ataques adversariais (ex: prompts de jailbreak)?

O artigo argumenta que as verificações padrão de eficácia são insuficientes porque um método pode parecer preciso e seguro sob benchmarks padrão, enquanto compromete significativamente a segurança do modelo sob condições adversariais.

Metodologia

O estudo avalia uma ampla gama de técnicas de direcionamento existentes em LLMs ajustados por instrução (até 8B de parâmetros), incluindo:

• Não supervisionado/Baseado em representação: Diferença de Médias (Difference-in-Means, DiffMean), Sondagem Linear (Linear Probe), Autoencoders Esparsos (SAE).
• Supervisionado: Vetor de Direcionamento Supervisionado (SSV), Ajuste Fino de Representação de Posto-1 (ReFT-r1).
• Restrito: Ortogonalização Parcial (Partial Orthogonalization, PartialOR), que tenta explicitamente preservar as propriedades de controle.

Os autores investigam dois casos de uso críticos de segurança:

1. Direcionamento de Sobre-recusa (Overrefusal Steering): Reduzir a recusa excessiva em consultas benignas (pseudo-prejudiciais) enquanto mantém a recusa em consultas genuinamente prejudiciais.
2. Direcionamento de Alucinação de Fidelidade (Faithfulness Hallucination Steering): Melhorar a adesão ao contexto fornecido quando este contradiz o conhecimento interno, mantendo a precisão baseada no conhecimento interno quando nenhum contexto é fornecido.

Configuração Experimental:

• Modelos: Llama-3.1-8B, Llama-3.2-3B, Qwen-2.5-7B e Gemma-2-2B.
• Datasets: PHTest, JailbreakBench, Alpaca e NQSwap.
• Avaliação: Os autores comparam o "direcionamento não restrito" (visando apenas a propriedade desejada) contra o "direcionamento restrito" (incluindo explicitamente exemplos de controle no treinamento). Eles medem eficácia, especificidade geral (MMLU, GSM8K, perplexidade), especificidade de controle (segurança em consultas prejudiciais padrão) e especificidade de robustez (segurança em consultas prejudiciais prefixadas com ataques de jailbreak).

Principais Resultados

O estudo revela um padrão consistente em todos os modelos e métodos de direcionamento:

1. Alta Eficácia: Os métodos de direcionamento reduzem com sucesso a sobre-recusa e as alucinações de fidelidade, tanto em distribuição quanto fora de distribuição.
2. Especificidade Geral Preservada: O direcionamento mantém amplamente as capacidades gerais do modelo (fluência, MMLU, GSM8K), com apenas degradações menores e, muitas vezes, insignificantes.
3. Especificidade de Controle Preservada (Em Distribuição): Sob configurações padrão, os métodos de direcionamento geralmente preservam a capacidade do modelo de recusar consultas prejudiciais. As pontuações de segurança em conjuntos de dados prejudiciais canônicos permanecem amplamente intactas.
4. Falha na Especificidade de Robustez: Esta é a descoberta crítica. Apesar de preservar a segurança em consultas prejudiciais padrão, todos os métodos de direcionamento aumentam significativamente a suscetibilidade do modelo a ataques de jailbreak.
   • Por exemplo, no Llama-8B-Instruct, o direcionamento levou a uma queda de 35–55% na robustez contra jailbreak.
   • No Qwen-7B, a suscetibilidade aumentou entre 20–30%.
   • Mesmo os métodos explicitamente projetados para controlar a segurança (como o PartialOR) falharam em manter a robustez sob mudanças adversariais.
5. Compromissos (Trade-offs): Existe uma forte correlação inversa entre ganhos de utilidade (redução da sobre-recusa) e robustez. Métodos que alcançam os maiores ganhos de eficácia costumam sofrer as maiores quedas na robustez contra jailbreak.

Análise de Mecanismo:
A Análise de Componentes Principais (PCA) das ativações ocultas revela que as consultas prejudiciais com prefixos de jailbreak possuem representações que se deslocam em direção à região das consultas inofensivas. Os vetores de direcionamento, treinados para aumentar a conformidade ao longo da direção que separa ativações benignas de prejudiciais, inadvertidamente amplificam a conformidade para esses inputs adversariamente disfarçados porque as representações latentes não são limpa e puramente separadas sob transformação.

Significância e Alegações

O artigo afirma fornecer a primeira avaliação sistemática de especificidade no direcionamento de modelos através das dimensões geral, de controle e de robustez.

• Insuficiência das Verificações Atuais: Os autores argumentam que as verificações padrão de eficácia e especificidade (focando apenas em fluência ou segurança em distribuição) são insuficientes. Sem a avaliação de robustez, os métodos de direcionamento podem parecer confiáveis mesmo quando comprometem a segurança do modelo.
• Representações Emaranhadas: Os resultados sugerem que os métodos de direcionamento atuais não conseguem disentangular (desemaranhar) as representações latentes o suficiente para lidar com mudanças adversariais. Intervenções que efetivamente reduzem a sobre-recusa tendem a erodir a robustez, indicando que as representações subjacentes de "seguro" e "inseguro" não são linearmente separáveis de uma forma que permita um controle preciso e robusto.
• Chamada para uma Avaliação Holística: O trabalho ressalta a necessidade de avaliar o direcionamento não apenas para eficácia, mas também para especificidade e robustez. Os autores alertam que, sem tal avaliação, as intervenções destinadas a melhorar a utilidade podem inadvertidamente enfraquecer a segurança do modelo, particularmente em aplicações críticas de segurança.

O artigo conclui que, embora o direcionamento seja uma ferramenta promissora, ele atualmente carece da especificidade de robustez necessária para uma implantação confiável em ambientes adversariais, exigindo novas técnicas que generalizem bem fora de distribuição tanto para eficácia quanto para segurança.