Steering to Say No: Configurable Refusal via Activation Steering in Vision Language Models

Resumo Técnico: Steering to Say No: Configurable Refusal via Activation Steering in Vision Language Models

1. O Problema: Recusa "Tamanho Único" vs. Necessidades Diversas

Atualmente, os Modelos de Linguagem e Visão (VLMs) utilizam mecanismos de recusa de segurança que são, em sua maioria, estáticos e de "tamanho único" (one-size-fits-all). Isso significa que o modelo é treinado para recusar certas categorias de conteúdo de forma global, sem considerar o contexto do usuário ou regulamentações locais.

Isso gera dois problemas principais:

• Sub-recusa (Under-refusal): O modelo responde a perguntas que deveriam ser proibidas sob certas restrições.
• Sobre-recusa (Over-refusal): O modelo recusa perguntas legítimas e seguras porque o mecanismo de segurança é excessivamente amplo e não consegue distinguir entre o que está "dentro do escopo" e "fora do escopo" de uma restrição específica.

O desafio central é: como permitir que um VLM tenha uma recusa configurável, onde o usuário possa definir restrições específicas (ex: "não responda sobre criptomoedas") sem que o modelo perca a capacidade de responder sobre outros temas (ex: "biologia").

2. Metodologia: O Framework CR-VLM

Os autores propõem o CR-VLM (Configurable Refusal in VLMs), uma abordagem baseada em direcionamento de ativação (activation steering). Em vez de treinar o modelo inteiro (o que é caro), eles treinam um modelo leve de calibração que manipula as representações internas (estados ocultos) do VLM durante a inferência.

A metodologia é composta por três pilares integrados:

1. Extração de Vetor de Recusa via Teacher-Forced Mechanism: Para obter um sinal de recusa forte e limpo, os autores não usam apenas prompts de sistema (que podem ser fracos). Eles utilizam uma técnica de "professor": forçam o modelo a processar uma resposta de recusa pré-definida (ex: "Desculpe, não posso responder") durante a extração das ativações. Isso garante que o vetor de direção capturado represente o comportamento de recusa real, e não apenas uma variação semântica do prompt.
2. Mecanismo de Gating para Mitigar a Sobre-recusa: Para evitar que o modelo passe a recusar tudo, eles introduzem uma função de perda de gating e uma regularização de ortogonalidade. Isso força o modelo a aprender direções de intervenção separadas: uma para induzir a recusa (em casos fora do escopo) e outra para preservar a resposta original (em casos dentro do escopo), garantindo que as duas direções sejam matematicamente independentes (ortogonais).
3. Módulo de Realce de Visão Contrafactual (Counterfactual Vision Enhancement): Como os VLMs são multimodais, a recusa deve ser baseada tanto no texto quanto na imagem. Os autores desenham um objetivo de perda que alinha o deslocamento das ativações com evidências visuais, garantindo que o modelo "olhe" para a imagem para decidir se deve recusar ou não, evitando que o sinal de recusa seja puramente textual.

3. Principais Contribuições

• Primeiro Estudo Sistemático: É o primeiro trabalho a investigar a recusa configurável especificamente em modelos multimodais (VLMs).
• Abordagem Eficiente e Robusta: Propõe um método de steering que não exige o ajuste fino (fine-tuning) de todo o modelo base, sendo escalável e aplicável a diferentes arquiteturas.
• Alinhamento Adaptativo: Introduz a capacidade de alinhar a segurança do modelo às necessidades específicas do usuário ou do contexto regulatório.

4. Resultados Experimentais

Os testes foram realizados em diversos modelos (LLaVA-1.5, Idefics3, InstructBLIP) usando datasets como ScienceQA e MMMU.

• Eficácia na Recusa: O CR-VLM superou significativamente os métodos de fine-tuning e prompt-based steering, alcançando taxas de recusa próximas a 95% para consultas fora do escopo.
• Controle de Sobre-recusa: O método manteve taxas de sobre-recusa extremamente baixas (muitas vezes próximas de 0%), provando que o mecanismo de gating e ortogonalidade funciona para preservar respostas legítimas.
• Equilíbrio (MB-Score): Ao utilizar a métrica MB-Score (que equilibra taxa de recusa vs. taxa de sobre-recusa), o CR-VLM demonstrou ser o método mais equilibrado entre todos os baselines.
• Análise de Ativação: Visualizações via PCA confirmaram que o método desloca as ativações de consultas "fora do escopo" para um cluster de recusa bem definido, enquanto mantém as consultas "dentro do escopo" próximas às suas representações originais.

5. Significância

Este trabalho é significativo porque move a segurança de IA de um paradigma de "regras globais e rígidas" para um paradigma de "regras contextuais e personalizáveis". Isso abre caminho para assistentes de IA que podem ser adaptados para diferentes jurisdições, culturas ou perfis de usuários, permitindo um uso mais responsável e flexível da inteligência artificial multimodal.