Resumo Técnico: PALETTE

Declaração do Problema

O alinhamento de segurança atual em modelos de base (LLMs e VLMs) adere amplamente a um paradigma "tamanho único", impondo políticas de recusa universais a todos os usuários e contextos. Embora eficaz para a prevenção geral de danos, essa abordagem frequentemente leva a recusas excessivas, onde os modelos rejeitam instruções que são legítimas dentro de contextos profissionais autorizados específicos (por exemplo, um pesquisador de vacinas perguntando sobre um isolado viral, ou um desenvolvedor de jogos solicitando diálogo violento para uma narrativa).

As soluções existentes para esse problema enfrentam limitações significativas:

• Métodos baseados em re-treinamento: Requerem coleta de dados custosa e otimização repetida para cada novo requisito de segurança ou perfil de usuário.
• Direcionamento no tempo de inferência (ex.: CAST): Oferece uma alternativa mais leve, mas sofre de controle impreciso (frequentemente causando vazamento de segurança em domínios não relacionados), requer ajuste manual das camadas e intensidades de intervenção, e adiciona latência durante a inferência.
• Escalabilidade: À medida que o número de domínios autorizados cresce, o número de perfis de autorização de usuário possíveis cresce exponencialmente, tornando o re-treinamento por usuário ou o direcionamento manual impraticável.

O desafio central é desenvolver um framework que possa relaxar seletivamente o comportamento de recusa para domínios-alvo autorizados, preservando o alinhamento de segurança padrão para todos os outros contextos, sem sacrificar a utilidade geral do modelo ou exigir re-treinamento dispendioso.

Metodologia: PALETTE

Os autores propõem o PALETTE, um framework modular, controlável e eficiente projetado para o relaxamento de segurança autorizado sob demanda. O framework opera através de três etapas principais:

1. Busca Multi-Objetivo para Direções de Recusa

Em vez de selecionar manualmente uma direção de direcionamento, o PALETTE identifica automaticamente uma direção de recusa ótima através de uma busca multi-objetivo.

• Geração de Candidatos: Um conjunto de direções de recusa candidatas é gerado usando o método de diferença de médias nas ativações entre prompts de conformidade e prompts de recusa.
• Função Objetivo: A busca otimiza dois objetivos concorrentes:
  1. Controle de Segurança: Maximizar a conformidade no conjunto Permitido ($P_{allowed}$) enquanto suprime a conformidade não intencional no conjunto Não Permitido ($P_{disallowed}$). Isso é quantificado por um objetivo de pontuação de contornamento $O_{control}$.
  2. Preservação de Utilidade: Minimizar a divergência KL entre as distribuições original e direcionada em prompts Seguros ($P_{safe}$) para garantir que a utilidade geral não seja degradada.
• Seleção: O método seleciona a direção candidata que reside na fronteira de Pareto, equilibrando alta controlabilidade com perda mínima de utilidade.

2. Ajuste de Recusa Internalizado via Adaptação Leve

Para evitar sobrecarga no tempo de inferência, o PALETTE internaliza a direção de recusa selecionada diretamente nos parâmetros do modelo.

• Mecanismo: Uma adaptação leve (usando LoRA) é aplicada a um bloco específico (tipicamente o $(n-1)$-ésimo bloco) para codificar a mudança comportamental.
• Objetivo de Treinamento: O modelo é treinado para reconstruir a ativação padrão para prompts Seguros e Não Permitidos (preservando a segurança original) enquanto desloca o estado oculto ao longo da direção negativa de recusa ($-\lambda r^*$) para prompts Permitidos.
• Mineração de Negativos Difíceis: Para prevenir vazamento de segurança em domínios não-alvo, o framework identifica amostras "difíceis" não permitidas (casos de fronteira mais suscetíveis ao direcionamento) durante uma fase preliminar e prioriza-as durante o treinamento.

3. Mesclagem de Parâmetros para Segurança Compositiva

Uma característica arquitetônica chave é a capacidade de compor controles de segurança para múltiplos domínios sem re-treinamento.

• Restrição de Neutralidade: Durante o treinamento de um adaptador específico de domínio, o modelo é forçado a reconstruir ativações padrão para domínios não-alvo. Isso garante que a atualização do adaptador seja aproximadamente zero fora de seu domínio específico.
• Mesclagem: Como as atualizações são localizadas, adaptadores para diferentes domínios (por exemplo, "Ódio" e "Desinformação") podem ser combinados através de simples adição de parâmetros (mesclagem de pesos LoRA). Isso permite a criação de perfis de autorização complexos e multi-domínio sob demanda, sem gerar novos dados de treinamento ou modelos.

Contribuições Principais

1. Framework Modular: O PALETTE introduz uma abordagem inovadora ao alinhamento de segurança que desacopla controles de segurança específicos de domínio, permitindo gerenciamento escalável e auditável de políticas de segurança personalizadas.
2. Controle Preciso sem Re-treinamento: O método alcança o relaxamento preciso da recusa em domínios autorizados, mantendo segurança estrita em domínios não relacionados, tudo através de adaptação leve em vez de ajuste fino completo.
3. Capacidade Compositiva: O framework suporta a mesclagem de adaptadores de domínio único para lidar com escopos de autorização heterogêneos, resolvendo o problema de escalabilidade do crescimento exponencial de perfis.
4. Eficiência: A abordagem é altamente eficiente em recursos, capaz de adaptar um modelo de escala 7B em uma única RTX 4090 em minutos, com impacto negligenciável em benchmarks de utilidade geral (MMLU, GSM8K).

Resultados Experimentais

Os autores avaliaram o PALETTE em quatro benchmarks (GenHarm, WMDP, CoSApien, MM-SafetyBench) e múltiplas arquiteturas de modelos (LLaMA2/3, Qwen) e modalidades (Texto e Linguagem-Vídeo).

• Controle de Domínio Único: O PALETTE supera significativamente as linhas de base (AutoDAN, CAST, SFT). Por exemplo, no benchmark WMDP, permitir "Segurança Química" reduziu a taxa de recusa de 0,964 para 0,072, mantendo as taxas de recusa para "Biosegurança" e "Cibersegurança" altas (próximas aos níveis do modelo base). Em contraste, linhas de base como CAST mostraram vazamento de segurança significativo.
• Controle Multi-Domínio: Através da mesclagem de parâmetros, o PALETTE lida com sucesso com a autorização simultânea de múltiplos domínios (por exemplo, permitindo tanto "Ódio" quanto "Desinformação"), com taxas de recusa caindo apenas para os domínios permitidos, mantendo a segurança nos demais.
• Preservação de Utilidade: Em todos os modelos, o PALETTE manteve pontuações de utilidade geral (MMLU, GSM8K, MMMU) quase idênticas ao modelo base, enquanto abordagens baseadas em SFT frequentemente degradaram o desempenho.
• Controle Granular: No benchmark CoSApien, que envolve configurações de segurança específicas de papel (por exemplo, Desenvolvedores de Jogos vs. Promotores Públicos), o PALETTE alcançou precisão de resposta superior em comparação com as linhas de base.
• Robustez: Estudos de ablação confirmaram que o método é robusto a domínios negativos fora da distribuição, desde que amostras negativas semanticamente sobrepostas sejam incluídas no conjunto de treinamento (validando a estratégia de mineração de negativos difíceis).

Significado e Alegações

O artigo alega que o PALETTE oferece um caminho prático para modelos de base que se adaptam a diversas necessidades profissionais sem comprometer a segurança ou a utilidade.

• Mudança no Paradigma de Alinhamento: O trabalho sugere uma mudança do alinhamento de segurança monolítico e estático para uma abordagem modular baseada em camadas. Isso permite que a segurança seja gerenciada como uma camada composível, em vez de um artefato de modelo fixo.
• Benefícios de Implantação: O design modular facilita a auditabilidade (cada adaptador tem um escopo documentado), reversibilidade (adaptadores podem ser removidos sem modificar o modelo base) e versionamento (adaptadores podem ser atualizados independentemente à medida que as políticas evoluem).
• Limitações: Os autores observam explicitamente que seu método assume que a autorização do usuário já foi verificada por mecanismos externos; ele não resolve o problema da autorização em si. Além disso, o método depende de amostras de treinamento representativas, e uma cobertura incompleta poderia levar a vazamento de segurança em casos não vistos e relacionados.

Em resumo, o PALETTE fornece uma solução escalável, eficiente e precisa para o alinhamento de segurança personalizado, permitindo que modelos de base atendam profissionais autorizados com necessidades legítimas, mantendo barreiras de segurança robustas para o público em geral.