Low-Agreeableness Persona Conditioning for Safe LLM Fine-Tuning

Resumo Técnico: Condicionamento de Persona de Baixa Amabilidade para Ajuste Fino Seguro de LLMs

Definição do Problema
Pesquisas recentes estabeleceram que o ajuste fino (fine-tuning) de Grandes Modelos de Linguagem (LLMs) para promover calor social e empatia frequentemente degrada a confiabilidade factual e aumenta a sicofancia. Este artigo identifica um modo de falha relacionado, porém distinto: o ajuste fino orientado ao calor também enfraquece sistematicamente a segurança adversarial, tornando os modelos mais suscetíveis a jailbreaks e à geração de saídas prejudiciais. Os autores investigam se essa degradação da segurança é uma consequência inerente da adaptação empática ou um artefato de padrões específicos de construção de dados. Especificamente, eles desafiam a suposição de que todos os dados empáticos introduzem custos de segurança equivalentes, hipotetizando que certos traços de personalidade dentro dos dados de diálogo podem preservar implicitamente a segurança sem rótulos de dano explícitos ou mudanças no objetivo de treinamento.

Metodologia
Os autores propõem um pipeline de reescrita orientado por persona que condiciona os turnos do usuário à baixa amabilidade (um traço de personalidade do Big Five associado ao ceticismo, à franqueza e à resistência à pressão social), combinando-os com respostas de assistente calorosas e desescaladoras.

1. Seleção de Traço e Camada: Um estudo piloto no Llama-3.1-8B identificou que a Camada 10 é a mais sensível a mudanças na representação de segurança. Entre dez subconjuntos do corpus PersonaFuse agrupados por traços do Big Five, a baixa amabilidade apresentou o melhor preservamento de segurança contra jailbreaks.
2. Construção de Dados: O pipeline reescreve dados de chat sintéticos para impor uma estrutura específica:
   • Turnos do Usuário: Reescritos para refletir baixa amabilidade (ex: céticos, diretos, resistentes à pressão social).
   • Turnos do Assistente: Reescritos para serem calorosos e desescaladores (mantendo o rapport sem espelhar a hostilidade ou endossar premissas prejudiciais).
3. Design Experimental: Três experimentos foram conduzidos em quatro modelos (SmolLM3-3B, Llama-3.1-8B, Qwen2.5-7B-Instruct, Mistral-7B-Instruct-v0.3):
   • Experimento 1: Comparou o método proposto contra bases empáticas genéricas (EmpatheticDialogues, ESConv, estilo Lahnala) usando tamanhos de conjunto de dados correspondentes.
   • Experimento 2: Utilizou um corpus de origem compartilhado (ShareGPT Vicina Unfiltered) para isolar os efeitos das políticas de reescrita: calor genérico (apenas assistente), apenas usuário (baixa amabilidade) e a condição pareada completa.
   • Experimento 3: Testou a transferibilidade para o domínio de alto risco de suporte à saúde mental usando o conjunto de dados MentalChat-16K.
4. Avaliação: A segurança foi medida através de taxas de sucesso de jailbreak (Qi et al., 2024) e propensão a saídas prejudiciais (Revilla Llaca et al., 2023). O calor foi avaliado via comparações de verossimilhança (log-likelihood) estilo SocioT, e a utilidade da tarefa via acurácia MMLU. A análise mecanística envolveu a sondagem do alinhamento geométrico (cosseno de direção) entre os vetores de "calor" e "conformidade" no espaço latente.

Principais Resultados

• Preservação da Segurança: A abordagem de condicionamento de baixa amabilidade reduziu consistentemente a suscetibilidade a jailbreaks e as taxas de saída prejudicial em comparação com o ajuste fino de calor genérico em todas as quatro bases de comparação. No Experimento 1, o PersonaFuse (baixa A) foi a única condição que melhorou ou igualou a segurança da base em ambas as métricas.
• Mecanismo de Desacoplamento: Os ganhos de segurança foram alcançados sem rótulos de segurança explícitos, classificadores de toxicidade ou modificações no objetivo de treinamento.
  • A reescrita apenas do usuário (baixa amabilidade) recuperou a segurança, mas falhou em manter o calor conversacional.
  • A condição pareada completa (usuário de baixa amabilidade + assistente caloroso/desescalador) preservou com sucesso os ganhos de segurança enquanto aumentava as pontuações de calor por token acima dos níveis da base.
• Evidência Representacional: A sondagem de cosseno de direção por camada forneceu evidências sugestivas de que o condicionamento proposto reduz o alinhamento geométrico entre as direções de calor e conformidade no espaço latente. Isso apoia a hipótesia de que o método desacopla a tendência de ser caloroso da tendência de cumprir solicitações prejudiciais.
• Transferência de Domínio: Os benefícios de segurança generalizaram-se para o domínio da saúde mental (Experimento 3), superando o ajuste fino de calor genérico tanto em métricas de jailbreak quanto de red-teaming.

Significância e Alegações
O artigo argumenta que a tensão entre calor e segurança não é um trade-off inevitável da adaptação empática, mas sim um resultado das estatísticas de coocorrência nos dados de treinamento. Em diálogos não condicionados, respostas calorosas e complacentes coocorrem porque não há pressão conversacional forçando o modelo a manter limites enquanto permanece caloroso.

Os autores alegam que é possível alcançar um ajuste fino empático mais seguro apenas através do design de dados. Ao selecionar padrões conversacionais específicos (usuários de baixa amabilidade pareados com assistentes desescaladores), os praticantes podem construir dados de ajuste fino que não introduzem vulnerabilidades de segurança em primeiro lugar. Esta abordagem difere do ajuste fino de recusa (refusal tuning), pois os dados de origem não contêm comandos prejudiciais ou recusas explícitas; a segurança emerge como um efeito colateral do padrão de comunicação. O trabalho desafia a suposição prevalecente de que preservar a segurança sob ajuste fino requer infraestrutura de segurança explícita (rótulos de dano, classificadores ou mudanças de objetivo), oferecendo uma alternativa centrada em dados e agnóstica ao modelo que pode ser combinada com defesas post-hoc existentes.