Beyond "I cannot fulfill this request": Alleviating Rigid Rejection in LLMs via Label Enhancement

Resumo Técnico: Além de "Não posso atender a este pedido": Aliviando a Rejeição Rígida em LLMs via Aprimoramento de Rótulos

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) dependem do alinhamento de segurança para recusar solicitações prejudiciais enquanto respondem a solicitações benignas. No entanto, os mecanismos atuais frequentemente sofrem de "rejeição rígida", caracterizada por duas limitações primárias: (1) Rejeição excessivamente defensiva, onde consultas benignas, acadêmicas ou educacionais sobre tópicos sensíveis são bloqueadas indiscriminadamente; e (2) Modelos de resposta mecânicos, onde os modelos geram rejeições genéricas e robóticas (por exemplo, "Não posso atender a este pedido"), independentemente do nível de risco específico ou do contexto. Essa rigidez decorre de estratégias de alinhamento existentes que dependem de rótulos de segurança binários de granularidade grosseira ou recompensas escalares discretas. Esses sinais carecem de interpretabilidade e orientação direcional, impedindo que os modelos identifiquem com precisão componentes de risco ou refinem elementos prejudiciais, comprometendo assim a naturalidade e a utilidade das interações humano-IA.

Metodologia: O Framework LANCE
O artigo propõe o LANCE (Rejeição de LLM via Aprimoramento de Rótulos), um framework projetado para substituir julgamentos binários rígidos por respostas naturais e flexíveis por meio do Aprimoramento de Rótulos. A metodologia consiste em dois componentes principais:

1. Aprimoramento de Rótulos via Inferência Variacional:
   Em vez de utilizar rótulos binários ($0$ ou $1$), o LANCE emprega uma rede de inferência variacional para transformar rótulos de segurança grosseiros em uma distribuição de risco contínua e desentrelaçada ($d \in [0, 1]^c$) através de múltiplas categorias de rejeição.

   • Arquitetura: O sistema utiliza um codificador baseado em RoBERTa compartilhado para extrair características de contexto de pares de prompt-resposta. Essas características são projetadas em dois espaços latentes paralelos: um espaço semântico ($z$, modelado como uma Gaussiana) e um espaço de risco ($d$, modelado como uma distribuição Beta).
   • Desentrelaçamento: Ao assumir independência estatística entre o conteúdo semântico e as restrições de segurança no posterior, o modelo aprende a isolar a intensidade do risco sem alterar o significado linguístico subjacente.
   • Objetivo de Treinamento: O modelo é treinado para maximizar o Limite Inferior da Evidência (ELBO), minimizando as perdas de reconstrução tanto para as características semânticas quanto para os rótulos de risco binários, juntamente com a regularização de divergência KL para impor distribuições a priori. Um termo de regularização auxiliar garante que a distribuição contínua inferida permaneça alinhada com a supervisão binária de verdade fundamental.

2. Refinamento de Prompt Orientado a Risco de Granularidade Fina:
   A distribuição de risco contínua $d$ serve como um sinal de diagnóstico para um modelo de refinamento (por exemplo, Qwen2.5-1.5B).

   • Limiarização: O sistema define limiares ($\tau, \tau_{low}, \tau_{high}$) para categorizar os níveis de risco como "Menor", "Leve" ou "Crítico".
   • Gradientes Textuais: Com base na categoria e na intensidade do risco, o sistema gera gradientes textuais específicos (por exemplo, "Reescreva esta seção para ser menos agressiva") usando um modelo $T(y_j, d_j, e_j)$.
   • Otimização Iterativa: Usando uma abordagem baseada em TextGrad, o modelo de refinamento reescreve iterativamente o prompt do usuário. Ele neutraliza cirurgicamente elementos perigosos enquanto preserva a intenção semântica original, transformando entradas inseguras em consultas seguras, úteis e naturais sem acionar uma rejeição rígida.

Principais Contribuições

• Framework Inovador: Introdução do LANCE, que desloca o alinhamento de segurança de julgamentos binários simples para distribuições contínuas através de múltiplas categorias de rejeição.
• Aprimoramento de Rótulos: Um mecanismo para converter rótulos de rejeição binários em distribuições detalhadas e de granularidade fina, permitindo a identificação de componentes semânticos específicos perigosos e sua correção precisa.
• Modelo de Refinamento: Implementação de um processo de refinamento orientado por gradiente que utiliza essas distribuições para limpar apenas elementos perigosos, permitindo que os LLMs gerem respostas seguras que evitam modelos robóticos, mantendo a naturalidade conversacional.

Resultados Experimentais
Os autores avaliaram o LANCE no conjunto de dados BeaverTails (14 categorias inseguras) usando três backbones ablatados (Llama3-8B, Llama3.1-8B, Qwen2.5-7B) e compararam-no com cinco linhas de base: Vanilla (não alinhado), RepE (direcionamento latente), SysPrompt (segurança em contexto), SelfRefine (crítica iterativa) e modelos Instruct Oficiais (alinhados via RLHF).

• Compromisso entre Segurança e Utilidade: Enquanto os modelos Instruct Oficiais alcançaram altas pontuações de segurança (por exemplo, 9,55 no Llama-3), suas pontuações de utilidade caíram precipitadamente (3,41), indicando rejeição rígida severa. O LANCE alcançou segurança comparável (9,23) enquanto restaurava significativamente a utilidade (7,89) e a naturalidade (8,69).
• Comparação com Modelos Comerciais: Ao ser comparado com modelos comerciais de ponta (GPT-4o, Gemini 2.5-Pro), o LANCE demonstrou utilidade superior (7,88 vs. 3,58 para o GPT-4o) enquanto mantinha segurança competitiva (9,55), provando que a escala não é o único pré-requisito para um alinhamento eficaz.
• Estudos de Ablação: A remoção do loop de refinamento (LANCE-NR) resultou em segurança pobre (4,57). A remoção da orientação de granularidade fina (LANCE-NF) melhorou a segurança, mas não conseguiu igualar a utilidade e a naturalidade do método completo, confirmando que a distribuição contínua de risco é essencial para evitar rejeições rígidas.

Significado e Alegações
O artigo alega que a rejeição rígida não é uma consequência inevitável do alinhamento de segurança. Ao desacoplar objetivos de segurança do seguimento geral de instruções por meio de variáveis latentes desentrelaçadas, o LANCE oferece uma solução robusta que restaura a utilidade e a naturalidade do modelo. O framework demonstra que substituir filtros de rejeição grosseiros por um processo preciso de otimização iterativa orientado a risco permite que os modelos naveguem inteligentemente pelas fronteiras de segurança, gerando respostas matizadas que são tanto inofensivas quanto construtivas. Os autores posicionam este trabalho como um passo para aliviar o "imposto de alinhamento" que atualmente degrada o desempenho dos modelos ajustados para segurança.