Resumo Técnico: Modelo de Recompensa Configurável para Alinhamento de Segurança Equilibrado

Declaração do Problema

O alinhamento de Grandes Modelos de Linguagem (LLMs) aos requisitos de segurança enfrenta um desafio crítico: a segurança não é uma constante universal, mas uma variável dependente de contexto, moldada por normas culturais, jurisdições legais e políticas organizacionais. Os paradigmas de alinhamento atuais, particularmente o Aprendizado por Reforço com Feedback Humano (RLHF), dependem de Modelos de Recompensa (RMs) estáticos, onde o conhecimento de segurança é codificado implicitamente e congelado no momento da implantação. Essa rigidez exige um ciclo custoso de retreinamento e implantação total sempre que as políticas de segurança evoluem (por exemplo, novas regulamentações de discurso de ódio ou conformidade específica de domínio).

Por outro lado, as abordagens "configuráveis" existentes, como classificadores de segurança independentes (ex: Llama Guard, ShieldGemma) ou juízes de raciocínio condicionados por prompt (ex: DynaGuard), adaptam-se a novas políticas no momento da inferência. No entanto, esses modelos funcionam como classificadores discriminativos ou juízes baseados em raciocínio. Seus outputs frequentemente exibem geometrias de recompensa mal adequadas para o aprendizado por reforço: as probabilidades são ou excessivamente agudas (decisões binárias) ou excessivamente planas (julgamentos deliberativos). Consequentemente, eles fornecem sinais esparsos, mal calibrados e efetivamente não diferenciáveis para a otimização de política, levando frequentemente à recusa excessiva (rejeição de solicitações benignas) e à degradação da utilidade.

Existe um componente ausente nos pipelines atuais: um modelo de recompensa que seja simultaneamente configurável no tempo de inferência e capaz de produzir uma recompensa escalar densa e calibrada, adequada para a otimização de política no loop interno.

Metodologia

Os autores introduzem o Modelo de Recompensa de Segurança Configurável (CSRM), um framework projetado para condicionar-se a configurações de segurança em linguagem natural no tempo de inferência, enquanto produz uma recompensa escalar para RLHF. A metodologia baseia-se em três componentes principais:

1. Terminologia e Estrutura de Entrada

Uma configuração de segurança $p$ é definida como um conjunto de regras com diretrizes em linguagem natural que delineiam conteúdos aceitáveis e inaceitáveis para categorias específicas. O modelo recebe uma tupla $(x, r, p)$ como entrada, onde $x$ é o histórico da conversa, $r$ é a resposta do agente e $p$ é a configuração de segurança. Ele produz um rótulo $y \in \{\text{seguro, inseguro}\}$ e um valor de recompensa $c \in [0, 1]$.

2. Aumento de Dados Direcionado

Para permitir a generalização para configurações não vistas sem anotação humana adicional, os autores propõem duas estratégias de aumento:

• Aumento de Configuração de Segurança Configurável: Para uma determinada conversa e configuração, um modelo de raciocínio propõe uma categoria "positiva" (não presente em $p$) que tornaria a conversa insegura se fosse adicionada, e uma categoria "negativa" que a tornaria segura. A configuração é aumentada pela remoção aleatória de categorias existentes e pela inserção opcional dessas novas categorias. Este aumento de dois lados aumenta a dispersão da recompensa e melhora a modelagem pareada.
• Aumento de Rigidez: Para moldar a geometria da recompensa e refletir a severidade da violação, os autores constroem conjuntos parcialmente ordenados de descrições de diretrizes. Eles identificam subcategorias dentro de uma categoria de segurança, ordenam-nas por severidade estimada e reescrevem as diretrizes para permitir ou proibir seletivamente prefixos desta lista ordenada. Para garantir a confiabilidade, utilizam um teste de dominância qualificado por confiança usando o limite inferior de Clopper–Pearson. Apenas pares de diretrizes $(d, d')$ onde $d$ é estatisticamente mais rigoroso que $d'$ são retidos para treinamento. Isso garante que o modelo aprenda um espectro de severidade calibrado em vez de distinções binárias arbitrárias.

3. Treinamento Conjunto Discriminativo–Generativo

O CSRM unifica a classificação de segurança e a modelagem de recompensa dentro de um único framework generativo.

• Perda de Classificação: O modelo é treinado para prever rótulos de segurança usando tokens verbalizados (ex: "seguro", "inseguro").
• Perda de Recompensa: Usando os pares aumentados por rigidez, o modelo é treinado para maximizar a margem entre as log-probabilidades de tokens seguros vs. inseguros sob configurações estritas versus lenientes. Isso é formulado como uma perda de preferência do tipo Bradley–Terry, incentivando o modelo a atribuir recompensas mais altas a respostas que sejam mais seguras sob diretrizes mais rigorosas.
• Calibração: Em vez de usar uma perda de calibração separada, a calibração é induzida durante o treinamento através da construção de pares de severidade diversos e estatisticamente validados. Isso aproveita a ligação empírica entre qualidade de ranking e calibração.

Principais Contribuições

1. Modelagem de Recompensa de Segurança Configurável e Calibrada: O CSRM condiciona diretamente em configurações de segurança em linguagem natural no tempo de inferência, produzindo uma recompensa escalar densa e calibrada em vez de um julgamento binário. Isso permite um controle refinado sobre o comportamento de segurança sem retreinamento e permanece compatível com a otimização de política baseada em gradiente.
2. Treinamento Conjunto com Aumento Direcionado: O trabalho unifica a classificação de segurança e a modelagem de recompensa, introduzindo aumentos de configuração e de rigidez. Isso permite que o modelo distinga entre violações limítrofes e severas e generalize para configurações não vistas sem novas anotações humanas.
3. Melhoria nos Trade-offs Segurança–Utilidade: O CSRM fornece um sinal de recompensa mais informativo para RL, resultando em políticas que evitam a recusa excessiva enquanto mantêm fortes garantias de segurança, expandindo efetivamente a fronteira de Pareto entre segurança e utilidade.

Resultados Experimentais

Os autores avaliaram o CSRM em múltiplos benchmarks e tarefas de alinhamento downstream:

• Classificação de Segurança: Em benchmarks incluindo BeaverTails, WildGuardMix, CoSApien e DynaBench, o CSRM alcançou desempenho de estado da arte. Notavelmente, atingiu 94,6% de F1 no CoSApien e 75,8% de F1 no DynaBench, superando baselines como LlamaGuard-3-8B e ShieldGemma-9B. Também demonstrou calibração superior (menor smECE) em comparação com juízes baseados em raciocínio.
• Modelagem de Recompensa: Em tarefas de modelagem de recompensa pareada (BeaverTails-Aug, WildGuardMix-Aug), o CSRM alcançou a maior precisão ao ordenar respostas por severidade de violação, superando significativamente os baselines.
• Recusa Excessiva: Em benchmarks de recusa excessiva (XSTest, OR-Bench), o CSRM obteve o maior F1, indicando melhor calibração e menor tendência de rejeitar solicitações benignas em comparação com baselines ajustados por instrução.
• Alinhamento de RL Downstream: Quando usado como sinal de recompensa para alinhar o Mistral-7B-Instruct-v0.1 em cinco domínios (ex: Editora Árabe, Produção de Filmes) usando Destilação de Recompensa e REINFORCE++, o CSRM consistentemente alcançou o melhor Score CoSA (o produto escalar das recompensas de segurança e utilidade). Em vários domínios, alcançou maior utilidade em níveis de segurança comparáveis, demonstrando um trade-off superior. Por exemplo, no domínio de Produção de Filmes sob REINFORCE++, o CSRM alcançou um score CoSA de 3.981, superando o baseline LlamaGuard (3.391) e o baseline ajustado por instrução (3.113).

Significância e Alegações

O artigo afirma que o CSRM aborda uma limitação fundamental no alinhamento de segurança atual: a incapacidade de se adaptar a requisitos de segurança em evolução sem retreinamento custoso, mantendo um sinal adequado para RL. Ao funcionar como um sinal de recompensa denso e configurável dentro do loop interno de RLHF, o CSRm permite o treinamento de modelos inerentemente mais seguros, em vez de apenas policiar seus outputs no tempo de inferência.

Os autores enfatizam que o CSRM alcança esses resultados sem exigir anotação humana adicional, baseando-se, em vez disso, no aumento sintético de datasets existentes. O trabalho sugere um caminho prático para a configurabilidade ao nível da recompensa, permitindo que o comportamento de segurança seja adaptado atualizando as especificações no tempo de inferência, mantendo um sinal compatível com otimização para treinamento.

Limitações observadas pelos autores:

• O pipeline de aumento depende de propostas geradas por LLMs, que podem herdar vieses do modelo proponente, embora isso seja mitigado pelo filtro estatístico.
• O estudo não realizou uma análise direcionada de reward-hacking; a exploração estratégica sob otimização online de longo horizonte permanece como trabalho futuro.
• Os principais resultados utilizam uma única arquitetura base (Llama-3.1-8B), embora as tendências tenham sido replicadas no Qwen3-2B. Avaliações de backbones mais amplos e multilíngues são deixadas para trabalhos futuros.