Resumo Técnico: Abordando a Sobre-Recusa em LLMs com Recompensas Concorrentes

Declaração do Problema

O treinamento de segurança em Grandes Modelos de Linguagem (LLMs) frequentemente induz a sobre-recusa (over-refusal), um fenômeno onde os modelos se tornam excessivamente cautelosos, recusando comandos inofensivos ou ambíguos ao tentar mitigar saídas prejudiciais. Embora abordagens de Aprendizado por Reforço (RL) que incentivam o raciocínio explícito tenham sido propostas para ajudar os modelos a distinguir entre intenções prejudiciais e benignas, os métodos atuais falham em resolver totalmente esse equilíbrio.

Os autores identificam uma limitação crítica nos modelos treinados para segurança existentes: o raciocínio frequentemente atua como um "carimbo de borracha" (rubber stamp) para uma recusa predeterminada, em vez de um mecanismo de resolução genuína de ambiguidade. Esses modelos exibem dois comportamentos frágeis:

1. Eles evitam interpretações inseguras inteiramente e recorrem à recusa por padrão.
2. Eles exploram possibilidades inseguras, mas falham em recuperar-se para uma resposta segura, levando à conformidade insegura.

Ao contrário do raciocínio matemático, onde os modelos podem explorar caminhos incorretos e autocorrigir-se, o raciocínio de segurança nos modelos atuais carece da capacidade de explorar interpretações potencialmente prejudiciais de maneira controlada e, então, "voltar atrás" (flip back) para uma resposta segura.

Metodologia: SEAR e Recompensas Concorrentes

O artigo propõe o SEAR (Safety Exploration through Adversarial Reasoning), um framework que treina um único modelo para engajar-se em raciocínio prejudicial como um sinal exploratório, enquanto garante que a saída final permaneça segura. Isso é alcançado através de um problema de otimização adversarial formulado dentro de uma única cadeia de pensamento (chain-of-thought).

Mecanismo Central: Recompensas Concorrentes

Os autores introduzem um objetivo de treinamento que atribui recompensas separadas e concorrentes a diferentes segmentos do traço de geração do modelo:

• Segmento de Raciocínio ($z$): Recompensado pela maleficência ($r_h$). O modelo é incentivado a explorar interpretações e estratégias de raciocínio inseguras.
• Segmento de Resposta ($y$): Recompensado pela segurança ($r_s$). O modelo é incentivado a produzir uma resposta final segura condicionada ao raciocínio anterior (potencialmente prejudicial).

A função objetivo para comandos prejudiciais ($D_h$) é:
$$\max_{\pi} \mathbb{E}_{x \sim D_h, (z,y) \sim \pi} [r_h(z) + r_s(y)]$$
Para comandos inofensivos ($D_i$), o modelo é otimizado para utilidade ($r_i$). O treinamento utiliza um regularizador de divergência KL para manter a política próxima a um modelo base.

Insight Técnico Chave: Recompensas de Processo

O artigo demonstra que as recompensas densas baseadas em resultados (atribuindo um único escalar de recompensa para todo o trajeto) são insuficientes para esta tarefa. Elas levam à instabilidade de otimização, onde o modelo ou falha em explorar o raciocínio prejudicial ou degrada o desempenho em tarefas inofensivas devido a um descompasso nas taxas de convergência entre os objetivos concorrentes.

Para resolver isso, os autores implementam recompensas baseadas em processo. Em vez de uma única recompensa para todo o rollout, as recompensas são atribuídas a nível de token para segmentos específicos:

• Tokens no segmento de raciocínio recebem a recompensa de raciocínio ($r_h$).
• Tokens no segmento de resposta recebem a recompensa de resposta ($r_s$).

Esta formulação de "recompensa de processo" permite uma atribuição de crédito precisa, permitindo que o modelo aprenda o comportamento acoplado de explorar caminhos prejudiciais e recuperar-se para uma resposta segura dentro de um único trajeto.

Principais Contribuições

1. Reenquadramento do Raciocínio de Segurança: Os autores propõem que o raciocínio inseguro não deve ser bloqueado preventivamente, mas sim incentivado como um sinal exploratório útil para resolver ambiguidades, desde que o modelo possa recuperar-se confiavelmente para uma resposta segura.
2. Framework de Recompensas Concorrentes: Eles introduzem um método para treinar um único modelo com objetivos opostos (exploração maléfica vs. saída segura) dentro de uma única cadeia de pensamento, indo além do comportamento de "carimbo de borracha" dos modelos atuais.
3. Recompensas de Processo para Estabilidade: O artigo identifica que recompensas densas de nível de resultado falham em estabilizar objetivos concorrentes e demonstra que recompensas de processo em nível de segmento são cruciais para uma otimização bem-sucedida.
4. Modelo SEAR-1.5B: Eles treinam um modelo de 1.5 bilhão de parâmetros (SEAR-1.5B) que aprende explicitamente a "voltar atrás" de um raciocínio prejudicial para respostas seguras.

Resultados

Os autores avaliam o SEAR-1.5B contra várias linhas de base, incluindo RL padrão baseado em resultado, RL denso baseado em resultado, baselines de SFT e modelos de fronteira de código aberto (ex: TARS, Qwen3).

• Trade-off Segurança-Recusa: O SEAR-1.5B atinge o melhor desempenho na fronteira de Pareto de segurança e conformidade (média quadrática de 0.930), superando o TARS-7B (0.909) e outras baselines de RL. Ele demonstra significativamente menos sobre-recusa em comandos ambíguos (XSTest, Fortress, False-Reject), mantendo altas taxas de sucesso de defesa contra ataques de jailbreak (HarmBench).
• Exploração e Recuperação: A análise dos traços de raciocínio mostra que o SEAR gera uma frequência maior de raciocínio prejudicial comparado a outros modelos, mas recupera-se com sucesso para respostas seguras. Em contraste, outros modelos ou evitam o raciocínio prejudicial inteiramente ou falem em recuperar-se quando o exploram.
• Robustez a Ataques de Pre-fill: O SEAR-1.5B exibe robustez superior contra ataques que preenchem o contexto do modelo com raciocínio prejudicial (ex: usando um modelo ablatado para gerar o início de uma cadeia prejudicial). O SEAR mantém pontuações de segurança de resposta mais altas do que modelos de RL baseados em resultado e variantes maiores do Qwen3, demonstrando sua capacidade de "voltar atrás" mesmo quando forçado a um estado de raciocínio prejudicial.
• Generalização: O modelo mantém forte generalização fora da distribuição (OOD) em benchmarks de matemática e raciocínio (GSM8K, MATH-500, GPQA), comparável ou superior às baselines baseadas em resultado.

Significância e Alegações

O artigo afirma que o trade-off segurança-recusa não é meramente uma decisão de se recusar, mas uma capacidade de como resolver a ambiguidade. Ao aprender a raciocinar através de possibilidades prejudiciais sem permitir que essas possibilidades ditem a resposta final, os modelos podem permanecer úteis em comandos benignos sem comprometer a segurança.

Os autores enfatizam que sua abordagem:

• Mitiga a sobre-recusa ao permitir que os modelos distingam intenções prejudiciais de inofensivas através de exploração genuína em vez de supressão preventiva.
• Fornece uma defesa contra ataques direcionados ao raciocínio (como pre-filling) ao treinar o modelo para recuperar-se de contextos prejudiciais.
• Estabelece que recompensas baseadas em processo são um componente necessário para otimizar objetivos concorrentes em RL para segurança, um achado que pode se generalizar para outras tarefas de RL multiobjetivo.

O trabalho é apresentado como uma contribuição de pesquisa para o alinhamento de segurança, observando que o modelo e a metodologia foram desenhados para fins de pesquisa visando melhorar a robustez e a utilidade de LLMs.