Resumo Técnico: Internalização da Compreensão de Segurança em Modelos de Raciocínio Avançado via Verificação

1. Declaração do Problema

Modelos de Raciocínio Avançado (LRMs) aproveitam a Cadeia de Pensamento (CoT) explícita para aprimorar capacidades de raciocínio, mas esse acoplamento entre raciocínio e respostas finais amplifica o potencial de riscos de segurança no mundo real. Os paradigmas atuais de alinhamento são predominantemente centrados na resposta, dependendo de Ajuste Fino Supervisionado (SFT) em trajetórias seguras curadas por especialistas ou Aprendizado por Reforço (RL) com recompensas de segurança verificáveis. Esses métodos otimizam os modelos para garantir que as respostas finais cumpram especificações de segurança externas.

No entanto, os autores argumentam que essa abordagem permanece largely comportamental e superficial. Ela otimiza a conformidade sem moldar a compreensão intrínseca de segurança do modelo. Consequentemente, modelos aparentemente alinhados frequentemente carecem da capacidade de verificar se e por que uma saída satisfaz as especificações de segurança. Essa lacuna manifesta-se em duas falhas críticas:

1. Vulnerabilidade: Modelos podem ser sequestrados por jailbreaks adversariais que induzem CoT indutora de conformidade, direcionando o modelo a rotular um prompt como "seguro" enquanto elicita respostas prejudiciais.
2. Má Generalização: Modelos meramente imitam comportamentos seguros sem aprender o conceito subjacente de segurança, levando a defesas frágeis contra jailbreaks fora de domínio (OOD) e específicos de raciocínio.

A análise empírica revela que o alinhamento padrão não produz habilidades de verificação confiáveis; em alguns casos, modelos alinhados performam pior do que baselines aleatórias em tarefas binárias de verificação de segurança.

2. Metodologia: Segurança Interna (SInternal)

Para abordar o desacoplamento entre geração de segurança e compreensão de segurança, os autores propõem Segurança Interna (SInternal), um framework projetado para internalizar especificações de segurança treinando LRMs exclusivamente em tarefas de verificação de segurança.

Filosofia Central

Em vez de ensinar aos modelos o que outputar (imitando trajetórias seguras), o SInternal ensina aos modelos como avaliar suas próprias saídas. A hipótese central é que aprender a verificar induz uma forte generalização para a segurança da resposta, criando uma base mais robusta para o alinhamento do que a mera imitação comportamental.

Componentes do Framework

A metodologia consiste em duas etapas principais:

A. Internalização de Segurança via Treinamento de Verificação

1. Geração de Auto-resposta: Para cada prompt relevante para segurança $x$, o modelo de política $\pi_\theta$ amostra suas próprias respostas (incluindo potencialmente inseguras) para garantir que o modelo aprenda limites de segurança relevantes para sua distribuição real de saída.
2. Construção de Trajetória de Verificação Especializada: Um modelo especialista (ex: Claude-4-Sonnet) avalia as respostas amostradas contra especificações de segurança $S$. Ele gera uma trajetória de verificação $c_k$ composta por:
   • Raciocínio de Crítica ($z_{ver,k}$): Uma análise detalhada de potenciais violações de segurança.
   • Julgamento Binário ($v_k$): Um rótulo final de segurança (Seguro/Inseguro).
3. Ajuste Fino Supervisionado (SFT): O modelo de política é treinado via aprendizado supervisionado nessas trajetórias de verificação especializadas. O objetivo é maximizar a probabilidade de gerar o raciocínio e o julgamento de verificação condicionados ao prompt, à própria resposta do modelo e às especificações de segurança:
   $$L_{SInternal} = -E_{(x,y,c) \sim D_{ver}} [\log \pi_\theta(c | S, x, y)]$$
   Isso obriga o modelo a internalizar a lógica de por que uma resposta é insegura.

B. Aprendizado por Reforço com Recompensas Verificáveis (RLVR)

Construindo sobre a inicialização SInternal, o framework otimiza ainda mais o modelo usando Otimização de Política Relativa em Grupo (GRPO).

• Design de Recompensa: O modelo gera um grupo de respostas. Um verificador externo fornece recompensas binárias baseadas em se a resposta é segura ($V_{safe}$) e se é uma recusa ($V_{refuse}$).
• Objetivo: O modelo maximiza a recompensa relativa ao grupo esperada, aproveitando a compreensão de segurança internalizada para interpretar sinais de recompensa de forma mais consistente e alcançar tetos de alinhamento mais altos.

3. Contribuições Principais

1. Identificação da Lacuna de Verificação: O artigo fornece evidências empíricas de que o alinhamento centrado na resposta falha em melhorar capacidades intrínsecas de verificação de segurança, frequentemente deixando os modelos incapazes de identificar corretamente saídas inseguras que eles geram.
2. Framework SInternal: Um paradigma de treinamento inovador que desloca o foco da geração de respostas seguras para a verificação delas. Ao treinar exclusivamente em trajetórias de verificação derivadas das próprias gerações do modelo, o método internaliza especificações de segurança como uma capacidade intrínseca de raciocínio.
3. Inicialização Superior para RL: O estudo demonstra que o SInternal serve como uma inicialização superior para Aprendizado por Reforço em comparação com SFT padrão. Modelos inicializados com SInternal alcançam robustez significativamente maior contra ataques adversariais após otimização por RL.
4. Análise de Mecanismo: Os autores mostram que o SInternal desencadeia verificação proativa durante o processo de raciocínio. O modelo escrutina espontaneamente a segurança de seus comportamentos potenciais antes de finalizar uma resposta, levando a um alinhamento mais profundo.

4. Resultados Experimentais

Os experimentos foram conduzidos em três LRMs de código aberto (DeepSeek-R1-Distill-Qwen-7B/14B e DeepSeek-R1-Distill-Llama-8B) em benchmarks de segurança, super-recusa e raciocínio geral.

• Robustez contra Jailbreaks: O SInternal supera significativamente as baselines (SafeChain, STAR-1) em benchmarks de jailbreak fora de distribuição (OOD) e específicos de raciocínio (ex: WildJailbreak, Fortress, HCoT). Notavelmente, o SInternal combinado com RL é o único método que defende efetivamente contra HCoT (Sequestro de CoT), um jailbreak de última geração que explora traços de raciocínio.
• Capacidade de Verificação: Modelos treinados com SInternal mostram ganhos substanciais nos escores F1 de verificação de segurança (ex: aumentando de ~48% para ~86% no DS-7B), enquanto baselines centradas na resposta mostram pouco ou nenhum aprimoramento.
• Generalização: O método demonstra forte generalização para jailbreaks não vistos, sugerindo que aprender os princípios da verificação de segurança é mais eficaz do que memorizar padrões de recusa.
• Preservação de Utilidade: O SInternal mantém desempenho competitivo em benchmarks de raciocínio geral (MATH, AIME) e evita super-recusa excessiva (medida por XSTest), preservando o equilíbrio entre segurança e utilidade.
• Eficiência de Dados: O SInternal alcança desempenho de segurança superior com apenas 50% dos dados de treinamento exigidos pelas baselines SFT, indicando que internalizar a lógica de raciocínio é mais eficiente em termos de dados do que imitar saídas.

5. Significado e Alegações

O artigo alega uma mudança de paradigma no alinhamento de segurança de IA: movendo-se do alinhamento centrado na resposta (imitando comportamentos seguros) para a compreensão intrínseca de segurança (raciocinando explicitamente sobre princípios de segurança).

• Robustez Fundamental: Os autores argumentam que internalizar a compreensão de segurança cria uma base mais robusta para o alinhamento do que meramente imitar comportamentos seguros. Isso é evidenciado pela capacidade do modelo de desencadear espontaneamente verificação durante o raciocínio e sua resistência superior ao sequestro de CoT adversarial.
• Desacoplamento de Geração e Verificação: O trabalho destaca que a geração segura não leva naturalmente à compreensão de segurança. Portanto, o treinamento explícito em verificação é necessário para preencher essa lacuna.
• Direção Futura: Embora o framework atual foque na verificação pós-geração, os autores sugerem que estender essa capacidade para auto-verificação dinâmica durante o raciocínio é uma direção futura crítica. Eles enfatizam que, à medida que os modelos desenvolvem uma compreensão intrínseca de segurança mais profunda, garantir que sua lógica interna de verificação permaneça alinhada com os valores humanos é primordial para uma governança responsável.

O artigo conclui que equipar LRMs com a capacidade de escrutinar a segurança de suas próprias respostas geradas é um passo significativo rumo à realização de segurança intrínseca, particularmente em ambientes de alto risco onde a robustez é não negociável.