Resumo Técnico: Além dos Dados Seguros: Alinhamento na Fase de Pré-treinamento com Reflexão de Segurança Regular

1. Definição do Problema

O alinhamento de segurança atual para Grandes Modelos de Linguagem (LLMs) é conduzido predominantemente durante a fase de pós-treinamento (por exemplo, Ajuste Fino Supervisionado, Aprendizado por Reforço com Feedback Humano/IA). Os autores argumentam que essa abordagem é inerentemente superficial e frágil. Evidências empíricas sugerem que as salvaguardas de segurança adquiridas no pós-treinamento podem ser facilmente comprometidas por manipulação de prompts de entrada (jailbreaking) ou até mesmo por um ajuste fino benigno, que pode inadvertidamente induzir comportamentos prejudiciais.

Uma limitação crítica das intervenções existentes na fase de pré-treinamento, como filtragem de dados (remoção de tokens/documentos inseguros) e reescrita de dados (refraseamento de conteúdo inseguro), é que elas tratam o alinhamento como um problema de controle de conteúdo, em vez de moldagem comportamental. O artigo postula que, mesmo se os dados de pré-treinamento forem inteiramente seguros, os modelos ainda podem adquirir a capacidade de generalizar comportamentos inseguros através de raciocínio e composição. Por exemplo, um modelo treinado apenas em conhecimento médico seguro ainda pode aprender a inferir métodos acionáveis para causar danos ao combinar fatos benignos de formas inovadoras.

2. Metodologia: Pré-treinamento de Reflexão de Segurança (SRP)

Para abordar as limitações da filtragem centrada em dados, os autores propõem o Pré-treinamento de Reflexão de Segurança (SRP). Este método integra a automonitoração diretamente no objetivo de modelagem de linguagem durante o pré-treinamento, inserindo regularmente "reflexões de segurança" no corpus de treinamento.

Mecanismo Central

1. Segmentação de Texto: Os corpora de pré-treinamento são particionados em segmentos (por exemplo, algumas centenas de tokens) usando uma estratégia sensível a sentenças para manter a coerência semântica.
2. Geração de Reflexão: Após cada segmento, um classificador de segurança (especificamente o Qwen3Guard-Gen-0.6B) gera uma reflexão curta. Esta reflexão consiste em:
   • Um token de veredito: "Seguro" (Safe) ou "Inseguro" (Unsafe).
   • Um token de categoria (se inseguro): Especificando o tipo de dano (ex: "Violento").
   • Um token de EOS (se inseguro): Sinalizando ao modelo para interromper a geração ao detectar conteúdo inseguro.
3. Corpus Aumentado: Estas reflexões são inseridas diretamente no texto de pré-treinamento, forçando o modelo a aprender a julgar a segurança de sua geração precedente como parte da tarefa de previsão do próximo token.
4. Compatibilidade de Pós-treinamento: Para garantir que o comportamento aprendido seja transferido para a implantação, os autores empregam um design de pós-treinamento compatível onde os dados de SFT também são aumentados com padrões de reflexão semelhantes. Isso reforça o comportamento de reflexão aprendido durante o pré-treinamento.

Ambiente Sintético: MedSafetyWorld

Para testar rigorosamente a hipótese de que os modelos podem generalizar comportamentos inseguros a partir de dados seguros, os autores construíram o MedSafetyWorld, um ambiente sintético totalmente controlado.

• Estrutura: Define entidades (Compostos, Mediadores, Resultados) e relações causais.
• Definição de Segurança: Distingue entre quatro categorias de dados:
  • Forward-Safe/Unsafe (Direto-Seguro/Inseguro): Descrevendo o que um composto leva a (benigno para o modelo saber, mesmo que o resultado seja inseguro, pois auxilia no alerta aos usuários).
  • Reverse-Safe (Reverso-Seguro): Descrevendo o que causa um resultado seguro.
  • Reverse-Unsafe (Reverso-Inseguro): Descrevendo o que causa um resultado inseguro (a única categoria verdadeiramente prejudicial, pois ensina um dano acionável).
• Objetivo: Observar se modelos treinados em dados que excluem exemplos "Reverse-Unsafe" ainda podem inferir como causar dano através da generalização.

3. Principais Contribuições

1. Argumento para a Moldagem Comportamental: O artigo argumenta que o alinhamento no pré-treinamento deve ir além da filtragem de dados inseguros para moldar ativamente os processos de raciocínio interno do modelo. Ele demonstra que dados seguros isolados são insuficientes para prevenir a generalização de capacidades inseguras.
2. Pré-treinamento de Reflexão de Segurança (SRP): Um método inovador que intercala julgamentos de segurança no texto de pré-treinamento, treinando modelos para realizar automonitoração contínua.
3. MedSafetyWorld: Um novo benchmark sintético projetado especificamente para isolar e estudar a generalização de comportamentos inseguros a partir de dados de pré-treinamento seguros, fornecendo uma definição clara de segurança e estruturas de raciocínio.
4. Validação Empírica: Experimentos abrangentes mostrando que o SRP supera a filtragem de dados e a reescrita na prevenção da generalização insegura, mantendo a utilidade geral.

4. Resultados Experimentais

Experimentos Sintéticos (MedSafetyWorld)

• Falha de Generalização da Filtragem: Modelos treinados com "Filtragem" (removendo dados Reverse-Unsafe) ainda exibiram altas taxas de jailbreak (30,60% de ASR de prefill, 43,20% de ASR de fine-tuning), provando que eles generalizaram comportamentos inseguros a partir de dados seguros.
• Ineficácia da Reescrita: A simples reescrita de dados falhou em eliminar a generalização insegura, com altas taxas de jailbreak (43,00% de ASR de prefill).
• Troca entre Utilidade vs. Segurança: O "Filtering-plus" (removendo todos os dados com resultados inseguros) reduziu as taxas de jailbreak para quase zero, mas degradou severamente o desempenho geral (caindo de ~73% para ~54%), pois removeu conhecimento necessário.
• Desempenho do SRP: O SRP alcançou um equilíbrio superior, reduzindo as taxas de jailbreak para 7,60% (prefill) e 2,20% (fine-tuning), enquanto preservava o alto desempenho geral (75,00%).

Experimentos do Mundo Real (Modelos de 1.7B no FineWeb-Edu)

• Robustez na Fase de Inferência: Modelos SRP demonstraram taxas de sucesso de ataque (ASR) significativamente menores contra ataques adversários (Prefill, GCG, AutoDAN) em comparação com o Baseline e o SafeLM (um modelo de pré-treinamento de segurança estado da arte). Por exemplo, no GCG (AdvBench), o SRP alcançou um ASR de 1,33% (juiz LLM) contra 24,89% do SafeLM.
• Robustez ao Ajuste Fino (Fine-Tuning): Modelos SRP permaneceram robustos sob ajuste fino tanto benigno quanto adversário, desde que o padrão de reflexão fosse preservado durante o ajuste fino (via aumento de dados ou mistura). Em contraste, modelos sem reflexão de pré-treinamento ou com designs de pós-treinamento incompatíveis perderam rapidamente o alinhamento de segurança.
• Capacidade Geral: Modelos SRP mantiveram desempenho comparável ao Baseline em compreensão geral (ARC, CommonsenseQA, etc.) e seguimento de instruções (AlpacaEval, IFEval), demonstrando que as intervenções de segurança não erodiram a utilidade. O SafeLM apresentou pontuações gerais mais altas (provavelmente devido à maior escala de pré-treinamento), mas sofreu de recusa excessiva (over-refusal).

5. Significância e Alegações

O artigo afirma que o alinhamento na fase de pré-treinamento deve não apenas tornar os dados de treinamento seguros, mas também moldar os comportamentos que os modelos adquirem a partir de dados seguros.

• Alinhamento Profundo: Ao integrar a reflexão de segurança no objetivo de pré-treinamento, o SRP estabelece uma capacidade fundamental de automonitoração que é mais robusta do que os ajustes superficiais de nível de token típicos do alinhamento de pós-treinamento.
• Complementaridade: Os autores enfatizam que o SRP não é um substituto para o pós-treinamento, mas uma fundação necessária. O formato de reflexão deve ser consistente entre o pré-treinamento e o pós-treinamento para ser eficaz; removê-lo de qualquer uma das fases degrada o desempenho.
• Direção Futura: O trabalho sugere que pesquisas futuras devem focar em tornar o alinhamento da fase de pré-treinamento robusto a modificações de pós-treinamento, visando uma base de segurança que permaneça intacta mesmo quando usuários finais realizam ajustes finos arbitrários.

Os autores concluem que, embora sua implementação atual exija um pós-treinamento compatível para manter a robustez, a percepção central — de que induzir comportamentos de automonitoramento nativos durante o pré-treinamento é crucial para um alinhamento de segurança profundo — representa um passo significativo além dos paradigmas atuais de filtragem de dados.