Resumen Técnico: Más allá de los datos seguros: Alineación en la etapa de preentrenamiento con reflexión de seguridad regular

1. Planteamiento del problema

El alineamiento de seguridad actual para los Modelos de Lenguaje Extensos (LLMs) se lleva a cabo predominantemente durante la etapa de post-entrenamiento (por ejemplo, Ajuste Fino Supervisado, Aprendizaje por Refuerzo a partir de Retroalimentación Humana/IA). Los autores argumentan que este enfoque es inherentemente superficial y frágil. La evidencia empírica sugiere que las salvaguardas de seguridad adquiridas en el post-entrenamiento pueden ser fácilmente comprometidas por la manipulación de prompts de entrada (jailbreaking) o incluso por un ajuste fino benigno, que puede inducir inadvertidamente comportamientos dañinos.

Una limitación crítica de las intervenciones existentes en la etapa de preentrenamiento, como el filtrado de datos (eliminar tokens/documentos inseguros) y la reescritura de datos (refrasear contenido inseguro), es que tratan el alineamiento como un problema de control de contenido en lugar de un moldeado de comportamiento. El artículo postula que, incluso si los datos de preentrenamiento son enteramente seguros, los modelos aún pueden adquirir la capacidad de generalizar comportos inseguros mediante el razonamiento y la composición. Por ejemplo, un modelo entrenado únicamente con conocimientos médicos seguros aún podría aprender a inferir métodos accionables para causar daño combinando hechos benignos de formas novedosas.

2. Metodología: Preentrenamiento de Reflexión de Seguridad (SRP)

Para abordar las limitaciones del filtrado centrado en los datos, los autores proponen el Preentrenamiento de Reflexión de Seguridad (SRP). Este método integra la automonitorización directamente en el objetivo de modelado de lenguaje durante el preentrenamiento, insertando regularmente "reflexiones de seguridad" en el corpus de entrenamiento.

Mecanismo Central

1. Segmentación de Texto: Los corpus de preentrenamiento se particionan en segmentos (por ejemplo, unos pocos cientos de tokens) utilizando una estrategia sensible a las oraciones para mantener la coherencia semántica.
2. Generación de Reflexión: Después de cada segmento, un clasificador de seguridad (específicamente Qwen3Guard-Gen-0.6B) genera una breve reflexión. Esta reflexión consiste en:
   • Un token de veredicto: "Seguro" (Safe) o "Inseguro" (Unsafe).
   • Un token de categoría (si es inseguro): Especificando el tipo de daño (por ejemplo, "Violento").
   • Un token EOS (si es inseguro): Señalizando al modelo para que detenga la generación al detectar contenido inseguro.
3. Corpus Aumentado: Estas reflexiones se insertan directamente en el texto de preentrenamiento, obligando al modelo a aprender a juzgar la seguridad de su generación precedente como parte de la tarea de predicción del siguiente token.
4. Compatibilidad con el Post-entrenamiento: Para asegurar que el comportamiento aprendido se transfiera al despliegue, los autores emplean un diseño de post-entrenamiento compatible donde los datos de SFT también se aumentan con patrones de reflexión similares. Esto refuerza el comportamiento de reflexión aprendido durante el preentrenamiento.

Entorno Sintético: MedSafetyWorld

Para probar rigurosamente la hipótesis de que los modelos pueden generalizar comportamientos inseguros a partir de datos seguros, los autores construyeron MedSafetyWorld, un entorno sintético totalmente controlado.

• Estructura: Define entidades (Compuestos, Mediadores, Resultados) y relaciones causales.
• Definición de Seguridad: Distingue entre cuatro categorías de datos:
  • Forward-Safe/Unsafe (Seguro/Inseguro hacia adelante): Describe qué conduce un compuesto (benigno para el modelo saberlo, incluso si el resultado es inseguro, ya que ayuda a advertir a los usuarios).
  • Reverse-Safe (Seguro inverso): Describe qué causa un resultado seguro.
  • Reverse-Unsafe (Inseguro inverso): Describe qué causa un resultado inseguro (la única categoría verdaderamente dañina, ya que enseña daño accionable).
• Objetivo: Observar si los modelos entrenados con datos que excluyen ejemplos "Reverse-Unsafe" aún pueden inferir cómo causar daño mediante la generalización.

3. Contribuciones Clave

1. Argumento por el Moldeado de Comportamiento: El artículo sostiene que el alineamiento en la etapa de preentrenamiento debe ir más allá del filtrado de datos inseguros para moldear activamente los procesos de razonamiento interno del modelo. Demuestra que los datos seguros por sí solos son insuficientes para prevenir la generalización de capacidades inseguras.
2. Preentrenamiento de Reflexión de Seguridad (SRP): Un método novedoso que entrelaza juicios de seguridad en el texto de preentrenamiento, entrenando a los modelos para realizar una automonitorización continua.
3. MedSafetyWorld: Un nuevo benchmark sintético diseñado específicamente para aislar y estudiar la generalización de comportamientos inseguros desde datos de preentrenamiento seguros, proporcionando una definición clara de seguridad y estructuras de razonamiento.
4. Validación Empírica: Experimentos exhaustivos que muestran que SRP supera al filtrado de datos y a la reescritura en la prevención de la generalización insegura, manteniendo la utilidad general.

4. Resultados Experimentales

Experimentos Sintéticos (MedSafetyWorld)

• Fallo de Generalización del Filtrado: Los modelos entrenados con "Filtrado" (eliminando datos Reverse-Unsafe) todavía exhibieron altas tasas de jailbreak (30.60% ASR de prefill, 43.20% ASR de fine-tuning), demostrando que generalizaron comportamientos inseguros a partir de datos seguros.
• Ineficacia de la Reescritura: La simple reescritura de datos no logró eliminar la generalización insegura, con altas tasas de jailbreak (43.00% ASR de prefill).
• Compromiso entre Utilidad y Seguridad: El "Filtrado-plus" (eliminando todos los datos con resultados inseguros) redujo las tasas de jailbreak a casi cero pero degradó severamente el rendimiento general (cayendo de ~73% a ~54%), ya que eliminó conocimiento necesario.
• Rendimiento de SRP: SRP logró un compromiso superior, reduciendo las tasas de jailbreak a 7.60% (prefill) y 2.20% (fine-tuning) mientras preservaba un alto rendimiento general (75.00%).

Experimentos en el Mundo Real (Modelos de 1.7B en FineWeb-Edu)

• Robustez en la Etapa de Inferencia: Los modelos SRP demostraron tasas de éxito de ataque (ASR) significativamente menores contra ataques adversarios (Prefill, GCG, AutoDAN) en comparación con el Baseline y SafeLM (un modelo de preentrenamiento de seguridad de vanguardia). Por ejemplo, en GCG (AdvBench), SRP logró un ASR de 1.33% (juez LLM) frente al 24.89% de SafeLM.
• Robustez al Fine-Tuning: Los modelos SRP se mantuvieron robustos tanto bajo fine-tuning benigno como adversario, siempre que se preservara el patrón de reflexión durante el fine-tuning (mediante aumento de datos o mezcla). En contraste, los modelos sin reflexión de preentrenamiento o con diseños de post-entrenamiento incompatibles perdieron rápidamente el alineamiento de seguridad.
• Capacidad General: Los modelos SRP mantuvieron un rendimiento comparable al Baseline en comprensión general (ARC, CommonsenseQA, etc.) y seguimiento de instrucciones (AlpacaEval, IFEval), demostando que las intervenciones de seguridad no erosionaron la utilidad. SafeLM mostró puntuaciones generales más altas (probablemente debido a una mayor escala de preentrenamiento) pero sufrió de un severo exceso de rechazo (over-refusal).

5. Significado y Reivindicaciones

El artículo afirma que el alineamiento en la etapa de preentrenamiento no solo debe hacer que los datos de entrenamiento sean seguros, sino también moldear los comportamientos que los modelos adquieren de los datos seguros.

• Alineamiento Profundo: Al integrar la reflexión de seguridad en el objetivo de preentrenamiento, SRP establece una capacidad fundacional de automonitorización que es más robusta que los ajustes superficiales a nivel de token típicos del alineamiento de post-entrenamiento.
• Complementariedad: Los autores enfatizan que SRP no es un reemplazo del post-entrenamiento, sino una base necesaria. El formato de reflexión debe ser consistente a través del preentrenamiento y el post-entrenamiento para ser efectivo; eliminarlo de cualquiera de las etapas degrada el rendimiento.
• Dirección Futura: El trabajo sugiere que la investigación futura debería centrarse en hacer que el alineamiento de la etapa de preentrenamiento sea robusto a las modificaciones de post-entrenamiento, con el objetivo de lograr una base de seguridad que permanezca intacta incluso cuando los usuarios finales realicen un fine-tuning arbitrario.

Los autores concluyen que, si bien su implementación actual requiere un post-entrenamiento compatible para mantener la robustez, la idea central —que inducir comportamientos de automonitorización nativos durante el preentrenamiento es crucial para un alineamiento de seguridad profundo— representa un paso significativo más allá de los paradigmas actuales de filtrado de datos.