Resumen Técnico: Ruptura de la Seguridad en el Límite del Token

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) modernos se alinean para la seguridad utilizando Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) y la Optimización de Preferencias Directas (DPO) para rechazar solicitudes dañinas. Sin embargo, estos mecanismos de seguridad son eludidos de manera fiable mediante perturbaciones a nivel de carácter simples (por ejemplo, capitalización aleatoria, leetspeak, desorden de caracteres) que siguen siendo legibles para los humanos. Aunque trabajos previos establecieron que tales perturbaciones tienen éxito y que la tokenización Byte-Pair Encoding (BPE) es frágil, el mecanismo estructural específico que conecta las perturbaciones de entrada con el fallo de seguridad permanecía sin caracterizar. Este artículo identifica y prueba una causa estructural central: la tokenización BPE fragmenta las palabras de seguridad crítica en piezas de sub-palabras, y los datos de entrenamiento de alineación no contienen entradas intencionalmente fragmentadas. En consecuencia, los modelos comprenden solicitudes dañinas fragmentadas pero no logran activar la señal de rechazo entrenada en texto limpio.

Metodología

Los autores proponen y validan una cadena mecánica de extremo a extremo que conecta la fragmentación BPE con el fallo de seguridad conductual. El estudio abarca cinco familias de modelos (Qwen-3-4B, Qwen-2.5-7B, Gemma-3-4B, Llama-3.1-8B, Mistral-7B) y utiliza los siguientes enfoques experimentales:

1. Optimización para la Fragmentación: Un algoritmo voraz inserta espacios en los prompts para maximizar la reducción del "gap de logits" (la diferencia entre el logit del token de rechazo más alto y el logit del token de cumplimiento más alto). Esto pone a prueba si forzar la fragmentación BPE colapsa el activador de rechazo.
2. Parcheo de Activación (Activation Patching): Para localizar la interrupción, los autores descomponen el gap de logits en contribuciones por capa y utilizan el parcheo de activación para reemplazar las activaciones del flujo residual fragmentadas con las limpias, midiendo la restauración de la señal de seguridad.
3. Análisis de la Distribución de Entrenamiento: Los autores escanearon 30,000 ejemplos a través de tres conjuntos de datos de alineación públicos (PKU-SafeRLHF, Anthropic HH-RLHF, BeaverTails) en busca de entradas fragmentadas (leetspeak, inserción de espacios, mezcla de mayúsculas/minúsculas).
4. Mutación Dirigida: Se ejecutaron ataques Best-of-N (BoN) mutando exactamente una palabra a la vez para aislar si las palabras de seguridad crítica son el locus específico de la interrupción en comparación con las palabras neutras.
5. Evaluación de Defensa: Una cuadrícula controlada de 68 celdas (55 checkpoints entrenados) comparó configuraciones de SFT y DPO. El estudio introdujo Conv-Benign, un diagnóstico pareado que mide la tasa de rechazo del modelo en prompts benignos bajo la misma sonda de fragmentación, para distinguir entre la "reparación selectiva" de la seguridad y el "colapso global" (sobre-rechazo).

Resultados Clave

1. La Cadena Mecanicista

• Colapso por Fragmentación: La inserción de espacios (que garantiza la interrupción de BPE preservando los caracteres) colapsó la señal de rechazo del primer token en el 80–100% de los prompts dañinos de HarmBench en las cinco familias de modelos.
• Impacto Conductual: De los prompts donde la polaridad del gap de logits se invirtió, el 48% resultó en salidas genuinamente dañinas (rango por modelo: 29–65%). La polaridad del gap de logits mostró un ROC-AUC agrupado de 0.84 en la predicción del rechazo conductual.
• Localización de Capas: La interrupción se localiza en las últimas ~30% de las capas. En los modelos Qwen y Gemma, la señal de rechazo está concentrada en unas pocas capas tardías (patrón concentrado), mientras que en Llama y Mistral, está distribuida en muchas capas (patrón distribuido). El parcheo de activación confirmó que la fragmentación interrumpe causalmente estas vías específicas de las capas tardías.

2. Evidencia de un Vacío en la Distribución de Entrenamiento

• Cero Prompts Fragmentados: El sondeo de 30,000 ejemplos de alineación encontró cero prompts intencionalmente fragmentados.
• La Alineación Crea la Señal: Los modelos base (no alineados) mostraron solo señales de rechazo débiles en entradas fragmentadas. Los modelos instruct (alineados) mostraron señales fuertes en entradas limpias, pero estas señales colapsaron cuando las entradas fueron fragmentadas. Esto confirma que la alineación crea el mecanismo de rechazo, pero solo para tokenizaciones limpias.
• Comprensión vs. Rechazo: Las sondas de completado de palabras demostraron que los modelos pueden comprender palabras de seguridad fragmentadas (30–60% de precisión), probando que el pre-entrenamiento enseña la comprensión de texto desordenado, mientras que la alineación falla al enseñar el rechazo de este.
• Palabras de Seguridad como Cuello de Botella: La mutación de palabras de seguridad crítica produjo tasas de éxito de ataque (ASR) significativamente más altas que la mutación de palabras neutras, aislando las palabras de seguridad como el locus de la interrupción.

3. Limitaciones de la Defensa

• Ineficacia de DPO: Ninguna configuración de DPO logró un cierre de ASR estable según la semilla en las familias probadas. Aunque algunas celdas de DPO redujeron el ASR, las mejoras no fueron estables entre semillas o tamaños de pool.
• Colapso Global de SFT: El SFT entrenado en prompts fragmentados cerró el ASR en 3 de las 5 familias (Llama, Mistral, Gemma), pero solo mediante colapso global. Estos modelos exhibieron una caída masiva en el rechazo en prompts benignos (Conv-Benign), indicando que aprendieron a rechazar todo en lugar de reparar selectivamente la brecha de seguridad.
• Diagnóstico Conv-Benign: La introducción de Conv-Benign reveló que las recetas de alineación actuales (LoRA-16) no pueden reparar selectivamente la brecha de fragmentación sin incurrir en un costo para la utilidad (sobre-rechazo).

Significancia y Reivindicaciones

El artículo afirma transformar los jailbreaks a nivel de carácter de una observación empírica en una explicación mecanicista falsable. La contribución central es identificar que la vulnerabilidad no es meramente una falta de robustez, sino un desajuste estructural: la tokenización BPE fragmenta los tokens de seguridad crítica, y la alineación de seguridad nunca fue entrenada sobre estas representaciones fragmentadas.

Los autores enfatizan que:

• El gap de logits es un diagnóstico a nivel de disparador, no una condición suficiente para el daño, pero es la primera capa de un sistema de seguridad multicapa.
• Las recetas actuales de ajuste fino (SFT/DPO) bajo las restricciones probadas (LoRA-16) fallan en cerrar la brecha de distribución de forma selectiva; o bien fallan en cerrarla o colapsan la utilidad del modelo globalmente.
• La seguridad robusta probablemente requiere intervenciones en o por encima del cuello de botella de BPE (por ejemplo, correcciones a nivel de token o razonamiento de Cadena de Pensamiento [Chain-of-Thought] que reconstruya la semántica antes de la decisión de seguridad), en lugar de solo más datos de alineación.

El estudio concluye que la "distribución faltante" (entradas fragmentadas en los datos de alineación) es necesaria pero no suficiente para la reparación bajo las recetas actuales, y que los fallos de seguridad observados son una consecuencia directa de la interacción de la arquitectura de tokenización con la distribución de los datos de entrenamiento.