Safety Is Not Universal: The Selective Safety Trap in LLM Alignment

1. Declaración del Problema

Las evaluaciones de seguridad actuales para los Modelos de Lenguaje Grande (LLM) crean una ilusión peligrosa de protección universal. Al agrupar daños bajo categorías genéricas (por ejemplo, "Odio por Identidad"), las métricas existentes oscurecen vulnerabilidades críticas hacia poblaciones específicas. Los autores identifican un modo de fallo sistémico denominado Trampa de Seguridad Selectiva, donde los modelos defienden robustamente grupos demográficos específicos y de alta visibilidad (a menudo dominantes en datos de entrenamiento centrados en EE. UU.), mientras dejan a las comunidades subrepresentadas altamente vulnerables a ataques adversarios idénticos.

El desafío central es que la alineación de seguridad no es una capacidad semántica uniforme, sino una jerarquía demográfica. Las métricas actuales fallan al determinar para quién es seguro un modelo, lo que conduce a una falsa sensación de seguridad donde la seguridad está simplemente sobreajustada a minorías específicas presentes en la distribución de datos, dejando a la "cola larga" de grupos subrepresentados indefensos.

2. Metodología

A. MiJaBench (Bench de Jailbreaking para Minorías)

Para auditar sistemáticamente este fenómeno, los autores introdujeron MiJaBench, un benchmark adversarial bilingüe (inglés-portugués) diseñado para aislar vulnerabilidades específicas de la demografía.

• Escala: 43.961 prompts de jailbreaking controlados.
• Cobertura: 16 grupos minoritarios distintos (por ejemplo, Negros, LGBTQIA+, Personas con Discapacidad, Inmigrantes, Ancianos).
• Pipeline de Construcción:
  1. Semilla de Discurso de Odio: Derivada de ToxiGen (inglés) y ToxSyn (portugués) para asegurar un contexto cultural nativo en lugar de artefactos de traducción automática.
  2. Escenario Contextual: 21 categorías narrativas diversas (por ejemplo, Historia, Tecnología Futurista, Mitología) para imponer una generación de alta entropía y evitar la convergencia determinista del modelo.
  3. Estrategia de Jailbreaking: Cuatro técnicas adversariales controladas:
     • Asignación de Persona: Escenarios de interpretación de roles.
     • Cambio de Representación: Ofuscación mediante lenguas de bajos recursos, JSON o Leetspeak.
     • Cadena de Pensamiento (CoT): Descomposición de la intención dañina en pasos lógicos.
     • Racionalización Lógica: Enmarcar el discurso de odio como un ejercicio analítico.
  4. Reescritor Adversarial: Un pipeline estocástico que utiliza Qwen-3-235B para sintetizar estos componentes en prompts cohesivos que eluden los filtros de seguridad mientras preservan la intención dañina original.

B. MiJaBench-Align

Los autores ejecutaron MiJaBench en 14 LLM de última generación (incluyendo Llama-3, Gemma-3, Qwen-3, GPT-4o mini y Gemini 2.0 Flash) que van desde 1B hasta más de 70B parámetros. Esto generó 615.454 pares de prompt-respuesta, formando el corpus MiJaBench-Align.

C. Protocolo de Evaluación

• Métrica: Tasa de Defensa (DR), el inverso de la Tasa de Éxito del Ataque (ASR).
• LLM como Juez: Un sistema de evaluación automatizado que utiliza una votación por mayoría de un conjunto de modelos de primer nivel (Qwen-3, Llama-3.3, GPT-OSS) para clasificar las respuestas como "Seguras" o "Peligrosas".
• Verdad Terrena: Validada por expertos humanos mediante un protocolo estricto de clasificación binaria centrado en el éxito técnico (¿produjo el modelo el contenido dañino?) en lugar de la ofensividad subjetiva.

3. Contribuciones Clave

1. MiJaBench & MiJaBench-Align: El primer benchmark a gran escala y bilingüe diseñado específicamente para auditar vulnerabilidades de seguridad específicas de la demografía, yendo más allá de las taxonomías genéricas de daño.
2. Identificación de la Trampa de Seguridad Selectiva: Evidencia empírica que demuestra que la alineación de seguridad no es universal. Las tasas de defensa fluctúan hasta un 42% dentro del mismo modelo únicamente basándose en la demografía objetivo.
3. La Paradoja de la Escala: El descubrimiento de que aumentar el tamaño del modelo (escalado) actúa como un amplificador de sesgos. Los modelos más grandes mejoran la seguridad promedio pero asignan desproporcionadamente su capacidad aumentada para proteger a grupos dominantes, ampliando la brecha de seguridad para las minorías subrepresentadas.
4. Alineación Equitativa mediante DPO: Una demostración de que la Optimización Directa de Preferencias (DPO) dirigida en un modelo a pequeña escala (1B parámetros) puede lograr una fuerte generalización zero-shot a demografías y estrategias de ataque no vistas, probando que la seguridad selectiva es un fallo resoluble de los objetivos de alineación, no una restricción arquitectónica.

4. Resultados Clave

• Disparidad Demográfica: Los modelos exhiben un sistema de seguridad de "dos niveles". Por ejemplo, en inglés, los modelos mostraron una desviación en la tasa de defensa de +12,29% para las comunidades Negras, pero una desviación de -8,05% para las Personas con Discapacidad.
• Consistencia Translingüística: La jerarquía de seguridad persiste en portugués, confirmando que el sesgo está codificado en las representaciones semánticas latentes del modelo en lugar de ser un artefacto superficial de los datos de entrenamiento en inglés. Sin embargo, la magnitud de la disparidad es ligeramente menor en portugués, probablemente debido a un menor sobreajuste al discurso sociopolítico específico de EE. UU.
• Efectos de Escala:
  • Familia Qwen-3: Escalar de 1.7B a 32B parámetros aumentó la tasa de defensa global del 2% al 16%, pero la disparidad (desviación estándar entre grupos) aumentó de 0,004 a 0,062.
  • Anomalía: El modelo Llama-3.2-1B logró una tasa de defensa global del 36% con límites de disparidad significativamente más ajustados ($\sigma \approx 0,059$), superando a modelos mucho más grandes (por ejemplo, Qwen-3-32B al 16%, GPT-4o mini al 28%). Esto sugiere que la disparidad severa no es una restricción inevitable de la capacidad, sino un fallo en la asignación de la alineación.
• Vulnerabilidad a la Lógica: Los modelos son significativamente más vulnerables a los jailbreaks de Racionalización Lógica y Cadena de Pensamiento (DR $\approx$ 7–23%) en comparación con el Cambio de Representación (DR $\approx$ 39%), lo que indica que los modelos priorizan el seguimiento de instrucciones lógicas sobre las restricciones de seguridad cuando el daño se enmarca como una premisa.

5. Significado e Implicaciones

• Redefinición de la Evaluación de Seguridad: El artículo argumenta que las puntuaciones de seguridad agregadas son engañosas. La seguridad real requiere auditar el rendimiento a través de intersecciones demográficas específicas, no solo categorías amplias.
• Crítica a las Leyes de Escala: Cuestiona la suposición de que "más grande es más seguro", demostrando que sin intervención dirigida, el escalado exacerba la desigualdad al sobreoptimizar para grupos de alto recurso y alta visibilidad.
• Camino hacia una IA Equitativa: El éxito de DPO en un modelo de 1B prueba que los modelos pequeños pueden aprender un concepto generalizado y transferible de daño. Esto ofrece una vía viable y computacionalmente eficiente para mitigar la seguridad selectiva sin requerir un reentrenamiento masivo de modelos de vanguardia.
• Relevancia Global: Al incluir el portugués, el estudio destaca que las brechas de seguridad no son únicas para contextos de habla inglesa, sino que son problemas sistémicos en las representaciones latentes de los modelos multilingües, lo que hace necesaria una formación de seguridad culturalmente diversa.

En conclusión, el artículo proporciona un marco de diagnóstico (MiJaBench) y una estrategia de remediación (DPO) para transicionar la seguridad de los LLM de un privilegio selectivo para unos pocos grupos a una protección equitativa para todas las comunidades.