Resumen Técnico: El Compromiso entre el Rechazo y el Cumplimiento

Planteamiento del Problema

Las evaluaciones de seguridad actuales para los Modelos de Lenguaje de Gran Escala (LLM) dependen fuertemente de las tasas de rechazo como un sustituto de la seguridad. Este artículo argumenta que las tasas de rechazo son una métrica deficiente porque no logran capturar dos modos de falla distintos y en gran medida independientes: el sobre-rechazo (rechazar prompts benignos) y el cumplimiento dañino (generar contenido inseguro en respuesta a prompts adversarios).

Los benchmarks existentes suelen abordar solo uno de estos modos de forma aislada. Los benchmarks de toxicidad (por ejemplo, ToxiGen) evalúan la generación insegura sin tener en cuenta las tasas de rechazo benignas, mientras que los benchmarks de sobre-rechazo (por ejemplo, XSTest, OR-Bench) miden falsos positivos sin evaluar la vulnerabilidad ante entradas adversarias. Además, las tasas de rechazo observadas pueden verse confundidas por desequilibrios de toxicidad dentro de los conjuntos de datos de evaluación, lo que hace que las comparaciones demográficas entre grupos sean poco fiables. El artículo postula que las altas tasas de rechazo no implican un bajo cumplimiento dañino, y que los modelos de diferentes ecosistemas adoptan estrategias de calibración fundamentalmente distintas que no son capturadas por resúmenes de seguridad de un solo número.

Metodología

Los autores realizaron una auditoría empírica a gran escala de 21 LLM de pesos abiertos ajustados por instrucciones a través de cuatro benchmarks de seguridad: OR-Bench, XSTest, ToxiGen y BOLD. El estudio abarca múltiples familias de modelos, generaciones, escalas y ecosistemas regionales (EE. UU., China, Europa, Oriente Medio, India, Corea, Japón).

Marco de Evaluación

1. Clasificación de Salida: Las respuestas se clasificaron en tres categorías:
   • Rechazo (SR): El modelo declina participar.
   • Cumplimiento Seguro (SC): El modelo responde de manera útil sin causar daño.
   • Cumplimiento Inseguro (SU): El modelo produce contenido dañino, discriminatorio o inseguro.
2. Métricas:
   • Tasa de Sobre-Rechazo (ORR): $P(SR | T_B)$, la probabilidad de rechazar un prompt benigno.
   • Tasa de Cumplimiento Dañino (HCR): $P(S_{unsafe} | T_T)$, la probabilidad de generar contenido inseguro ante un prompt tóxico.
   • Brecha de Rechazo Ajustada por Toxicidad ($\Delta$): Una métrica diseñada para aislar la sensibilidad del modelo a los atributos demográficos de los efectos de composición del dataset, mediante la marginalización sobre la distribución de toxicidad del benchmark.
3. LLM-as-a-Judge (LLM como Juez): Para manejar comportamientos matizados (por ejemplo, rechazos parciales, respuestas con preámbulos de seguridad), los autores emplearon un pipeline de múltiples jueces utilizando dos modelos distintos (Llama-3.3-70B-Instruct y Qwen2.5-32B-Instruct) para mitigar el sesgo circular. Los análisis primarios utilizaron una abstracción binaria (Seguro vs. Inseguro) para asegurar la estabilidad.
4. Configuración Experimental: Todos los modelos fueron evaluados utilizando decodificación codiciosa (greedy decoding) en GPUs NVIDIA A100, generando más de 7.1 millones de pares prompt-respuesta y 14.3 millones de anotaciones de jueces.

Resultados Clave

1. La Ortogonalidad de los Modos de Falla de Seguridad

El estudio encontró que el sobre-rechazo y el cumplimiento dañino están casi descorrelacionados ($r = -0.032$). La tendencia de un modelo a rechazar prompts benignos no proporciona prácticamente ninguna información sobre su vulnerabilidad a entradas adversarias.

• Ecosistemas Conservadores: Modelos como Llama-3-8B y Falcon3-7B exhiben un ORR alto (por ejemplo, 11.12% y 9.47% respectivamente) pero un HCR muy bajo (0.30% y 0.00%). Priorizan la seguridad a costa de la utilidad.
• Ecosistemas Permisivos: Modelos como DeepSeek-R1-7B exhiben un ORR extremadamente bajo (0.26%) pero un HCR alto (29.71%), preservando la utilidad mientras toleran un cumplimiento dañino significativo.
• Ecosistemas Equilibrados: Qwen-2.5-7B logró valores bajos en ambas métricas (ORR 0.80%, HCR 0.16%).
• Falsos Positivos: Las altas tasas de rechazo no garantizan la robustez; Airavata-7B mostró un ORR de 40.70% y aun así exhibió un HCR de 11.70%, indicando que la intervención indiscriminada no puede sustituir la ejecución de seguridad dirigida.

2. Estabilidad Dentro de las Familias de Modelos

El rechazo y los comportamientos de cumplimiento son estables dentro de las familias de modelos a través de generaciones y escalas, lo que sugiere que los objetivos de post-entrenamiento (por ejemplo, políticas de RLHF, datos de ajuste fino de seguridad) moldean el comportamiento de seguridad más que la arquitectura o el tamaño del modelo.

• Familia Llama: A través de las generaciones (Llama-2 a Llama-3.1), el HCR se mantuvo cerca de cero mientras que el ORR aumentó ligeramente, manteniendo un perfil de alta intervención.
• Familia Qwen: Mantuvo un bajo ORR a través de las generaciones mientras que el HCR mejoró ligeramente.
• Implicación: Un snapshot único de un modelo es razonablemente representativo del perfil de seguridad de su ecosistema, siempre que el linaje de post-entrenamiento sea consistente.

3. Protección Demográfica Desigual

La protección demográfica es altamente desigual y a menudo invisible para las métricas agregadas.

• Sobre-protección: Los modelos frecuentemente sobre-protegen a grupos raciales y religiosos prominentes (por ejemplo, judíos, latinos, musulmanes), rechazando prompts benignos que mencionan estas identidades. Por ejemplo, Llama-3.1-8B rechazó el 16.32% de los prompts benignos que hacían referencia a la demografía judía.
• Sub-protección: Los modelos son sustancialmente más vulnerables a ataques dirigidos a la discapacidad. Airavata-7B mostró un HCR de 8.99% para prompts de discapacidad mental, el HCR por subgrupo más alto observado.
• Efectos de Composición: Las tasas de rechazo brutas a menudo representan erróneamente estas disparidades debido a la frecuencia de los grupos demográficos en los subconjuntos tóxicos. La brecha ajustada por toxicidad ($\Delta$) reveló que los efectos de composición inflan algunas estimaciones de rechazo demográfico.

4. Sensibilidad a la Elección del Benchmark y del Evaluador

• Estructura del Benchmark: Las tasas de sobre-rechazo varían significamente según el diseño del benchmark. Los modelos mostraron un ORR más alto en XSTest (emparejamiento estructural) en comparación con OR-Bench (ambigüedad semántica), lo que indica que las características superficiales léxicas pueden disparar el rechazo incluso cuando la intención es benigna.
• Dependencia del Evaluador: Los hallazgos de sobre-rechazo fueron altamente estables entre los dos modelos jueces ($r = 0.990$). Sin embargo, los juicios de cumplimiento dañino fueron fuertemente dependientes del juez para salidas limítrofes ($r = 0.356$), particularmente respecto a descargos parciales o asistencia indirecta. Esto sugiere que las auditorías de un solo juez pueden producir estimaciones de cumplimiento que reflejan la calibración del evaluador más que las propiedades intrínsecas del modelo.

Significado y Contribuciones

El artículo realiza tres contribuciones principales al campo de la evaluación de seguridad de LLM:

1. Auditoría Conjunta de Modos de Falla: Va más allá de la evaluación basada solo en la tasa de rechazo al medir conjuntamente el sobre-rechazo y el cumplimiento dañino en 21 modelos y cuatro benchmarks, demostrando que estos son modos de falla ortogonales que requieren estrategias de mitigación distintas.
2. Caracterización Trans-Ecosistema: Revela que el comportamiento de seguridad es impulsado más por los objetivos de post-entrenamiento que por la arquitectura, lo que conduce a estrategias de calibración fundamentalmente diferentes entre ecosistemas (conservadores vs. permisivos).
3. Análisis Demográfico y de Robustez: Descubre brechas sistemáticas de protección demográfica, mostrando que los modelos sobre-protegen a los grupos de identidad visibles mientras fallan en proteger contra ataques dirigidos a la discapacidad. También destaca la necesidad de utilizar conjuntos de evaluadores heterogéneos y ajustar por la composición del dataset para asegurar comparaciones justas.

Los autores concluyen que una auditoría de seguridad robusta requiere una evaluación conjunta de ambos modos de falla, reportes demográficos desagregados (ajustados por la composición de toxicidad) y el uso de múltiples benchmarks y conjuntos de evaluadores para evitar las trampas de las evaluaciones de un solo métrica o de un solo juez.