Measuring & Mitigating Over-Alignment for LLMs in Multilingual Criminal Law Courts

Resumen Técnico: Medición y Mitigación del Sobre-alineamiento para LLMs en Tribunales de Derecho Penal Multilingües

Planteamiento del Problema
El despliegue de Modelos de Lenguaje Extensos (LLMs) en dominios legales, particularmente dentro de los tribunales de derecho penal, enfrenta un modo de fallo específico que es distinto de la alucinación o el sesgo general: el sobre-alineamiento (over-alignment). Mientras que los tribunales utilizan LLMs para tareas de alta responsabilidad como la traducción y el resumen de documentos legales sensibles, los mecanismos estándar de alineación de seguridad suelen activar rechazos inapropiados o advertencias de contenido no solicitadas (descargos de responsabilidad o disclaimers) al procesar expedientes legales legítimos que involucran delitos de violencia o sexuales.

En el contexto del Tribunal Supremo Federal Suizo, donde los secretarios procesan habitualmente descripciones detalladas de abusos sexuales y violencia, estos activadores de seguridad comprometen el trabajo legítimo. Los benchmarks existentes para el sobre-rechazo (por ejemplo, XSTest, OR-Bench) son insuficientes porque:

1. Se centran en prompts adversariales en inglés ajenos al trabajo legal.
2. Miden únicamente los "rechazos duros", ignorando el sobre-alineamiento "suave" donde el modelo completa la tarea pero añade descargos de responsabilidad moralizantes.
3. No tienen en cuenta la naturaleza multilingüe de los sistemas legales (francés, alemán, italiano, inglés) y cómo las combinaciones de idiomas afectan a los activadores de seguridad.

Metodología: TF-RefusalBench
Para abordar estas brechas, los autores presentan TF-RefusalBench, un benchmark multilingüe derivado de 100 extractos sensibles de fallos públicos del Tribunal Supremo Federal Suizo.

• Construcción de Datos:

  • Fuente: Se filtraron 16,000 fallos de derecho penal públicos buscando párrafos de >1,000 caracteres que contuvieran términos de la lista LDNOOBW (palabras obscenas/violentas).
  • Selección de Severidad: Un panel de tres jueces LLM diversos realizó comparaciones por pares para clasificar los extractos según la severidad del contenido (detalle gráfico, violencia, explotación). Se seleccionaron los 100 extractos más severos, resultando en un conjunto de datos donde el 89% del contenido se relaciona con delitos sexuales/menores y el 11% con violencia física.
  • Aumentación: Para equilibrar la distribución lingüística (originalmente 71 alemán, 29 francés), se generaron traducciones sintéticas utilizando un modelo con salvaguardas débiles (Grok-4.3) para crear un corpus paralelo en francés, alemán, italiano e inglés.
  • Generación de Prompts: A partir de 400 pasajes fuente, se generaron 13 variantes de prompts por pasaje variando la tarea (traducción vs. resumen) y los espacios de lenguaje: lenguaje de origen ($S$), lenguaje de destino ($T$) y lenguaje de instrucción ($P$). Esto produjo 5,200 prompts únicos (15,600 consultas totales con 3 repeticiones cada una).

• Métricas de Evaluación:

  • Rechazo (Refusal): ¿Declinó el modelo la tarea por razones éticas o de contenido?
  • Descargo de Responsabilidad (Disclaimer): ¿Añadió el modelo una advertencia o salvedad a pesar de completar la tarea?
  • Juicio (Judging): Tres jueces LLM distintos (MiMo-V2-Flash, Mistral-Small-3.2, DeepSeek-V4-Flash) calificaron las salidas mediante votación por mayoría. El acuerdo entre jueces fue alto para el rechazo ($\kappa \approx 0.98$) y sustancial para los descargos de responsabilidad ($\kappa \approx 0.75\text{--}0.80$).

Resultados Clave
El estudio evaluó cinco modelos de pesos abiertos (Llama 3.3, GPT-OSS, Apertus, Qwen3, Gemma 4) y reveló que el sobre-alineamiento es multifacético y específico de cada modelo:

1. Más allá del Rechazo: Las tasas de rechazo por sí solas son insuficientes. Mientras que Qwen3 mostró 0% de rechazo y de descargos de responsabilidad, Gemma 4 y Apertus rara vez rechazaron, pero añadieron descargos de responsabilidad hasta en el 26.5% y 20.4% de las salidas, respectivamente.
2. Asimetría Lingüística: Los activadores de seguridad dependen fuertemente del idioma de salida. Por ejemplo, la tasa de rechazo de Llama alcanzó su punto máximo al producir en francés (13.6%) comparado con el alemán (1.9%), mientras que la tasa de descargos de responsabilidad de Gemma alcanzó su máximo en inglés (41.2%). Esto sugiere que el ajuste de seguridad se aplica de manera desigual entre idiomas.
3. Concordancia de Idioma del Prompt: Instruir a un modelo en el idioma del texto sensible de origen (concordante) aumentó significativamente las tasas de rechazo en comparación con el uso del idioma de destino (discordante). Para Llama, las instrucciones concordantes aumentaron las probabilidades de rechazo en 1.6x; para GPT-OSS, en 2.6x.
4. Estocasticidad: El sobre-alineamiento no es determinista. La descomposición de la varianza mostró que aproximadamente el 27% de la variación en el comportamiento de rechazo/descargo de responsabilidad se debe a la estocasticidad del muestreo, lo que significa que el mismo prompt puede producir resultados diferentes en distintas ejecuciones.

Estrategias de Mitigación
El artículo investiga dos enfoques para mitigar el sobre-alineamiento en el modelo Llama 3.3-70B:

1. Prompting de Sistema:

   • Un prompt de sistema corto identificando al usuario como asistente judicial redujo las tasas de rechazo a la mitad.
   • Un prompt de "autorización" (que permite explícitamente contenido sensible) suprimió los descargos de responsabilidad de manera más efectiva que los rechazos.
   • Hacer coincidir el idioma del prompt de sistema con el idioma de la solicitud redujo aún más los rechazos.

2. Abliteración (Abliteration):

   • Los autores aplicaron abliteración (eliminación de las direcciones de rechazo de las activaciones del modelo mediante ortogonalización) utilizando la implementación Heretic.
   • Efectividad: Este método eliminó los rechazos por completo (del 6.8% al 0%) y redujo los descargos de responsabilidad (del 7.9% al 5.1%).
   • Costo: Aunque la calidad de la tarea (fidelidad) se mantuvo casi neutral (caída de <0.1 en una escala de 5 puntos), la intervención aumentó significativamente la vulnerabilidad a solicitudes dañinas. En HarmBench, las tasas de éxito de ataque aumentaron del 14.5% al 55.5%, y las puntuaciones de TruthfulQA cayeron 7.1 puntos.

Significancia y Reivindicaciones
El artículo sostiene que el sobre-alineamiento en contextos legales es un fenómeno distinto y medible que no puede resolverse con los benchmarks estándar de rechazo centrados solo en inglés. Sus principales contribuciones son:

• TF-RefusalBench: Un benchmark de acceso restringido diseñado para diagnosticar el comportamiento de los modelos en el trabajo legal sensible y legítimo a través de múltiples idiomas.
• Perspectiva Diagnóstica: Demostrar que el sobre-alineamiento "suave" (descargos de responsabilidad) es tan perjudicial para los flujos de trabajo legales como los rechazos duros y es altamente sensible a las combinaciones de idiomas.
• Mitigación Práctica: Mostrar que, si bien el prompting de sistema ofrece un alivio parcial, la abliteración es el método más efectivo para eliminar los rechazos en implementaciones locales (on-premises), siempre que la institución acepte el compromiso de una reducción en las capacidades generales de seguridad.

Los autores enfatizan que su enfoque es específico para el contexto institucional del Tribunal Supremo Federal Suizo, donde el equilibrio entre la seguridad y la capacidad de procesar documentos legítimos de derecho penal se gestiona dentro de un entorno controlado y local. No afirman que estos métodos sean universalmente seguros para el despliegue público, sino que argumentan que son necesarios para la utilidad específica y de alto nivel de los LLMs en el derecho penal.