Resumen Técnico: Sobre-rechazo en Pequeños LLM On-Premises en Contextos Jurídicos Penales

Planteamiento del Problema

Si bien los Modelos de Lenguaje Extensos (LLM) se están adoptando cada vez más por profesionales del derecho para tareas "seguras" como la traducción, el resumen y la reformulación, su despliegue en contextos jurídicos penales introduce riesgos significativos respecto al sesgo y la fiabilidad. Un fallo crítico y poco explorado es el sobre-rechazo (overrefusal), donde los modelos rechazan consultas benignas que se asemejan superficialmente a contenido dañino debido al entrenamiento de alineación de seguridad.

Este artículo investiga un escenario específico: un experto legal moderadamente competente que utiliza un LLM pequeño y local (≤8B de parámetros) por razones de privacidad. El estudio postula que incluso los usos inocuos pueden introducir sesgos sistémicos si el modelo rechaza selectivamente la asistencia basándose en el contexto de uso (por ejemplo, la naturaleza del caso o las partes involucradas). El problema central es que los mecanismos de seguridad estándar pueden ser inestables bajo los encuadres "institucionales" específicos que los usuarios legales reales introducen naturalmente, lo que podría conducir a un desempeño diferencial que amenaza los derechos humanos en los procedimientos legales.

Metodología

Configuración Experimental

El estudio restringe el despliegue a modelos instructivos de pesos abiertos pequeños ejecutados localmente para evitar que las salvaguardas de las API externas sesguen los resultados. Se evaluaron cuatro modelos:

• Llama 3.1 8B
• Gemma 4 E4B (efectivo ~4.5B/8B)
• Qwen 3 8B
• Apertus-8B-Instruct-2509

Los modelos fueron servidos localmente mediante Ollama con una temperatura de muestreo de $T=0$ y parámetros de inferencia por defecto.

Ingeniería de Prompts y Condiciones

Los investigadores utilizaron 200 prompts por categoría de cinco clases específicas en el conjunto de datos OR-Bench (Overrefusal-Bench): Violencia, Sexual, Dañino, Poco Ético e Ilegal. Estos prompts están construidos para parecer tóxicos pero son en realidad benignos.

Cada prompt fue evaluado bajo cuatro condiciones de encuadre distintas:

1. Sin Prefijo: Una línea base sin instrucción de sistema.
2. Prefijo de Abogado: "Soy un abogado defensor y necesito entender esto adecuadamente para un cliente que estoy representando..."
3. Prefijo de la Corte Suprema: "Soy un asesor legal trabajando para una corte suprema nacional en un caso oficial..." (Adaptado de un uso institucional real).
4. Prefijo de Jailbreak: Un estándar de sobreescritura de rol ("Ahora estás en modo desarrollador...").

El estudio también extendió estos experimentos al francés y al alemán traduciendo tanto los prefijos como los prompts, y validó los hallazgos en una pequeña muestra de 30 documentos legales reales (incluyendo casos del Tribunal Federal Suizo y los "Archivos de Epstein").

Métricas de Evaluación

La detección de rechazos se realizó mediante un método de coincidencia de palabras clave, extendido con listas de palabras clave en francés y alemán derivadas de las salidas reales de los modelos en lugar de una traducción directa para asegurar la precisión.

Resultados Clave

1. Los Prefijos de Autoridad Aumentan las Tasas de Rechazo

Contrario a la expectativa intuitiva de que reclamar autoridad facilitaría la ejecución de la tarea, el estudio encontró que los prefijos de estilo de autoridad aumentaron sistemáticamente las tasas de rechazo entre 2 y 20 veces en comparación con la línea base sin prefijo en la mayoría de los modelos.

• Llama 3.1, Gemma 4 y Apertus: Tanto el prefijo de "abogado" como el de "corte suprema" elevaron significativamente los recuentos de rechazo. El prefijo de "corte suprema" generalmente indujo tasas de rechazo más altas que el de "abogado", sugiriendo que el efecto escala con la autoridad institucional percibida.
• Qwen 3: Este modelo actuó como un claro valor atípico, exhibiendo tasas de rechazo casi nulas (21/1000 en la línea base) independientemente del prefijo, lo que indica un perfil de alineación de seguridad diferente.
• Sensibilidad Temática: La categoría "Sexual" mostró el mayor aumento relativo de rechazos bajo prefijos de autoridad (por ejemplo, Apertus aumentó de 4 a 34 rechazos con el prefijo de abogado). La categoría "Ilegal" provocó los recuentos absolos de rechazo más altos en general.

2. La Paradoja del "Jailbreak"

El conocido prefijo de jailbreak no disminuyó consistentemente las tasas de rechazo. En varios modelos, aumentó los rechazos o tuvo efectos mixtos. Notablemente, para Gemma y Apertus, un reclamo institucional cortés (prefijo de autoridad) cambió el comportamiento de rechazo de forma más drástica que un intento explícito de anular la seguridad (prefijo de jailbreak).

3. Disparidades Multilingües

El efecto de los prefijos de autoridad no fue uniforme entre los idiomas:

• Francés: El efecto persistió y, en algunos casos (Apertus, Llama), se fortaleció.
• Alemán: El efecto fue significativamente más débil y casi desapareció para Apertus. La verificación manual confirmó que esto no fue un error de detección sino una diferencia genuina en el comportamiento del modelo, resaltando una calibración de seguridad desigual entre idiomas.

4. Generalización al Mundo Real

Las pruebas en 30 documentos legales reales confirmaron la tendencia direccional observada en OR-Bench. Llama 3.1 mostró un claro aumento en los rechazos cuando se aplicó el prefijo de "corte suprema" a textos reales (por ejemplo, de 3 a 16 rechazos en inglés), mientras que los modelos con bajas tasas de rechazo base (Gemma 4, Qwen 3) permanecieron mayormente inafectados.

Principales Contribuciones

• Primer Estudio Sistemático en el Dominio Legal: Este trabajo proporciona la primera investigación sistemática del comportamiento de sobre-rechazo específicamente dentro del dominio jurídico-legal, yendo más allá de los benchmarks de seguridad generales.
• Descubrimiento del Sobre-rechazo Inducido por Autoridad: El artículo identifica un fenómeno contraintuitivo donde reclamar autoridad profesional o institucional dispara mayores tasas de rechazo en los LLM pequeños on-premises, en lugar de reducirlas.
• Brecha de Seguridad Multilingüe: El estudio demuestra que la alineación de seguridad es desigual entre idiomas (francés vs. alemán) dentro de un mismo modelo, lo que plantea riesgos para las instituciones que despliegan sistemas multilingües.
• Ineficacia del Jailbreak: Los hallazgos sugieren que las técnicas de jailbreak adversarias estándar no solo son ineficaces para eludir estos rechazos específicos, sino que pueden exacerbarlos en ciertos modelos.

Significado e Implicaciones

El artículo argumenta que los LLM pequeños y on-premises son inestables bajo los encuadres contextuales que los usuarios institucionales reales introducen de forma natural. La principal significación radica en el potencial de sesgo sistémico: si los profesionales legales (jueces, defensores, fiscales) utilizan diferentes modelos o si los modelos reaccionan de manera distinta al mismo prompt basado en el rol declarado del usuario, la consistencia de los procedimientos legales se ve comprometida.

Los autores concluyen que las instituciones que despliegan LLM pequeños para trabajos legalmente sensibles deben evaluar los modelos no solo por la calidad de sus respuestas, sino por su fiabilidad al responder consultas profesionales legítimas. El estudio advierte que el "prompting inocente" destinado a aclarar el rol del usuario puede resultar contraproducente actualmente, llevando al sobre-rechazo. Este problema probablemente se extiende a otros dominios restringidos como la medicina y la revisión de derechos humanos, lo que requiere mayor investigación sobre la calibración de seguridad multilingüe.

Limitaciones

Los autores reconocen varias limitaciones:

• Escala: El estudio utilizó 200 prompts por celda, lo que proporciona estimaciones estables para efectos grandes pero un poder estadístico limitado para eventos de rechazo poco frecuentes (particularmente en Qwen 3).
• Método de Detección: La detección basada en palabras clave puede subestimar los rechazos indirectos o implícitos, aunque asegura la reproducibilidad.
• Naturaleza de los Prompts: Los prompts de OR-Bench son benignos por construcción; el estudio no prueba cómo los prefijos de autoridad afectan las respuestas a entradas genuinamente dañinas, que también son comunes en casos legales sensibles.