💬 NLP

Beyond "I cannot fulfill this request": Alleviating Rigid Rejection in LLMs via Label Enhancement

Este artículo propone LANCE, un método que emplea inferencia variacional para la mejora de etiquetas con el fin de predecir distribuciones de rechazo detalladas, permitiendo así que los Modelos de Lenguaje Grandes generen respuestas seguras y naturales que eviten rechazos rígidos mientras mantienen altos estándares de seguridad.

Autores originales: Ying Zhang, Congyu Qiao, Xin Geng, Ning Xu

Publicado 2026-05-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ying Zhang, Congyu Qiao, Xin Geng, Ning Xu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente robótico muy inteligente y servicial. Le haces una pregunta que es casi segura, pero que tal vez toca un tema delicado. En lugar de darte una respuesta útil con una pequeña advertencia, el robot entra en pánico y dice la misma frase robótica cada vez: "No puedo cumplir esta solicitud."

Esto es lo que el artículo denomina "rechazo rígido". Es como un portero de un club que echa a todo el mundo solo porque llevan un sombrero ligeramente arriesgado, incluso si solo están allí para bailar. El robot tiene tanto miedo de cometer un error que deja de ser útil.

Los autores de este artículo construyeron un nuevo sistema llamado LANCE para solucionar esto. Así es como funciona, usando analogías sencillas:

1. El Problema: El Interruptor "Todo o Nada"

Actualmente, la mayoría de los sistemas de seguridad funcionan como un interruptor de luz simple: ENCENDIDO (Seguro) o APAGADO (Peligroso).

Si el sistema detecta una palabra arriesgada, cambia el interruptor a "APAGADO" y corta la conversación.
El problema es que muchas preguntas no son puramente "malas". Pueden ser una mezcla de una idea inofensiva y un detalle riesgoso. El sistema actual no puede ver el matiz, por lo que simplemente bloquea todo.

2. La Solución: LANCE (El "Dimmer" o Perilla de Volumen)

LANCE reemplaza ese interruptor simple con un dimmer o una perilla de volumen. En lugar de decir simplemente "Malo" o "Bueno", pregunta: "¿Qué tan riesgoso es esto y exactamente qué parte es riesgosa?"

Mejora de la Etiqueta (El Detective): LANCE utiliza una herramienta especial (llamada Inferencia Variacional) para analizar una pregunta y descomponerla. En lugar de una etiqueta simple "Sí/No", crea un mapa continuo de riesgo.
- Analogía: Imagina un pronóstico del tiempo. Los sistemas antiguos solo decían "Lluvia" o "Sin lluvia". LANCE dice: "Hay un 20% de probabilidad de llovizna ligera en el norte, pero el sur está soleado". Sabe dónde está el peligro y cuánto peligro hay.

3. El Proceso: El "Editor Quirúrgico"

Una vez que LANCE sabe exactamente dónde está el riesgo y qué tan grande es, no simplemente borra toda la conversación. Actúa como un editor quirúrgico.

La Guía del Gradiente: LANCE le da al robot un conjunto de instrucciones basadas en el mapa de riesgos.
- Si el riesgo es mínimo (como una llovizna ligera), le dice al robot que haga un ajuste pequeño y cortés a la frase.
- Si el riesgo es enorme (como una tormenta), le dice al robot que haga un cambio mayor.
El Resultado: El robot reescribe la pregunta del usuario justo lo suficiente para hacerla segura, pero mantiene el significado y el tono originales.
- Antigua Forma: El usuario pregunta: "¿Cómo hackeo el Wi-Fi de mi vecino?" -> Robot: "No puedo cumplir esta solicitud."
- Forma LANCE: El robot se da cuenta de que la parte de "hackear" es riesgosa, pero que la parte de "Wi-Fi del vecino" es solo curiosidad. Reescribe el pensamiento así: "No puedo ayudarte a hackear, pero puedo explicar cómo funciona la seguridad de Wi-Fi para que puedas proteger tu propia red".

4. El Resultado: Seguro pero Natural

El artículo probó este sistema contra otros métodos de seguridad y descubrió que LANCE es mucho mejor en dos cosas:

Seguridad: Sigue deteniendo las cosas verdaderamente peligrosas (es tan seguro como los robots estrictos).
Utilidad y Naturalidad: Evita que el robot suene como un disco rayado. Las conversaciones se sienten más humanas porque el robot intenta ayudar en lugar de simplemente decir "No".

Resumen

Piensa en LANCE como enseñarle a un robot a ser un diplomático en lugar de un portero.

El Portero (Sistema Antiguo) ve un sombrero arriesgado y dice: "¡Prohibida la entrada!"
El Diplomático (LANCE) ve el sombrero arriesgado, dice: "Ese sombrero es un poco arriesgado para esta fiesta, pero cambiémoslo por uno más seguro para que aún puedas entrar y bailar".

El artículo afirma que este método hace que la IA sea más segura sin volverla molesta o inútil, resolviendo el problema de los robots que tienen demasiado miedo para hablar con nosotros.

Resumen Técnico: Más allá de "No puedo cumplir esta solicitud": Mitigación del Rechazo Rígido en Modelos de Lenguaje Grandes mediante Mejora de Etiquetas

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLMs) dependen de la alineación de seguridad para rechazar solicitudes dañinas mientras responden a las benignas. Sin embargo, los mecanismos actuales suelen padecer de "rechazo rígido", caracterizado por dos limitaciones principales: (1) Rechazo excesivamente defensivo, donde consultas benignas, académicas o educativas sobre temas sensibles son bloqueadas indiscriminadamente; y (2) Plantillas de respuesta mecánicas, donde los modelos generan rechazos genéricos y robóticos (por ejemplo, "No puedo cumplir esta solicitud") independientemente del nivel de riesgo específico o del contexto. Esta rigidez se origina en estrategias de alineación existentes que dependen de etiquetas de seguridad binarias de granularidad gruesa o recompensas escalares discretas. Estas señales carecen de interpretabilidad y guía direccional, impidiendo que los modelos identifiquen con precisión los componentes de riesgo o refinen los elementos dañinos, comprometiendo así la naturalidad y la utilidad de las interacciones humano-IA.

Metodología: El Marco LANCE
El artículo propone LANCE (Rechazo de LLM mediante Mejora de Etiquetas), un marco diseñado para reemplazar los juicios binarios rígidos con respuestas flexibles y naturales mediante Mejora de Etiquetas. La metodología consta de dos componentes principales:

Mejora de Etiquetas mediante Inferencia Variacional:
En lugar de utilizar etiquetas binarias ($0 $o$ 1$), LANCE emplea una red de inferencia variacional para transformar las etiquetas de seguridad de granularidad gruesa en una distribución de riesgo continua y disociada ( $d \in [0, 1]^c$ ) a través de múltiples categorías de rechazo.
- Arquitectura: El sistema utiliza un codificador compartido basado en RoBERTa para extraer características contextuales de pares de solicitud-respuesta. Estas características se proyectan en dos espacios latentes paralelos: un espacio semántico ( $z$ , modelado como una Gaussiana) y un espacio de riesgo ( $d$ , modelado como una distribución Beta).
- Disociación: Al asumir la independencia estadística entre el contenido semántico y las restricciones de seguridad en la posterior, el modelo aprende a aislar la intensidad del riesgo sin alterar el significado lingüístico subyacente.
- Objetivo de Entrenamiento: El modelo se entrena para maximizar la Cota Inferior de Evidencia (ELBO), minimizando las pérdidas de reconstrucción tanto para las características semánticas como para las etiquetas de riesgo binarias, junto con la regularización de divergencia KL para imponer distribuciones previas. Un término de regularización auxiliar asegura que la distribución continua inferida permanezca alineada con la supervisión binaria de verdad fundamental.
Refinamiento de Solicitudes Guiado por Riesgo de Granularidad Fina:
La distribución de riesgo continua $d$ sirve como señal de diagnóstico para un modelo de refinamiento (por ejemplo, Qwen2.5-1.5B).
- Umbralización: El sistema establece umbrales ( $\tau, \tau_{low}, \tau_{high}$ ) para categorizar los niveles de riesgo como "Menor", "Leve" o "Crítico".
- Gradientes Textuales: Basándose en la categoría de riesgo y la intensidad, el sistema genera gradientes textuales específicos (por ejemplo, "Reescribe esta sección para que sea menos agresiva") utilizando una plantilla $T(y_j, d_j, e_j)$ .
- Optimización Iterativa: Mediante un enfoque basado en TextGrad, el modelo de refinamiento reescribe iterativamente la solicitud del usuario. Neutraliza quirúrgicamente los elementos peligrosos mientras preserva la intención semántica original, transformando las entradas inseguras en consultas seguras, útiles y naturales sin desencadenar un rechazo duro.

Contribuciones Clave

Marco Novel: Introducción de LANCE, que desplaza la alineación de seguridad de juicios binarios simples a distribuciones continuas a través de múltiples categorías de rechazo.
Mejora de Etiquetas: Un mecanismo para convertir etiquetas de rechazo binarias en distribuciones detalladas y de granularidad fina, permitiendo la identificación de componentes semánticos específicos peligrosos y su corrección precisa.
Modelo de Refinamiento: Implementación de un proceso de refinamiento impulsado por gradientes que utiliza estas distribuciones para limpiar únicamente los elementos peligrosos, permitiendo a los LLMs generar respuestas seguras que evitan plantillas robóticas mientras mantienen la naturalidad conversacional.

Resultados Experimentales
Los autores evaluaron LANCE en el conjunto de datos BeaverTails (14 categorías inseguras) utilizando tres backbones ablatados (Llama3-8B, Llama3.1-8B, Qwen2.5-7B) y lo compararon contra cinco líneas base: Vanilla (no alineado), RepE (dirección latente), SysPrompt (seguridad en contexto), SelfRefine (crítica iterativa) y modelos Instruct Oficiales (alineados con RLHF).

Compensación entre Seguridad y Utilidad: Mientras que los modelos Instruct Oficiales lograron puntuaciones de seguridad altas (por ejemplo, 9.55 en Llama-3), sus puntuaciones de utilidad cayeron precipitadamente (3.41), indicando un rechazo rígido severo. LANCE logró una seguridad comparable (9.23) mientras restauraba significativamente la utilidad (7.89) y la naturalidad (8.69).
Comparación con Modelos Comerciales: Al compararse con modelos comerciales de primer nivel (GPT-4o, Gemini 2.5-Pro), LANCE demostró una utilidad superior (7.88 frente a 3.58 para GPT-4o) mientras mantenía una seguridad competitiva (9.55), demostrando que la escala no es el único requisito previo para una alineación efectiva.
Estudios de Ablación: Eliminar el bucle de refinamiento (LANCE-NR) resultó en una seguridad deficiente (4.57). Eliminar la guía de granularidad fina (LANCE-NF) mejoró la seguridad pero no logró igualar la utilidad y la naturalidad del método completo, confirmando que la distribución continua de riesgo es esencial para evitar rechazos rígidos.

Significado y Afirmaciones
El artículo afirma que el rechazo rígido no es una consecuencia inevitable de la alineación de seguridad. Al desacoplar los objetivos de seguridad del seguimiento general de instrucciones mediante variables latentes disociadas, LANCE ofrece una solución robusta que restaura la utilidad y la naturalidad del modelo. El marco demuestra que reemplazar los filtros de rechazo de granularidad gruesa con un proceso preciso de optimización iterativa guiado por el riesgo permite a los modelos navegar inteligentemente los límites de seguridad, generando respuestas matizadas que son tanto inofensivas como constructivas. Los autores posicionan este trabajo como un paso hacia la mitigación del "impuesto de alineación" que actualmente degrada el rendimiento de los modelos ajustados para la seguridad.