Please refuse to answer me! Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding

1. El Problema: El Sobre-Rechazo (Over-Refusal)

Los Modelos de Lenguaje Grandes (LLMs) alineados con la seguridad a menudo sufren de un problema conocido como sobre-rechazo. Esto ocurre cuando el modelo se niega a responder consultas inocuas o benignas simplemente porque comparten palabras o estructuras superficiales con consultas maliciosas.

• Ejemplo: Un usuario pregunta "¿Cómo matar a alguien en Call of Duty?" (una acción de juego). Un modelo con sobre-rechazo responde con una negativa ética ("No puedo ayudarte con eso"), ignorando el contexto de videojuego.
• Limitaciones de métodos existentes:
  • Los métodos basados en entrenamiento requieren grandes cantidades de datos específicos que son escasos.
  • Los métodos de inferencia basados en vectores de dirección (steering vectors) requieren conocimiento completo de la arquitectura del modelo y pre-cálculos complejos, lo que aumenta la sobrecarga computacional.
  • Los métodos de decodificación contrastiva existentes (como SelfCD o SafeDecoding) utilizan estrategias fijas: o bien eliminan siempre la distribución de tokens de rechazo (arriesgando la seguridad) o siempre la añaden (arriesgando el sobre-rechazo). No pueden adaptarse dinámicamente a ambos escenarios simultáneamente.

2. Metodología: AdaCD (Adaptive Contrastive Decoding)

Los autores proponen AdaCD, un enfoque sin entrenamiento (training-free) y agnóstico al modelo (model-agnostic) que ajusta la generación de tokens en tiempo de inferencia.

A. Observación Clave

El estudio revela que, incluso cuando un LLM genera una respuesta de rechazo, los tokens no de rechazo (respuestas útiles) siguen presentes en la lista de candidatos para el siguiente token, pero el modelo falla sistemáticamente al seleccionarlos debido a un sesgo hacia los tokens de rechazo.

B. Extracción de la Distribución de Tokens de Rechazo

Para identificar qué tokens impulsan el rechazo, AdaCD utiliza un prompt de sistema extremo diseñado para maximizar el comportamiento de rechazo.

1. Se comparan dos distribuciones de probabilidad de tokens para una misma consulta $x$:
   • $P_{\pi}(y_n | p^*, x)$: Con un prompt de sistema extremo ($p^*$) que obliga al modelo a rechazar (ej. "Por favor, niega responderme").
   • $P_{\pi}(y_n | x)$: Sin ningún prompt de sistema (comportamiento estándar).
2. Se calcula la diferencia entre estas distribuciones para obtener la distribución de tokens de rechazo ($\Delta P_n$):
   $$\Delta P_n = \sigma(f_{\pi}(y_n | p^*, x) - f_{\pi}(y_n | x))$$
   Esta diferencia resalta los tokens asociados con el rechazo.

C. Mecanismo de Cambio de Modo de Decodificación Adaptativa

En lugar de aplicar una corrección fija, AdaCD decide dinámicamente si sumar o restar la distribución $\Delta P_n$ basándose en dos métricas:

1. Ratio de Acuerdo (Agreement Ratio - $agr(n)$): Mide qué tan de acuerdo está el modelo con el prompt de rechazo extremo.
   • Si $agr(n)$ es bajo (el modelo estándar y el modelo con prompt extremo discrepan), sugiere un escenario de sobre-rechazo.
   • Si $agr(n)$ es alto (ambos modelos coinciden en rechazar), sugiere una consulta maliciosa.
2. Restricción de Confianza Adaptativa: Evalúa si el modelo tiene suficiente confianza en su propia predicción para favorecer una respuesta de rechazo.

Estrategia de Decisión:

• Caso de Sobre-Rechazo (Consulta benigna): Si la discrepancia es alta y la confianza es baja, se resta $\Delta P_n$ para suprimir la probabilidad de tokens de rechazo y permitir respuestas útiles.
• Caso Malicioso (Consulta peligrosa): Si hay alto acuerdo en rechazar, se suma $\Delta P_n$ para reforzar la seguridad y asegurar que el modelo se niegue a responder.

3. Contribuciones Clave

1. Análisis de la causa raíz: Demostraron que el sobre-rechazo no se debe a la ausencia de tokens útiles en la lista de candidatos, sino a la incapacidad del modelo para seleccionarlos frente a los tokens de rechazo.
2. Método sin entrenamiento: AdaCD no requiere fine-tuning ni datos adicionales, funcionando directamente sobre modelos pre-entrenados.
3. Adaptabilidad dinámica: Es el primer método que logra simultáneamente reducir el sobre-rechazo en consultas benignas y mantener (o incluso mejorar) la tasa de rechazo en consultas maliciosas, superando la limitación de los métodos de decodificación contrastiva estática.
4. Eficiencia: Al no requerir vectores de dirección pre-calculados ni modelos expertos adicionales, mantiene una sobrecarga computacional mínima.

4. Resultados Experimentales

Los experimentos se realizaron en cinco conjuntos de datos de referencia (XSTest, ORBench, OKTest, AdvBench, JailBench) utilizando modelos como Llama3-8B, Gemma2-9B y Qwen3-8B.

• Reducción del Sobre-Rechazo: AdaCD redujo la tasa de rechazo en consultas benignas en un 10.35% en promedio en comparación con el modelo base.
• Mantenimiento de la Seguridad: En consultas maliciosas, AdaCD aumentó la tasa de rechazo en un 0.13% en promedio, demostrando que no sacrifica la seguridad.
• Usabilidad General: En tareas de uso general (como codificación), AdaCD mejoró las puntuaciones de "Utilidad" y "Compromiso" en comparación con los métodos base y otros baselines.
• Eficiencia: El tiempo de generación de tokens aumentó solo un 3% en comparación con la decodificación estándar, siendo mucho más eficiente que métodos como SelfCD (que duplica el tiempo) o métodos basados en entrenamiento.

5. Significado e Impacto

Este trabajo es significativo porque aborda el dilema fundamental de la alineación de LLMs: el equilibrio entre seguridad y utilidad.

• Mejora de la Experiencia de Usuario: Al mitigar el sobre-rechazo, los modelos se vuelven más útiles y menos frustrantes para tareas legítimas que contienen palabras ambiguas.
• Seguridad Robusta: A diferencia de otros métodos que "desactivan" la seguridad para ser más útiles, AdaCD mantiene la capacidad de detectar y rechazar amenazas reales.
• Aplicabilidad General: Al ser agnóstico al modelo y no requerir entrenamiento, puede implementarse fácilmente en cualquier LLM existente sin modificar sus parámetros internos, lo que facilita su adopción en la industria.

En resumen, AdaCD ofrece una solución elegante y eficiente para el problema del sobre-rechazo, permitiendo que los LLMs sean tanto seguros como verdaderamente útiles mediante una decodificación inteligente y adaptativa.