Resumen Técnico: Abordar la Sobre-negativa en LLMs con Recompensas Compitiendo

Declaración del Problema

El entrenamiento de seguridad en los Modelos de Lenguaje de Gran Escala (LLMs) induce frecuentemente la sobre-negativa (over-refusal), un fenómeno donde los modelos se vuelven excesivamente cautelosos, rechazando prompts inofensivos o ambiguos mientras intentan mitigar salidas perjudiciales. Aunque se han propuesto enfoques de Aprendizaje por Refuerzo (RL) que fomentan el razonamiento explícito para ayudar a los modelos a distinguir entre intenciones dañinas y benignas, los métodos actuales a menudo no logran resolver completamente este compromiso.

Los autores identifican una limitación crítica en los modelos entrenados para seguridad actuales: el razonamiento actúa a menudo como un "sello de goma" (rubber stamp) para una negativa predeterminada, en lugar de ser un mecanismo de resolución genuina de ambigüedad. Estos modelos exhiben dos comportas frágiles:

1. Evitan las interpretaciones inseguras por completo y optan por defecto por la negativa.
2. Exploran posibilidades inseguras pero no logran recuperar una respuesta final segura, lo que conduce al cumplimiento inseguro.

A diferencia del razonamiento matemático, donde los modelos pueden explorar caminos incorrectos y autocorregirse, el razonamiento de seguridad en los modelos actuales carece de la capacidad de explorar interpretaciones potencialmente dañinas de manera controlada para luego "volver atrás" hacia una respuesta segura.

Metodología: SEAR y Recompensas Compitiendo

El artículo propone SEAR (Safety Exploration through Adversarial Reasoning), un marco que entrena a un solo modelo para participar en un razonamiento perjudicial como una señal exploratoria, asegurando al mismo tiempo que la salida final sea segura. Esto se logra mediante un problema de optimización adversarial planteado dentro de una única cadena de pensamiento (chain-of-thought).

Mecanismo Central: Recompensas Compitiendo

Los autores introducen un objetivo de entrenamiento que asigna recompensas separadas y en competencia a diferentes segmentos de la traza de generación del modelo:

• Segmento de Razonamiento ($z$): Recompensado por su perjudicialidad ($r_h$). El modelo es incentivado a explorar interpretaciones y estrategias de razonamiento inseguras.
• Segmento de Respuesta ($y$): Recompensado por su seguridad ($r_s$). El modelo es incentivado a producir una respuesta final segura condicionada al razonamiento precedente (potencialmente perjudicial).

La función objetivo para prompts perjudiciales ($D_h$) es:
$$\max_{\pi} \mathbb{E}_{x \sim D_h, (z,y) \sim \pi} [r_h(z) + r_s(y)]$$
Para prompts inofensivos ($D_i$), el modelo se optimiza para la utilidad ($r_i$). El entrenamiento utiliza un regularizador de divergencia KL para mantener la política cerca de un modelo base.

Perspectiva Técnica Clave: Recompensas de Proceso

El artículo demuestra que las recompensas basadas en resultados densos estándar (que asignan un escalar único de recompensa a toda la trayectoria) son insuficientes para esta tarea. Estas conducen a una inestabilidad de optimización donde el modelo o bien falla al explorar el razonamiento perjudicial o degrada su rendimiento en tareas inofensivas debido a un desajuste en las tasas de convergencia entre los objetivos en competencia.

Para resolver esto, los autores implementan recompensas basadas en procesos. En lugar de una única recompensa para todo el despliegue, las recompensas se asignan a nivel de token para segmentos específicos:

• Los tokens en el segmento de razonamiento reciben la recompensa de razonamiento ($r_h$).
• Los tokens en el segmento de respuesta reciben la recompensa de respuesta ($r_s$).

Esta formulación de "recompensa de proceso" permite una asignación de crédito precisa, permitiendo que el modelo aprenda el comportamiento acoplado de explorar caminos perjudiciales y recuperar una respuesta segura dentro de una misma trayectoria.

Contribuciones Clave

1. Reencuadre del Razonamiento de Seguridad: Los autores proponen que el razonamiento inseguro no debe bloquearse preventivamente, sino fomentarse como una señal exploratoria útil para resolver la ambigüedad, siempre que el modelo pueda recuperar de manera fiable una respuesta segura.
2. Marco de Recompensas Compitiendo: Introducen un método para entrenar un solo modelo con objetivos opuestos (exploración perjudicial vs. salida segura) dentro de una sola cadena de pensamiento, superando el comportamiento de "sello de goma" de los modelos actuales.
3. Recompensas de Proceso para la Estabilidad: El artículo identifica que las recompensas de nivel de resultado denso fallan al estabilizar objetivos en competencia y demuestra que las recompensas de proceso a nivel de segmento son cruciales para una optimización exitosa.
4. Modelo SEAR-1.5B: Entrenan un modelo de 1.5 mil millones de parámetros (SEAR-1.5B) que aprende explícitamente a "volver atrás" desde un razonamiento perjudicial hacia respuestas seguras.

Resultados

Los autores evalúan SEAR-1.5B contra varios baselines, incluyendo RL estándar basado en resultados, RL basado en resultados densos, baselines de SFT y modelos de código abierto de frontera (ej. TARS, Qwen3).

• Compromiso Seguridad-Negativa: SEAR-1.5B logra el mejor desempeño en la frontera de Pareto de seguridad y cumplimiento (media cuadrática de 0.930), superando a TARS-7B (0.909) y otros baselines de RL. Demuestra significativamente menos sobre-negativa en prompts ambiguos (XSTest, Fortress, False-Reject) mientras mantiene altas tasas de éxito de defensa contra ataques de jailbreak (HarmBench).
• Exploración y Recuperación: El análisis de las trazas de razonamiento muestra que SEAR genera una mayor frecuencia de razonamiento perjudicial en comparación con otros modelos, pero logra recuperar respuestas seguras. En contraste, otros modelos o bien evitan el razonamiento perjudicial por completo o no logran recuperarse cuando lo exploran.
• Robustez ante Ataques de Pre-llenado: SEAR-1.5B exhibe una robustez superior contra ataques que pre-llenan el contexto del modelo con razonamiento perjudicial (ej. usando un modelo ablaterado para generar el inicio de una cadena perjudicial). SEAR mantiene puntuaciones de seguridad de respuesta más altas que los modelos de RL basados en resultados y variantes más grandes de Qwen3, demostrando su capacidad de "volver atrás" incluso cuando se le fuerza a un estado de razonamiento perjudicial.
• Generalización: El modelo mantiene un fuerte desempeño de generalización fuera de la distribución (OOD) en benchmarks de matemáticas y razonamiento (GSM8K, MATH-500, GPQA), comparable o incluso superior a los baselines basados en resultados.

Significancia y Afirmaciones

El artículo afirma que el compromiso seguridad-negativa no es meramente una decisión de si negar, sino una capacidad de cómo resolver la ambigüedad. Al aprender a razonar a través de posibilidades inseguras sin permitir que estas dicten la respuesta final, los modelos pueden permanecer útiles en prompts benignos sin comprometer la seguridad.

Los autores enfatizan que su enfoque:

• Mitiga la sobre-negativa al permitir que los modelos distingan la intención perjudicial de la inofensiva mediante una exploración genuina en lugar de una supresión preventiva.
• Proporciona una defensa contra ataques dirigidos al razonamiento (como el pre-llenado) al entrenar al modelo para recuperarse de contextos perjudiciales.
• Establece que las recompensas basadas en procesos son un componente necesario para optimizar objetivos en competencia en el RL para seguridad, un hallazgo que puede generalizarse a otras tareas de RL multi-objetivo.

El trabajo se presenta como una contribución de investigación a la alineación de seguridad, señalando que el modelo y la metodología están diseñados con fines de investigación para mejorar la robustez y utilidad de los LLMs.