💬 NLP

Safe Inference-Time Alignment via Lagrangian Reward Augmentation

El artículo propone la Aumentación de Recompensa Lagrangiana (LARA), un marco general de alineación en tiempo de inferencia que calibra dinámicamente una señal de recompensa aumentada mediante una variable dual para imponer restricciones de seguridad sin reentrenamiento, mejorando así el equilibrio entre utilidad e inocuidad y aproximándose al rendimiento de los métodos basados en el ajuste fino.

Autores originales: Yaswanth Chittepu, Ativ Joshi, Sohini Chintala, Scott Niekum

Publicado 2026-07-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yaswanth Chittepu, Ativ Joshi, Sohini Chintala, Scott Niekum

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El gran problema: El robot "útil pero peligroso"

Imagina que tienes un asistente robot muy inteligente (un Modelo de Lenguaje Grande). Quieres que sea útil (que dé buenas respuestas) pero también inofensivo (que no dé consejos peligrosos, como cómo construir una bomba o dar malos consejos médicos).

Normalmente, para hacer que un robot sea seguro, tienes que volver al tablero de dibujo y reentrenarlo desde cero. Esto es como contratar a un nuevo profesor para reeducar a un estudiante cada vez que cambian las reglas. Es costoso, lento y requiere muchos datos.

Algunos métodos más nuevos intentan guiar al robot mientras está hablando (durante la "inferencia") sin reentrenarlo. Pero estos métodos tienen un fallo: suelen pedir al operador humano que adivine un "número mágico".

Ejemplo: "Está bien, añadamos una penalización de 5 puntos por palabras malas".
El problema: Si eliges 5, el robot podría seguir siendo peligroso. Si eliges 10, el robot podría volverse demasiado miedoso para decir algo útil. Es un juego de "adivinar y comprobar" que depende de la intuición humana en lugar de las matemáticas.

La solución: LARA (El sistema del "presupuesto inteligente")

Los autores proponen un nuevo marco llamado LARA (Lagrangian Reward Augmentation). En lugar de adivinar un número mágico, LARA utiliza un truco matemático para calcular el equilibrio exacto entre ser útil y ser seguro.

Piensa en esto como un viaje familiar por carretera con un presupuesto de gasolina estricto.

1. La configuración: El coche y el mapa

El Coche: El modelo de lenguaje congelado (el robot). Ya está construido y no vamos a cambiar su motor (pesos).
El Mapa: El "Modelo de Recompensa". Le dice al coche qué tan rápido puede ir para llegar al destino (Utilidad).
El Medidor de Gasolina: El "Modelo de Coste". Mide cuánto "peligro" o "daño" se está consumiendo (Inofensividad).
El Presupuesto: Tienes un límite estricto de cuánto "daño" puedes gastar (por ejemplo, "Solo podemos gastar 10 unidades de peligro").

2. La forma antigua vs. La forma LARA

La forma antigua (Ajuste manual): Le dices al conductor: "Conduce rápido, pero si crees que estás usando demasiada gasolina, frena un poco". El conductor tiene que adivinar cuánto frenar. A veces conducen demasiado rápido y se quedan sin gasolina (inseguros). A veces conducen demasiado lento y nunca llegan (poco útiles).
La forma LARA (La variable dual): LARA actúa como un calculador de GPS inteligente. Antes de que comience el viaje, observa una pequeña muestra del camino (un conjunto de calibración) y calcula el precio exacto de la gasolina necesario para mantenerse dentro del presupuesto mientras se alcanza la mejor velocidad posible.
- Encuentra un solo número (llamado $\lambda$ o "lambda").
- Este número representa el "precio sombra" de la seguridad. Le dice al coche: "Por cada unidad de peligro que tomes, pierdes X cantidad de utilidad".
- El coche entonces conduce usando una nueva regla: Utilidad menos (Lambda $\times$ Peligro).

3. Cómo funciona (El paso de "Calibración")

LARA no necesita reentrenar a todo el robot. Solo necesita una pequeña "prueba de manejo" (un conjunto de calibración).

Genera algunas respuestas de muestra.
Comprueba qué tan "útiles" y qué tan "riesgosas" son.
Ejecuta una búsqueda matemática rápida (como encontrar la temperatura perfecta en un termostato) para encontrar el número específico ( $\lambda$ ) que mantiene el riesgo total bajo el límite mientras maximiza la utilidad.
Una vez que encuentra este número, lo introduce en el "sistema de puntuación" existente del robot.

Por qué es especial

El artículo afirma dos cosas principales sobre cómo funciona esto:

1. Para "Best-of-N" (Elegir la mejor respuesta de una lista)
Imagina que el robot escribe 20 respuestas diferentes a tu pregunta.

Sin LARA: Podrías elegir la que suena mejor, pero podría ser peligrosa.
Con LARA: El sistema utiliza el "Lambda" calculado para puntuar las 20 respuestas. Automáticamente elige la que es más útil mientras se mantiene estrictamente por debajo del presupuesto de seguridad. El artículo demuestra matemáticamente que este método encuentra el punto de equilibrio perfecto.

2. Para "Token-Level" (Guiar al robot palabra por palabra)
Imagina que el robot está escribiendo una frase palabra por palabra.

Con LARA: En lugar de adivinar cuánto penalizar una palabra arriesgada, el sistema utiliza el "Lambda" calculado para ajustar la probabilidad de la siguiente palabra. Es como un policía de tráfico que conoce el límite de velocidad exacto y dirige al coche para que se mantenga justo por debajo de él, en lugar de agitar la mano y esperar lo mejor. El artículo llama a esto un "heurístico principiado": una regla de oro inteligente basada en matemáticas, no en una suposición.

Los resultados

Los autores probaron esto en dos modelos de robot populares (Llama y Qwen).

El hallazgo: LARA hizo que los robots fueran mucho mejores equilibrando la utilidad y la seguridad en comparación con otros métodos de "adivinación".
La comparación: El método "Best-of-N" usando LARA funcionó casi tan bien como los modelos costosos que han sido reentrenados (que requieren semanas de entrenamiento), pero lo hizo en segundos sin cambiar el cerebro del robot.
El compromiso: Logró evitar que los robots fueran dañinos sin hacerlos inútiles.

Analogía de resumen

Si entrenar a una IA segura es como reconstruir una casa para hacerla a prueba de fuego, LARA es como instalar un sistema de rociadores inteligentes que ajusta automáticamente la presión del agua según el tamaño del fuego. No necesitas reconstruir la casa; solo necesitas calibrar el rociador una vez, y este mantiene la casa segura mientras te permite vivir cómodamente dentro.

Resumen Técnico: Alineación Segura en Tiempo de Inferencia mediante Aumento de Recompensa Lagrangiana (LARA)

Planteamiento del Problema

El Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) es el marco estándar para alinear los Modelos de Lenguaje Extensos (LLMs) con las preferencias humanas. Sin embargo, la alineación tradicional depende del ajuste fino de la política (por ejemplo, mediante RLHF o Optimización de Preferencia Directa como DPO), lo cual es computacionalmente costoso y requiere reentrenar el modelo cuando los requisitos de seguridad o las poblaciones de usuarios cambian.

Aunque han surgido métodos de alineación en tiempo de inferencia (como el reordenamiento Best-of-N o la decodificación guiada por recompensa a nivel de token) para dirigir modelos congelados utilizando señales de recompensa auxiliares sin actualizar los pesos, actualmente carecen de un mecanismo fundamentado para una alineación segura. Los métodos existentes suelen optimizar una única puntuación escalar. Cuando los objetivos de utilidad (helpfulness) y seguridad (harmlessness) entran en conflicto, los profesionales deben ajustar manualmente el equilibrio entre ellos. Además, estos métodos no imponen inherentemente restricciones de seguridad explícitas (por ejemplo, un presupuesto sobre el costo esperado) durante la decodificación, lo que conduce a salidas inseguras o a reducciones innecesarias en la utilidad.

Metodología: Aumento de Recompensa Lagrangiana (LARA)

Los autores proponen LARA, un marco agnóstico al decodificador que transfiere la estructura de optimización con restricciones del Safe RLHF a la etapa de inferencia. En lugar de actualizar los pesos del modelo, LARA calibra una variable escalar dual para crear una señal de recompensa aumentada.

1. Formulación Teórica

El método comienza con el objetivo de Safe RLHF, que maximiza la utilidad esperada ( $r$ ) sujeto a una restricción de costo esperado ( $c \le \tau$ ), regularizada por un término de divergencia KL contra una política de referencia ( $\pi_{ref}$ ):
$\max_{\pi} \mathbb{E}[r(x,y)] - \beta D_{KL}(\pi \parallel \pi_{ref}) \quad \text{sujeto a} \quad \mathbb{E}[c(x,y)] \le \tau$

Utilizando la dualidad Lagrangiana, los autores dualizan la restricción de seguridad. Esto transforma el problema de optimización de política de dimensión infinita en un problema de optimización convexa de una sola dimensión sobre una variable dual no negativa $\lambda$ (el multiplicador de Lagrange).

Recompensa Aumentada: La variable dual define una recompensa aumentada: $r_\lambda(x, y) = r(x, y) - \lambda c(x, y)$ .
Objetivo Dual: Se demuestra que la función dual $g(\lambda)$ es convexa. Su derivada corresponde a la diferencia entre el presupuesto de seguridad $\tau$ y el costo esperado bajo la política de sesgo de Gibbs inducida por $r_\lambda$ .
Optimalidad: El $\lambda^*$ óptimo satisface la condición de complementariedad de Slack, asegurando que el costo esperado sea igual al presupuesto $\tau$ (si la restricción está activa) mientras se maximiza la utilidad.

2. Calibración Empírica

LARA no requiere resolver la optimización analíticamente. En su lugar, estima $\lambda^*$ mediante calibración empírica en un pequeño conjunto de datos:

Datos: Se toma una muestra de un pequeño conjunto de prompts y se generan múltiples respuestas a partir de la política de referencia congelada.
Estimación: La variable dual se estima minimizando el objetivo dual empírico sobre un intervalo compacto $[0, \Lambda]$ .
Algoritmo: Debido a la convexidad y monotonicidad del gradiente dual, el $\lambda$ óptimo se encuentra eficientemente utilizando búsqueda binaria.
Robustez: Para manejar el desajuste de distribución entre la calibración y el despliegue, los autores sugieren realizar un bootstrapping del conjunto de calibración y seleccionar un cuantil superior de la distribución estimada de $\lambda$ como una elección conservadora.

3. Integración con la Decodificación

Una vez calibrado, el escalar $\hat{\lambda}$ se utiliza para calcular la recompensa aumentada $r_{\hat{\lambda}}$ . Esta puntuación se pasa como una señal de "inserción directa" (drop-in) a los métodos existentes de alineación en tiempo de inferencia:

A nivel de secuencia (ej. Best-of-N): El $\lambda$ calibrado produce una solución exacta al problema de la recompensa con costo esperado restringido.
A nivel de token (ej. Búsqueda Guiada por Recompensa): El $\lambda$ calibrado proporciona una heurística fundamentada derivada del objetivo con restricciones, aunque no garantiza la satisfacción exacta de la restricción a nivel de población debido a la naturaleza codiciosa (greedy) de la decodificación a nivel de token.

Principales Contribuciones

Formulación: El artículo formula la alineación segura en tiempo de inferencia como el dual del objetivo de Safe RLHF, reduciendo el problema a una tarea de calibración convexa de una sola dimensión.
Geometría y Eficiencia: Los autores caracterizan la geometría del objetivo dual, demostrando su convexidad y la monotonicidad de su gradiente. Esto permite un procedimiento de calibración por búsqueda binaria eficiente.
Garantías Teóricas: Se proporciona una garantía de muestra finita para el estimador $\hat{\lambda}_{N,K}$ , mostrando que el error se concentra alrededor del minimizador de la población $\lambda^*$ , controlado por el número de prompts ( $N$ ) y las muestras por prompt ( $K$ ).
Marco Agnóstico al Decodificador: LARA está diseñado como una capa de calibración compatible con cualquier método existente de alineación en tiempo de inferencia, reemplazando el ajuste manual de escalares con una construcción fundamentada en restricciones de seguridad.

Resultados Experimentales

Los autores evaluaron LARA en modelos Llama-3.2-3B y Qwen-2.5-3B utilizando el conjunto de datos BeaverTails.

Satisfacción de Restricciones: Los experimentos confirmaron que el $\lambda^*$ calibrado se sitúa en el límite de la restricción de seguridad. Los valores de $\lambda < \lambda^*$ violaban el presupuesto de seguridad, mientras que $\lambda > \lambda^*$ cumplía con la restricción pero reducía innecesariamente la utilidad.
Rendimiento vs. Baselines:
- En tiempo de inferencia: Entre los métodos de tiempo de inferencia, Best-of-N (BoN) combinado con LARA logró el mejor equilibrio entre utilidad e inocuidad (harmlessness). Superó a SafeDPO en utilidad mientras se mantenía competitivo en inocuidad, todo ello sin actualizaciones de pesos.
- A nivel de token: Los métodos a nivel de token (ARGS, PARGS, CD-Q) generalmente funcionaron peor en utilidad comparados con BoN, aunque CD-Q mostró mejoras sólidas en inocuidad a medida que aumentaba $\lambda$ .
- vs. Ajuste Fino (Fine-tuning): Aunque el BoN impulsado por LARA se acercó al rendimiento de los baselines basados en ajuste fino (Safe-RLHF, SafeDPO), los métodos de ajuste fino aún lograron el mejor equilibrio general. Sin embargo, LARA ofrece una ventaja significativa en flexibilidad de despliegue y costo.
Evaluación: Los resultados fueron consistentes tanto en las evaluaciones basadas en modelos (usando modelos de recompensa/costo de BeaverTails) como en las basadas en GPT-4o-mini, aunque GPT mostró menos sensibilidad a las variaciones de $\lambda$ que los modelos de recompensa.

Significado y Afirmaciones

El artículo afirma que LARA proporciona una alternativa fundamentada al ajuste manual de penalizaciones para la alineación segura en tiempo de inferencia. Al dualizar la restricción de seguridad, LARA traduce un presupuesto de seguridad en un objetivo de decodificación sin modificar los pesos del modelo.

Para Muestreadores a Nivel de Secuencia: LARA ofrece una interpretación exacta del costo esperado, garantizando teóricamente el equilibrio óptimo bajo el objetivo restringido.
Para Decodificadores a Nivel de Token: Ofrece una heurística fundamentada que respeta la geometría del objetivo con restricciones, incluso si no puede imponer estrictamente la restricción de la población.

Los autores concluyen que LARA logra transferir con éxito las restricciones de seguridad desde la alineación en tiempo de entrenamiento hacia un control práctico en el tiempo de decodificación, mejorando el equilibrio entre utilidad e inocuidad y acercando los métodos de tiempo de inferencia al rendimiento de los enfoques basados en ajuste fino. El trabajo enfatiza que las restricciones de seguridad pueden gestionarse eficazmente en el tiempo de inferencia, evitando la carga computacional de reentrenamientos repetidos.