Resumen Técnico: Aprendizaje de Preferencias Bayesiano para Modelos de Recompensa Ajustables en Tiempo de Prueba

Declaración del Problema

Los modelos de recompensa (RMs) son fundamentales para alinear los modelos de lenguaje con las preferencias humanas mediante Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF). Tradicionalmente, los RMs clasificados se entrenan como estimadores estáticos de los parámetros del modelo Bradley-Terry (BT) utilizando un conjunto de datos fijo. Una vez entrenados, estos modelos carecen de adaptabilidad; no pueden ajustarse a distribuciones de preferencias no vistas ni a compensaciones dinámicas (por ejemplo, equilibrar utilidad frente a seguridad) sin reentrenamiento. Además, los RMs clasificados estándar son propensos a la "sobreoptimización", donde las probabilidades de preferencia convergen a 1, lo que lleva a óptimos locales que no capturan la verdadera complejidad de las preferencias humanas. Aunque los enfoques de "LLM como Juez" ofrecen flexibilidad, a menudo dependen de modelos propietarios con altos costos computacionales. El artículo aborda la necesidad de un RM basado en clasificadores eficiente que permanezca adaptable en tiempo de prueba y evite la sobreoptimización.

Metodología: Modelado de Recompensa en Contexto Variacional (ICRM)

Los autores proponen el Modelado de Recompensa en Contexto Variacional (ICRM), un marco bayesiano que trata el modelado de recompensas como inferencia variacional amortizada sobre una probabilidad de preferencia latente.

Formulación Central

1. Definición de la Variable Latente: El modelo introduce una variable aleatoria latente $z \in [0, 1]$ que representa la probabilidad de que una respuesta elegida $y_w$ sea preferida sobre una respuesta rechazada $y_l$ dada una entrada $x$ y un conjunto de demostraciones en contexto $C$.
2. Prior y Posterior Beta:
   • El modelo BT se especializa para $N=2$ (un par), donde la probabilidad del resultado de preferencia sigue una distribución Bernoulli parametrizada por $z$.
   • Se coloca una prior Beta $p(z) = \text{Beta}(\alpha_0, \beta_0)$ sobre $z$. Los autores utilizan típicamente una prior uniforme $(\alpha_0, \beta_0) = (1, 1)$ para representar un punto de partida no informativo.
   • La posterior aproximada $q_\theta(z | x, y_w, y_l, C)$ se parametriza mediante una red neuronal con una cabeza de proyección bidimensional, que genera una puntuación de utilidad $u_\theta$ y una puntuación de confianza (evidencia) $s_\theta$.
   • La posterior se reparametriza como $\text{Beta}(\alpha_q, \beta_q)$ donde:
     • $\mu = \sigma(u_w - u_l)$ representa la media posterior (probabilidad de preferencia).
     • $\tau = \text{Softplus}(s_w) + \text{Softplus}(s_l) + 1$ representa la concentración (confianza).
     • $\alpha_q = \mu\tau$ y $\beta_q = (1-\mu)\tau$.

Objetivo de Aprendizaje

El modelo se entrena maximizando el Límite Inferior de Evidencia (ELBO), minimizando la pérdida negativa del ELBO:
$$\mathcal{L}_{ICRM} = -\mathbb{E}_{q_\theta}[\log z] + \lambda(N) D_{KL}(q_\theta(z|\cdot) \parallel p(z))$$

• Término de Reconstrucción: El primer término mide qué tan bien la posterior explica la preferencia observada. Para una distribución Beta, esto tiene una forma cerrada que involucra la función digamma $\psi$. Minimizar esto empuja $\mu$ hacia 1 para la respuesta elegida.
• Término de Regularización: El segundo término es la divergencia KL entre la posterior aprendida y la prior fija. El hiperparámetro $\lambda(N)$ es una función monótonamente decreciente del número de demostraciones en contexto $N$.
  • Cuando $N$ es pequeño, $\lambda(N)$ es grande, forzando a la posterior a permanecer cerca de la prior (alta incertidumbre).
  • A medida que $N$ aumenta, $\lambda(N)$ disminuye, permitiendo que el término de reconstrucción domine y que el modelo forme una posterior confiable y basada en datos.

Garantías Teóricas

Los autores demuestran que el objetivo regularizado con KL previene el modo de fallo de "sobreoptimización" común en los modelos BT estándar.

• Lema 3.1: A medida que la probabilidad de preferencia $\mu \to 1$, el gradiente de la pérdida con respecto a la puntuación de utilidad se penaliza por un factor proporcional a $1/\epsilon$ (donde $\epsilon = 1-\mu$), evitando la maximización descontrolada.
• Teorema 3.2: Se garantiza que el minimizador global de la función de pérdida reside en el interior del dominio ($0 < \mu^* < 1$ y $0 < \tau^* < \infty$), asegurando que el modelo no colapse a soluciones de frontera.

Contribuciones Clave

1. Aprendizaje de Preferencias Variacional Principiado: ICRM permite que los RMs infieran preferencias en tiempo de prueba a partir de pocas muestras en contexto. El objetivo regularizado con KL garantiza un óptimo global interior, moderando la maximización excesiva de las medias de preferencia.
2. Ajuste de Objetivos Únicos y Múltiples: El diseño variacional permite tanto la direccionalidad ajustable (adaptación a direcciones de preferencia específicas) como la calibración ajustable (codificación del grado de desplazamiento de preferencia). Se extiende a configuraciones de múltiples objetivos, permitiendo que el modelo navegue compensaciones entre objetivos conflictivos (por ejemplo, seguridad frente a utilidad) mezclando demostraciones en contexto.
3. Parametrización de Recompensas Verificables: El marco se aplica al Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). El modelo interpreta las puntuaciones de utilidad y confianza para generar una señal de recompensa que es tanto direccional como calibrada a la fiabilidad del contexto, superando a verificadores estándar y modelos BT en tareas de razonamiento matemático.

Resultados Experimentales

Los autores evaluaron ICRM utilizando los cimientos Qwen3-4B y Llama-3.2-3B frente a líneas base que incluyen RMs clasificados estándar (BTRM, ArmoRM, GRM) y jueces generativos (LLM como Juez, GRAM-r2).

• Ajuste Calibrado: En pares de preferencia de dilemas morales, ICRM demostró la capacidad de seguir el grado de desplazamiento de preferencia especificado por la composición de las demostraciones en contexto. A medida que el número de demostraciones ($N$) aumentó de 8 a 64, el Error de Calibración Esperado (ECE) disminuyó de 0.099 a 0.076, superando la línea base de LLM como Juez.
• Ajuste Direccional: En puntos de referencia como SafeRLHF y HHH-Alignment, ICRM se adaptó a etiquetas de preferencia "revertidas" (donde respuestas dañinas fueron etiquetadas como elegidas) con alta precisión (hasta un 89%), mientras que las líneas base estáticas no lograron adaptarse.
• Rendimiento en RM-Bench: Aumentar el número de demostraciones en contexto mejoró significativamente la precisión en RM-Bench. Con $N=64$, ICRM alcanzó una precisión promedio del 70.8%, frente al 60.5% en $N=1$, superando la línea base de LLM como Juez (70.3%).
• Compensaciones de Múltiples Objetivos: En el dominio de Seguridad de RM-Bench, ICRM produjo fronteras de Pareto suaves entre los comportamientos "Debería Responder" y "Debería Rechazar". El hipervolumen (HV) de estas fronteras aumentó con $N$, demostrando que ICRM puede expandir la región de compensación alcanzable, una capacidad que carecen los RMs estáticos.
• Aplicación en RLVR: En tareas de razonamiento matemático utilizando el conjunto de datos INTELLECT-MATH, una política entrenada con recompensas ICRM alcanzó una precisión del 53.8% en MATH-500, superando a las políticas entrenadas con un verificador dorado (50.4%) y un modelo de recompensa BT estándar (51.4%).

Significado y Afirmaciones

El artículo afirma que ICRM proporciona una ruta teóricamente fundamentada y prácticamente efectiva hacia modelos de recompensa que pueden adaptarse a estándares de preferencia no vistos después del entrenamiento. Al tratar las preferencias como probabilidades latentes con posteriors Beta condicionadas a demostraciones en contexto, ICRM unifica la regularización bayesiana con la ajustabilidad en contexto.

Los autores enfatizan que este enfoque:

• Resuelve la naturaleza estática de los RMs clasificados tradicionales sin la sobrecarga computacional de los jueces generativos propietarios.
• Proporciona un mecanismo principiado para mitigar la sobreoptimización de recompensas mediante regularización KL.
• Permite el control dinámico en tiempo de prueba sobre la alineación de múltiples objetivos, permitiendo una navegación continua de los espacios de preferencia en lugar de puntos de operación fijos.

El trabajo sugiere que el modelado futuro de recompensas puede avanzar más allá de conjuntos de datos fijos hacia una alineación dinámica impulsada por demostraciones, aunque los autores señalan limitaciones relacionadas con las restricciones de longitud de contexto y la necesidad de salvaguardas contra el direccionamiento de modelos hacia comportamientos dañinos.