Resumen Técnico: PEBS para la Calibración de Modelos de Recompensa en RLHF

Planteamiento del Problema

El Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) típicamente agrega las preferencias de miles de anotadores en un único modelo de recompensa (RM) global. Los procesos estándar agrupan todas las calificaciones en una única función de verosimilitud, ajustando un único calibrador afín global (pendiente y desfase). Este enfoque colapsa a los evaluadores que utilizan la escala de calificación de 0 a 100 con pendientes y desfases sistemáticamente diferentes en un único ajuste de "evaluador promedio". En consecuencia, el modelo resultante no corresponde a la calibración de ningún anotador individual, confundiendo la heterogeneidad de la calibración con la señal de recompensa. Esta degradación en la precisión por anotador persiste incluso cuando la precisión del modelo agregado es alta, lo que puede perjudicar las pérdidas sensibles a la calibración utilizadas en la Optimización de Preferencia Directa (DPO) y la Optimización de Política Próxima (PPO).

Metodología: PEBS

El artículo propone PEBS (Per-rater Empirical-Bayes Shrinkage o Contracción de Bayes Empírico por Evaluador), un estimador post-hoc de forma cerrada diseñado para corregir la calibración afín específica del anotador sin reentrenar el modelo de recompensa base.

Mecanismo Central

PEBS opera sobre las salidas de un modelo de recompensa compartido $\hat{r}_\phi$. Para cada anotador $j$, modela su puntuación de preferencia continua $s_{ji}$ como una transformación lineal de la predicción escalar del modelo:
$$s_{ji} = \alpha_j \hat{r}_\phi(x_{ji}) + \beta_j + \epsilon_{ji}$$
donde $\alpha_j$ es la pendiente multiplicativa por anotador y $\beta_j$ es el desfase aditivo.

El procedimiento sigue un proceso de tres etapas:

1. Estimación Local: Para cada anotador con suficientes datos ($n_j \geq 6$ en PRISM), se utiliza Mínimos Cuadrados Ordinarios (OLS) para estimar los parámetros locales $(\hat{\alpha}^{OLS}_j, \hat{\beta}^{OLS}_j)$.
2. Estimación de Varianza: Se utiliza el método de momentos (MoM) para estimar la varianza de los clusters cruzados ($\hat{\tau}^2$) de los parámetros locales a través de la población.
3. Contracción de Bayes Empírico (Shrinkage): Las estimaciones locales se contraen hacia la media de la población ($\alpha_{pop}, \beta_{pop}$) utilizando el peso de Morris–James–Stein de Bayes empírico:
   $$\hat{\alpha}^{shrunk}_j = \omega_j \hat{\alpha}^{OLS}_j + (1 - \omega_j) \alpha_{pop}$$
   donde $\omega_j = \hat{\tau}^2 / (\hat{\tau}^2 + V(\hat{\alpha}^{OLS}_j))$. Este peso reduce automáticamente el peso de los anotadores con alta varianza de muestreo (típicamente aquellos con menos calificaciones $n_j$).

Propiedades Teóricas

• Invariancia de Precisión de Pares: La Proposición 1 establece que si las pendientes contraídas permanecen positivas, el mapa afín es estrictamente monótono. Por lo tanto, PEBS preserva el orden de las respuestas (argmax) y no altera las métricas de precisión de pares (ej. RewardBench 2). Su valor radica exclusivamente en mejorar las métricas sensibles a la calibración como el Error Cuadrático Medio (RMSE) y la Verosimilitud Negativa de Logaritmo de Bradley-Terry (NLL).
• Desigualdad de Oráculo: El Teorema 1 proporciona una desigualdad de oráculo para la contracción de la pendiente, demostrando que el riesgo del estimador PEBS se mantiene dentro de un factor $(1 + c/J)$ de un estimador oráculo que conoce la verdadera varianza, con una constante $c$ explícita.
• Pronosticador (Forecaster): Una función $g$ de Morris de forma cerrada permite a los profesionales predecir la ganancia potencial de RMSE al aplicar PEBS a un nuevo corpus utilizando solo una breve muestra piloto, validada con un margen de error de 0.2 puntos porcentuales en corpora de calificación continua.

Contribuciones Clave

1. Calibración Post-Hoc de Forma Cerrada: PEBS introduce una corrección estadística clásica (partición parcial de Efron–Morris–James–Stein) al flujo de trabajo de RLHF, operando aguas abajo de las predicciones escalares de cualquier modelo de recompensa sin requerir el reentrenamiento del modelo.
2. Validación Empírica: El método demuestra reducciones significativas en el RMSE mantenido (held-out) dentro de cada usuario en múltiples conjuntos de datos.
3. Caracterización del Alcance: El artículo define rigurosamente los límites de la transferibilidad del método, identificando interacciones específicas entre la arquitectura del modelo (denso vs. MoE) y las cabezas de entrenamiento (coherencia vs. verbosidad) que determinan el éxito o el fracaso.
4. Independencia Demográfica: El análisis muestra que la agrupación demográfica (edad, género, región, etc.) no puede sustituir la calibración por usuario, ya que solo una pequeña fracción de la varianza es explicada por la demografía, confirmando que la heterogeneidad es específica del anotador individual.

Resultados Experimentales

• Dataset PRISM: En el corpus de alineación PRISM utilizando un modelo base Qwen-2.5-7B, PEBS redujo el RMSE mantenido dentro de cada usuario en un 8.58% en comparación con el baseline de la pendiente de la población agrupada. Esta mejora fue estadísticamente significativa ($p < 10^{-108}$) y superó al OLS ingenuo por usuario, que sufre de sobreajuste en muestras pequeñas.
• Replicación en Corpus Cruzados: El método se replicó en PluriHarms (calificaciones de daño) con una reducción de RMSE del 9.66% y en atributos de HelpSteer2. También mostró ganancias positivas en un dataset agrupado de múltiples corpus.
• Transferencia de Modelo Base:
  • Éxito: El procedimiento se transfirió con éxito dentro de la familia Qwen-2.5 y en la referencia Phi-3-medium-14B (ganancia media +42.15% a través de 5 semillas).
  • Fallo/Reversión: En bases densas de la familia Llama entrenadas con una cabeza de "coherencia", el procedimiento produjo ganancias negativas (ej. -171% en Llama-3-8B). Sin embargo, una ejecución de control de "solo verbosidad" en las mismas bases recuperó ganancias positivas, lo que sugiere que el fallo se debe a una interacción específica entre la cabeza de coherencia y la arquitectura densa, más que a un sesgo general de verbosidad.
• Impacto en el Descenso (Downstream): En una prueba de PPO pre-registrada, el modelo de recompensa sin corregir colapsó en una divergencia KL de $\geq 1.0$, mientras que la rama con la contracción de PEBS se mantuvo estable.

Significancia y Reivindicaciones

El artículo posiciona a PEBS como una corrección necesaria para el "problema de la validez de la medición" en RLHF, donde un único RM global falla al representar a los anotadores individuales.

• Calibración vs. Selección: Los autores aclaran que PEBS aborda el eje de la calibración (escala y desfase de las puntuaciones) en lugar del eje de selección (elegir la mejor respuesta). Mejora las pérdidas dependientes de la magnitud de la puntuación (RMSE, NLL) pero deja sin cambios las métricas basadas en el ranking.
• Alineación Pluralista: PEBS opera en un cuarto eje de la alineación pluralista: la heterogeneidad de la calibración. Mientras que el trabajo existente se centra en el desacuerdo de contenido (ejes distributivo, direccionable o de Overton), PEBS aborda el hecho de que diferentes evaluadores mapean la misma salida del modelo a diferentes escalas personales.
• Modestia sobre la Generalización: Los autores declaran explícitamente que el procedimiento no se generaliza universalmente en todas las arquitecturas. El "cambio de signo" observado en los modelos de la familia Llama indica un límite estructural, y no se afirma que el método sea una solución agnóstica a los atributos para todos los pipelines de RLHF.
• Compromiso con el Evaluador Minoritario: El artículo reconoce el compromiso estándar de la contracción: mientras que PEBS mejora el rendimiento promedio, contrae agresivamente a los evaluadores con pocos datos (a menudo de poblaciones subrepresentadas) hacia la media. Los autores recomiendan auditorías de evaluadores minoritarios cuando las decisiones de política dependen de casos extremos reales y raros.

En resumen, PEBS ofrece un método de forma cerrada y computacionalmente gratuito para recuperar la calibración por anotador en RLHF, reduciendo significativamente el error de predicción para usuarios individuales mientras mantiene las propiedades de ranking del modelo de recompensa base.