Calibrated Preference Learning: The Case of Label Ranking

Resumen Técnico: Aprendizaje de Preferencias Calibrado: El Caso del Clasificación de Etiquetas (Label Ranking)

Planteamiento del Problema

La Clasificación Probabilística de Etiquetas (ProLR, por sus siglas en inglés) tiene como objetivo predecir una distribución de probabilidad sobre los posibles ordenamientos de un conjunto de elementos dado un contexto. Si bien la calibración —la alineación de las probabilidades predichas con las frecuencias de los resultados reales— ha sido ampliamente estudiada en la clasificación y la regresión, no ha sido abordada formalmente para ProLR.

Tratar la clasificación de etiquetas como un problema estándar de clasificación multiclase (donde cada ranking único es una clase) es insuficiente por varias razones:

1. Intratabilidad Computacional: El número de clases de ranking crece factorialmente ($m!$), lo que dificulta la medición cuantitativa de la calibración incluso para un número moderado de elementos.
2. Ignorancia Estructural: La clasificación ingenua ignora la estructura métrica del espacio de ranking. Por ejemplo, dos rankings que comparten un sub-ranking común (por ejemplo, $i_1 \succ i_2 \succ i_3$ e $i_1 \succ i_3 \succ i_2$) son tratados como clases disjuntas, fallando al no capturar que la calibración en uno podría inducir la calibración en el otro.
3. Modalidades Prácticas: Modalidades importantes específicas de la aplicación, como las comparaciones por pares y las predicciones top-$k$, no se capturan naturalmente mediante métricas de clasificación de rango completo.

Esta brecha es particularmente crítica en aplicaciones como el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF), donde los modelos de recompensa dependen de las preferencias por pares (subestructuras de rankings completos) para alinear los Modelos de Lenguaje de Gran Escala (LLMs) con las preferencias humanas.

Metodología

Los autores formalizan la calibración para la clasificación de etiquetas desarrollando una jerarquía de nociones de calibración que van más allá de la visión de clasificación multiclase. Definen la calibración en diferentes granularidades:

1. Calibración de Rango Completo (Full-Rank Calibration)

• Calibración de Rango Completo: Análoga a la calibración fuerte en la clasificación multiclase. Un modelo está calibrado en rango completo si, para cualquier distribución predicha $p$ sobre todos los rankings, la frecuencia empírica del ranking real $\pi$ coincide con $p[\pi]$.
• Calibración por Ranking (Rankwise Calibration): Análoga a la calibración débil. Un modelo está calibrado por ranking si, para cualquier probabilidad predicha $\alpha$ asignada a un ranking específico $\pi$, la frecuencia empírica de $\pi$ entre las instancias donde $h(x)[\pi]=\alpha$ es exactamente $\alpha$.

2. Calibración Marginal (Sub-rankings y Top-$k$)

El artículo introduce la calibración para proyecciones de la distribución de ranking completa:

• Calibración de Sub-$k$ (Sub-$k$ Calibration): Se centra en subconjuntos de elementos $B$ ($|B|=k$). Requiere que la distribución marginal sobre los rankings de $B$ esté calibrada. Esto incluye la calibración por pares ($k=2$), que es central para RLHF.
• Calibración Top-$k$ (Top-$k$ Calibration): Se centra en las $k$ posiciones superiores del ranking. Requiere que la distribución marginal de los elementos top-$k$ esté calibrada.

3. Variantes Más Débiles

De manera similar a la distinción entre la calibración fuerte y la débil, los autores definen la Calibración por Ranking de Sub-$k$ y la Calibración por Ranking de Top-$k$, que condicionan solo a la probabilidad de un sub-ranking específico en lugar de a la distribución marginal completa.

Marco Teórico

El artículo establece una jerarquía de implicaciones y exclusiones entre estas nociones (visualizada en la Figura 1):

• Implicaciones: La calibración de rango completo implica tanto la calibración por ranking, como la de sub-$k$ y la de top-$k$. La calibración de sub-$k$ (y la de top-$k$) implica sus respectivas variantes por ranking.
• No Implicaciones:
  • La calibración de sub-$k$ no implica la calibración de rango completo (las modificaciones a la distribución completa pueden cancelarse en la marginal).
  • La calibración top-$k$ no implica la calibración de rango completo.
  • La calibración de sub-$k$ y la de top-$k$ son incomparables; un modelo puede estar calibrado para sub-$k$ pero no para top-$k$, y viceversa.
  • La calibración por ranking (completa o de sub-$k$) no implica las nociones de calibración marginal más fuertes, ni implica las otras variantes por ranking.

Estas relaciones se mantienen para clases de modelos generales, incluyendo los ampliamente utilizados modelos Plackett–Luce y Mallows.

Evaluación Empírica

Los autores evalúan modelos populares de clasificación de etiquetas (Plackett–Luce, Mallows, Clasificación por Comparación por Pares y un RankClassifier neuronal) en conjuntos de datos del mundo real (películas, política) y modelos de recompensa de RLHF (RewardBench2).

• Métricas: Utilizan el Error de Calibración Esperado (ECE), adaptado para el ranking mediante el agrupamiento (binning) de probabilidades predichas y la comparación con las frecuencias empíricas. Debido al crecimiento factorial de las clases, restringen el cálculo del ECE al 95% de los rankings observados más frecuentes.
• Análisis de RLHF: Examinan la correlación entre la calibración (Top-1 ECE) y la precisión en el benchmark RewardBench2.

Resultados Clave

1. Mala Calibración en Modelos Populares: Los resultados empíricos muestran que los modelos populares de clasificación de etiquetas (Plackert–Luce, Mallows) suelen estar mal calibrados, particularmente a medida que aumenta el número de elementos.
2. Divergencia de Métricas: Existen diferencias sustanciales entre las métricas de calibración de sub-ranking y las de top-$k$. Un modelo puede desempeñarse bien en una métrica mientras falla en la otra, confirmando la incomparabilidad teórica.
3. Modelos de Recompensa de RLHF: En el contexto de RLHF, la calibración se correlaciona fuertemente pero no perfectamente con la precisión del benchmark. Esto sugiere que la calibración captura una dimensión de calidad significativa distinta de la precisión top-1.
4. Efectos de Ruptura de Rango (Rank Breaking Effects): Los modelos entrenados mediante "ruptura de rango" (por ejemplo, aprendiendo preferencias por pares y agregándolas en una distribución completa) suelen presentar una mala calibración en comparación con los modelos entrenados directamente sobre datos por pares o sobre rankings completos.

Significancia y Contribuciones

El artículo reclama las siguientes contribuciones:

1. Formalización: Introduce una jerarquía diseñada específicamente para las nociones de calibración en la clasificación probabilística de etiquetas, yendo más allá de las limitaciones de ver el problema como una clasificación multiclase.
2. Unificación Teórica: Proporciona un panorama teórico unificado de las relaciones entre estas nociones, demostiendo que la calibración en sub-rankings no implica la calibración en el rango completo, incluso para modelos estándar como Plackett–Luce y Mallows.
3. Perspectiva Empírica: Demuestra que los aprendices de clasificación de etiquetas existentes están frecuentemente mal calibrados y que la calibración es una métrica distinta y valiosa para los modelos de recompensa de RLHF, ofreciendo potencialmente información más allá de los estándares de precisión de los benchmarks.

Los autores concluyen que estos hallazgos motivan el trabajo futuro sobre la comprensión de los efectos derivados de la mala calibración y el desarrollo de métodos específicos para corregirla en tareas de clasificación de etiquetas. Expresan explícitamente que, si bien su trabajo es fundacional, resalta la necesidad de técnicas de calibración diseñadas específicamente para la clasificación probabilística de etiquetas en lugar de adaptar los métodos de clasificación existentes.