Resumen Técnico: El Compromiso entre Representación y Racionalizabilidad en el Aprendizaje de Recompensas

Planteamiento del Problema

En el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF), la tarea central de aprendizaje consiste en convertir preferencias pareadas heterogéneas de múltiples anotadores en una única función de recompensa escalar $r(x, y)$. La teoría de la elección social clásica establece que, cuando las muestras de los anotadores son heterogéneas, las preferencias agregadas pueden inducir ciclos de Condorcet (por ejemplo, $A \succ B$, $B \succ C$, $C \succ A$), lo que hace imposible que cualquier recompensa escalar clasifique consistentemente todos los pares de respuestas.

Si bien la literatura reciente ha analizado el RLHF bajo la óptica de la elección social, estos trabajos suelen asumir un conjunto finito de alternativas preenumerado y fijo. En los procesos modernos, sin embargo, las respuestas se califican mediante una representación aprendida $\phi(x, y)$ seguida de una cabeza escalar $g$, tal que $r(x, y) = g(\phi(x, y))$. El embedding $\phi$ determina qué respuestas son tratadas como alternativas distinguibles y qué comparaciones son visibles para el modelo de recompensa. Este artículo investiga la pregunta fundamental: ¿Aumentar la riqueza representacional de $\phi$ siempre mejora el ajuste a las preferencias humanas?

Los autores argumentan que la intuición común —que las representaciones más ricas proporcionan más señales y, por lo tanto, un mejor ajuste— es incompleta. En su lugar, el embedding altera el problema de agregación. Refinar $\phi$ colapsa menos respuestas, convirtiendo pares previamente indistinguibles en alternativas distintas. Si bien esto reduce la pérdida de información, simultáneamente expone más comparaciones pareadas que pueden formar ciclos irreducibles, los cuales ninguna recompensa escalar puede racionalizar.

Metodología y Marco Teórico

1. Descomposición del Exceso de Pérdida

El artículo formaliza el problema de aprendizaje bajo un modelo de utilidad aleatoria (RUM) con heterogeneidad arbitraria de los anotadores. Los autores definen la pérdida de entropía cruzada excesiva de una recompensa aprendida $r$ con respecto a la pérdida óptima de Bayes $L^*$ (el mejor desempeño posible dada la información perfecta de las preferencias agregadas).

Demuestran que este exceso de pérdida se descompone exactamente en dos términos:
$$L(r) - L^* = E_{\text{emb}}(\phi) + E_{\text{agr}}(\phi, r)$$

• Pérdida de Embedding ($E_{\text{emb}}$): Mide la información descartada cuando el embedding $\phi$ colapsa respuestas distinguibles en el mismo punto. Este término disminuye a medida que $\phi$ se vuelve más rico (de mayor dimensión o expresividad).
• Costo de Acuerdo ($E_{\text{agr}}$): Mide la irreducibilidad de las preferencias agregadas. Incluso si $\phi$ preserva perfectamente todas las distinciones (es inyectivo), las preferencias agregadas pueden contener ciclos que impiden que cualquier recompensa escalar las racionalice simultáneamente. Este término aumenta a medida que $\phi$ se vuelve más rico porque expone más ciclos potenciales.

2. Límites Inferiores y Análisis de Compromiso (Tradeoff)

Los autores derivan un límite inferior en la pérdida excesiva que cuantifica explícitamente la tensión entre estos dos términos:
$$L(r) - L^* \geq 2e_d + \frac{\ell_\delta^2}{2} \bar{P}_d^\delta$$
Donde:

• $e_d$ es el error de embedding (relacionado con $E_{\text{emb}}$), que es monótonamente no creciente con la dimensión del embedding $d$.
• $\bar{P}_d^\delta$ es una probabilidad ponderada por curvatura de los ciclos de Condorcet visibles en la dimensión $d$, la cual es no decreciente con $d$.
• $\ell_\delta$ es una constante dependiente del margen.

Bajo supuestos moderados (específicamente, que la $\sigma$-álgebra generada por el embedding crece con la dimensión), el artículo muestra que los límites inferiores de los dos términos se mueven en direcciones opuestas. En consecuencia, tanto las representaciones extremadamente gruesas como las extremadamente finas pueden ser subóptimas, lo que implica la existencia de una dimensión de embedding óptima que depende del conjunto de datos.

3. Extensiones a DPO y Entrenamiento Conjunto

• Optimización de Preferencia Directa (DPO): Los autores muestran que la misma descomposición y estructura de límite inferior se aplican a DPO, demostrando que el compromiso entre representación y racionalizabilidad gobierna el aprendizaje de políticas basado en preferencias incluso sin un modelo de recompensa explícito.
• Entrenamiento Conjunto: El artículo analiza la dinámica de entrenar conjuntamente el embedding y la cabeza de recompensa. Demuestran que las actualizaciones conjuntas no garantizan una disminución en ninguno de los dos términos de compromiso por ronda. Específicamente, la dinámica de optimización desplaza el error del embedding y la probabilidad de ciclos mediante covarianzas de inclinación de la recompensa (reward-tilt covariances). En cualquier punto fijo de la actualización conjunta, la recompensa se vuelve constante sobre los datos, no proporcionando ninguna señal de preferencia. Así, el entrenamiento conjunto no converge implícitamente al "punto ideal" del compromiso.

Resultados Clave

Hallazgos Teóricos

1. Descomposición Exacta: La pérdida excesiva es estrictamente la suma de una pérdida de embedding (pérdida de información) y un costo de acuerdo (falla de racionalizabilidad).
2. Monotonicidad: Bajo supuestos estándar (por ejemplo, $\sigma$-álgebras anidadas), aumentar la dimensión del embedding reduce la pérdida de embedding pero aumenta el límite inferior del costo de acuerdo (probabilidad de ciclos).
3. No Convexidad de la Optimización: El entrenamiento conjunto de embeddings y recompensas no garantiza encontrar el compromiso óptimo; puede estancarse en puntos degenerados donde la recompensa es constante.

Validación Empírica

Se realizaron experimentos en:

• Datos Sintéticos: Generados con componentes de utilidad transitivos, cíclicos y ruidosos.
• Conjuntos de Datos del Mundo Real: Jester (calificaciones de chistes), Sushi (preferencias de sushi) y MT-Bench (preferencias de diálogo de LLM).

Observaciones:

• A medida que la dimensión del embedding aumenta, la pérdida de embedding disminuye mientras que el costo de acuerdo aumenta.
• La pérdida excesiva total exhibe a menudo un mínimo en una dimensión intermedia de embedding, validando el compromiso teórico.
• Estas tendencias se mantienen tanto para el modelado de recompensa explícito (RLHF) como para la extracción de recompensa implícita (DPO) a través de diferentes codificadores preentrenados (por ejemplo, all-MiniLM-L6-v2, mpnet).
• Las visualizaciones de datos sintéticos muestran que, a medida que la dimensión aumenta, la región del espacio de embedding donde las respuestas forman ciclos de Condorcet se expande, confirmando que las representaciones más ricas exponen preferencias irreconciliables.

Significado y Reivindicaciones

El artículo afirma cambiar la comprensión del modelado de recompensas en RLHF de un desafío puramente representacional a un problema de agregación. La principal significancia radica en identificar que el embedding aprendido no es meramente un extractor de características, sino un componente estructural que define el conjunto de alternativas disponibles para la comparación.

Las reivindicaciones clave incluyen:

1. Limitación de las Recompensas Escalares: La imposibilidad de un ranking escalar consistente en presencia de preferencias heterogéneas no es solo un artefacto estadístico, sino una propiedad ajustable dependiente de la representación.
2. Complejidad Óptima: No existe la regla de "más es mejor" para la riqueza de la representación en RLHF; la dimensión óptima es un equilibrio entre capturar distinciones de preferencia y evitar la exposición de ciclos irreducibles.
3. Dinámicas de Entrenamiento: Los procedimientos de entrenamiento conjunto estándar no navegan automáticamente este compromiso, lo que sugiere que los procesos actuales de RLHF pueden ser subóptimos sin una consideración explícita de esta tensión entre representación y agregación.

Los autores mantienen una postura modesta, señalando que su trabajo es principalmente teórico y no propone nuevos modelos o sistemas desplegables, sino que aclara una limitación fundamental de los enfoques actuales de modelado de recompensa escalar bajo la retroalimentación humana heterogénea.