Resumen Técnico: "¿Cuándo son dos objetivos de RLHF el mismo?"

Planteamiento del Problema

El Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) se ha convertido en el paradigma estándar para alinear los modelos de lenguaje con las preferencias humanas. Si bien el proceso original consistía en entrenar un modelo de recompensa seguido de la Optimización de Política Próxima (PPO), desarrollos recientes han introducido numerosas variantes de la Optimización de Preferencia Directa (DPO) y formulaciones de teoría de juegos (por ejemplo, SPPO, Nash-MD, GRPO, KTO). A pesar de reportar mejoras distintas, una pregunta fundamental permanece sin resolver: ¿Cuándo deben considerarse dos métodos de optimización de preferencias como genuinamente diferentes?

Actualmente no está claro si los métodos derivados de diferentes perspectivas teóricas (por ejemplo, modelado de recompensa frente a teoría de juegos) optimizan objetivos distintos o si simplemente representan reordenamientos algebraicos de la misma función de pérdida. Esta ambigüedad complica la evaluación de la novedad algorítmica y la toma de decisiones prácticas respecto a la selección de métodos.

Metodología: El Marco Opal

Para abordar esto, los autores introducen Opal, un algoritmo de canonicalización diseñado para determinar si dos objetivos de preferencia son algebraicamente equivalentes. El marco opera bajo la premisa de que los métodos de preferencia por pares pueden expresarse como transformaciones de un margen común subyacente, $\Delta = s(y^+) - s(y^-)$, donde $s$ es una función de puntuación.

Opal descompone cualquier pérdida de preferencia en una composición de tres operaciones primitivas:

1. Add[$\phi$] (Sumar): Añade un término de penalización dependiente de las respuestas individuales (por ejemplo, regularización KL, normalización de longitud).
   • $\Delta(y, z) \mapsto \Delta(y, z) + \phi(y) - \phi(z)$
2. Reweight[$\omega$] (Reponderar): Multiplica el margen por un peso (por ejemplo, temperatura, pesos de importancia).
   • $\Delta(y, z) \mapsto \omega \cdot \Delta(y, z)$
3. Link[$g$] (Vincular): Aplica una función monótona al margen (por ejemplo, pérdida logística, de bisel o cuadrática).
   • $\Delta(y, z) \mapsto g(\Delta(y, z))$

Condiciones de Reducibilidad

Un método se considera reducible (y, por lo tanto, capaz de ser mapeado a una forma canónica única) si satisface tres condiciones:

• (R1) Transitividad: El margen debe ser expresable como una diferencia de puntuaciones $\phi(y) - \phi(z)$. Las violaciones implican preferencias intransitivas donde el margen entre $a$ y $c$ depende de algo más que sus puntuaciones individuales.
• (R2) Independencia de Par: Los pesos deben depender solo del prompt $x$, no del par específico $(y, z)$ o de la composición del lote (batch).
• (R3) Monotonicidad: La función de transformación $g$ debe ser estrictamente monótona para preservar el orden de preferencia.

Canonicalización y Testigos

• Forma Canónica: Si un método satisface (R1)–(R3), Opal lo reduce a una forma normal única: $NF(L) = \text{Add}[\Phi] \circ \text{Reweight}[s(x)] \circ \text{Link}[g]$, donde $\Phi$ está centrado ($\sum \Phi(y) = 0$). Dos métodos son equivalentes si y solo si sus formas canónicas (y los hashes resultantes) coinciden.
• Testigos (Witnesses): Si un método falla en cualquier condición, Opal genera un testigo concreto que certifica la no equivalencia. Los ejemplos incluyen:
  • Testigo de Ciclo: Un triple $(a, b, c)$ con una suma de ciclo distinta de cero, que viola la transitividad.
  • Peso Dependiente de Par: Dos pares en el mismo prompt que reciben pesos diferentes.
  • Peso Dependiente de Grupo: El mismo par recibiendo diferentes pesos efectivos dependiendo de la composición del lote.

El marco excluye explícitamente los métodos a nivel de token (por ejemplo, RTO) y los métodos a nivel de trayectoria (por ejemplo, PPO-RLHF) porque no operan sobre márgenes escalares entre pares de respuestas completas, quedando fuera del alcance del análisis de margen por pares.

Contribuciones Clave

1. El Algoritmo Opal: Una herramienta sistemática que decide la equivalencia algebraica reduciendo los objetivos a una forma canónica o produciendo un testigo verificable de no equivalencia.
2. Análisis de 33 Métodos: Los autores analizaron 33 métodos de optimización de preferencias en entornos de pares, listas, grupos, niveles de token y niveles de trayectoria.
   • Resultado: 25 métodos son reducibles, colapsando en 14 formas canónicas distintas.
   • Equivalencia: Diez métodos (incluyendo DPO, SPPO, Nash-MD, INPO, DNO, APO, RSO, XPO, cDPO, rDPO) se reducen a la misma forma canónica que DPO.
   • Irreducibilidad: Ocho métodos son demostrablemente irreducibles, incluyendo GRPO, RLOO, KTO, WPO, BCO, RTO, PPO-RLHF y ReMax.
3. Prueba de Irreducibilidad de GRPO: El artículo proporciona un testigo explícito que demuestra que GRPO es fundamentalmente diferente de DPO. Demuestra que la normalización de grupo de GRPO causa que la contribución del gradiente de un par de respuestas dependa de la composición específica del lote (violando R2), alterando la escala relativa de los márgenes basándose en otras respuestas presentes.
4. Ejes de Diseño Ortogonales: Los autores identifican cuatro mecanismos estructurales que generan objetivos genuinamente diferentes, los cuales son ortogonales a la equivalencia canónica:
   • Normalización de grupo (ej. GRPO).
   • Ponderación dependiente de par (ej. KTO).
   • Estructura a nivel de token (ej. RTO).
   • Optimización a nivel de trayectoria (ej. PPO-RLHF).

Resultados

• Equivalencia Algebraica: Muchos métodos ampliamente citados son algebraicamente idénticos. Por ejemplo, SPPO y Nash-MD, derivados de objetivos minimax de teoría de juegos, se reducen exactamente a la misma forma canónica que DPO. Cambiar entre ellos no cambia el objetivo de optimización, solo su derivación.
• Distinciones Estructurales: Los métodos que violan las condiciones de reducibilidad (específicamente R2) exhiben paisajes de optimización fundamentalmente diferentes. La normalización dependiente del lote de GRPO significa que un mismo par de respuestas puede recibir gradientes distintos según el lote, una propiedad imposible para cualquier método reducible.
• Verificación de Hash: Los autores proporcionan un hash SHA-256 para la forma canónica de cada método reducible, permitiendo a los profesionales verificar la equivalencia de forma programática.

Significado y Reivindicaciones

El artículo afirma que Opal separa los cambios de representación de los cambios de sustancia.

• Clarificación de la Novedad: El marco sugiere que gran parte de la aparente diversidad en la literatura de optimización de preferencias surge de reparametrizaciones de un conjunto pequeño de objetivos subyacentes. La verdadera novedad algorítmica requiere violar al menos una de las suposiciones de reducibilidad (R1–R3).
• Guía Práctica: Para los profesionales, la selección entre métodos equivalentes (por ejemplo, DPO vs. SPPO) debe guiarse por detalles de implementación, estabilidad numérica o sesgo implícito, en lugar de expectativas de un comportamiento algorítmico fundamentalmente distinto.
• Equivalencia Teórico-Decisional: Los métodos equivalentes inducen el mismo orden de preferencia Bayes-óptimo y coinciden en el signo de cada margen, aunque pueden diferir en las magnitudes de los gradientes y las tasas de convergencia.

Los autores posicionan este trabajo como el primer marco algorítmico capaz de responder "¿son estos dos métodos el mismo?" con una prueba formal en ambas direcciones, yendo más allá de la categorización heurística hacia la verificación algebraica rigurosa.