Resumen Técnico: Un Marco de Minimización del Arrepentimiento en el Aprendizaje de Preferencias en Grandes Modelos de Lenguaje

Planteamiento del Problema

Si bien el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha impulsado avances significativos en tareas intensivas de razonamiento, como las matemáticas y la generación de código, mediante el aprovechamiento de señales de corrección automatizadas, muchas tareas lingüísticas realistas (por ejemplo, decisiones críticas para la seguridad, servicio al cliente, razonamiento educativo) carecen de verificadores fiables. En consecuencia, el campo depende fuertemente del Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF).

El problema central abordado es la interpretación de la retroalimentación humana dentro de RLHF. Los métodos de preferencia existentes (por ejemplo, DPO, IPO) típicamente interpretan las preferencias humanas a través del lente de la maximización de la recompensa, tratando las preferencias como proxies de utilidad inmediata o acumulada asignada a segmentos de trayectoria observados. Los autores argumentan que esta interpretación está fundamentalmente desalineada con la cognición humana. El juicio humano es inherentemente prospectivo (anticipando resultados futuros) y contrafáctico (comparando resultados realizados frente a alternativas plausibles). Los marcos actuales basados en recompensas evalúan pasos intermedios de forma miope, ignorando que las preferencias humanas sobre trayectorias parciales están moldeadas por la continuación anticipada de esas trayectorias y la comparación con lo que podría haber sido hecho, en lugar de una utilidad absoluta e independiente del resultado.

Metodología: Optimización de Preferencia Basada en el Arrepentimiento (RePO)

El artículo introduce la Optimización de Preferencia Basada en el Arrepentimiento (RePO), un marco que redefine el aprendizaje de preferencias a través de la minimización del arrepentimiento en lugar de la maximización de la recompensa.

Fundamento Teórico

1. El Arrepentimiento como Objetivo: En lugar de maximizar recompensas inmediatas, RePO modela la retroalimentación humana como una evaluación relativa de la suboptimidad. El arrepentimiento se define como la diferencia entre el valor de la política óptima ($V^{\pi^*}$) y el valor Q de la política de comportamiento ($Q^\mu$) en un contexto dado.

2. Marco de RL Regularizado por KL: Los autores formalizan esto dentro de un marco de RL regularizado por KL a nivel de paso. Derivan una expresión de forma cerrada para la función Q asociada a una política de comportamiento $\mu$.

3. Descomposición del Arrepentimiento: Una contribución teórica clave (Teorema 5.4 y Lema 5.5) establece que el arrepentimiento incurrido por una política de comportamiento $\mu$ respecto a una política óptima $\pi^*$ puede descomponerse en dos componentes:

   • Un término de preferencia local: $\alpha \log \frac{\pi^*(o|q_{<t})}{\pi_{ref}(o|q_{<t})}$, que se alinea con el objetivo estándar de la Optimización Directa de Preferencias (DPO).
   • Un término de horizonte largo: Una divergencia KL secuencial hacia adelante ($\bar{D}_{KL}$) que mide la desviación acumulativa de la política de comportamiento $\mu$ respecto a la política óptima $\pi^*$ a lo largo de futuras ejecuciones (rollouts).

   Esta descomposición revela que la minimización del arrepentimiento contabiliza explícitamente las desviaciones dependientes del comportamiento y la consistencia de la trayectoria futura, abordando los problemas de "desajuste de verosimilitud" presentes en entornos off-policy donde DPO asume datos on-policy.

Implementación Práctica

• RePO: El algoritmo estándar utiliza la actualización de forma cerrada derivada, incorporando el término de divergencia KL secuencial. Requiere el conocimiento de la política de comportamiento $\mu$ que generó los datos.
• RePO_det: Para manejar escenarios donde la política de comportamiento es desconocida o computacionalmente prohibitiva de acceder (común en conjuntos de datos offline), los autores proponen RePO_det. Esta variante aproxima la política de comportamiento como una distribución determinista (delta de Dirac) concentrada en la salida observada. Reemplaza el término de KL secuencial con un estimador basado en muestras que promedia los ratios de log-probabilidad sobre la trayectoria observada, tratando efectivamente el segmento observado como una única ejecución.

Contribuciones Clave

1. Reencuadre de la Retroalimentación Humana: El artículo argumenta que la retroalimentación humana se entiende más naturalmente como juicios relativos condicionados por resultados anticipados y alternativas implícitas (arrepentimiento) en lugar de señales para la maximización de la recompensa.
2. Actualización de Política de Forma Cerrada: Los autores formalizan esta perspectiva dentro de un marco de RL regularizado por KL, derivando una actualización de política de forma cerrada (RePO) que es compatible con la optimización directa de preferencias pero que modela explícitamente la desviación dependiente del comportamiento.
3. Internalización del Sesgo Inductivo: El análisis teórico (Lema 6.1) sugiere que la minimización del arrepentimiento internaliza estructuralmente un sesgo inductivo presente en la retroalimentación humana: las trayectorias exitosas incompletas o parcialmente observadas son evaluadas pesimistamente debido a la incertidumbre sobre la finalización futura. Esto permite que RePO aprenda eficazmente sin requerir aumentación de datos explícita para imponer tales preferencias.
4. Robustez a la Política de Comportamiento: La introducción de RePO_det demuestra que el marco sigue siendo efectivo incluso cuando la información de la política de comportamiento no está disponible, haciéndolo aplicable a conjuntos de datos offline heterogéneos.

Resultados Experimentales

Los autores evaluaron RePO en pruebas de referencia de razonamiento matemático (GSM8K, MATH, MATH500, AMC23, Minerva) y tareas de alineación de preferencia humana (AlpacaEval 2, Arena-Hard, MT-Bench) utilizando modelos Qwen3 (1.7B/4B) y LLaMA3.

• Ganancias de Rendimiento: RePO superó consistentemente a las líneas base existentes (DPO, IPO, RPO, KTO, TDIO) en ambos escalas de modelos y tipos de tareas. Por ejemplo, en el modelo 4B, RePO logró una tasa de victoria del 55.08% en AlpacaEval 2 (frente al 32.89% de DPO), y 65.54% en GSM8K (aunque DPO obtuvo un 87.87%, RePO mostró fuertes ganancias en tareas de razonamiento en general).
• Aplicabilidad Offline: RePO_det logró un rendimiento comparable a RePO dentro de la familia Qwen y superó significativamente a las líneas base en configuraciones de modelos cruzados (por ejemplo, entrenar modelos LLaMA con datos generados por modelos Qwen), demostando la robustez del estimador de arrepentimiento basado en muestras.
• Eficiencia de Muestreo: En estudios de ablación que involucran aumentación de datos enmascarados (donde las trayectorias exitosas se ocultaron parcialmente para probar la capacidad del modelo para juzgar caminos incompletos), DPO requirió datos aumentados adicionales para mejorar su rendimiento, mientras que el rendimiento de RePO se mantuvo estable y dominante. Esto respalda la afirmación de que RePO codifica estructuralmente el sesgo inductivo del juicio humano respecto a trayectorias incompletas, lo que conduce a una mayor eficiencia de muestreo.

Significado y Reivindicaciones

El artículo afirma que RePO ofrece una abstracción fiel de la retroalimentación humana al alinear el objetivo de aprendizaje con la naturaleza prospectiva y contrafáctica del juicio humano. Al cambiar de la maximización de la recompensa a la minimización del arrepentimiento, el marco proporciona una interpretación fundamentada de las preferencias sobre trayectorias heterogéneas.

Los autores concluyen que la minimización del arrepentimiento sirve como una base prometedora para el post-entrenamiento alineado con humanos de los Grandes Modelos de Lenguaje. Los resultados sugieren que modelar correctamente la relación entre las políticas de comportamiento, las ejecuciones futuras y las alternativas contrafácticas es crítico para un aprendizaje de preferencias efectivo, particularmente en entornos donde las señales de recompensa explícitas están ausentes o donde los datos se recolectan de fuentes diversas. El trabajo no pretende resolver todos los problemas de alineación, sino posicionar la minimización del arrepentimiento como un refinamiento necesario al paradigma actual centrado en la recompensa de RLHF.