Resumen Técnico: Similitud como Alineación de Recompensa (SARA)

Planteamiento del Problema

El Aprendizaje por Refuerzo basado en Preferencias (PbRL) busca alinear el comportamiento del agente con la intención humana mediante el aprendizaje de la retroalimentación humana sobre pares de trayectorias, aliviando así la carga de la ingeniería manual de recompensas. Sin embargo, los métodos de PbRL existentes dependen predominantemente del modelo de Bradley-Terry (BT) para aprender funciones de recompensa a partir de clasificaciones por pares. Este enfoque enfrenta limitaciones significativas en escenarios del mundo real donde los etiquetadores humanos no son expertos o trabajan bajo restricciones de tiempo, lo que conduce a errores de etiquetado inevitables.

Investigaciones previas indican que los modelos basados en BT son frágiles ante el ruido; asumen preferencias transitivas (un supuesto que a menudo se viola en la psicología humana) y pueden sobreajustarse a las clasificaciones relativas en pares de trayectorias. Estudios empíricos sugieren que incluso tasas de error de etiquetado del 10% pueden degradar significativamente el rendimiento del RL, siendo que las tasas de desacuerdo realistas entre etiquetadores humanos suelen alcanzar el 25%. Además, las pruebas de robustez formal para los modelos BT bajo entornos ruidosos siguen siendo un desafío abierto. El problema central abordado es la falta de robustez en los marcos de trabajo actuales de PbRL cuando se enfrentan a datos de preferencias ruidosos y de no expertos.

Metodología: Similitud como Alineación de Recompensa (SARA)

Los autores proponen SARA, un marco de aprendizaje contrastivo que cambia el paradigma de aprender clasificaciones relativas por pares a aprender una representación latente de todo el conjunto de comportamientos preferidos.

Arquitectura Central

SARA emplea un codificador basado en Transformers de dos etapas:

1. Codificación de Trayectoria (Enc 1): Cada trayectoria (preferida $\sigma_p$ o no preferida $\sigma_n$) es procesada a través de un codificador Transformer con codificación posicional. El promedio de pooling sobre los pasos de tiempo produce una representación latente única ($u_{p,i}$ o $u_{n,i}$) para cada trayectoria.
2. Codificación de Conjunto (Enc 2): Las representaciones de las trayectorias se particionan aleatoriamente en $k$ subconjuntos (donde $k=2$ en los experimentos) dentro de cada categoría (preferida y no preferida). Un segundo codificador Transformer procesa estos subconjuntos, permitiendo la atención dentro del subconjunto para agregar información. Esto produce representaciones latentes a nivel de conjunto ($z^k_p$ y $z^k_n$).

Objetivo de Entrenamiento

El modelo se entrena utilizando la pérdida contrastiva SimCLR. El objetivo es:

• Unir las representaciones latentes de diferentes subconjuntos de la misma categoría (por ejemplo, $z^1_p$ y $z^2_p$).
• Separar las representaciones de los subconjuntos preferidos de los subconjuntos no preferidos ($z^k_p$ vs $z^k_n$).

Esta aleatorización de la composición de los subconjuntos en cada época obliga al codificador a aprender patrones generalizables que distingan los comportamientos preferidos de los no preferidos, en lugar de sobreajustarse a pares de trayectorias específicos o etiquetas ruidosas.

Inferencia de Recompensa

A diferencia de los métodos basados en BT que emiten una función de recompensa parametrizada por $\psi$, SARA aprende una representación de conjunto preferido congelada ($z^*_p$) codificando todo el conjunto de datos de trayectorias preferidas. Durante el entrenamiento de RL descendente, la recompensa para una trayectoria muestreada $\sigma_t$ en el paso de tiempo $t$ se calcula como la similitud de coseno entre la representación latente de la trayectoria ($z_t$) y la latente preferida congelada:
$$r_t = \cos(z_t, z^*_p)$$
La justificación teórica se basa en trabajos recientes (Sun et al., 2025) que sugieren que predecir la probabilidad de que una sola trayectoria sea preferida es suficiente para la alineación, evitando las trampas de los modelos de clasificación relativa.

Principales Contribuciones

1. Marco Contrastivo Robusto: SARA introduce un método novedoso que codifica conjuntos de trayectorias preferidas y no preferidas en representaciones latentes, computando las recompensas mediante la similitud con el conjunto preferido. Esto evita los supuestos de clasificación por pares del modelo BT.
2. Resiliencia al Ruido: Al aprender una representación ponderada por atención de todo el conjunto preferido, SARA logra robustez ante errores de etiquetado. No depende de ajustar clasificaciones por pares, las cuales son susceptibles de corrupción por etiquetas ruidosas.
3. Análisis Mecanicista: Los autores proporcionan una explicación mecanicista para la robustez de SARA, respaldada por visualizaciones de t-SNE y estudios de ablación. Demuestran que el codificador aprende a reducir el peso de las trayectorias mal etiquetadas que no comparten patrones con la mayoría del conjunto preferido, filtrando eficazmente el ruido sin mecanismos de filtrado explícitos.
4. Validación Estadística: El artículo proporciona evidencia estadística rigurosa (prueba de rango con signo de Wilcoxon, $p < 0.01$) demostrando la superioridad de SARA sobre las líneas base bajo diversos niveles de ruido.

Resultados Experimentales

Los autores evaluaron SARA en benchmarks de RL offline de control continuo (D4RL: locomoción de Mujoco, Franka Kitchen, Adroit) utilizando conjuntos de datos de preferencias con tasas de ruido inyectadas de 0%, 10%, 20% y 40%.

• Estabilidad de Rendimiento: SARA demostró retornos consistentes de evaluación de política entre las tasas de error de 0–20%. En contraste, las líneas base (Preference Transformer, PT+ADT, DPPO) mostraron una degradación significativa, con algunas cayendo hasta un 73% en conjuntos de datos específicos a medida que aumentaban las tasas de error.
• Significancia Estadística: Una prueba de rango con signo de Wilcoxon a través de 24 celdas de condición-tarea confirmó que la ventaja de rendimiento de SARA sobre todas las líneas base es estadísticamente significativa ($p < 0.01$).
• Correlación de Recompensa: Las recompensas de transición inferidas por SARA mostraron una mayor correlación de Pearson con las recompensas reales del entorno (usadas como proxy para los criterios de preferencia subyacentes) en comparación con las líneas base en todas las tasas de ruido. Esto indica que SARA captura mejor los verdaderos criterios de preferencia incluso cuando las etiquetas son ruidosas.
• Estudios de Ablación: Eliminar la codificación basada en conjuntos (entrenar en pares de trayectorias individuales mediante aprendizaje contrastivo) resultó en retornos significativamente menores y menos estables, confirmando que la agregación a nivel de conjunto es crítica para la robustez.

Significado y Reivindicaciones

El artículo afirma que SARA ofrece una alternativa más robusta a los métodos estándar de PbRL basados en BT, particularmente en escenarios que involucran etiquetadores no expertos o anotación bajo restricciones de tiempo donde las tasas de error son altas.

• Cambio de Paradigma: Los autores argumentan que el enfoque de SARA en el aprendizaje de representaciones y el consenso a nivel de conjunto, en lugar de las clasificaciones relativas por pares, aborda la fragilidad fundamental de los modelos BT ante el ruido y las preferencias humanas intransitivas.
• Utilidad Práctica: Aunque SARA puede no desplazar a los modelos BT en escenarios de datos de alta calidad y con expertos (donde BT aún puede funcionar bien), proporciona una línea base estable cuando la calidad de la anotación es incierta.
• Versatilidad: El marco es adaptable a diversos formatos de retroalimentación y no requiere estrictamente datos por pares, permitiendo el uso de subconjuntos de muestras preferidas de un grupo más grande.

Los autores mantienen la modestia respecto a sus afirmaciones, reconociendo que SARA no garantiza ordenamientos de preferencia transitivos (una limitación conocida de las preferencias humanas) y que su uso exclusivo de entornos D4RL limita la generalización a otros benchmarks. Posicionan a SARA no como un reemplazo universal para BT, sino como una evolución necesaria para la robustez en entornos realistas de aprendizaje de preferencias ruidosas.