Resumen Técnico: Unificación de la Alineación de Valores y la Asignación en el Aprendizaje por Refuerzo Offline Transdominio con Conjuntos de Datos Heterogéneos

1. Enunciado del Problema

El Aprendizaje por Refuerzo (RL) Offline Transdominio busca aprender una política en un dominio objetivo utilizando un conjunto de datos objetivo limitado y un conjunto de datos fuente abundante que presenta un desplazamiento en la dinámica (es decir, dinámicas de transición diferentes $P_{src}$ frente a $P_{tar}$). Aunque los métodos recientes han intentado abordar el problema de las dinámicas Fuera de Distribución (OOD) mediante filtrado de datos basado en la alineación de dinámicas (por ejemplo, IGDF, OTDF) o la alineación de valores (por ejemplo, DVDF), estos enfoques suelen asumir que el conjunto de datos fuente se recopila de un único entorno con una única política de comportamiento.

Este artículo aborda un escenario más general y realista: RL Offline Transdominio Heterogéneo. En este escenario, el conjunto de datos fuente se agrega a partir de múltiples dominios fuente con dinámicas de transición distintas y se recopila mediante diversas políticas de comportamiento. Los autores identifican un problema crítico, previamente pasado por alto en este escenario, denominado Asignación Errónea de Valores.

La Asignación Errónea de Valores ocurre cuando una única función de valor (o función de ventaja) se entrena sobre todo el conjunto de datos fuente heterogéneo sin distinguir entre las modalidades de dinámica subyacentes. Esto conduce a:

1. Estimación Incorrecta de la Ventaja: Los valores de ventaja asignados a las muestras no reflejan su optimalidad real en relación con su subdominio de dinámica específico.
2. Filtrado de Datos Subóptimo: Los mecanismos de filtrado de datos que dependen de estos valores mal asignados se ven engañados, seleccionando muestras subóptimas (por ejemplo, datos de calidad media de una dinámica específica) mientras descartan los óptimos.
3. Relajación de la Brecha de Suboptimalidad: El análisis teórico muestra que la asignación errónea de valores impide el acotamiento estricto de la brecha de suboptimalidad en el dominio objetivo, degradando el rendimiento del agente.

2. Metodología: V2A

Para resolver la asignación errónea de valores, los autores proponen V2A (Alineación y Asignación de Valores), un marco que unifica la alineación de dinámicas, la alineación de valores y la asignación de valores. El método procede en tres etapas principales:

2.1. Aprendizaje de Representación de Modalidad Temporalmente Consistente

El primer paso consiste en desentrañar las diferentes modalidades de dinámica dentro del conjunto de datos fuente.

• Enfoque: Los autores emplean un marco de Expectación-Maximización (EM) para aprender una representación latente $z$ para cada trayectoria.
• Innovación: A diferencia de los autoencoders variacionales estándar que codifican transiciones individualmente (lo que conduce a inconsistencia temporal), V2A utiliza una Límite Inferior Variacional (ELBO) Temporalmente Consistente. Codifica toda la trayectoria $\tau$ en una única variable latente $z$ utilizando una Red Neuronal Recurrente (RNN/LSTM), mientras decodifica las transiciones a nivel de paso.
• Objetivo: Esto asegura que todas las transiciones dentro de una trayectoria compartan la misma representación de dinámica $z$, agrupando efectivamente las trayectorias según sus dinámicas subyacentes.

2.2. Aprendizaje de Ventaja Consciente de la Modalidad

Una vez inferidas las modalidades de dinámica ($z$), el conjunto de datos fuente se vuelve a etiquetar como $D'_{src} = \{(s, a, r, s', z)\}$.

• Enfoque: Los autores proponen Aprendizaje de Ventaja Consciente de la Modalidad. En lugar de entrenar una función de ventaja estándar $A(s, a)$, entrenan una función de ventaja condicionada a la modalidad $A(s, a, z)$.
• Mecanismo: La representación latente $z$ se introduce como entrada en la función $Q$ y la función $V$ durante el preentrenamiento (utilizando un esquema de Sparse-QL).
• Resultado: Esto permite que la función de ventaja distinga entre diferentes modalidades de dinámica, asignando valores de ventaja correctos a los pares estado-acción basándose en su contexto de dinámica específico, corrigiendo así la asignación errónea de valores.

2.3. Filtrado Unificado de Datos y Aprendizaje de Política

La etapa final integra estos componentes en un paradigma de filtrado de datos para el aprendizaje de la política objetivo.

• Función de Puntuación: Se define una nueva función de puntuación $f(s, a, s', z)$ para filtrar los datos fuente:
  $$f(s, a, s', z) = \lambda \cdot h(s, a, s') + (1 - \lambda) \cdot \text{Norm}(A(s, a, z))$$
  donde $h(\cdot)$ mide la alineación de dinámicas (mediante aprendizaje contrastivo o transporte óptimo) y $A(s, a, z)$ mide la alineación de valores consciente de la modalidad.
• Filtrado: Las muestras fuente se seleccionan en función del cuantil superior-$\xi$ de esta puntuación.
• Optimización de la Política: La política objetivo se entrena con los datos fuente filtrados combinados con los datos objetivo limitados utilizando Aprendizaje por Refuerzo Implícito (IQL).

3. Contribuciones Clave

1. Formulación del Problema: El artículo formaliza el escenario de RL Offline Transdominio Heterogéneo, donde los datos fuente provienen de múltiples dominios y políticas de comportamiento, e identifica la Asignación Errónea de Valores como una limitación fundamental en los métodos existentes.
2. Perspectiva Teórica: Los autores proporcionan un límite teórico sobre la brecha de suboptimalidad, demostrando que la asignación errónea de valores relaja este límite. Proban que desentrañar las modalidades de dinámica es necesario para lograr un límite más estricto.
3. Algoritmo (V2A): Proponen V2A, que integra:
   • Aprendizaje de representación de modalidad temporalmente consistente (mediante EM).
   • Aprendizaje de ventaja consciente de la modalidad.
   • Un paradigma unificado de filtrado de datos.
4. Validación Empírica: Experimentos extensivos en tareas MuJoCo (HalfCheetah, Hopper, Walker2d, Ant) con conjuntos de datos fuente heterogéneos muestran que V2A supera significativamente a bases sólidas (IGDF, OTDF, DVDF, BOSA, DARA).

4. Resultados Experimentales

• Rendimiento: V2A logra mejoras significativas en el rendimiento sobre las bases. Por ejemplo, cuando se construye sobre IGDF, V2A mejoró la puntuación normalizada total en un 21.4% en comparación con la base IGDF, y en un 21.4% sobre DVDF (que solo mejoró un 6.8% sobre IGDF). Se observaron ganancias similares con OTDF.
• Estudios de Ablación:
  • ELBO Temporalmente Consistente: Eliminar la consistencia a nivel de trayectoria (utilizando en su lugar un ELBO a nivel de muestra) resultó en un rendimiento inferior, confirmando la necesidad de consistencia temporal para una extracción precisa de la modalidad.
  • Conciencia de la Modalidad: Las visualizaciones de las distribuciones de ventaja aprendidas muestran que V2A produce distribuciones de ventaja más nítidas y distintas en comparación con las distribuciones más planas y menos discriminatorias de DVDF, lo que indica una mejor estimación de la optimalidad de la muestra.
  • Sensibilidad a Parámetros: El método es robusto al coeficiente de compensación $\lambda$ (óptimo alrededor de 0.6) y a la relación de selección de datos $\xi$ (óptima alrededor de 0.5).

5. Significado y Afirmaciones

El artículo afirma que V2A es el primer marco que aborda eficazmente el problema de la asignación errónea de valores inherente al RL offline transdominio heterogéneo. Al unificar la alineación de dinámicas, la alineación de valores y la asignación de valores, V2A permite una transferencia de política eficiente incluso cuando los datos fuente son una mezcla compleja de diversas dinámicas y comportamientos.

Los autores enfatizan que, mientras que trabajos anteriores se centraron en la alineación de dinámicas o de valores de forma aislada (o asumieron datos fuente homogéneos), su trabajo destaca que ignorar la naturaleza multimodal de las dinámicas fuente conduce a una estimación incorrecta de los valores, lo que a su vez socava el filtrado de datos. El método propuesto ofrece una solución simple pero efectiva que cierra significativamente la brecha entre los escenarios teóricos y los escenarios de datos realistas y heterogéneos en robótica e IA encarnada.

Limitaciones Reconocidas:

• El aprendizaje de representación de modalidad temporalmente consistente requiere tiempo de entrenamiento adicional (aunque esto puede precalcularse).
• El análisis teórico se basa en suposiciones leves (por ejemplo, condiciones suficientes de segundo orden para la convexidad en el vecindario de la política óptima).