Resumen Técnico: Alineación Objetivo-Comportamiento: Diagnósticos para MORL

Declaración del Problema

La toma de decisiones en el mundo real a menudo requiere la optimización de múltiples objetivos en competencia simultáneamente. En el Aprendizaje por Refuerzo Multiobjetivo (MORL), el enfoque estándar consiste en generar un conjunto de políticas Pareto óptimas (el Conjunto de Pareto, PS) y sus correspondientes vectores de valor (el Frente de Pareto, PF). Si bien esto expone los compromisos entre objetivos, los métodos de diagnóstico actuales dependen exclusivamente de estos valores de los objetivos.

El problema central identificado es la Desalineación Objetivo-Comportamiento: las políticas que son próximas en el espacio de los objetivos (es decir, que tienen retornos esperados similares) pueden exhibir trayectorias de comportamiento radicalmente diferentes. Se sabe que los métodos de scalarización, que combinan las recompensas en una única señal, son frágiles; pequeños cambios en los pesos pueden inducir cambios de comportamiento drásticos. Sin embargo, incluso dentro de un frente de Pareto generado, las políticas vecinas pueden seguir trayectorias distintas (por ejemplo, moviéndose estrictamente a la izquierda frente a moverse estrictamente a la derecha) que producen vectores de retorno idénticos o casi idénticos. Confiar únicamente en el PF para la selección de políticas conlleva el riesgo de pasar por alto variaciones críticas de comportamiento, lo que podría derivar en el despliegue de políticas que satisfacen parámetros numéricos pero exhiben patrones de ejecución indeseables o inseguros en la práctica.

Metodología

Los autores proponen un flujo de trabajo de diagnóstico exploratorio y modular diseñado para sacar a la luz las variaciones de comportamiento a lo largo del frente de Pareto que los valores de los objetivos por sí solos no revelan. El flujo de trabajo consta de tres pasos principales:

1. Entrenamiento de MORL y Extracción de Trayectorias

Se entrena un agente MORL para obtener un conjunto diverso de políticas que representen el PS y el PF. El marco es agnóstico al algoritmo MORL específico utilizado; en los experimentos, los autores utilizan MORL basado en descomposición (MORL/D), un enfoque evolutivo que mantiene una población de políticas entrenadas con distintos vectores de peso. Para cada política, se extrae un conjunto de trayectorias (rollouts) junto con sus retornos vectoriales.

2. Agregación mediante Codificación de Comportamiento

Las trayectorias extraídas se procesan para generar representaciones de comportamiento compactas y significativas.

• Codificador (Encoder): El flujo de trabajo emplea un codificador de trayectorias aprendido (basado en Mone et al., 2026) entrenado mediante una función de pérdida contrastiva compuesta. Esta incluye componentes para trayectorias completas ($L_{CLS}$), segmentos de trayectoria ($L_{SEG}$), y pares de segmentos ($L_{PAIR}$), junto con un regularizador de Deep InfoMax ($L_{DIM}$).
• Incrustación (Embedding): El codificador mapea secuencias de estado-acción en un espacio latente. Para asegurar una geometría bien estructurada, se aplica un regularizador de varianza-covarianza para evitar incrustaciones degeneradas.
• Agregación: Múltiples incrustaciones de trayectoria para una sola política se agregan (mediante la media) para producir un único vector de comportamiento $z(\pi)$, definiendo el manifold de comportamiento $Z$.

3. Análisis de la Alineación Objetivo-Comportamiento

El flujo de trabajo compara la geometría del espacio de los objetivos (PF) contra el espacio del comportamiento ($Z$) utilizando tres herramientas de diagnóstico:

• Confiabilidad y Continuidad: Adaptados del análisis de proyección no lineal, estas métricas cuantifican la preservación de vecindad.
  • Confiabilidad (Trustworthiness, $T$): Mide si los vecinos en el PF siguen siendo vecinos en $Z$.
  • Continuidad (Continuity, $C$): Mide si los vecinos en $Z$ siguen siendo vecinos en el PF.
  • Valores bajos indican un desajuste estructural donde la proximidad de los objetivos no logra predecir la similitud del comportamiento.
• Gráficos de Dispersión de Lipschitz: Inspirados en el análisis de paisajes de optimización, estos gráficos visualizan la relación entre las distancias en el espacio de los objetivos (eje $x$) y el espacio del comportamiento (eje $y$) para políticas consecutivas ordenadas a lo largo del frente.
  • Región Crítica (Superior-Izquierda): Puntos donde las políticas están cerca en el espacio de los objetivos pero lejos en el espacio del comportamiento. Estos señalan pares que requieren inspección manual.
  • Huecos (Inferior-Derecha): Puntos donde las diferencias de los objetivos son grandes en relación con las diferencias de comportamiento.
• Prueba Cualitativa de "Inspección Visual" (Eyeball Test): El flujo de trabajo renderiza los rollouts de las políticas para permitir que observadores humanos verifiquen directamente si las discrepancias cuantitativas corresponden a diferencias de comportamiento perceptibles.

Principales Contribuciones

1. Identificación de una Brecha Estructural: El artículo define formalmente la Desalineación Objetivo-Comportamiento (Definición 1) como una propiedad geométrica donde el mapeo entre el frente de Pareto y el espacio del comportamiento falla en preservar las vecindades. Destaca que esta brecha es una propiedad estructural de los conjuntos de políticas MORL que a menudo se pasa por alto en la investigación actual.
2. Flujo de Trabajo de Diagnóstico Modular: Los autores introducen un marco escalable para construir representaciones del espacio de comportamiento y comparar su estructura local con el frente de Pareto. El diseño admite la alternancia de codificadores, esquemas de agregación y métricas.
3. Diagnósticos Cuantitativos y Visuales: El artículo propone métricas específicas (Confiabilidad, Continuidad) y herramientas visuales (gráficos de dispersión de Lipschitz) para señalar pares de políticas donde la proximidad en el espacio de los objetivos es un resumen deficiente de la diversidad del comportamiento.

Resultados

El enfoque fue validado tanto en entornos de rejilla simples como en benchmarks de control continuo:

• Deep Sea Treasure (DST):

  • DST Izquierda-Derecha: En esta variante, las políticas vecinas en el PF exhibieron trayectorias distintas hacia la izquierda o hacia la derecha. El flujo de trabajo detectó con éxito esta desalineación, arrojando una Confiabilidad baja (0.51) y una Continuidad baja (0.47). Los gráficos de dispersión de Lipschitz identificaron claramente la "región crítica" donde las políticas estaban cerca en el espacio de los objetivos pero lejos en el espacio del comportamiento.
  • Smooth DST: En esta variante, los espacios de objetivos y comportamiento estaban alineados. Las métricas fueron cercanas a 1.0 y los gráficos de dispersión mostraron distancias consistentes, confirmando la capacidad del método para distinguir entre escenarios alineados y desalineados.
  • Validación del Codificador: Las incrustaciones de transformador aprendidas produjeron agrupamientos de comportamiento consistentes con las incrustaciones diseñadas manualmente, validando la capacidad del codificador para capturar patrones de comportamiento relevantes sin anotaciones externas.

• Entornos MuJoCo (MO-HalfCheetah y MO-Hopper):

  • Las métricas globales indicaron una fuerte alineación (Confiabilidad/Continuidad > 0.94) en promedio, sugiriendo que para estas tareas específicas, el PF generalmente predice bien el comportamiento.
  • Sin embargo, los gráficos de dispersión revelaron discrepancias locales. En MO-Hopper, pares de políticas específicos (por ejemplo, 50 vs. 51) ubicados en la región crítica exhibieron diferencias de comportamiento visibles (por ejemplo, un movimiento de estocada frente a una postura erguida) a pesar de tener retornos de objetivos similares. En MO-HalfCheetah, las diferencias fueron más sutiles, correlacionándose con distancias menores en el espacio del comportamiento.
  • Los resultados demuestran que el método sigue siendo efectivo a medida que aumenta la complejidad del problema, siendo capaz de señalar pares de políticas específicos para inspección incluso en dominios continuos de alta dimensión.

Significancia y Reivindicaciones

El artículo posiciona este trabajo como una herramienta de diagnóstico más que como una solución al problema de la especificación de la recompensa. Los autores declaran explícitamente que su flujo de trabajo no determina si los objetivos de recompensa especificados son adecuados para el despliegue o si las diferencias de comportamiento observadas son perjudiciales; tales juicios requieren información externa sobre las preferencias de las partes interesadas.

En cambio, la significancia del trabajo reside en:

• Señalización Automatizada: Proporcionar un medio escalable para identificar pares de políticas que ameritan inspección manual, complementando los resúmenes numéricos presentados típicamente a los tomadores de decisiones.
• Transparencia: Ofrecer una base más transparente para la selección de políticas al revelar "puntos ciegos" donde las métricas de los objetivos enmascaran los riesgos de comportamiento.
• Benchmarking de Algoritmos: Introducir una nueva dimensión para evaluar algoritmos de MORL basada en la estabilidad conductual y la predictibilidad de los frentes que generan, más allá de las medidas estándar de convergencia y diversidad como el hipervolumen.
• Perspectivas de RL de un Solo Objetivo: La metodología del gráfico de dispersión también puede identificar funciones de recompensa en el aprendizaje por refuerzo de un solo objetivo que son propensas a la inestabilidad, donde cambios marginales en la estructura de la recompensa desencadenan cambios de comportamiento desproporcionados.

Los autores concluyen que, si bien el flujo de trabajo representa un paso significativo hacia la comprensión de la relación entre objetivo y comportamiento, es modular y depende de heurísticas específicas (como el ordenamiento de políticas) que pueden requerir refinamiento para espacios de objetivos de mayor dimensión.