Resumen Técnico: Inferencia de Restricciones Multiobjetivo mediante Aprendizaje por Refuerzo Inverso

Enunciado del Problema

El Aprendizaje por Refuerzo Inverso (IRL) busca inferir los objetivos subyacentes de un agente observando demostraciones de expertos. Si bien los enfoques tradicionales suelen modelar la intención únicamente mediante una función de recompensa aprendida, esto puede dar lugar a modelos excesivamente complejos y frágiles. Una alternativa más robusta implica aprender conjuntamente una función de recompensa simple y un conjunto de restricciones duras (por ejemplo, barreras físicas o límites de seguridad).

Sin embargo, los métodos existentes de inferencia de restricciones adolecen de dos supuestos restrictivos que limitan su aplicabilidad a escenarios del mundo real:

1. Homogeneidad: Asumen que las demostraciones son generadas por un único tipo de experto o por múltiples expertos con objetivos idénticos.
2. Conocimiento A Priori: A menudo asumen que la función de recompensa del experto es completamente conocida de antemano.

En la realidad, los datos observados suelen provenir de una población heterogénea donde los expertos comparten restricciones ambientales comunes (por ejemplo, leyes de tráfico, muros físicos) pero poseen preferencias privadas y distintas (por ejemplo, conducción agresiva frente a cautelosa, o preferencias por terrenos específicos). Los métodos actuales luchan por desentrañar estas restricciones compartidas de las preferencias individuales, a menudo fallando en capturar comportamientos diversos o sufriendo ineficiencias computacionales.

Metodología: Inferencia de Restricciones Multiobjetivo (MOCI)

Para abordar estos desafíos, los autores proponen la Inferencia de Restricciones Multiobjetivo (MOCI), un marco diseñado para recuperar conjuntamente restricciones duras compartidas y pesos de preferencias individuales a partir de trayectorias de expertos heterogéneas y no etiquetadas.

Marco Central

MOCI opera dentro de un entorno de Proceso de Decisión de Markov Multiobjetivo con Restricciones (CMOMDP). Asume:

• Un espacio compartido de características estado-acción $\phi(s, a)$.
• Un conjunto compartido de restricciones duras $C$ (estados prohibidos) aplicable a todos los expertos.
• $K$ tipos de expertos latentes (clústeres), cada uno caracterizado por un vector único de pesos de preferencia $w_k$.

El algoritmo emplea un enfoque de Maximización de Expectación (EM) para maximizar la verosimilitud conjunta del conjunto de datos $D$:

1. Paso E (Agrupamiento): El algoritmo fija las estimaciones actuales de las restricciones $C$, los pesos $\{w_k\}$ y los priores de clúster $\{\pi_k\}$. Calcula la probabilidad posterior (responsabilidad) $\gamma_{i,k}$ de que una trayectoria específica $\xi_i$ haya sido generada por el tipo de experto $k$. Esto agrupa efectivamente las demostraciones no etiquetadas basándose en su verosimilitud bajo diferentes modelos de preferencia.
2. Paso M (Actualización de Parámetros):
   • Priors: Se actualizan como la media empírica de las responsabilidades.
   • Pesos de Recompensa: Para cada clúster, los pesos de preferencia $w_k$ se actualizan mediante ascenso de gradiente. El gradiente se pondera por la responsabilidad $\gamma_{i,k}$, asegurando que la función de recompensa se adapte a las trayectorias asignadas probabilísticamente a ese clúster utilizando los principios de IRL de Máxima Entropía.
   • Restricciones: El conjunto compartido de restricciones $C$ se actualiza mediante una búsqueda voraz. El algoritmo evalúa estados candidatos (aquellos no visitados en el conjunto de datos) calculando la verosimilitud conjunta si el candidato se añadiera a $C$. Un candidato se añade solo si aumenta significativamente la verosimilitud. Este proceso se regulariza mediante un umbral $d_{DKL}$ sobre la divergencia de Kullback-Leibler para evitar el sobreajuste al ruido o a estados no visitados.

Complejidad Computacional

El costo computacional teórico de MOCI está dominado por el tamaño del espacio estado-acción, el horizonte y el número de iteraciones. La complejidad se deriva como $O(|S| \cdot |A| \cdot H)$, donde $|S|$ es el número de estados, $|A|$ es el número de acciones y $H$ es el horizonte de la trayectoria. En un entorno de mundo en cuadrícula, esto escala cuadráticamente con las dimensiones de la cuadrícula.

Contribuciones Clave

1. Marco Novel: Introducción de MOCI, el primer marco que infiere conjuntamente restricciones duras compartidas y preferencias multiobjetivo individuales a partir de demostraciones heterogéneas y no etiquetadas.
2. Innovación Algorítmica: Desarrollo de un algoritmo basado en EM que agrupa iterativamente trayectorias y actualiza tanto los pesos de recompensa como los conjuntos de restricciones, separando efectivamente las motivaciones individuales de las limitaciones ambientales.
3. Análisis Teórico: Provisión de un análisis detallado de la complejidad computacional que demuestra la escalabilidad del algoritmo.
4. Validación Empírica: Demostración de la capacidad del método para recuperar restricciones de verdad fundamental y perfiles de preferencia distintos en un entorno controlado de GridWorld multiobjetivo.

Resultados Experimentales

Los autores evaluaron MOCI en un entorno simulado de GridWorld heterogéneo que presentaba dos tipos de expertos: un "Amante de la Hierba" y un "Amante de las Rocas", ambos navegando alrededor de baldosas compartidas de "Agua" (restricción dura).

• Recuperación de Restricciones: MOCI identificó con éxito las baldosas de agua de verdad fundamental como restricciones duras. También notó una limitación donde los estados no visitados fueron ocasionalmente inferidos como restricciones (falsos positivos) debido a la falta de cobertura de datos, un comportamiento mitigado ajustando el umbral de divergencia.
• Aprendizaje de Preferencias: El algoritmo recuperó con precisión los pesos de recompensa distintos para ambos expertos, identificando correctamente la preferencia del Amante de la Hierba por la hierba y su aversión a las rocas/agua, y las preferencias opuestas del Amante de las Rocas.
• Comparación de Rendimiento: En comparación con las líneas base Inferencia de Restricciones de Máxima Verosimilitud (MLCI) y Aprendizaje por Refuerzo Inverso con Restricciones (ICRL):
  • Precisión: MOCI logró un Error Cuadrático Medio de Restricción (CMSE) significativamente menor de 0.027, en comparación con 0.25 para MLCI y 0.36 para ICRL.
  • Eficiencia: MOCI mantuvo un tiempo de ejecución competitivo (0.69s) en comparación con MLCI (0.29s) y fue sustancialmente más rápido que ICRL (8.90s).
  • Capacidades: A diferencia de las líneas base restringidas a datos homogéneos sin aprendizaje de preferencias, MOCI manejó con éxito datos heterogéneos y aprendió explícitamente preferencias.
• Escalabilidad: El análisis del tiempo de ejecución mostró que el tiempo de ejecución escala de manera manejable con el tamaño de la cuadrícula y la longitud de la trayectoria, validando la complejidad teórica.

Significado y Afirmaciones

El artículo posiciona a MOCI como un enfoque preciso, flexible y computacionalmente práctico para la inferencia de restricciones y el aprendizaje de preferencias en el mundo real. Los autores afirman que MOCI establece una nueva capacidad para modelar comportamientos diversos y potencialmente conflictivos mientras se mantienen los límites de seguridad. Al separar con éxito las restricciones compartidas de las preferencias individuales, el marco ofrece una solución robusta para alinear agentes de aprendizaje por refuerzo con pautas de seguridad en entornos complejos donde los datos de expertos son variados.

El estudio concluye que, si bien MOCI actualmente requiere que el número de tipos de expertos ($K$) esté predefinido y se centra estrictamente en restricciones duras, proporciona un paso fundamental hacia sistemas de IA más seguros y adaptables capaces de aprender de comportamientos humanos diversos. El trabajo futuro sugerido por los autores incluye reemplazar el agrupamiento fijo con métodos no paramétricos bayesianos para automatizar el descubrimiento de $K$ y extender el marco a restricciones suaves y aplicaciones reales en el sector de la salud.