Resumen Técnico: RENEW: Hacia el Aprendizaje de Modelos de Mundo y la Reparación de la Explotación de Modelos a partir de Preferencias

Declaración del Problema

El aprendizaje por refuerzo (RL) basado en modelos depende de modelos de mundo aprendidos (modelos de dinámica) para mejorar la eficiencia de muestreo mediante la generación de experiencia sintética. Sin embargo, en entornos offline donde los agentes aprenden de conjuntos de datos fijos, estos modelos sufren de explotación del modelo (model exploitation). Cuando una política optimiza contra un modelo de mundo imperfecto, puede descubrir y explotar transiciones inexactas (por ejemplo, teletransportarse a través de paredes) para lograr retornos artificialmente altos que no se transfieren al entorno real.

Las soluciones existentes suelen caer en dos categorías, ambas con limitaciones significativas:

1. Recolectar más datos: Reunir demostraciones expertas adicionales en regiones de fallo del modelo suele ser costoso, inseguro o imposible (por ejemplo, modos de fallo poco comunes en robótica o conducción autónoma).
2. Algoritmos conservadores: Penalizar las visitas a estados inciertos o restringir las políticas a la distribución conductual intercambia la exploración y la generalización por la robustez, limitando la utilidad de los métodos basados en modelos.

Los autores plantean una nueva pregunta: ¿Podemos corregir la dinámica de un modelo de mundo sin recolectar más demostraciones? Observan que, si bien demostrar un comportamiento correcto requiere pericia en el dominio, identificar la dinámica incorrecta (violaciones de la física intuitiva como la solidez o la permanencia de los objetos) suele ser trivial para los humanos.

Metodología

El artículo introduce dos componentes principales: un nuevo marco de aprendizaje y un algoritmo para optimizarlo.

1. Aprendizaje de Dinámica a partir de la Retroalimentación Humana (DLHF)

Los autores formalizan el DLHF, un marco que reemplaza el modelo de recompensa en el estándar de Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) con un modelo de dinámica.

• Idea Central: En lugar de pedir a los humanos que comparen trayectorias basadas en el éxito de la tarea (lo que podría reforzar la explotación, por ejemplo, prefiriendo una trayectoria que atraviesa una pared porque es más rápida), se pide a los humanos que comparen segmentos de trayectoria basados en la plausibilidad física.
• Formulación:
  • Sea $\hat{T}_\theta$ el modelo de dinámica aprendido.
  • La log-verosimilitud de un segmento de trayectoria $\sigma$ bajo el modelo se define como $\ell_\theta(\sigma) = \sum \log \hat{T}_\theta(s_{t+1} | s_t, a_t)$.
  • En el marco de preferencias de Bradley-Terry, la probabilidad de que el segmento $\sigma_0$ sea preferido sobre $\sigma_1$ se modela como:
    $$P(\sigma_0 \succ \sigma_1) = \text{logistic}(\ell_\theta(\sigma_0) - \ell_\theta(\sigma_1))$$
  • Los parámetros del modelo $\theta$ se actualizan minimizando la pérdida de entropía cruzada frente a las etiquetas de preferencia humana. Esto permite que el modelo de dinámica sea supervisado directamente por preferencias binarias sin necesidad de etiquetas de recompensa, demostraciones expertas o interacción con el entorno.

2. RENEW (Reparación de la Explotación mediante Preferencias de Modelo de Mundo Elicitadas)

Los autores señalan que el DLHF ingenuo es ineficiente en términos de muestreo porque el muestreo uniforme de pares de trayectorias desperdicia presupuesto en transiciones que el modelo ya predice bien. RENEW aborda esto utilizando la incertidumbre epistémica para dirigir las consultas de preferencia.

• Consulta Activa: RENEW identifica pares de estado-acción donde el modelo tiene una alta incertidumbre epistémica (por ejemplo, mediante el desacuerdo de un ensamble).
• Muestreo Dirigido: Genera pares de segmentos de trayectoria comenzando desde estas regiones de alta incertidumbre.
• Ajuste Fino Iterativo: El proceso itera:
  1. Calcular la incertidumbre epistémica $u$ bajo el modelo actual.
  2. Muestrear pares de segmentos proporcionales a $u$.
  3. Elicitar las preferencias humanas (o del oráculo) para estos pares.
  4. Realizar el ajuste fino (finetuning) del modelo usando la pérdida de DLHF.
  5. Recalcular la incertidumbre y repetir.
• Objetivo: Concentrar el presupuesto de preferencia en las regiones específicas donde el modelo es más vulnerable a la explotación, mejorando la eficiencia de muestreo y evitando el olvido catastrófico de las dinámicas correctas previamente aprendidas.

Contribuciones Clave

1. Marco DLHF: Una formulación novedosa para aprender dinámicas de transición directamente a partir de las preferencias humanas, desplazando la señal de supervisión del éxito de la tarea (recompensa) hacia el realismo físico (dinámica).
2. Algoritmo RENEW: Un algoritmo de aprendizaje activo que aprovecha la incertidumbre epistémica para hacer que el aprendizaje de la dinámica basado en preferencias sea eficiente en términos de muestreo, apuntando específicamente a las regiones propensas a la explotación del modelo.
3. Validación Empírica: Demostración de que las preferencias binarias pueden aprender modelos de mundo desde cero y reparar modelos preentrenados sin necesidad de demostraciones adicionales o interacción con el entorno.

Resultados Experimentales

Los autores evaluaron su enfoque en entornos Jumanji (mundos de cuadrícula discretos como Maze, Sliding Tile, Sokoban) y Control Clásico (MountainCar, Acrobot).

• Viabilidad de DLHF: El DLHF ingenuo puede aprender modelos de mundo simples desde cero usando solo preferencias, pero requiere un presupuesto masivo (aprox. 1M de etiquetas de preferencia) para igualar el rendimiento de 1K transiciones supervisadas.
• Eficiencia de Muestreo de RENEW:
  • Bajo presupuestos de preferencia idénticos, RENEW supera significativamente al DLHF ingenuo. Por ejemplo, en el entorno Sliding Tile 3x3, RENEW redujo aproximadamente a la mitad el error final en comparación con el muestreo uniforme.
  • Olvido Catastrófico: En el entorno Sokoban, el DLHF ingenuo degradó el rendimiento de un modelo preentrenado, mientras que RENEW lo mejoró. Esto sugiere que la consulta activa evita la sobrescritura de la dinámica correcta con actualizaciones provenientes de transiciones imaginadas inexactas.
• Reparación de la Explotación: En experimentos de ajuste fino en entornos Maze (5x5 a 20x20) con un presupuesto fijo de 1,600 etiquetas, RENEW redujo tanto el error de predicción como la incertidumbre epistémica de manera más efectiva que el ajuste fino ingenuo. Logró una mayor precisión de transición (por ejemplo, 97.2% vs 93.2% en Maze 10x10) e intervalos de confianza más estrechos.
• Control Continuo: Aunque aprender la dinámica continua a partir de preferencias es más difícil debido a señales de preferencia menos distintivas, el DLHF logró una paridad cercana con las líneas base supervisadas en MountainCar y Acrobot. RENEW mostró ventajas en la eficiencia de muestreo cuando los pasos de gradiente fueron limitados (por ejemplo, con $K=8$ candidatos).

Significado y Reivindicaciones

El artículo afirma proporcionar evidencia inicial de que las preferencias pueden supervisar directamente las dinámicas de los modelos de mundo. La importancia radica en:

• Supervisión Directa de la Dinámica: A diferencia del trabajo previo que utiliza las preferencias para aprender funciones de recompensa o alinear políticas, este trabajo las utiliza para aprender el propio modelo de transición.
• Sin Necesidad de Datos Expertos: El enfoque no requiere demostraciones expertas, etiquetas de recompensa ni interacción con el entorno, abordando un cuello de botella importante en el aprendizaje por refuerzo basado en modelos offline.
• Mecanismo de Reparación Práctico: RENEW ofrece una alternativa pragmática a la recolección de más datos o a la restricción de la exploración, permitiendo la reparación de la explotación del modelo en modelos preentrenados utilizando un presupuesto limitado de consultas de preferencia.

Los autores mantienen la modestia sobre el alcance actual, señalando que los experimentos utilizaron oráculos sintéticos en lugar de anotadores humanos reales y estuvieron limitados a entornos discretos pequeños y de baja dimensionalidad. Identifican la validación con etiquetas humanas ruidosas y el escalado a espacios de observación de alta dimensión como los siguientes pasos críticos.