Resumen Técnico: Fundamentos de la Aprendizaje por Refuerzo Inverso y Modelos de Elección Discreta Dinámica

1. Definición del Problema

El artículo aborda el problema del Aprendizaje por Refuerzo Inverso (IRL) en el entorno offline: dado un conjunto de datos fijo de tuplas estado-acción-siguiente estado generadas por una política experta $\pi^*$, ¿podemos recuperar la función de recompensa $r$ que el experto estaba optimizando?

Este problema se sitúa en la intersección de dos literaturas distintas:

1. Econometría Estructural (Elección Discreta Dinámica - DDC): Modela agentes que maximizan la utilidad más choques idiosincrásicos distribuidos según Gumbel.
2. Aprendizaje Automático (IRL con Entropía Regularizada): Modela agentes que maximizan el retorno esperado más un término de entropía (MaxEnt-IRL).

El desafío central es la identificación: sin estructura adicional, la función de recompensa no es recuperable de forma única a partir del comportamiento por sí solo, debido a la invariancia de la formación basada en potenciales (Ng et al., 1999). Además, los métodos existentes enfrentan un "trilema" de compensaciones que involucran escalabilidad, la necesidad de estimar el núcleo de transición y la estabilidad (la "tríada mortal").

2. Fundamentos Metodológicos

2.1 Equivalencia entre DDC y MaxEnt-IRL

El artículo establece primero una equivalencia rigurosa entre las dos comunidades.

• Formulación DDC: Los agentes eligen acciones para maximizar $r(s,a) + \epsilon_{t,a}$, donde $\epsilon$ sigue una distribución de Valor Extremo Tipo-1 (Gumbel).
• Formulación MaxEnt-IRL: Los agentes maximizan el retorno esperado más un término de entropía $\lambda H(\pi)$.
• Resultado: Bajo una normalización de media cero para los choques Gumbel ($\delta = -\gamma_E$) y estableciendo el coeficiente de entropía $\lambda=1$, ambas formulaciones producen exactamente la misma política softmax y la ecuación de Bellman suave:
  $$Q^*(s, a) = r(s, a) + \beta \mathbb{E}_{s' \sim P} \left[ \log \sum_{a'} \exp(Q^*(s', a')) \right]$$
  $$\pi^*(a|s) = \frac{\exp(Q^*(s, a))}{\sum_{a'} \exp(Q^*(s, a'))}$$
  Esto demuestra que los modelos probabilísticos son estadísticamente indistinguibles de las observaciones offline.

2.2 Límites de Identificación

El artículo analiza qué se puede recuperar únicamente del comportamiento:

• No Identificación: Sin supuestos adicionales, $r$ solo es identificable hasta un potencial dependiente del estado $\Phi(s)$. Específicamente, $r$ y $\tilde{r}(s,a) = r(s,a) + \Phi(s) - \beta \mathbb{E}[\Phi(s')]$ inducen la misma política óptima.
• El Supuesto de Acción de Anclaje (Magnac & Thesmar, 2002): Para resolver esto, el artículo adopta el clásico supuesto econométrico de que para cada estado $s$, existe una "acción de anclaje" conocida $a_s$ con una recompensa conocida $r(s, a_s) = 0$ (o una constante conocida). Este supuesto fija el potencial y permite la identificación única de $Q^*$ y $r$ sobre el soporte del experto.

3. Revisión de Enfoques Existentes y sus Limitaciones

El artículo examina métodos clásicos y modernos, destacando sus modos de fallo específicos:

3.1 Métodos Clásicos de DDC

• Punto Fijo Anidado (NFXP) de Rust: Resuelve la ecuación de Bellman en un bucle interno mientras maximiza la verosimilitud en un bucle externo.
  • Límite: Sufre de la maldición de la dimensionalidad en el espacio de estados $S$ y requiere el conocimiento explícito o la estimación del núcleo de transición $P$.
• Hotz-Miller / Probabilidades de Elección Condicional (CCP): Invierte la función softmax para hallar las diferencias de $Q$ y resuelve una ecuación de punto fijo lineal para la función de valor.
  • Límite: Requiere estimar el núcleo de transición $P$ (maldición estadística de la dimensionalidad) y sufre de propagación de errores en la simulación hacia adelante (forward simulation).
• Enfoques de Diferencia Temporal (TD) (Adusumilli & Eckert, 2019):
  • Semi-gradiente TD Lineal: Evita el $P$ explícito pero sufre de la tríada mortal (aproximación de funciones + bootstrapping + datos off-policy), lo que conduce a la divergencia.
  • Iteración de Valor Aproximada (AVI): Más estable pero converge a un punto fijo proyectado, que puede diferir del verdadero $Q^*$ si la verdadera función de valor no es realizable en la clase de funciones.
  • Nota: Las "redes objetivo" (comunes en deep RL) estabilizan la trayectoria pero no cambian el destino; siguen convergiendo al punto fijo proyectado, no al valor real.

3.2 Métodos Modernos de IRL

• IRL Adversario (AIRL): Utiliza un discriminador para separar la recompensa del potencial de modelado (shaping potential).
  • Límite: Identifica la ventaja suave $A^*(s,a) = \log \pi^*(a|s)$, no la recompensa directamente. La recuperación de la recompensa requiere supuestos restrictivos (dinámicas deterministas, recompensas que dependen solo del estado, grafos de transición descomponibles) que a menudo se violan en la práctica.
• Igualación de Ocupación (GAIL): Minimiza la divergencia entre las medidas de ocupación del experto y la política.
  • Límite: Es un algoritmo de imitación, no de recuperación de recompensa. No impone consistencia de Bellman punto a punto, lo que hace imposible la extracción de la recompensa sin supuestos adicionales.
• IQ-Learn: Parametriza $Q$ directamente y define una recompensa mediante la ecuación de Bellman.
  • Límite: El objetivo es invariante bajo desplazos que dependen solo del estado; no identifica una recompensa única sin un normalizador externo (como la acción de anclaje).
• ML-IRL Offline (Zeng et al., 2023): Un re-escaneado neuronal de Hotz-Miller con penalizaciones de conservadurismo.
  • Límite: Hereda la necesidad de estimar el núcleo de transición y los bucles de optimización anidados.

4. Método Propuesto: El Marco ERM (GLADIUS)

El artículo propone un marco unificado de Minimización del Riesgo Empírico (ERM) que sintetiza el poder de identificación de DDC con la escalabilidad del ML moderno, evitando las trampas de ambos.

4.1 Intuición Central

En lugar de parametrizar $r$ y resolver un problema hacia adelante anidado, el método parametriza $Q$ directamente. Las condiciones de identificación se traducen en dos funciones de pérdida:

1. Log-Verosimilitud Negativa (NLL): Fuerza a que el softmax de $Q$ coincida con la política experta $\pi^*$. Esto identifica las diferencias dentro de un mismo estado de $Q$.
2. Pérdida de Anclaje de Bellman: Fuerza la ecuación de Bellman solo en la acción de anclaje $a_s$ donde la recompensa $r(s, a_s)$ es conocida. Esto fija el nivel de $Q$ por estado.

4.2 El Sesgo de Doble Muestreo y su Corrección

Una pérdida de Bellman empírica ingenua usando errores de TD al cuadrado está sesgada debido al problema de doble muestreo (la varianza del siguiente estado no desaparece con más datos).

• Corrección: El artículo deriva una formulación minimax que resta el término de varianza condicional.
  $$\min_Q \max_\zeta \mathbb{E} \left[ \text{NLL} + \mathbb{1}_{a=a_s} \left( (\text{Bellman Muestreado})^2 - \beta^2 (V_Q(s') - \zeta(s,a))^2 \right) \right]$$
  Aquí, $\zeta(s,a)$ actúa como una función auxiliar que aprende la media condicional $\mathbb{E}[V_Q(s') | s, a]$. Esta corrección elimina la necesidad de estimar explícitamente el núcleo de transición $P$.

4.3 Algoritmo: GLADIUS

El algoritmo GLADIUS (Aprendizaje basado en Gradiente con Ascenso-Descenso para la utilidad inversa a partir de Muestras) alterna entre:

1. Paso de Regresión (Ascenso/Descenso): Actualiza $\zeta$ para minimizar el error cuadrático contra $V_Q(s')$.
2. Paso de Optimización (Descenso): Actualiza $Q$ para minimizar la NLL más el residuo de Bellman corregido por el sesgo del anclaje.

4.4 Garantías de Convergencia

El artículo establece la convergencia bajo supuestos de geometría Polyak-Lojasiewicz (PL) en lugar de convexidad.

• Supuestos: Realizabilidad de $Q^*$ y $\zeta^*$ en las clases de funciones, y condicionamiento del Jacobiano de salida empírica (similar a las condiciones del Núcleo Tangente Neuronal).
• Resultado: El algoritmo converge al mínimo global del riesgo empírico con una tasa de $O(1/T)$ para la optimización y $O(1/\sqrt{N})$ para el error estadístico.

5. Contribuciones Clave y Significado

1. Unificación: Demuestra la equivalencia formal entre las formulaciones de DDC y MaxEnt-IRL, cerrando la brecha entre la econometría y el aprendizaje automático.
2. Claridad de Identificación: Aclara que los métodos adversarios modernos (AIRL) no resuelven intrínsecamente el problema de identificación de la recompensa sin supuestos estructurales fuertes y a menudo irreales. Reafirma el supuesto de la acción de anclaje como la vía robusta para identificar recompensas estado-acción.
3. Estimación Libre de Transiciones: Introduce un objetivo minimax corregido por sesgo que recupera $Q^*$ y $r$ sin estimar el núcleo de transición $P$, superando la maldición estadística de la dimensionalidad inherente a CCP y NFXP.
4. Estabilidad: Evita la divergencia de la "tríada mortal" de los métodos TD off-policy mediante la formulación de un problema de minimización del riesgo empírico directo y corregido por sesgo sobre $Q$.
5. Solución Algorítmica: Presenta GLADIUS, un estimador de un solo paso basado en gradientes que evita los bucles de optimización anidados de los métodos DDC clásicos, manteniendo garantías de convergencia teórica bajo supuestos estándar de sobreparametrización.

El artículo concluye que este enfoque ERM ofrece una ruta principled, escalable y estadísticamente consistente para el IRL/DDC offline, combinando el rigor de identificación de la econometría estructural con la eficiencia computacional del aprendizaje moderno basado en gradientes.