Resumen Técnico: Una Taxonomía Unificada de Origen Causal de los Desplazamientos de Distribución en el Aprendizaje por Refuerzo

1. Planteamiento del Problema

Los sistemas de aprendizaje por refuerzo (RL) se degradan con frecuencia cuando las condiciones operativas divergen de los entornos de entrenamiento, un fenómeno conocido como desplazamiento de distribución (distributional shift). Existe una amplia literatura que aborda manifestaciones específicas de este problema —como la generalización fuera de la distribución (OOD), los entornos no estacionarios y los desajustes de offline-to-online—, pero falta un relato estructural unificado. Los trabajos existentes suelen tratar el desplazamiento de distribución como un desajuste genérico o se centran únicamente en estrategias de mitigación, sin identificar explícitamente el origen causal del desplazamiento dentro del proceso de interacción agente-entorno.

En el aprendizaje supervisado, el desplazamiento de datos está bien comprendido a través de la factorización de distribuciones conjuntas (por ejemplo, el desplazamiento de covariables frente al deriva de concepto o concept drift). Sin embargo, en RL, los datos se generan mediante una interacción de bucle cerrado y secuencial gobernada por un Proceso de Decisión de Markov Parcialmente Observable (POMDP). Las definiciones actuales en RL suelen basarse en discrepancias observables (por ejemplo, divergencia de trayectorias o desajustes en la visita de estados) en lugar de descomponer el desplazamiento en los componentes generativos específicos (estado, observación, política, transición, recompensa) que lo causaron. Esto oscurece la distinción entre cambios impulsados por el entorno y cambios impulsados por el agente, complicando el diagnóstico y la selección de las estrategias de adaptación apropiadas.

2. Metodología

Los autores proponen una Taxonomía Unificada de Origen Causal que reformula el desplazamiento de distribución en RL transfiriendo los principios del desplazamiento de conjuntos de datos del aprendizaje supervisado al proceso de interacción generativa del RL.

2.1 Descomposición Generativa

La metodología comienza modelando la interacción agente-entorno en un entorno POMDP. La distribución conjunta de un paso de interacción individual se factoriza en cinco componentes interdependientes:

1. Distribución de estados: $p(s)$
2. Mapeo de observaciones: $p(o|s)$
3. Política: $\pi(a|o)$
4. Dinámicas de transición: $p(s'|s, a)$
5. Mecanismo de recompensa: $p(r|s, a, s')$

Los autores establecen un puente estructural con el aprendizaje supervisado agrupando estas variables en un input $X = (s, o)$ y un output $Y = (a, s', r)$, lo que permite la aplicación de la descomposición causal.

2.2 La Taxonomía Bidimensional

La taxonomía propuesta caracteriza los desplazamientos de distribución a lo largo de dos dimensiones complementarias:

A. Aspecto del Componente del MDP (Origen del Desplazamiento)
Esta dimensión localiza el desplazamiento en componentes específicos del proceso generativo, distinguiendo entre:

• Desplazamientos Externos (Impulsados por el Entorno): Cambios en $p(s)$, $p(s'|s, a)$ o $p(r|s, a, s')$. Estos surgen de cambios en las dinámicas del entorno, los estados iniciales o las estructuras de recompensa.
• Desplazamientos Internos (Impulsados por el Agente): Cambios en $p(o|s)$ (mapeo de observación) o $\pi(a|o)$ (política). Estos surgen de cambios en la percepción, representación o mecanismos de toma de decisiones del agente.

B. Aspecto del Límite de Desplazamiento (Manifestación Temporal)
Esta dimensión caracteriza cómo se manifiesta el desplazamiento a través del tiempo, definido por el "límite de tiempo desplazado":

• Límite Explícito: Una separación clara entre el entrenamiento y la evaluación (por ejemplo, política congelada). Los desplazamientos ocurren cuando el entorno de evaluación difiere del entorno de entrenamiento (generalización ID/OOD).
• Límite Implícito: Aprendizaje continuo donde el proceso generativo del entorno cambia a lo largo del tiempo sin una política congelada (no estacionariedad).
• Límite Híbrido: Un escenario con una división definida entre entrenamiento y evaluación donde también ocurren desplazamientos implícitos durante la interacción.

2.3 Extensión al Aprendizaje por Refuerzo Multi-Agente (MARL)

El marco se extiende al MARL descentralizado clasificando las políticas evolutivas de otros agentes como desplazamientos externos. Desde la perspectiva de un solo agente, los comportamientos cambiantes de los compañeros alteran las dinámicas de transición efectivas y las estructuras de recompensa, constituyendo un cambio impulsado por el entorno incluso si el mundo físico permanece estático.

2.4 Marco de Evaluación

Para cuantificar el impacto de estos desplazamientos, los autores introducen un marco de evaluación compuesto por cinco métricas:

1. Impacto Inmediato del Desplazamiento: La caída instantánea del rendimiento.
2. Degradación del Peor Caso: La pérdida máxima de rendimiento observada.
3. Velocidad de Recuperación: Los pasos de tiempo requeridos para recuperar una fracción del rendimiento previo al desplazamiento.
4. Calidad de la Recuperación: La relación entre el rendimiento promedio post-desplazamiento y la línea base pre-desplazamiento.
5. Eficiencia de Adaptación: Una métrica compuesta que equilibra la calidad y la velocidad de recuperación.

3. Contribuciones Clave

1. Formulación Estructural Unificada: El artículo proporciona una formulación basada en principios que conecta la base probabilística del desplazamiento de datos en el aprendizaje supervisado con el proceso de interacción generativa en RL, demostrando que ambos admiten una regla de cadena de factorización compartida.
2. Taxonomía de Origen Causal: Deriva una taxonomía que distingue los desplazamientos según su origen (Interno vs. Externo) y su límite temporal (Explícito, Implícito, Híbrido). Esto explica cómo los escenarios estándar de RL (ID/OOD, no estacionariedad) surgen de cambios específicos en el proceso generativo.
3. Marco Analítico para Métodos Existentes: La taxonomía sirve como lente para categorizar la literatura existente (por ejemplo, aleatorización de dominios, meta-RL, RL offline), revelando que la mayoría de los métodos se dirigen a desplazamientos externos, mientras que los desplazamientos internos (inducidos por la política) se abordan de forma menos explícita.
4. Métricas de Evaluación: La introducción de un marco para cuantificar el impacto del desplazamiento y la adaptación del agente más allá del rendimiento agregado, distinguiendo entre robustez, dinámica de recuperación y rendimiento sostenido.

4. Resultados

Los autores realizaron un estudio empírico controlado utilizando un Deep Q-Network (DQN) en un entorno de gridworld para validar la taxonomía. Introdujeron cinco desplazamientos específicos:

• Externos: Desplazamiento de la distribución de estados ($p(s)$), desplazamiento de las dinámicas de transición ($p(s'|s, a)$) y desplazamiento del mecanismo de recompensa ($p(r|s, a, s')$).
• Internos: Desplazamiento del mapeo de observación ($p(o|s)$) y desplazamiento inducido por la política ($\pi(a|o)$).

Hallazgos:

• Patrones de Degradación Distintos: Bajo un escenario de límite explícito (política congelada), todos los desplazamientos causaron un colapso en el rendimiento, pero la naturaleza del fallo varió. Por ejemplo, los desplazamientos de la distribución de estados provocaron un fallo inmediato debido a regiones de inicio no vistas, mientras que los desplazamientos de observación rompieron el mapeo percepción-acción aprendido.
• Variabilidad de la Adaptación: Bajo un escenario de límite implícito (aprendizaje continuo), los agentes mostraron diferentes perfiles de recuperación. Los desplazamientos externos, como los cambios en las dinámicas de transición, causaron fluctuaciones inestables, mientras que los desplazamientos internos (específicamente el mapeo de observación y la cuantización de la política) provocaron una degradación severa y, a menudo, irrecuperable.
• Sensibilidad de las Métricas: Las métricas de evaluación propuestas diferenciaron con éxito entre los desplazamientos que causaron un colapso inmediato frente a los que permitían una recuperación parcial, y entre los desplazamientos que eran recuperables frente a los que degradaban el rendimiento de forma permanente.

Los resultados demuestran que tratar el desplazamiento de distribución como un fenómeno monolítico oscurece las causas específicas del fallo. Diferentes orígenes causales producen firmas de degradación y recuperación distintas, validando la necesidad de un análisis a nivel de componente.

5. Significación y Reivindicaciones

El artículo afirma proporcionar una base de principios para analizar la robustez bajo el desplazamiento de distribución en RL. Su importancia radica en:

• Unificación: Unifica el análisis de desplazamiento a nivel de componente del aprendizaje supervisado con el proceso de interacción generativa del RL.
• Claridad Diagnóstica: Al fundamentar el desplazamiento en la estructura de origen causal, separa la fuente del desajuste de sus efectos observables, permitiendo un diagnóstico más preciso de por qué falla un agente.
• Alineación Estratégica: Sugiere que las estrategias de adaptación deben estar alineadas con el tipo específico de desplazamiento (por ejemplo, un desplazamiento impulsado por el agente requiere una mitigación diferente a la de un desplazamiento impulsado por el entorno).
• Base Sistemática: Establece una base sistemática para comparar métodos existentes y diseñar futuras estrategias de robustez, yendo más allá de las evaluaciones basadas en benchmarks hacia una comprensión estructural del problema.

Los autores posicionan este trabajo no como un nuevo algoritmo o una suite de benchmarks, sino como un marco conceptual que aclara el "por qué" y el "dónde" del desplazamiento de distribución, permitiendo así soluciones más dirigidas y efectivas en el futuro.