Resumen Técnico: Olvido Catastrófico en el Aprendizaje por Refuerzo Continuo

Planteamiento del Problema

El aprendizaje continuo, la capacidad de un sistema para aprender tareas secuencialmente mientras retiene el conocimiento de tareas previas, sigue siendo un desafío no resuelto en el aprendizaje automático. Una barrera principal para esta capacidad es el olvido catastrófico, donde un modelo pierde el conocimiento adquirido previamente al aprender nueva información. Si bien existe una extensa investigación sobre la mitigación del olvido en el aprendizaje supervisado y las redes neuronales, la relación específica entre la similitud de las tareas y la severidad del olvido en el Aprendizaje por Refuerzo (RL) permanece subcuantificada.

Este estudio investiga hasta qué punto la similitud de una nueva tarea influye en la degradación del rendimiento de una tarea aprendida previamente dentro de un entorno de RL continuo. La investigación tiene como objetivo determinar si existe una relación cuantificable entre el grado de diferencia de la tarea y la magnitud del olvido catastrófico, específicamente en agentes de RL tabulares e interpretables.

Metodología

Marco Experimental

El estudio emplea Q-learning tabular en tareas basadas en grafos. El objetivo para el agente es minimizar el número de pasos requeridos para alcanzar un estado objetivo específico. El uso de métodos tabulares garantiza la interpretabilidad, mientras que el entorno basado en grafos permite un control preciso sobre la estructura de la tarea.

Generación de Tareas

Las tareas se generan utilizando diagramas de Voronoi derivados de un conjunto de sitios (puntos) en un plano 2D.

• Estructura: Los nodos del grafo corresponden a los vértices del diagrama de Voronoi, y las aristas representan las conexiones entre regiones adyacentes.
• Control de Similitud: Para generar una secuencia de tareas relacionadas, se perturban los sitios internos del diagrama de Voronoi. Se utiliza un conjunto base de sitios ($x_0$) y un nuevo conjunto ($x_1$) muestreados de una distribución gaussiana. Un nuevo esquema de tarea ($x_\alpha$) se crea mediante interpolación lineal:
  $$x_\alpha = \cos\left(\frac{\pi}{2}\alpha\right)x_0 + \sin\left(\frac{\pi}{2}\alpha\right)x_1$$
  donde $\alpha \in [0, 1]$ controla el grado de perturbación. $\alpha=0$ representa la tarea base, y $\alpha=1$ representa la tarea totalmente perturbada.
• Consistencia: Para asegurar que el agente pueda comparar tareas, se implementa un sistema de rotación. Este asigna acciones (atrás, izquierda, derecha) basándose en el orden horario relativo de los vecinos alrededor de un nodo, en lugar de coordenadas absolutas. Esto permite que el agente interprete la estructura topológica del grafo independientemente de la distorsión espacial.

Medición de la Similitud de Tareas

El estudio define la similitud de las tareas basándose en la diferencia estructural topológica entre los grafos, dado que el agente optimiza para el conteo de pasos en lugar de la distancia geométrica.

• Métricas: Debido a la intratabilidad computacional de la Distancia de Edición de Grafos (NP-duro), el estudio utiliza una combinación de dos métricas computacionalmente factibles:
  1. Distancia de Wasserstein ($W_2$): Mide la diferencia en la distribución espacial de las áreas de las celdas de Voronoi.
  2. Distancia de Hausdorff ($\delta_H$): Mide la distancia máxima entre los conjuntos de vértices de los dos grafos.
• Métrica Combinada: La medida de similitud final $\Delta(G_1, G_2)$ es el promedio de las distancias de Wasserstein y Hausdorff normalizadas.

Protocolo de Evaluación

1. Fase 1 (Aprendizaje Base): Un agente es entrenado en un grafo base ($G_0$) hasta la convergencia. El rendimiento se mide por el número de pasos para alcanzar la meta.
2. Fase 2 (Aprendizaje de Nueva Tarea): El mismo agente es entrenado en un nuevo grafo ($G_\alpha$) con una topología diferente pero con la misma definición de estado objetivo.
3. Fase 3 (Medición del Olvido): El agente es probado en el grafo base original ($G_0$) nuevamente.
4. Cuantificación: El olvido se cuantifica como el incremento en el número de pasos requeridos para resolver la tarea base después de entrenar en la nueva tarea, en comparación con el rendimiento antes de entrenar en la nueva tarea.

Resultados Clave

El estudio realizó cien ensayos experimentales a través de diversos niveles de complejidad y similitud de tareas ($\alpha$).

• Dinámicas Complejas: Los resultados revelan una dinámica compleja entre la similitud de la tarea y el olvido, observándose fluctuaciones significativas en la severidad del olvido a través de los grados de similitud y complejidad de las tareas.
• Variabilidad: Los datos exhibieron altos grados de variabilidad en los resultados del olvido, acompañados de una distribución desigual de las medidas de similitud de las tareas.
• Significancia Estadística: Crucialmente, el estudio encontró ninguna evidencia de significancia estadística de que la similitud de la tarea, de forma independiente, tenga un efecto en el olvido en el aprendizaje por refuerzo continuo. La relación entre estas variables permanece incierta, y no se confirmó ningún patrón específico (lineal, monotónico o de otro tipo).
• Interdependencia: Las observaciones sugieren una interdependencia del olvido tanto en la similitud como en la complejidad de las tareas, pero la naturaleza específica de esta relación no fue resuelta.

Significado y Reivindicaciones

El artículo se posiciona como una investigación exploratoria en un vacío de la literatura: la cuantificación de cómo las diferencias de las tareas impulsan específicamente el olvido catastrófico en RL.

• Reivindicaciones Modestas: El autor establece explícitamente que sus observaciones sugieren una interdependencia del olvido tanto en la similitud como en la complejidad, pero no afirma haber probado un mecanismo causal definitivo o una relación funcional específica.
• Resultado Negativo como Contribución: Una contribución primaria es el hallazgo de que, dentro de las restricciones de este configuración específica de tabla y basada en grafos, la similitud de la tarea por sí sola no parece ser un predictor estadísticamente significativo de la severidad del olvido. Esto desafía la suposición de que la similitud es un proxy directo del riesgo de olvido en todos los contextos de RL.
• Direcciones Futuras: El artículo concluye que se requiere más investigación para comprender exhaustivamente la posible interacción entre la similitud de las tareas y el olvido catastrófico, señalando que los resultados actuales resaltan la necesidad de diseños experimentales más robustos o métricas alternativas para resolver la variabilidad observada.

El estudio no propone nuevos algoritmos de mitigación ni aplicaciones específicas, sino que proporciona un análisis fundacional del espacio del problema utilizando modelos interpretables para aislar variables estructurales.