Resumen Técnico: Una Máquina con Sistemas de Memoria a Corto Plazo, Episódica y Semántica

Enunciado del Problema

Los agentes actuales de aprendizaje automático, incluidos los motores de búsqueda y los asistentes virtuales, sobresalen en la recuperación de conocimiento factual y de sentido común (memoria semántica), pero carecen de la capacidad de recordar eventos pasados específicos o experiencias personales (memoria episódica). Además, los agentes estándar de aprendizaje por refuerzo (RL) a menudo luchan con la observabilidad parcial y el olvido catastrófico. Los autores postulan que imitar la arquitectura explícita de la memoria humana, específicamente la distinción entre memoria semántica (conocimiento general del mundo) y memoria episódica (experiencias personales y acotadas en el tiempo), mediada por un búfer a corto plazo, podría permitir a los agentes gestionar mejor la capacidad de memoria limitada y responder a diversas preguntas de manera más efectiva.

Metodología

El Entorno: "La Habitación"

Para evaluar esta hipótesis, los autores diseñaron un entorno de simulación de eventos discretos compatible con OpenAI Gym.

• Configuración: El entorno contiene $N_{humans}$ (64), $N_{objects}$ (16) y $N_{locations}$ (28). Los humanos siguen rutinas fijas, colocando objetos en ubicaciones que son "de sentido común" (por ejemplo, un tazón en un armario) o no de sentido común con una probabilidad $p_{commonsense} = 0.5$.
• Observación: El agente observa parcialmente el entorno, viendo a un humano a la vez. Las observaciones se registran como cuartetas $(h, r, t, timestamp)$, representando una entidad cabeza, una relación, una entidad cola y una marca de tiempo.
• Tarea: En cada paso, se le hace una pregunta al agente en forma de una tripleta $(h, r, ?)$. Las respuestas correctas otorgan una recompensa de +1; las incorrectas otorgan 0. El episodio dura 128 pasos.

Arquitectura de Memoria

El agente se modela con tres sistemas de memoria distintos, cada uno representado como un Grafo de Conocimiento (KG):

1. Memoria a Corto Plazo ($M_o$): Un búfer acotado que inicialmente almacena todas las observaciones como cuartetas $(h, r, t, timestamp)$.
2. Memoria Episódica ($M_e$): Una memoria a largo plazo acotada que almacena eventos específicos y acotados en el tiempo como cuartetas $(h, r, t, timestamp)$.
3. Memoria Semántica ($M_s$): Una memoria a largo plazo acotada que almacena hechos generales como cuartetas $(h, r, t, strength)$. Aquí, $h$ está generalizado (por ejemplo, "portátil" en lugar de "el portátil de Bob"), y $strength$ indica la frecuencia de almacenamiento.

Política de Gestión de Memoria:
Cuando la memoria a corto plazo está llena, el agente debe decidir el destino de la observación más antigua. Tiene tres acciones:

1. Olvidar: Descartar la observación por completo.
2. Almacenar en Episódica: Mover la observación a $M_e$.
3. Almacenar en Semántica: Mover la observación a $M_s$ (generalizando la entidad e incrementando la fuerza).

La política de recuperación es determinista y basada en reglas (Algoritmo 1):

• Para preguntas específicas, el agente primero verifica $M_e$ buscando el evento relevante más reciente.
• Si no existe una coincidencia episódica, verifica $M_s$ buscando el hecho general relevante más fuerte.
• Si ninguna de las dos proporciona una respuesta, el agente falla la pregunta.

Algoritmo de Aprendizaje

La política de gestión de memoria (decidir dónde almacenar o si olvidar) se aprende utilizando Deep Q-Learning (DQN).

• Representación del Estado: El estado $s$ consiste en el contenido actual de $M_o$, $M_e$ y $M_s$.
• Procesamiento de Entrada: Para alimentar los KG en la red neuronal, los autores convierten las memorias en Incrustaciones de Grafos de Conocimiento (KGE). Las cuartetas se ordenan (por marca de tiempo para episódica/corto plazo, por fuerza para semántica) y se incrustan. Para memorias episódicas/corto plazo que involucran humanos, el nombre del humano y el objeto se concatenan antes de la incrustación para capturar características individuales.
• Arquitectura de Red: La red Q utiliza capas LSTM para procesar la secuencia de incrustaciones de memoria, seguida de Perceptrones Multicapa (MLP) para emitir valores Q para las tres acciones.
• Variantes de Entrenamiento: Se entrenaron dos tipos de agentes:
  1. Semántica desde Cero: Comienza con una memoria semántica vacía.
  2. Semántica Preentrenada: Comienza con conocimiento general del mundo (de ConceptNet) prellenado en $M_s$.

Contribuciones Clave

1. Modelado Explícito de Memoria: El artículo modela explícitamente un agente con sistemas de memoria a corto plazo, episódica y semántica, cada uno estructurado como un grafo de conocimiento, inspirado en teorías de la ciencia cognitiva (Tulving 1983, 1985).
2. Entorno Novel: El lanzamiento de "La Habitación", un entorno de RL personalizado diseñado para probar la capacidad de un agente para codificar, almacenar y recuperar memorias para responder preguntas bajo observabilidad parcial.
3. Gestión de Memoria Aprendida: Demostración de que un agente basado en DQN puede aprender exitosamente una política para gestionar la memoria (decidir entre olvidar, almacenamiento episódico o almacenamiento semántico) para maximizar las recompensas.

Resultados

Se realizaron experimentos con capacidades de memoria variables (capacidad total $|M_e| + |M_s|$ que va de 2 a 64).

• Rendimiento frente a Líneas Base: Los agentes con sistemas de memoria episódica y semántica superaron significativamente a tres líneas base: (1) Solo Episódica, (2) Solo Semántica y (3) Selección de acciones aleatoria. El agente con mejor rendimiento (RL con memoria semántica preentrenada) logró una recompensa total promedio de 116.5 de 128, en comparación con 109.1 para la versión desde cero y puntuaciones más bajas para las líneas base.
• Impacto del Preentrenamiento: El agente "Semántica Preentrenada" aprendió más rápido y convergió a un óptimo más alto que el agente "Semántica desde Cero". El agente preentrenado aprendió a preservar su conocimiento general inicial y solo almacenar eventos específicos y no generalizables en la memoria episódica. Por el contrario, el agente desde cero intentó aprender conocimiento general desde cero, cometiendo ocasionalmente errores (por ejemplo, identificar mal la ubicación de un tren) lo que redujo su recompensa final.
• Escalado de Capacidad:
  • Los agentes Solo Episódicos mostraron una mejora lineal con la capacidad, respondiendo finalmente a las 128 preguntas cuando la capacidad alcanzó 64.
  • Los agentes Solo Semánticos funcionaron bien a bajas capacidades pero se estancaron (alrededor de 92 recompensas) una vez que la capacidad superó 32, ya que las tripletas de conocimiento general eran suficientes para la tarea.
  • Los agentes Combinados aprovecharon ambos sistemas para lograr el rendimiento general más alto.

Significado y Afirmaciones

El artículo afirma que equipar a las máquinas con sistemas de memoria explícitos similares a los humanos les permite superar a los agentes sin tales estructuras en entornos que requieren tanto conocimiento general como recuerdo de eventos específicos. Los autores enfatizan que su enfoque aprende exitosamente una política de gestión de memoria mediante aprendizaje por refuerzo, decidiendo efectivamente qué olvidar y qué retener en diferentes sistemas de memoria.

El trabajo une la arquitectura cognitiva (que modela la teoría de la mente humana) y el aprendizaje automático moderno (que se centra en resolver la observabilidad parcial). Los autores señalan que, aunque su entorno actual es una simulación discreta, el marco está diseñado para ser extensible a escenarios más complejos, multimodales y consultas en lenguaje natural en trabajos futuros. Concluyen que su agente demuestra la viabilidad de usar grafos de conocimiento dentro de agentes de RL para gestionar las restricciones de memoria y mejorar la toma de decisiones.