Resumen Técnico: Condicionamiento Vicario Intrínseco para Aprendizaje por Refuerzo Profundo

Enunciado del Problema

El Aprendizaje por Refuerzo (RL) ha avanzado significativamente mediante el modelado de recompensas y los métodos de aprendizaje a partir de demostraciones (LfD). Sin embargo, estos enfoques comparten una limitación crítica: generalmente requieren acceso a las representaciones internas de un demostrador experto, trayectorias a nivel de acción o conocimiento de su función de recompensa. Esta dependencia se vuelve problemática en entornos caracterizados por recompensas extrínsecas escasas y condiciones terminales catastróficas (por ejemplo, la muerte del agente) que no proporcionan ninguna señal de retroalimentación. En tales escenarios de "una sola vida", los agentes biológicos aprenden a evitar peligros y perseguir estados deseables observando a otros sin experiencia directa, un proceso conocido como condicionamiento vicario. Los métodos actuales de RL luchan por emular esta capacidad sin requerir la política o la función de recompensa del demostrador, obligando a los agentes a depender de una autoexploración costosa o conjuntos de datos extensos.

Metodología

Los autores proponen el Condicionamiento Vicario (VC) como un mecanismo de recompensa intrínseca que permite a un agente aprender de unas pocas demostraciones observadas sin acceso a la política ($\pi_d$) o la función de recompensa ($r_d$) del demostrador. El método se basa en el modelo de cuatro pasos del aprendizaje observacional de Bandura: Atención, Retención, Reproducción y Refuerzo.

1. Formulación del Problema

El entorno se modela como un Proceso de Decisión de Markov Parcialmente Observable (POMDP). El agente recibe una recompensa compuesta $\bar{r}(o_t) = r_{ext}(o_t) + \alpha \cdot r_{vic}(o_t)$, donde $r_{ext}$ es la recompensa ambiental escasa y $r_{vic}$ es la recompensa vicaria intrínseca.
El agente observa una trayectoria de demostrador $\tau = (o^d_1, \dots, o^d_T, v_\tau)$, donde $v_\tau \in \mathbb{R}$ es un valor comunicado que indica la valencia del resultado (positiva para aproximación, negativa para evitación) y la intensidad. Críticamente, el agente no ve las acciones ni los estados internos del demostrador.

2. Los Cuatro Pasos de Implementación

Los autores implementan estos pasos utilizando una arquitectura de Red Neuronal Aumentada con Memoria (MANN) Siamesa.

• Atención: Un Codificador de Controlador (CE) compartido, implementado como una red de Memoria a Largo y Corto Plazo (LSTM) Siamesa, mapea secuencias de observación (tanto del demostrador como del agente) en incrustaciones de dimensión fija ($e_\tau$ y $e_t$). Esto asegura que secuencias comportamentalmente similares produzcan incrustaciones comparables, independientemente de si provienen del demostrador o del agente.
• Retención: El agente almacena las incrustaciones del demostrador junto con un valor comunicado. El valor vicario $V^{vic}$ se calcula mediante descuento hacia atrás desde la utilidad del resultado, modulado por un coeficiente de confianza $k$. Estas incrustaciones y valores se escriben en una matriz de memoria externa $M_t$ utilizando direccionamiento basado en contenido (acceso al menos recientemente utilizado). La MANN se entrena mediante pérdida de entropía cruzada para clasificar la valencia (positiva/negativa) de las trayectorias almacenadas.
• Reproducción: El agente genera una recompensa intrínseca comparando su incrustación de comportamiento actual ($e_t$) con la memoria almacenada. Un Núcleo de Generalización calcula la similitud (similitud coseno) entre el estado actual y las memorias almacenadas. Una capa de clasificación genera puntuaciones de confianza ($p_t$) para cada clase de comportamiento. La recompensa intrínseca $r_{vic}$ se agrega a partir de estas puntuaciones, controlada por un umbral de inhibición ($\theta_{thr}$) para evitar que coincidencias de baja confianza activen recompensas.
  • Condicionamiento Negativo: Si el estado del agente se asemeja a una trayectoria almacenada de "evitación", recibe una recompensa intrínseca negativa.
  • Condicionamiento Positivo: Si el estado del agente se asemeja a una trayectoria almacenada de "aproximación", recibe una recompensa intrínseca positiva.
• Refuerzo: La recompensa intrínseca se combina con la recompensa extrínseca. El agente optimiza la política para maximizar el retorno esperado de esta señal compuesta. La recompensa extrínseca eventualmente domina si surgen contradicciones, asegurando que la política permanezca óptima para el entorno específico.

Contribuciones Clave

1. Formulación General: El artículo proporciona un marco formal de RL para el condicionamiento vicario, mapeando explícitamente los pasos biológicos de atención, retención, reproducción y refuerzo a componentes de redes neuronales.
2. Arquitectura Siamesa Aumentada con Memoria: Los autores diseñan una MANN Siamesa que permite el aprendizaje con pocos disparos. Al compartir el codificador entre el demostrador y el agente, el sistema asegura que comportamientos similares produzcan incrustaciones similares, permitiendo al agente reconocer y reaccionar a sus propias experiencias basándose en unas pocas demostraciones almacenadas.
3. Mecanismos Específicos de Valencia: El método introduce mecanismos distintos para el condicionamiento negativo (evitación) y positivo (aproximación), permitiendo que el agente aprenda tanto qué evitar como qué perseguir basándose únicamente en los valores de resultado comunicados.

Resultados Experimentales

El enfoque se evaluó en dos entornos: MiniWorld Sidewalk (probando condicionamiento negativo/evitación) y Box2D CarRacing (probando condicionamiento positivo/aproximación y condicionamiento compuesto).

• MiniWorld Sidewalk: En un entorno con una condición terminal no descriptiva (la muerte no otorga recompensa), el PPO estándar logró ~117 pasos. El método VC con un umbral óptimo ($\theta_{thr} = 0.60$) superó significativamente la línea base, logrando 142.16 pasos (recompensa compuesta) y 139.96 pasos (solo intrínseca). Los resultados demostraron que VC desalentó con éxito al agente de estados peligrosos (límites de la acera) sin requerir señales de recompensa explícitas por la muerte.
• CarRacing:
  • VC Positivo: El agente aprendió a mantenerse en el carril central (comportamiento demostrado), logrando casi tres veces la longitud del episodio del PPO base (88.45 pasos frente a 33.27 pasos). Aunque esto resultó en una recompensa extrínseca más baja (debido a una conducción conservadora frente a la visita agresiva de baldosas), la recompensa compuesta fue significativamente mayor.
  • VC Negativo: Cuando se aplicó a una tarea de aproximación (evitar el límite de la pista), el condicionamiento negativo funcionó peor que la línea base, confirmando la sensibilidad del método a la valencia; las señales de evitación son perjudiciales cuando la tarea requiere aproximación.
  • VC Compuesto: La combinación de señales positivas y negativas mostró resultados mixtos, con alta varianza en umbrales estrictos, lo que sugiere la necesidad de una calibración cuidadosa de las señales de valencia.

Significado y Afirmaciones

Los autores afirman que este trabajo cierra la brecha entre las capacidades de aprendizaje biológico y las limitaciones actuales del RL. Al permitir que los agentes aprendan de pocas demostraciones observadas sin acceso a políticas, grandes conjuntos de datos o funciones de recompensa, el condicionamiento vicario ofrece una alternativa cognitivamente plausible para el aprendizaje de una sola vida y el aprendizaje continuo.

El artículo enfatiza que este paradigma es particularmente adecuado para entornos del mundo real que son vastos, parcialmente observables y peligrosos, donde el fallo catastrófico no puede aprenderse mediante prueba y error directo. El método emula con éxito el proceso biológico donde un agente aprende de los resultados comunicados de otros, permitiéndole evitar condiciones terminales catastróficas y perseguir estados deseables con datos mínimos. Los autores reconocen limitaciones, como la incapacidad de distinguir comportamientos indistinguibles en el espacio de características y la falta de extinción de la memoria (una vez almacenado, un valor vicario persiste), pero argumentan que el paso de refuerzo permite eventualmente que las recompensas extrínsecas anulen el condicionamiento intrínseco si es necesario.