Resumo Técnico: Condicionamento Vicariante Intrínseco para Aprendizado por Reforço Profundo

Declaração do Problema

O Aprendizado por Reforço (RL) avançou significativamente através do moldagem de recompensas e de métodos de aprendizado por demonstração (LfD). No entanto, essas abordagens compartilham uma limitação crítica: elas tipicamente exigem acesso às representações internas de um demonstrador especialista, trajetórias ao nível de ação ou conhecimento de sua função de recompensa. Essa dependência torna-se problemática em ambientes caracterizados por recompensas extrínsecas esparsas e condições terminais catastróficas (por exemplo, morte do agente) que não fornecem sinal de feedback. Em tais cenários de "vida única", agentes biológicos aprendem a evitar perigos e perseguir estados desejáveis observando outros sem experiência direta, um processo conhecido como condicionamento vicariante. Os métodos atuais de RL lutam para emular essa capacidade sem exigir a política ou a função de recompensa do demonstrador, forçando os agentes a dependerem de autoexploração custosa ou conjuntos de dados extensos.

Metodologia

Os autores propõem o Condicionamento Vicariante (VC) como um mecanismo de recompensa intrínseca que permite a um agente aprender a partir de poucas demonstrações observadas sem acesso à política ($\pi_d$) ou à função de recompensa ($r_d$) do demonstrador. O método fundamenta-se no modelo de quatro etapas da aprendizagem observacional de Bandura: Atenção, Retenção, Reprodução e Reforço.

1. Formulação do Problema

O ambiente é modelado como um Processo de Decisão de Markov Parcialmente Observável (POMDP). O agente recebe uma recompensa composta $\bar{r}(o_t) = r_{ext}(o_t) + \alpha \cdot r_{vic}(o_t)$, onde $r_{ext}$ é a recompensa ambiental esparsa e $r_{vic}$ é a recompensa vicariante intrínseca.
O agente observa uma trajetória de demonstrador $\tau = (o^d_1, \dots, o^d_T, v_\tau)$, onde $v_\tau \in \mathbb{R}$ é um valor comunicado indicando a valência (positiva para aproximação, negativa para evitação) e a intensidade do resultado. Crucialmente, o agente não vê as ações ou estados internos do demonstrador.

2. As Quatro Etapas de Implementação

Os autores implementam essas etapas usando uma arquitetura de Rede Neural Aumentada por Memória Siamesa (MANN).

• Atenção: Um Codificador de Controlador (CE) compartilhado, implementado como uma rede Siamesa de Memória de Curto e Longo Prazo (LSTM), mapeia sequências de observação (tanto do demonstrador quanto do agente) em embeddings de dimensão fixa ($e_\tau$ e $e_t$). Isso garante que sequências behavioramente similares produzam embeddings comparáveis, independentemente de se originarem do demonstrador ou do agente.
• Retenção: O agente armazena os embeddings do demonstrador juntamente com um valor comunicado. O valor vicariante $V^{vic}$ é calculado via desconto retroativo a partir da utilidade do resultado, modulado por um coeficiente de confiança $k$. Esses embeddings e valores são escritos em uma matriz de memória externa $M_t$ usando endereçamento baseado em conteúdo (acesso ao Menos Recentemente Usado). A MANN é treinada via perda de entropia cruzada para classificar a valência (positiva/negativa) das trajetórias armazenadas.
• Reprodução: O agente gera uma recompensa intrínseca comparando seu embedding de comportamento atual ($e_t$) com a memória armazenada. Um Núcleo de Generalização computa a similaridade (similaridade cosseno) entre o estado atual e as memórias armazenadas. Uma camada de classificação produz pontuações de confiança ($p_t$) para cada classe de comportamento. A recompensa intrínseca $r_{vic}$ é agregada a partir dessas pontuações, controlada por um limiar de inibição ($\theta_{thr}$) para evitar que correspondências de baixa confiança disparem recompensas.
  • Condicionamento Negativo: Se o estado do agente se assemelhar a uma trajetória armazenada de "evitação", ele recebe uma recompensa intrínseca negativa.
  • Condicionamento Positivo: Se o estado do agente se assemelhar a uma trajetória armazenada de "aproximação", ele recebe uma recompensa intrínseca positiva.
• Reforço: A recompensa intrínseca é combinada com a recompensa extrínseca. O agente otimiza a política para maximizar o retorno esperado desse sinal composto. A recompensa extrínseca eventualmente domina se contradições surgirem, garantindo que a política permaneça ótima para o ambiente específico.

Principais Contribuições

1. Formulação Geral: O artigo fornece um framework formal de RL para condicionamento vicariante, mapeando explicitamente as etapas biológicas de atenção, retenção, reprodução e reforço para componentes de redes neurais.
2. Arquitetura Siamesa Aumentada por Memória: Os autores projetam uma MANN Siamesa que permite aprendizado com poucos exemplos (low-shot learning). Ao compartilhar o codificador entre o demonstrador e o agente, o sistema garante que comportamentos similares yieldam embeddings similares, permitindo que o agente reconheça e reaja às suas próprias experiências com base em poucas demonstrações armazenadas.
3. Mecanismos Específicos de Valência: O método introduz mecanismos distintos para condicionamento negativo (evitação) e positivo (aproximação), permitindo que o agente aprenda tanto o que evitar quanto o que perseguir com base apenas em valores de resultado comunicados.

Resultados Experimentais

A abordagem foi avaliada em dois ambientes: MiniWorld Sidewalk (testando condicionamento negativo/evitação) e Box2D CarRacing (testando condicionamento positivo/aproximação e condicionamento composto).

• MiniWorld Sidewalk: Em um ambiente com uma condição terminal não descritiva (morte não gera recompensa), o PPO padrão alcançou ~117 passos. O método VC com um limiar ótimo ($\theta_{thr} = 0.60$) superou significativamente a linha de base, alcançando 142,16 passos (recompensa composta) e 139,96 passos (apenas intrínseca). Os resultados demonstraram que o VC desencorajou com sucesso o agente de estados perigosos (limites da calçada) sem exigir sinais de recompensa explícitos para a morte.
• CarRacing:
  • VC Positivo: O agente aprendeu a permanecer na faixa central (comportamento demonstrado), alcançando quase três vezes o comprimento do episódio do PPO base (88,45 passos vs. 33,27 passos). Embora isso tenha resultado em recompensa extrínseca menor (devido à condução conservadora versus visita agressiva a tiles), a recompensa composta foi significativamente maior.
  • VC Negativo: Quando aplicado a uma tarefa de aproximação (evitar a borda da pista), o condicionamento negativo performou pior que a linha de base, confirmando a sensibilidade do método à valência; sinais de evitação são prejudiciais quando a tarefa requer aproximação.
  • VC Composto: A combinação de sinais positivos e negativos mostrou resultados mistos, com alta variância em limiares estritos, sugerindo a necessidade de calibração cuidadosa dos sinais de valência.

Significado e Alegações

Os autores afirmam que este trabalho preenche a lacuna entre as capacidades de aprendizagem biológica e as limitações atuais do RL. Ao permitir que agentes aprendam a partir de poucas demonstrações observadas sem acesso a políticas, grandes conjuntos de dados ou funções de recompensa, o condicionamento vicariante oferece uma alternativa cognitivamente plausível para aprendizado de vida única e aprendizado contínuo.

O artigo enfatiza que este paradigma é particularmente adequado para ambientes do mundo real que são vastos, parcialmente observáveis e perigosos, onde falhas catastróficas não podem ser aprendidas através de tentativa e erro direto. O método emula com sucesso o processo biológico onde um agente aprende a partir dos resultados comunicados de outros, permitindo-lhe evitar condições terminais catastróficas e perseguir estados desejáveis com dados mínimos. Os autores reconhecem limitações, como a incapacidade de distinguir comportamentos indistinguíveis no espaço de características e a falta de extinção de memória (uma vez armazenado, um valor vicariante persiste), mas argumentam que a etapa de reforço eventualmente permite que recompensas extrínsecas anulem o condicionamento intrínseco se necessário.