What Must Generalist Agents Remember?

Título do Artigo: O que Agentes Generalistas Devem Lembrar?
Autores: Khurram Yamin, Namrata Deka, Maitreyi Swaroop, Albert Ting, Jeff Schneider, Bryan Wilder (Carnegie Mellon University, Georgia Institute of Technology)

Definição do Problema

O artigo aborda uma questão fundamental no desenvolvimento de agentes de Aprendizado por Reforço (RL) generalistas: quais informações internas um agente deve armazenar na memória para agir de forma quase-ótima em múltiplos ambientes (domínios) e objetivos diversos?

Ao contrário de trabalhos anteriores que assumem que o agente recebe um índice ou rótulo explícito para a tarefa ou domínio atual, este artigo estuda um cenário onde o agente não recebe tal índice. O agente observa apenas sua própria trajetória (histórico de estado-ação) e deve inferir a identidade latente do domínio necessária para uma seleção de ação competente. Os autores enquadram isso como um Processo de Decisão de Markov Parcialmente Observável (POMDP) de domínio latente, onde a variável oculta é o índice do domínio $\sigma$, que altera a dinâmica de transição, enquanto o mecanismo de recompensa permanece compartilhado entre os domínios.

O desafio central é que dois domínios distintos podem apresentar a mesma observação (estado), mas exigir ações ótimas incompatíveis. O artigo questiona: sob quais condições a memória é estritamente necessária para resolver essa ambiguidade e, se uma memória suficientemente competente permitir, o agente consegue reconstruir a dinâmica de transição local do ambiente?

Metodologia e Estrutura Teórica

Os autores formalizam a interação em tempo discreto com uma família de objetivos $\Psi$ e um conjunto de domínios $\Sigma$. Eles introduzem dois resultados teóricos primários:

1. Separação de Representação (Teorema 1)
O primeiro resultado estabelece uma condição necessária para a memória. Os autores definem um cenário de "gargalo compartilhado" (Assunção 1), onde dois domínios distintos exigem conjuntos disjuntos de ações quase-ótimas no mesmo estado $s^\dagger$, separados por um gap de valor significativo.

• Alegação: Se um agente for uniformemente quase-ótimo em todos os objetivos e domínios, sua memória interna $M_t$ deve distinguir entre esses domínios no estado de gargalo.
• Mecanismo: O teorema prova que as distribuições de probabilidade condicional do estado da memória no gargalo, dado o domínio, devem ter uma distância de Variação Total (TV) não nula. Especificamente, se a política do agente é $\epsilon$-quase-ótima, a distância TV entre as distribuições de memória dos dois domínios é limitada inferiormente por uma função do gap de valor, da probabilidade de atingir o gargalo e do fator de desconto.
• Implicação: A memória não é meramente um estatístico suficiente para o controle ótimo (como em estados de crença de POMDPs padrão), mas é uma condição necessária para que representações aprendidas alcancem competência uniforme quando a identidade do domínio oculto é relevante para a ação.

2. Existência de Decodificador (Teorema 2)
O segundo resultado investiga se a memória necessária para a separação é também suficiente para reconstruir a dinâmica do ambiente.

• Configuração: Os autores introduzem "objetivos de sonda" (uma família auxiliar $\Psi_F$) que atuam como testes preditivos de um passo. Eles definem "memória suficiente para o valor" como uma memória que pode prever com precisão os valores de ação-valor para esses objetivos de sonda.
• Alegação: Se a memória é suficiente para o valor para uma classe de objetivos de sonda que podem distinguir núcleos de transição locais (via uma métrica de probabilidade integral), então existe um decodificador que pode reconstruir aproximadamente o núcleo de transição intervencional local $P^\sigma(\cdot | s, a)$.
• Implicação: Um estado de memória que suporta o planejamento quase-ótimo para um conjunto rico de objetivos contém inerentemente informação suficiente para decodificar a dinâmica local do ambiente, permitindo o planejamento aproximado mesmo sem um modelo de mundo explícito fornecido pelo ambiente.

Validação Experimental

Os autores validam suas alegações teóricas usando um ambiente customizado chamado ForkWorld:

• Ambiente: Um gridworld em formato de T-junction onde um corredor leva a um garfo (gargalo). O domínio é latente: no domínio "normal", 'cima' move para o norte e 'baixo' move para o sul; no domínio "invertido", esses mapeamentos são invertidos. O objetivo (alcançar topo ou base) é observável, mas o domínio não é.
• Gargalo: No garfo, a ação ótima depende inteiramente do domínio oculto. Um agente sem memória não consegue distinguir os domínios e é forçado a adivinhar, limitando o desempenho a 50% de sucesso.
• Agentes: O estudo compara agentes sem memória (DQN), agentes com janelas de histórico explícitas (Stacked DQN) e agentes recorrentes (DRQN) contra baselines de oráculo que conhecem o domínio.

Resultados Principais:

1. Necessidade de Memória: Agentes sem memória falharam em exceder a linha de base de 50% (alcançando ~19%), confirmando que, sem memória para separar os domínios, a política não consegue convergir para uma solução estável. Agentes equipados com memória (Stacked DQN e DRQN) alcançaram taxas de sucesso de 75–88%, aproximando-se do oráculo.
2. Separação de Representação: Uma sonda linear treinada para prever o domínio a partir do estado interno do agente no gargalo mostrou que agentes com memória alcançaram classificação de domínio quase perfeita (acurácia >97%) em visitas subsequentes ao garfo, enquanto agentes sem memória permaneceram no nível do acaso (50%). Isso confirma empiricamente o Teorema 1.
3. Dinâmica Decodificável: Os autores treinaram um decodificador para prever o próximo estado a partir da representação de memória do agente. Agentes com memória reduziram significativamente o erro de previsão de transição em comparação com uma linha de base, enquanto agentes sem memória não mostraram melhoria. Isso apoia o Teorema 2, demonstrando que a memória usada para o planejamento também codifica a dinâmica de transição local.

Contribuições Principais e Significância

Este artigo traz as seguintes contribuições:

1. Necessidade Formal de Memória: Fornece uma prova de controle-teórico de que, para agentes generalistas operando em domínios latentes, a memória não é opcional, mas uma condição necessária para a quase-optimalidade uniforme quando os domínios compartilham observações, mas exigem ações disjuntas.
2. Memória como Substrato para Modelos de Mundo: Demonstra que a mesma representação de memória necessária para a seleção de ação, se suficientemente rica para suportar a previsão de valor para objetivos de sonda, suporta inerentemente a decodificação das dináticas de transição locais.
3. Mudança de Análise: Ao contrário de resultados anteriores de "bom regulador" ou RL causal que assumem que o agente recebe um índice de tarefa, este trabalho analisa o mapeamento histórico-para-memória, mostrando que o agente deve aprender implicitamente a separar domínios a partir de dados de trajetória.

Significância:
Os autores argumentam que esses resultados caracterizam a memória como o substrato que suporta a desambiguação de domínio, a reconstrução do modelo de transição e o planejamento para agentes generalistas. O trabalho sugere que a capacidade de inferir o contexto latente e reconstruir a dinâmica local não é uma característica arquitetônica a ser adicionada, mas um requisito fundamental para qualquer agente que performe bem através de uma família de ambientes em mudança. Os achados implicam que agentes de RL generalistas bem-sucedidos devem codificar internamente uma representação que separe domínios latentes, e que essa codificação naturalmente facilita a reconstrução da estrutura causal do ambiente.