Resumo Técnico: Actor-Critic Assimétrico Informado

Definição do Problema

O aprendizado por reforço (RL) em ambientes parcialmente observáveis é tipicamente formalizado como Processos de Decisão de Markov Parcialmente Observáveis (POMDPs), onde agentes devem tomar decisões baseadas em históricos de observações incompletos e ruidosos. Embora os métodos padrão de RL se adaptem a isso aprendendo políticas dependentes de histórico (frequentemente usando Redes Neurais Recorrentes), eles assumem o mesmo nível de observabilidade durante o treinamento e a execução. Essa suposição é frequentemente desnecessariamente restritiva, pois muitos ambientes de treinamento (por exemplo, simuladores) fornecem informações "privilegiadas" adicionais — como acesso ao estado completo, políticas de especialistas ou entradas sensoriais de múltiplas visões — que não estão disponíveis durante a implantação.

Métodos existentes de actor-critic assimétricos tentam aproveitar essa informação privilegiada condicionando o crítico ao estado completo enquanto o ator depende apenas de observações. No entanto, essas abordagens geralmente assumem o acesso ao estado total do ambiente durante o treinamento. Esse requisito é frequentemente irrealista na prática, onde apenas sinais parciais ou arbitrários dependentes do estado podem estar disponíveis. Além disso, a justificativa teórica para o uso de sinais privilegiados arbitrários (além do estado completo) em configurações assimétricas foi pouco explorada, deixando uma lacuna na compreensão de como selecionar e utilizar esses sinais de forma eficaz sem introduzir viés no gradiente da política.

Metodologia

O Framework Actor-Critic Assimétrico Informado (IAAC)

Os autores introduzem o framework Informed Asymmetric Actor-Critic (IAAC), que generaliza os métodos de actor-critic assimétricos para permitir que o crítico seja condicionado a arbitrários sinais privilegiados dependentes do estado ($i_t$), em vez de exigir o acesso ao estado completo ($s_t$).

1. Formalismo POMDP Informado: Construindo sobre o conceito de "POMDP Informado", os autores definem um framework onde uma variável de informação $i_t$ está disponível durante o treinamento. A observação $o_t$ é condicionalmente independente do estado real $s_t$ dada $i_t$. Isso permite que o crítico acesse $i_t$ enquanto o ator permanece restrito ao histórico de observações e ações ($h_t$).
2. Funções de Valor Baseadas em Histórico Informado: Os autores definem uma função Q informada baseada em histórico, $Q^\pi(h_t, i_t, a_t)$, e uma função de valor correspondente, $V^\pi(h_t, i_t)$. Essas funções são condicionadas ao sinal privilegiado $i_t$, mas são provadas como estimadores não viesados dos seus equivalentes padrão baseados em histórico ($Q^\pi(h_t, a_t)$ e $V^\pi(h_t)$).
3. Gradiente de Política Não Viesado: Uma contribuição teórica central é o Teorema 3.1, que prova que o gradiente da política computado usando o crítico informado (condicionado a $i_t$) é equivalente ao gradiente da política padrão. Especificamente, para qualquer escolha de sinal condicionado ao estado $i_t$, o gradiente assimétrico informado coincide com o gradiente padrão:
   $$\nabla^{IAAC}_\theta J(\pi_\theta) = \nabla_\theta J(\pi_\theta)$$
   Este resultado sustenta-se sem exigir que o POMDP satisfaça suposições adicionais, como a decodificabilidade do estado. Isso implica que o uso de sinais condicionados ao estado reduz a variância das estimativas de valor (ao desambiguar estados) sem enviesar a direção da otimização.

Critérios de Informatividade para Seleção de Sinais

Como qualquer sinal condicionado ao estado produz gradientes não viesados, o desafio passa a ser a seleção dos sinais mais informativos. O artigo propõe dois novos critérios para avaliar a utilidade de um sinal privilegiado $i_t$ em relação à estimativa de valor:

1. Informatividade de Resíduo $\alpha$ (Pré-treinamento): Este critério testa se $i_t$ fornece informação sobre retornos futuros ($G_t$) além do que já está codificado no par histórico-ação observável $(h_t, a_t)$. Ele envolve:

   • Estimar as médias condicionais $E[G_t|h_t, a_t]$ e $E[i_t|h_t, a_t]$ usando modelos de regressão (por exemplo, Random Forests ou RNNs).
   • Computar resíduos $e_{G_t}$ e $e_{i_t}$.
   • Testar a dependência estatística entre esses resíduos usando uma medida como o Critério de Independência de Hilbert-Schmidt (HSIC).
   • Se a hipótese nula de independência for rejeitada, o sinal é considerado informativo. Este teste pode ser realizado em dados coletados por qualquer política exploratória (por exemplo, aleatória) antes do treinamento do ator.

2. Informatividade de Predição $(\epsilon, \delta)$ (Post-hoc): Este critério avalia se a inclusão de $i_t$ melhora a precisão preditiva da função de valor. Ele compara o erro quadrático de um crítico simétrico (usando apenas $h_t$) contra um crítico informado (usando $h_t$ e $i_t$). Se a inclusão de $i_t$ resultar em uma redução estatisticamente significativa no erro de predição (ganho positivo), o sinal é considerado informativo.

Principais Resultados

Desempenho em Benchmarks

Os autores avaliaram o IAAC em 12 benchmarks parcialmente observáveis (6 tarefas de navegação de Baisero & Amato, 2022, e 6 do conjunto POPGym).

• Desempenho: O actor-critic assimétrico informado consistentemente igualou ou superou as baselines simétricas (A2C) e frequentemente superou as baselines assimétricas que dependiam do acesso ao estado completo (asym-A2C-hs).
• Eficiência: Em vários ambientes (por exemplo, Car-Flag, Shopping-5), o método convergiu mais rápido e alcançou retornos assintóticos mais altos do que as variantes assimétricas de estado total, apesar de depender de informações de estado estritamente menores.
• Estabilidade: O método demonstrou maior estabilidade de treinamento em comparação com abordagens simétricas, que às vezes sofriam quedas de desempenho ou problemas de convergência em configurações de alta dimensão ou parcialmente observáveis.

Validação dos Critérios de Informatividade

Usando POMDPs sintéticos informados com estruturas de recompensa conhecidas, os autores validaram seus critérios de seleção:

• Correlação com o Desempenho: Sinais contendo características diretamente relevantes para a recompensa (por exemplo, dimensões específicas do estado que determinam a recompensa) foram consistentemente identificados como informativos por ambos os critérios.
• Detecção de Redundância: Sinais contendo apenas características redundantes ou irrelevantes foram corretamente identificados como não informativos.
• Estado Total vs. Subconjuntos Informativos: Os experimentos mostraram que o acesso ao estado total nem sempre produz o melhor desempenho se o estado contiver características ruidosas ou irrelevantes. Subconjuntos cuidadosamente selecionados de sinais privilegiados puderam superar as baselines de estado total.
• Robustez: Os critérios permaneceram eficazes mesmo sob condições de observação ruidosas, classificando corretamente os sinais com base em sua capacidade de explicar a variância do retorno.

Significância e Alegações

O artigo afirma mudar o paradigma do aprendizado por reforço assimétrico de um foco no acesso à informação do estado completo para a seleção de sinais informativos durante o treinamento.

• Generalização Teórica: O trabalho fornece a primeira justificativa teórica para o uso de sinais privilegiados arbitrários condicionados ao estado em métodos de actor-critic assimétricos, provando que tal uso preserva gradientes de política não viesados. Isso generaliza trabalhos anteriores (por exemplo, Baisero & Amato, 2022) que eram limitados a críticos de estado total.
• Utilidade Prática: Ao demonstrar que sinais parciais cuidadosamente selecionados podem igualar ou exceder o desempenho de estado total, o artigo desafia a suposição de que o acesso ao estado completo é essencial para um aprendizado assimétrico eficaz.
• Seleção Sistemática: A introdução de critérios baseados em dados para a seleção de sinais oferece uma abordagem fundamentada para lidar com a "maldição da dimensionalidade" da informação privilegiada, permitindo que praticantes identifiquem sinais auxiliares úteis sem engenharia de características manual.

Os autores concluem que seu framework abre novos caminhos para estudar como a informação privilegiada pode ser selecionada, avaliada e integrada para facilitar o aprendizado em configurações parcialmente observáveis, observando que trabalhos futuros podem explorar a seleção de sinais de ponta a ponta e a integração da complexidade do sinal no loop de aprendizado.