Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis

Resumo Técnico: O Aprendizado Sofre Mais do que a Classe de Políticas sob Observabilidade Parcial

Definição do Problema
No aprendizado por reforço (RL) com observabilidade parcial, os agentes frequentemente falham em encontrar políticas ótimas. A sabedoria convencional atribui isso ao gap da classe de políticas: a incapacidade da capacidade representacional do agente (ex: políticas sem memória) de capturar uma boa política porque ele não consegue observar o estado completo. Este artigo desafia essa visão ao demonstrar que existe um modo de falha distinto e maior: o gap de aprendizado. Este é a discrepância entre a melhor política que o agente pode representar e a política para a qual o algoritmo de aprendizado realmente converge. O autor argumenta que, mesmo quando uma boa política existe dentro da classe representacional do agente e o aproximador da função de valor é teoricamente capaz de expressar a verdadeira função de valor exatamente, as próprias dinâmicas de aprendizado introduzem um viés que conduz o agente a um equilíbrio subótimo.

Metodologia
O autor analisa um problema de controle Gaussiano Linear-Quadrático (LQG) resolvível e parcialmente observado.

• Ambiente: Um sistema bidimensional onde o agente observa e controla a coordenada $v$, enquanto uma coordenada não observada $z$ impulsiona $v$. O estado não observado atua como um núcleo de memória.
• Algoritmo de Aprendizado: Um par ator-crítico padrão.
  • Crítico: Utiliza Diferença Temporal (TD(0)) ou Mínimos Quadrados TD (LSTD) com características quadráticas $(1, v, v^2)$. Crucialmente, as verdadeiras funções de valor deste problema são quadráticas, o que significa que a classe de características é expressiva o suficiente para representar a verdadeira função de valor exatamente se o estado total fosse observado. A limitação é apenas que as características são computadas a partir da observação incompleta $v$.
  • Ator: Segue o gradiente de política usando as estimativas de valor do crítico como uma linha de base (baseline).
• Abordagem de Análise: O autor deriva expressões de forma fechada para o ponto fixo do crítico e para a direção esperada de atualização do ator. Eles analisam o equilíbrio da atualização esperada (as "dinâmicas médias") em vez de depender apenas de provas de convergência estocástica, verificando essas previsões numericamente e via experimentos de RL profundo.

Principais Contribuições e Resultados

1. Mecanismo Exato de Falha (O Crítico com Aliasing):
   A descoberta central é que o gap de aprendizado domina o gap da classe de política. Na configuração padrão, a melhor política sem memória custa apenas 10,4% a mais que o controlador ideal de estado total. No entanto, o aprendiz ator-crítico converge para uma política que é 35% pior do que essa melhor política sem memória.

   • Mecanismo: No regime estacionário, o estado não observado $z$ equilibra o controle de entrada em média, fazendo com que a coordenada observada $v$ pareça flutuar como um passeio aleatório. O crítico, restrito a funções de apenas $v$, não consegue atribuir essa persistência ao estado oculto. Consequentemente, ele atribui erroneamente essa persistência inexplicável à curvatura da função de valor.
   • Resultado: O crítico reporta uma curvatura de valor (coeficiente de $v^2$) que é aproximadamente 15 vezes maior que a verdadeira curvatura condicional. O ator, usando essa curvatura inflada como linha de base, é incentivado a aumentar o ganho de controle indefinidamente até que a curvatura inflada seja equilibrada pelos custos de controle, estabelecendo-se em um ganho muito superior ao ótimo.

2. Lei de Forma Fechada para o Equilíbrio de Aprendizado:
   O autor deriva uma fórmula exata para o ganho $k_{eq}$ no qual a atualização esperada se anula.

   • O ganho de equilíbrio é inversamente proporcional ao período de amostragem $h$ e depende da razão entre o ruído de exploração e a intensidade de atraso zero do núcleo de memória ($\sigma = s_e / \Theta K(0)$).
   • À medida que a exploração desaparece, o ganho de equilíbrio aproxima-se da fronteira de estabilidade do sistema de controle amostrado.
   • Este local depende da distribuição do distúrbio (especificamente a estrutura de segunda ordem do distúrbio ao quadrado), não apenas de sua autocovariância.

3. Lei de Forma Fechada para o Custo Implantado:
   Apesar da localização incorreta do equilíbrio, o custo incorrido neste ponto fixo é notavelmente robusto.

   • O custo implantado no equilíbrio de aprendizado converge para $r C(0)$ (onde $r$ é o peso do custo de controle e $C(0)$ é a autocovariância de atraso zero do distúrbio).
   • Esta lei de custo é independente da distribuição: ela se mantém para qualquer distúrbio estacionário, ergódico e de continuidade de média ao quadrado, independentemente de ser Gaussiano, de cauda pesada ou discreto (ex: ruído de telégrafo).
   • O autor demonstra que, embora diferentes distribuições de distúrbio desloquem o local do equilíbrio (ganho) por um fator de 3,4, o custo resultante permanece quase idêntico.

4. O Horizonte de Bootstrap como a Solução:
   O artigo identifica uma única escolha de design que elimina a patologia: o horizonte de bootstrap (controlado pelo parâmetro $\lambda$ nos retornos $\lambda$).

   • O TD(0) padrão ($\lambda=0$) olha apenas um passo à frente, levando ao equilíbrio com aliasing.
   • À medida que $\lambda$ aumenta, o horizonte se estende. O autor mostra que o equilíbrio migra continuamente de volta para o ótimo da classe de política conforme o horizonte coincide com a memória do ambiente.
   • A transição é nítida: aumentar $\lambda$ de 0,98 para 0,99 reduz o excesso de custo de ~30% para ~1,5%.

5. Validação por Aprendizado por Reforço Profundo:
   Experimentos usando Otimização de Política Próxima (PPO) com Perceptrons Multicamadas (MLP) confirmam as previsões teóricas.

   • Independência de Arquitetura: Adicionar memória via empilhamento de quadros (frame stacking, observando os últimos 32 quadros) não ajuda. Agentes com quadros empilhados exibem o mesmo comportamento de aliasing que agentes sem memória em baixos valores de $\lambda$ e a mesma recuperação em altos valores de $\lambda$. Isso sugere que ter o histórico no input é insuficiente; o algoritmo de aprendizado deve efetivamente utilizar esse histórico através do horizonte de bootstrap.
   • Testes Pré-registrados: O autor realizou experimentos pré-registrados para descartar explicações alternativas, como o colapso do ruído de exploração aprendido ou um efeito de limiar na magnitude da exploração. Essas hipóteses foram refutadas; a falha persiste mesmo com ruído de exploração fixo, e nenhum limiar de exploração impede o deslocamento.

Significância e Alegações
O artigo afirma fornecer a primeira caracterização exata e de forma fechada de como a observabilidade parcial enviesa o aprendizado ator-crítico, separando as limitações de representação das limitações da regra de aprendizado.

• Escopo Modesto: O autor afirma explicitamente que não prova a convergência de iterantes estocásticos para o ponto fixo, mas apenas que a atualização esperada se anula ali e que as execuções estocásticas seguem a trajetória média (com um atraso).
• Limitações Específicas: A lei de localização exata é provada para distúrbios Gaussianos; a lei de custo é independente da distribuição. O artigo conjectura que a lei de localização depende da estrutura de segunda ordem do distúrbio ao quadrado para casos não Gaussianos, mas não afirma ter provado isso genericamente.
• Implicação Prática: A principal lição é que, em configurações de observabilidade parcial, simplesmente aumentar a capacidade do modelo ou adicionar memória de entrada (como o empilhamento de quadros) é insuficiente para corrigir falhas de aprendizado. Em vez disso, os praticantes devem ajustar o horizonte de bootstrap ($\lambda$) para exceder a memória da dinâmica não observada do ambiente.

O artigo conclui que o "gap de aprendizado" é uma fonte de subotimalidade distinta e frequentemente maior do que o "gap da classe de política", impulsionada pela incapacia do crítico de distinguir a persistência do estado não observado da curvatura da função de valor.