Adapting Critic Match Loss Landscape Visualization to Off-policy Reinforcement Learning

1. Problema e Motivação

O aprendizado por reforço (RL) tem sido amplamente aplicado em controle e otimização, mas frequentemente sofre de falta de generalização e instabilidade no treinamento, sendo tratado como uma "caixa preta". Métodos de visualização, como a paisagem de perda (loss landscape), têm sido usados para interpretar o comportamento interno de algoritmos online (baseados em interações passo a passo).

No entanto, existe uma lacuna na aplicação dessas técnicas ao RL off-policy (como o Soft Actor-Critic - SAC). Diferentemente do RL online, o RL off-policy utiliza um fluxo de dados baseado em replay buffer (memória de experiência) e cálculos de alvo (targets) desacoplados e atrasados (usando redes alvo). A metodologia existente de visualização de paisagem de perda, desenvolvida para dados online contínuos, não pode ser aplicada diretamente ao SAC sem adaptações, pois a dinâmica de atualização de pesos e a definição de erro temporal (TD) são estruturalmente diferentes. O objetivo deste trabalho é adaptar essa metodologia para revelar a geometria de otimização por trás do aprendizado do critic em cenários off-policy.

2. Metodologia

O trabalho propõe uma adaptação do método de visualização da paisagem de perda de correspondência do critic (Critic Match Loss) para o algoritmo Soft Actor-Critic (SAC). As adaptações principais focam em duas diferenças estruturais entre RL online e off-policy:

• Adaptação ao Fluxo de Dados (Data Flow):
  • Em vez de usar amostras online contínuas, o método utiliza um lote fixo (fixed batch) de dados extraído do replay buffer para avaliar a perda.
  • A frequência de registro dos pesos do critic é ajustada para coincidir com os passos de atualização da rede neural, e não apenas ao final de episódios, refletindo a natureza baseada em mini-batches do SAC.
• Adaptação ao Cálculo da Perda (Loss Computation):
  • Os valores-alvo (targets) para o erro de Bellman são pré-calculados e fixados com base na política final selecionada. Isso resolve a ambiguidade de recalcular alvos para cada ponto da grade de perturbação, garantindo uma definição de perda consistente.
  • A estrutura de twin-critic (dois críticos) do SAC é simplificada para visualização, focando em um único critic principal, enquanto a rede do actor e o coeficiente de temperatura (entropia) são mantidos fixos.

Técnica de Visualização:

1. Os pesos do critic registrados durante o treinamento são projetados em um plano bidimensional usando Análise de Componentes Principais (PCA).
2. A função de perda é avaliada em uma grade sobre este plano, criando uma paisagem de perda 3D.
3. A trajetória de otimização dos parâmetros é sobreposta como um caminho 2D nesta paisagem.

Métricas Quantitativas:
Para análise objetiva, três índices são utilizados:

• Nitidez (Sharpness): Mede a sensibilidade da perda a perturbações nos parâmetros.
• Área da Bacia (Basin Area): Mede a extensão da região de baixa perda ao redor da solução final.
• Anisotropia Local: Avalia o desequilíbrio direcional da curvatura da perda (usando o número de condição da matriz Hessiana).

3. Contribuições Principais

• Adaptação Metodológica: Desenvolvimento de um protocolo robusto para visualizar paisagens de perda em algoritmos off-policy (SAC), superando as limitações de métodos anteriores focados apenas em RL online.
• Ferramenta Diagnóstica Geométrica: Estabelecimento da visualização de paisagem de perda como uma ferramenta para diagnosticar a estabilidade da otimização do critic, indo além das curvas de perda escalares tradicionais.
• Análise Comparativa: Demonstração de como diferentes estruturas algorítmicas (SAC vs. ADHDP) e diferentes condições de treinamento (convergência vs. divergência) moldam a geometria da otimização.

4. Resultados e Experimentos

Os experimentos foram realizados em dois cenários: controle de atitude de uma espaçonave (com incertezas de inércia) e o problema clássico de Cart-Pole.

• Caso Convergente (SAC na Espaçonave):

  • A paisagem de perda exibiu uma bacia suave e bem definida com curvatura suave.
  • A trajetória de otimização seguiu um vale contínuo em direção à região de baixa perda.
  • Métricas indicaram uma área de bacia grande e anisotropia moderada, correlacionando-se com um controle estável e robusto.

• Comparação com ADHDP (Divergente):

  • O algoritmo ADHDP (online) apresentou uma paisagem com curvatura aguda e irregular, sem uma bacia de perda bem definida.
  • Alta anisotropia e ausência de bacia fechada indicaram instabilidade e sensibilidade a ruídos, refletindo a falha de controle observada.

• Casos de Divergência no SAC:

  • Divergência de Parâmetros: Quando o critic diverge, a paisagem mostra uma anisotropia extrema (quase unidimensional), onde os parâmetros "escapam" ao longo de uma única direção dominante, sem formar uma bacia.
  • Divergência de Controle com Convergência de Parâmetros: Em alguns casos, o critic parece convergir geometricamente (bacia suave), mas a trajetória de otimização mostra deslocamentos descontínuos (salto entre clusters distantes). Isso revela que a falha no controle pode ocorrer devido a dinâmicas de otimização instáveis (mudanças de regime) que não são visíveis apenas na forma final da paisagem.

• Validação no Cart-Pole: A consistência dos resultados no ambiente Cart-Pole confirmou que a relação entre a geometria da paisagem e a convergência do critic é uma propriedade geral do treinamento off-policy, não específica apenas à dinâmica da espaçonave.

5. Significado e Conclusão

O artigo demonstra que a visualização adaptada da paisagem de perda do critic é uma ferramenta poderosa para entender a dinâmica de otimização em RL off-policy.

• Diagnóstico Estrutural: A geometria da paisagem (suavidade, tamanho da bacia, anisotropia) fornece insights sobre a robustez e a estabilidade do treinamento que curvas de perda escalares não conseguem revelar.
• Limitações e Alcance: O método utiliza uma aproximação de "alvo fixo" (frozen-target), o que cria uma representação estática de um processo dinâmico. Embora não reconstrua o objetivo de treinamento não-estacionário completo, ele oferece uma visão consistente da geometria local em momentos específicos do treinamento.
• Impacto: A pesquisa sugere que a estabilidade do controle não depende apenas da forma final da paisagem, mas também da continuidade da trajetória de otimização. A ferramenta permite identificar padrões de otimização problemáticos (como direções dominantes instáveis ou saltos descontínuos) antes que resultem em falhas de controle catastróficas, servindo como um guia valioso para o ajuste de hiperparâmetros e diagnóstico de algoritmos de RL.