A Loss Landscape Visualization Framework for Interpreting Reinforcement Learning: An ADHDP Case Study

Título: Uma Framework de Visualização de Paisagem de Perda para Interpretação de Aprendizado por Reforço: Um Estudo de Caso ADHDP

1. Problema

Os algoritmos de Aprendizado por Reforço (RL) têm sido amplamente aplicados em sistemas dinâmicos e de controle, como no controle de atitude de espaçonaves combinadas após captura de detritos espaciais (missões de Remoção Ativa de Detritos - ADR). No entanto, a interpretação do comportamento interno de aprendizado desses algoritmos permanece um desafio crítico.

• Sensibilidade e Falhas: Algoritmos de RL muitas vezes falham ao transferir políticas aprendidas para novos sistemas ou sofrem com mudanças mínimas de parâmetros.
• Limitações das Métricas Atuais: Métricas escalares padrão, como recompensa acumulada ou erro de diferença temporal (TD), não revelam por que o treinamento falha. Elas não fornecem informações suficientes sobre a geometria da otimização ou as interações entre os módulos do agente (ator e crítico).
• Instabilidade no ADHDP: O algoritmo Action-Dependent Heuristic Dynamic Programming (ADHDP), embora eficiente, frequentemente apresenta instabilidades de treinamento que não são diagnosticáveis apenas observando a convergência do erro.

2. Metodologia

Os autores propõem uma Framework de Visualização de Paisagem de Perda que oferece uma visão multifacetada da dinâmica de aprendizado, superando a visualização unidimensional tradicional. A metodologia baseia-se em quatro componentes complementares:

1. Paisagem de Perda de Ajuste do Crítico (Critic Match Loss Landscape):

   • Reconstrução 3D da superfície de perda do crítico em relação aos seus pesos.
   • Utiliza projeção de PCA (Análise de Componentes Principais) para reduzir a dimensionalidade dos pesos, permitindo visualizar como os alvos de TD moldam a geometria de otimização.
   • Objetivo: Mostrar a evolução do ajuste do crítico e a estabilidade dos alvos.

2. Paisagem de Perda do Ator (Actor Loss Landscape):

   • Construída mantendo o crítico "congelado" (frozen) no final do treinamento.
   • Visualiza como a política (ator) explora a geometria fornecida pelo crítico.
   • Objetivo: Revelar a qualidade da política aprendida e se existem vales planos ou gradientes desbalanceados.

3. Trajetória Tempo-TD-Peso do Ator:

   • Um gráfico 3D que combina o tempo, o erro de Bellman (TD) e os pesos do ator (projetados via PCA).
   • Objetivo: Indicar como as atualizações da política se movem através da superfície de perda e como o erro de TD influencia a deriva dos pesos.

4. Mapa Estado-TD (State–TD Map):

   • Um gráfico 2D que correlaciona os estados do sistema com o erro de TD.
   • Objetivo: Identificar quais regiões do espaço de estados geram os maiores erros e instabilidades.

Estudo de Caso:
A framework foi aplicada ao algoritmo ADHDP para controle de atitude de uma espaçonave combinada com inércia desconhecida. Foram testadas quatro variantes do ADHDP para avaliar o impacto de técnicas de Deep Reinforcement Learning (DRL):

1. Versão Básica: ADHDP padrão.
2. Com Rede Alvo (Target Network): Introdução de Polyak averaging para estabilizar o crítico.
3. Com Estabilizadores + Suavização de Política Alvo (TPS): Adição de Huber Loss, escalonamento de custo numérico e ruído na ação alvo.
4. Com Estabilizadores Apenas: Versão 3 sem a Suavização de Política Alvo (TPS).

3. Resultados Principais

A aplicação da framework revelou insights profundos sobre por que o controle falhou em todas as variantes, mesmo quando as métricas de erro (TD) pareciam melhorar:

• Versão Básica: O crítico apresentou uma paisagem de perda anisotrópica (muito íngreme em uma direção, plana em outra). Isso levou o ator a saturar rapidamente nos limites de controle, causando divergência.
• Com Rede Alvo: A rede alvo suavizou as flutuações do TD, mas não alterou a geometria fundamental da paisagem de perda. O ator ainda ficou preso em um "vale em forma de cunha" onde o gradiente era forte em uma direção e fraco em outra, levando à saturação do torque.
• Com Estabilizadores e TPS: O uso de Huber Loss e escalonamento de custo reduziu significativamente a magnitude do erro de TD e suprimiu picos extremos. A paisagem do crítico tornou-se mais arredondada. No entanto, a geometria do ator permaneceu anisotrópica. A política continuou a derivar em uma direção dominante, empurrando o sistema para a saturação do torque, resultando em falha de controle em malha fechada.
• Com Estabilizadores (sem TPS): A remoção da suavização de política alvo reintroduziu picos agudos na paisagem de perda do crítico (comportamento determinístico), embora a magnitude geral do erro de TD tenha diminuído devido aos outros estabilizadores. O treinamento tornou-se rígido, travando o torque em saturação.

Descoberta Chave: Em todas as variantes, a falha não foi causada apenas pela instabilidade do crítico, mas pela geometria de otimização desfavorável do ator. A paisagem de perda do ator apresentou consistentemente uma estrutura em "cunha" anisotrópica. Sob restrições de saturação de torque, essa geometria empurra a política para a fronteira de ação, onde o controlador perde a capacidade de gerar correções efetivas.

4. Contribuições Chave

• Framework de Visualização Integrada: Desenvolvimento de uma ferramenta sistemática que combina quatro tipos de visualização para diagnosticar interações entre ator, crítico e estados do sistema.
• Diagnóstico de Falha de RL: Demonstração de que métricas de erro baixas (TD) não garantem uma política estável. A geometria da paisagem de perda (anisotropia) é um fator crítico para a estabilidade em sistemas com restrições de atuação.
• Análise de Técnicas de Estabilização: Evidência de que técnicas comuns de DRL (Target Networks, Huber Loss, TPS) melhoram a suavidade do sinal de treinamento, mas não resolvem problemas fundamentais de geometria de otimização do ator em cenários de controle físico restrito.
• Guia para Melhorias Futuras: Sugere que futuras melhorias devem focar não apenas na estabilização do crítico, mas também no redesenho da geometria da paisagem de perda do ator (ex: regularização mais forte no esforço de controle ou penalização explícita de ações próximas à saturação).

5. Significância

Este trabalho é significativo porque move a análise de RL de uma abordagem baseada apenas em métricas de desempenho final para uma interpretação estrutural do processo de aprendizado.

• Para engenheiros de controle e pesquisadores de RL, a framework oferece um "raio-X" do treinamento, permitindo identificar se uma falha é devido a ruído nos dados, instabilidade de alvos ou, mais sutilmente, a uma geometria de otimização intrinsecamente problemática.
• O estudo de caso com ADHDP para controle de atitude de espaçonaves ilustra que, em sistemas físicos com restrições severas (como limites de torque), a estabilidade do sinal de aprendizado não é suficiente; a política deve ser capaz de explorar o espaço de ações sem ser forçada à saturação pela geometria da função de perda.
• A ferramenta proposta é aplicável a diversos designs de algoritmos de RL, facilitando a comparação e o desenvolvimento de agentes mais robustos para sistemas dinâmicos complexos.