Resumo Técnico: Variação de Desempenho em Aprendizado por Reforço Profundo

Declaração do Problema

Algoritmos de Aprendizado por Reforço (RL) Profundo são conhecidos por sua capacidade de aprender comportamentos complexos, mas são notoriamente sensíveis à variação de desempenho do tipo "loteria" entre execuções independentes de agentes com configurações idênticas. Essa variação de desempenho entre execuções dificulta o rigor científico ao complicar a reprodutibilidade de resultados, a comparação justa de algoritmos e o ajuste de hiperparâmetros. Além disso, em aplicações práticas, tal variabilidade impõe riscos de segurança, pois comportamentos ineficazes podem ocorrer de forma imprevisível.

Apesar da importância deste problema, estudos empíricos de RL profundo frequentemente negligenciam a variação de desempenho em favor de métricas de desempenho agregadas. As práticas de avaliação atuais dependem fortemente de:

1. Estimativas de incerteza (ex: intervalos de confiança por bootstrap do Interquartile Mean, erro padrão), que medem a discrepância entre estatísticas amostrais e parâmetros reais da população, em vez da dispersão da distribuição de desempenho em si. Essas métricas desaparecem conforme o número de execuções aumenta ($O(1/\sqrt{n})$), falhando em capturar a variabilidade inerente dos dados.
2. Desvio padrão, que assume uma distribuição Gaussiana. No entanto, as distribuições de desempenho de RL profundo são frequentemente não-Gaussianas (assimétricas ou bimodais), levando ao "sub-relato" de risco, onde o desvio padrão falha em cobrir partes significativas da distribuição, como execuções falhas ou caudas pesadas.

Métodos rigorosos existentes, como Intervalos de Tolerância (TIs) ou Perfis de Desempenho, são frequentemente computacionalmente dispendiosos ou difíceis de interpretar para análise de tarefa única. Há uma necessidade de ferramentas de avaliação que capturem com precisão a variação de desempenho de tarefa única, permanecendo interpretáveis e escaláveis.

Metodologia

Os autores propõem um conjunto de métodos de quantificação e visualização projetados para equilibrar precisão e interpretabilidade:

1. Min-Max IPR-90 (Quantificação)

O artigo introduz o Intervalo Inter-Percentil (IPR) Min-Max do 5º ao 95º percentil, normalizado pelo intervalo min-máx teórico ou empírico da tarefa.

• Definição: $IPR = \frac{U(95) - U(5)}{M_T - m_T} \times 100\%$, onde $U(x)$ é o $x$-ésimo percentil do conjunto de desempenho, e $M_T, m_T$ são o máximo e o mínimo possíveis de retorno da tarefa.
• Racional: Ao contrário do desvio padrão, os percentis não assumem uma distribuição de dados específica. O intervalo de 5%–95% (cobertura de 90%) é escolhido para avaliar o risco (capturando a dispersão da maioria das execuções) enquanto evita a sensibilidade extrema a outliers que o intervalo total (0–100%) introduziria.
• Normalização: A normalização min-máx permite a comparação direta de variação entre diferentes algoritmos e tarefas com diferentes escalas de recompensa.

2. Destaque de Percentil por Execução (RPH) (Visualização)

Para visualizar curvas de aprendizado sem os riscos de representação errônea da agregação temporal (ex: média $\pm$ faixas de desvio padrão), os autores propõem o Destaque de Percentil por Execução (Run-wise Percentile Highlighting - RPH).

• Técnica: Em vez de agregar estatísticas em cada passo de tempo, o RPH destaca as curvas de aprendizado específicas correspondentes ao 5º, 50º (mediana) e 95º percentis do desempenho final.
• Implementação: As curvas do 5º e 95º percentis são destacadas (ex: com linhas pontilhadas) para enfatizar o envelope de variação, enquanto o 50º percentil representa a tendência central. Outras curvas são renderizadas com transparência.
• Vantagem: Isso preserva a forma das curvas de aprendizado individuais e evita o "sub-relato" de variação comum em faixas de erro sombreadas. É computacionalmente mais simples e mais interpretável que os Boxplots Funcionais (FB).

Principais Contribuições e Estudos de Caso

O artigo valida estes métodos através de três estudos de caso utilizando 100 execuções independentes por tarefa:

Estudo de Caso 1: Efeito da Normalização em PPO e SAC

Os autores analisaram o impacto da LayerNorm e da normalização da camada penúltima (PNorm) em PPO e SAC.

• Descobertas: No PPO, aplicar estas técnicas de normalização (individualmente ou em conjunto) reduziu significativamente a variação de desempenho (reduziu o Min-Max IPR-90) e frequentemente melhorou o desempenho da mediana. Em contraste, para o SAC, estas modificações geralmente deixaram a variação de desempenho inalterada ou a aumentaram.
• Implicação: Os benefícios da normalização são específicos do algoritmo; o que estabiliza o PPO não necessariamente estabiliza o SAC.

Estudo de Caso 2: Comparação de Algoritmos de Controle Contínuo (PPO, SAC, TD-MPC, TD-MPC2)

Uma comparação sistemática foi conduzida através de 48 tarefas do DeepMind Control Suite (DMC).

• Descobertas: TD-MPC e TD-MPC2 demonstraram desempenho superior em todas as métricas (média, mediana, 5º/95º percentis) comparado a PPO e SAC. Crucialmente, o TD-MPC exibiu a menor variação de desempenho (IPR-90 Min-Máx médio $\approx$ 10%) enquanto mantinha alta eficiência de dados.
• Observação: Apesar da baixa variação do TD-MPC, um IPR-90 médio de 10% permanece significativamente superior aos $\approx$ 2% observados em baselines de aprendizado supervisionado, indicando que o RL profundo ainda luta com um desempenho de baixa variação consistente.

Estudo de Caso 3: Comparação de Algoritmos de Controle Discreto (DQN vs. Rainbow)

O estudo comparou DQN e Rainbow em cinco ambientes Atari (ALE).

• Descobertas: O Rainbow superou significativamente o DQN em termos de desempenho de mediana e de percentil. No entanto, ambos os algoritmos exibiram níveis de variação de desempenho semelhantes e elevados (Min-Max IPR-90 $\approx$ 14–23%).
• Implicação: Embora o Rainbow melhore o desempenho agregado sobre o DQN, ele não resolve o problema subjacente de alta variabilidade entre execuções.

Significância e Alegações

O artigo afirma que o Min-Max IPR-90 e o RPH fornecem uma mudança necessária na forma como o desempenho de RL profundo é avaliado:

1. Correção de Desalinhamento: Eles corrigem o uso indevido de estimativas de incerteza (como intervalos de confiança) como proxies de variação.
2. Robustez: Ao depender de percentis em vez de suposições paramétricas (como Gaussianidade), estes métodos fornecem um resumo mais preciso da dispersão de desempenho, particularmente para distribuições não-Gaussianas comuns em RL.
3. Interpretabilidade: O RPH oferece uma representação visual clara do comportamento entre execuções que é mais fácil de interpretar do que os Boxplots Funcionais e mais informativo do que as faixas de erro padrão.
4. Insight Prático: As ferramentas propostas revelam que melhorias algorítmicas (ex: em TD-MPC ou Rainbow) não equivalem automaticamente à redução de variação, destacando que a "robustez" permanece um objetivo distinto e desafiador na pesquisa de RL profundo.

Os autores concluem que, embora estes métodos sejam eficazes, eles devem ser usados junto com outras ferramentas estatísticas para fornecer insights complementares, pois depender de uma única estatística ainda pode ser enganoso. O trabalho visa auxiliar pesquisas futuras ao fornecer um framework mais rigoroso para avaliar a confiabilidade e a robustez de agentes de RL profundo.