Resumo Técnico: BAPR (Aprendizado por Reforço Robusto por Partes Amnésico Bayesiano)

1. Declaração do Problema

Sistemas de controle do mundo real frequentemente operam sob condições estacionárias por partes, onde as dinâmicas permanecem estáveis por períodos prolongados antes de sofrer mudanças abruptas de regime. Algoritmos padrão de Aprendizado por Reforço (RL), particularmente métodos off-policy como o Soft Actor-Critic (SAC), sofrem com o Problema de Obsolescência de Regime:

1. Contaminação do Buffer: O buffer de replay acumula transições de regimes expirados, "envenenando" o crítico com dados desatualizados.
2. Desalinhamento de Valor: A função Q aprendida falha em convergir para o valor ótimo do regime atual devido a um viés persistente de transições obsoletas, mesmo à medida que novos dados são coletados.

Soluções existentes caem em duas categorias falhas:

• Adaptação Reativa (ex.: Políticas condicionadas a contexto, Meta-RL): Estas adaptam-se continuamente, mas carecem de detecção de mudanças principista, introduzindo variância desnecessária durante períodos estáveis.
• Robustez Estática (ex.: MDPs Robustos): Estas se protegem contra incertezas de pior caso usando conjuntos estáticos, levando a um conservadorismo excessivo durante períodos estáveis e proteção insuficiente imediatamente após uma mudança de regime.

O desafio central é projetar um sistema capaz de detectar mudanças de regime em tempo real, modular o conservadorismo com base na confiança e esquecer informações obsoletas sem sacrificar garantias de convergência.

2. Metodologia: Framework BAPR

Os autores propõem o BAPR (SAC Robusto por Partes Amnésico Bayesiano), que unifica a Detecção Online de Mudanças Bayesiana (BOCD) com o framework RE-SAC (Ensemble Robusto SAC).

2.1 Núcleo Teórico: O Operador BAPR

O BAPR define uma mistura ponderada por crença de operadores de Bellman condicionados ao modo. Seja $\mathcal{M}$ o conjunto de modos do ambiente. O operador é definido como:
$$T^{BAPR}_{\rho} Q(s, a) = \sum_{m \in \mathcal{M}} \rho(m) \cdot T_m Q(s, a)$$
onde $T_m$ é o operador de Bellman para o modo $m$, e $\rho(m)$ é uma distribuição de crença sobre os modos.

Insight Teórico Chave:

• Garantia de Contração: Se os pesos de crença $\rho$ estiverem congelados durante a atualização de Bellman, o operador é uma contração $\gamma$. Isso garante a convergência para um ponto fixo único.
• Necessidade de Crenças Congeladas: O artigo fornece um contraexemplo verificado por máquina (em Lean 4) mostrando que, se as crenças dependem da função Q (ou seja, $\rho(Q)$), o fator de contração torna-se $\gamma + \lambda\Delta$ (onde $\Delta$ é a lacuna de recompensa do modo). A contração falha exatamente quando $\gamma + \lambda\Delta \geq 1$. Assim, o design de "crença congelada" é uma necessidade estrutural, não apenas uma conveniência.

2.2 Componentes

1. Detecção Online de Mudanças Bayesiana (BOCD):

   • Mantém uma distribuição posterior $\rho(h)$ sobre comprimentos de execução $h$ (tempo desde o último ponto de mudança).
   • Utiliza um detector de "surpresa" multi-sinal ($\xi_t$) que funde escores-z de recompensa, razões de desvio padrão de valores Q do ensemble e divergência de penalidade aleatória.
   • O modelo de verossimilhança assume que a variância cresce linearmente com o comprimento de execução ($\sigma^2_0 + \sigma_g h$), permitindo que o sistema distinga entre flutuações estáveis e deslocamentos de regime.
   • Conservadorismo Adaptativo: A posterior impulsiona uma penalidade ponderada por crença $\lambda_w$. Quando uma mudança é detectada (alta surpresa), $\lambda_w$ dispara, aumentando o conservadorismo. À medida que a confiança cresce, $\lambda_w$ decai, relaxando a política. Este é o componente "Amnésico".

2. Condicionamento de Contexto via RMDM:

   • Para identificar qual regime está ativo (não apenas quando mudou), o BAPR usa uma rede de contexto treinada via perda de Aprendizado de Representação para Detecção e Correspondência de Modos (RMDM).
   • Treinamento: Usa IDs de modos fornecidos pelo simulador como alvos supervisionados para impor consistência dentro do modo e diversidade entre modos.
   • Implantação: Não requer rótulos de modo; o agente infere o regime a partir das transições observadas através da incorporação de contexto aprendida.

3. Detalhes de Implementação:

   • Crítico Compartilhado: Em vez de manter $M$ críticos separados, o BAPR usa um único crítico de ensemble condicionado à incorporação de contexto $e$ e à crença da BOCD.
   • Aproximação: O operador de mistura teórico é aproximado por uma penalidade adaptativa escalar $\beta_{eff} = \beta_{base} - \lambda_w \cdot c_{penalty}$. Este escalar é congelado durante cada atualização de Bellman para satisfazer o requisito de contração.
   • Correção Off-Policy: Os autores encontraram empiricamente que armazenar o vetor de crença no momento da execução para cada transição (correção off-policy padrão) prejudica o desempenho devido ao ruído do treinamento inicial. Em vez disso, recomendam usar a crença atual no momento da atualização.

3. Contribuições Principais

1. Caracterização Nítida do Design de Parâmetros Congelados: O artigo estabelece uma fronteira nítida para a contração em operadores ponderados por crença. Prova que o operador BAPR é uma contração $\gamma$ apenas se as crenças estiverem congeladas e demonstra, via contraexemplos verificados por máquina, que crenças dependentes de Q quebram essa garantia.
2. Taxa de Convergência Formal por Partes: Sob suposições estruturais (Separabilidade de Modos, Surpresa Lipschitziana, Período Metastável), os autores derivam uma taxa de convergência formal mostrando que o erro do valor Q decai polinomialmente após mudanças de regime, sem dependência exponencial do horizonte.
3. Conservadorismo Adaptativo Provavelmente Seguro: O mecanismo de penalidade adaptativa é provado (verificado por máquina) como nunca reduzindo o conservadorismo abaixo da linha de base RE-SAC ($\beta_{eff} \leq \beta_{base}$), garantindo segurança.
4. Verificação Formal Completa: Todos os resultados teóricos, incluindo a prova de contração, o contraexemplo e o orçamento de erro, são verificados por máquina em Lean 4 (1.145 linhas, 22 teoremas, 0 sorry), fornecendo uma auditoria rigorosa do design do algoritmo.
5. Condicionamento de Contexto com RMDM: Uma função de perda inovadora que permite representações conscientes de modo durante o treinamento, permitindo implantação zero-shot sem rótulos de modo.

4. Resultados Experimentais

Os autores avaliaram o BAPR em variantes não estacionárias de tarefas de locomoção MuJoCo (Hopper, HalfCheetah, Walker2d, Ant) com mudanças de regime intra-episódio.

• Desempenho: O BAPR consistentemente superou ou igualou as linhas de base (SAC, RE-SAC, ESCP).
  • Em HalfCheetah e Ant, o BAPR superou significativamente o RE-SAC e o ESCP.
  • Em Ant (benchmark de regime discreto), o BAPR alcançou uma separação distribucional completa do ESCP, com a pior semente do BAPR superando a melhor semente do ESCP em 82%.
  • Em Walker2d e Hopper, todos os métodos lutaram para convergir sob o protocolo específico de mudança de regime, sugerindo que a dificuldade reside na própria tarefa de equilíbrio bípede/unipede, e não no algoritmo.
• Estudos de Ablação:
  • O RMDM foi o componente mais crítico (sua remoção causou uma queda de desempenho de ~47%).
  • A BOCD contribuiu com uma melhoria de ~21% sobre a robustez estática.
  • O $\beta$ Adaptativo sozinho contribuiu com ~9%.
  • Armazenamento de crença por transição: Desabilitar o armazenamento de crenças históricas (usando crenças atuais em vez disso) melhorou o desempenho, contradizendo a intuição off-policy padrão, mas alinhando-se com a necessidade de evitar ruído do treinamento inicial.
• Dinâmica de Detecção: A BOCD detectou mudanças de regime com um atraso mediano de 13 iterações, demonstrando o comportamento de "Amnésia Bayesiana" (aumento na incerteza seguido de re-concentração).

5. Significado e Alegações

O artigo reivindica significado em três áreas principais:

1. Rigor Metodológico: Ao integrar BOCD com RL de ensemble robusto, o BAPR fornece uma ponte principista entre detecção de pontos de mudança e conservadorismo adaptativo, resolvendo o trade-off entre estabilidade e adaptabilidade em ambientes estacionários por partes.
2. Verificação Formal: O trabalho serve como uma ferramenta de auditoria de design, usando verificação por máquina para expor dependências estruturais (como a necessidade de crenças congeladas) que são frequentemente negligenciadas em provas informais. Os autores veem essa verificação como uma contribuição para a metodologia de design de algoritmos verificáveis.
3. Eficácia Prática: O framework demonstra que o conservadorismo adaptativo impulsionado pela incerteza posterior bayesiana pode melhorar significativamente o desempenho em tarefas de coordenação de alta dimensionalidade (como Ant), onde a consciência de contexto é crítica, mantendo ao mesmo tempo garantias formais de convergência.

Os autores permanecem modestos quanto aos resultados de Walker2d/Hopper, atribuindo a falha em convergir à dificuldade inerente da tarefa de equilíbrio sob mudança de regime, e não a um defeito no BAPR. Eles também observam que o requisito de "crença congelada" é uma necessidade teórica para a contração, mesmo que a variante "Bad-BAPR" (dependente de Q) não tenha falhado catastróficamente em seus experimentos específicos com HalfCheetah (provavelmente porque a lacuna de recompensa $\Delta$ estava abaixo do limiar crítico).