Sumário Técnico: Otimização Bayesiana Heterocedástica Eficiente para AutoRL Consciente de Risco

1. Formulação do Problema

Os resultados de Aprendizagem por Reforço (RL) são inerentemente estocásticos devido a fatores como inicialização aleatória, estratégias de exploração e não determinismo de hardware. Consequentemente, o desempenho de uma configuração específica de hiperparâmetro (HP) não é um valor único, mas uma distribuição. A Otimização de Hiperparâmetros (HPO) tradicional frequentemente otimiza apenas o retorno esperado (média), ignorando a variabilidade entre as execuções de treinamento. Essa abordagem é "frágil": uma configuração que parece ótima durante a HPO pode falhar ao reproduzir seu desempenho em execuções subsequentes, ou configurações de alta variância podem gerar políticas ruins com probabilidade não trivial, exigindo retreinamentos custosos.

O artigo formula a HPO Consciente de Risco como o problema de maximizar um objetivo de média-variância. Dada uma configuração de hiperparâmetro $x$, o objetivo é encontrar:
$$x^* \in \arg\max_{x \in \mathcal{X}} \left( \mathbb{E}[J(\pi)] - \alpha \text{Var}[J(\pi)] \right)$$
onde $J(\pi)$ é o retorno descontado da política aprendida, e $\alpha \geq 0$ controla o equilíbrio entre desempenho e risco (variabilidade).

Métodos existentes como a Otimização Bayesiana Heterocedástica Consciente de Risco (RAHBO) (Makarova et al., 2021) abordam isso modelando tanto a média quanto a variância como Processos Gaussianos (GPs) separados e utilizando uma função de aquisição consciente de risco. No entanto, o RAHBO depende de um orçamento de replicação fixo ($k$) para cada configuração. No domínio computacionalmente caro da RL, onde cada execução de treinamento é dispendiosa, alocar um número uniforme de avaliações (ex: $k=20$) para todas as configurações — incluindo aquelas que são claramente subótimas — é ineficiente. Por outro outro lado, um $k$ pequeno e fixo (ex: $k=2$) pode fornecer dados insuficientes para estimar a variância de forma confiável para configurações promissoras.

2. Metodologia: ERAHBO

Os autores propõem a Otimização Bayesiana Heterocedástica Consciente de Risco Eficiente (ERAHBO), uma formulação de reamostragem adaptativa do RAHBO projetada para melhorar a eficiência de amostragem em cenários de RL de alto custo.

Mecanismo Central: Reamostragem Adaptativa Baseada em Confiança

Em vez de um orçamento fixo, o ERAHBO determina dinamicamente o número de avaliações ($k$) para uma configuração selecionada $x_t$ dentro de um intervalo $[k_{\min}, k_{\max}]$. O algoritmo emprega um critério de parada baseado em limites de confiança:

1. Limite Inferior do Incumbente ($B_t$): Na iteração $t$, o algoritmo mantém um limite inferior conservador sobre a melhor pontuação de Média-Variância (MV) observada até o momento:
   $$B_t := \max_{x \in \mathcal{D}_{t-1}} \text{LCB}_{MV}^t(x)$$
   onde $\text{LCB}_{MV}^t(x) = \text{LCB}_f^t(x) - \alpha \cdot \text{UCB}_{var}^t(x)$.

2. Loop de Amostragem Adaptativa: Uma vez selecionada uma configuração $x_t$ (via maximização do Limite Superior de Confiança $\text{UCB}_{MV}^t(x)$), o algoritmo coleta amostras sequencialmente. A amostragem continua até que uma de duas condições seja atendida:

   • A estimativa otimista da pontuação MV atual cai abaixo do limite inferior do incumbente:
     $$\text{UCB}_{MV}^t(x_t; k) \leq B_t$$
   • O número máximo de avaliações permitidas $k_{\max}$ é atingido.

Interpretação: Se o limite superior de confiança da pontuação MV de uma configuração for inferior ao limite inferior de confiança da melhor configuração atual, o algoritmo certifica com alta probabilidade que a configuração atual é subótima. Amostragens adicionais são consideradas desnecessárias e o algoritmo passa para uma nova configuração. Isso permite que o ERAHBO "rejeite" configurações ruins precocemente (economizando recursos) enquanto investe mais amostras em configurações promissoras, porém incertas, para estimar sua variância com precisão.

Garantias Teóricas

O artigo fornece garantias de regret sublinear para o ERAHBO. Sob suposições padrão (suavidade RKHS, ruído sub-Gaussiano), o regret cumulativo de contagem de amostras $R_T$ é limitado de forma semelhante ao RAHBO, desde que o número de replicações $k_t$ permaneça uniformemente limitado dentro de $[k_{\min}, k_{\max}]$. O limite de regret é:
$$R_T = \tilde{O}\left( k_{\max} \sqrt{T \gamma_T} + \alpha k_{\max} \sqrt{T \Gamma_T} \right)$$
onde $\gamma_T$ e $\Gamma_T$ são termos de ganho de informação para os modelos de média e variância, respectivamente. Isso demonstra que a replicação adaptativa não degrada a taxa de convergência teórica.

3. Principais Contribuições

1. Inovação Algorítmica (ERAHBO): A proposta de uma estratégia de reamostragem adaptativa para HPO consciente de risco que elimina a necessidade de ajuste manual do orçamento de replicação $k$. Ele aloca avaliações dinamicamente com base na incerteza e na consciência de risco.
2. Análise Teórica: Prova de que a estratégia adaptativa preserva as garantias de regret sublinear do framework RAHBO original.
3. Dataset de Referência (Benchmark): O lançamento de um dataset offline de grande escala mapeando configurações de HP para retornos de política pós-treinamento através de 50 execuções repetidas (seeds) para 512 configurações por tarefa. Este dataset aborda a insuficiência dos benchmarks anteriores (ex: HPO-RL-Bench, ARLBench), que frequentemente forneciam poucas seeds (até 10), tornando difícil a estimativa confiável da variância heterocedástica.
4. Validação Empírica: Avaliação abrangente em 19 tarefas de RL envolvendo DQN, SAC e PPO em ambientes Brax, XLand-Minigrid e Classic Control.

4. Resultados Experimentais

Os autores avaliaram o ERAHBO contra baselines neutros ao risco (GP-UCB) e conscientes de risco (RAHBO com $k=2$ e $k=20$ fixos).

• Desempenho: O ERAHBO geralmente superou tanto os baselines neutros ao risco quanto os conscientes de risco. Alcançou o melhor ranking geral em 7 de 19 pares de algoritmo-ambiente e superou pelo menos uma variante do RAHBO em 16 de 19 pares.
• Eficiência de Amostragem: O ERAHBO atingiu limiares de regret significativamente mais rápido que o RAHBO com $k=20$ e o GP-UCB. Ele alcançou uma eficiência de amostragem comparável ao RAHBO com $k=2$ (que é eficiente para pequenos orçamentos), mas manteve um desempenho final superior, evitando o problema de "subamostragem" de um $k$ pequeno e fixo.
• Adaptabilidade: A análise das distribuições de repetição mostrou que o ERAHBO rejeitou com sucesso a maioria das configurações sem gastar o orçamento total, enquanto investiu mais repetições em configurações com maiores pontuações MV.
• Variabilidade de Domínio: O $k$ fixo ideal para o RAHBO variou significativamente entre domínios (ex: $k=20$ foi melhor para Brax, enquanto $k=2$ foi melhor para XLand). O ERAHBO se adaptou automaticamente a essas necessidades variáveis sem intervenção manual.
• Limitações Observadas: O ERAHBO teve um desempenho menos eficaz em ambientes XLand, onde o desempenho geral era baixo, dificultando o estabelecimento de um incumbente forte e levando a repetições excessivas.

5. Significância e Alegações

O artigo afirma que o ERAHBO melhora a eficiência prática da otimização de hiperparâmetros consciente de risco para RL. Ao alocar amostras adaptativamente apenas onde a incerteza importa mais, ele reduz o custo computacional de encontrar configurações confiáveis e de baixa variância.

Os autores posicionam seu trabalho como um passo para tornar o AutoRL mais robusto e reprodutível. Eles explicitam as limitações:

• O método otimiza um objetivo de média-variância, que é uma noção específica de risco e não visa diretamente eventos de cauda ou probabilidades de falha.
• A garantia de regret é um limite de caso pior conservador sobre todos os cronogramas de amostragem possíveis dentro dos limites, em vez de uma caracterização precisa da regra adaptativa específica.
• Os resultados empíricos dependem de datasets offline; embora permitam comparações reprodutíveis, eles não replicam totalmente a dinâmica de HPO online com novas execuções de treinamento.

O dataset liberado é destacado como um recurso fundamental para facilitar pesquisas futuras sobre os fatores que influenciam o risco em diferentes configurações de RL e para desenvolver métodos de HPO conscientes de risco mais adaptativos.