UNIQ: Conformal Calibration for Adaptive Conservatism in Offline Reinforcement Learning

Resumo Técnico: UNIQ – Calibração Conformal para Conservadorismo Adaptativo em Aprendizado por Reforço Offline

1. Declaração do Problema

O Aprendizado por Reforço (RL) Offline enfrenta o desafio crítico do deslocamento de distribuição (distribution shift): uma política aprendida pode consultar pares estado-ação que são raros ou ausentes no conjunto de dados offline fixo. Métodos padrão de diferença temporal (TD) extrapolam descontroladamente nessas regiões fora da distribuição (OOD), levando a uma superestimação catastrófica e ao colapso da política.

As soluções existentes geralmente se dividem em três categorias: restrições de clonagem comportamental, aprendizado de valor conservador (ex: CQL, IQL) e incerteza baseada em conjuntos (ensembles). Embora o Implicit Q-Learning (IQL) ofereça uma base computacionalmente leve e estável ao usar um parâmetro de expectil $\tau$ fixo para suprimir a superestimação OOD, ele sofre de uma limitação estrutural: aplica um nível de conservadorismo único e fixo uniformemente em todos os estados.

• Em regiões de cobertura densa, esse conservadorismo fixo é desnecessariamente restritivo, deixando potenciais ganhos de desempenho sobre a mesa.
• Em regiões de cobertura esparsa, um $\tau$ fixo ainda pode ser insuficiente para prevenir a superestimação.

O artigo postula que é necessário um mecanismo para adaptar o conservadorismo por estado, tornando-o mais rigoroso onde a cobertura de dados é pobre e relaxando-o onde a cobertura é rica, sem incorrer nos custos computacionais massivos de métodos de grandes conjuntos como o EDAC.

2. Metodologia: UNIQ

UNIQ (Uncertainty-Informed Quantile) estende a base do IQL substituindo o expectil $\tau$ fixo por um $\tau(s)$ adaptável ao estado, impulsionado por incerteza calibrada conformalmente. O método consiste em três componentes principais:

A. Conjunto de Valores Multi-Expectil (Multi-Expectile Value Ensemble)
Em vez de treinar uma única rede de valor, o UNIQ treina um conjunto de $N_v$ redes de valor, cada uma ajustada em três níveis de expectil fixos: $\bar{\tau} \in \{0.5, 0.7, 0.9\}$. Isso resulta em $3N_v$ cabeças de valor. Este ajuste de multiresolução extrai dois sinais de incerteza complementares:

1. Incerteza Epistêmica ($\sigma_{ens}$): O desvio padrão das previsões do conjunto no nível $\tau=0.7$, capturando o desacordo entre os críticos.
2. Dispersão Aleatória ($\Delta_\tau$): A diferença entre as previsões médias em $\tau=0.9$ e $\tau=0.5$, capturando a estocasticidade inerente dos retornos.

B. Calibração Conformal Dividida (Split Conformal Calibration)
O desacordo bruto do conjunto $\sigma_{ens}(s)$ é dependente da tarefa e sensível à escala. Para normalizar isso em um escore de incerteza livre de distribuição, o UNIQ emprega a predição conformal dividida:

• Uma divisão de calibração $D_{cal}$ é mantida fora do conjunto de treinamento.
• Um escore de não conformidade $\alpha_i$ é computado para cada transição de calibração, medindo o resíduo de Bellman da função de valor $\tau=0.7$ do conjunto.
• O quantil $(1-\delta)$, denotado por $\hat{q}$, desses escores é computado, fornecendo um limiar baseado em dados com garantias de cobertura de amostra finita.
• A incerteza normalizada $u(s)$ é calculada como:
  $$u(s) = \frac{\sigma_{ens}(s)}{\hat{q} + \epsilon}$$
  Aqui, $u(s) > 1$ indica que o estado possui baixa cobertura (o desacordo excede o limiar calibrado), enquanto $u(s) < 1$ indica boa cobertura.

C. Conservadorismo Adaptável ao Estado
A incerteza normalizada $u(s)$ é mapeada para um expectil adaptável $\tau(s)$ através de um cronograma sigmoide:
$$\tau(s) = \tau_{min} + (\tau_{max} - \tau_{min}) \cdot \sigma_{sig}(-\beta_\tau(u(s) - 1))$$

• Alta Incerteza ($u(s) \gg 1$): $\tau(s) \to \tau_{min}$, impondo uma estimativa de valor mais conservadora (menor).
• Baixa Incerteza ($u(s) \ll 1$): $\tau(s) \to \tau_{max}$, permitindo uma estimativa de valor mais otimista.

Adicionalmente, o UNIQ utiliza um alvo de valor pessimista global $V_{pess}(s) = \bar{V}(0.7)(s) - \kappa \sigma_{ens}(s)$ para as atualizações da função Q, onde $\kappa$ é ajustado por tarefa.

3. Principais Contribuições

• Inovação de Mecanismo: O UNIQ introduz o primeiro método sem modelo (model-free) que torna o parâmetro de expectil do IQL dependente do estado de maneira livre de distribuição, utilizando calibração conformal para escalar as estimativas de incerteza.
• Eficiência: Ao contrário dos métodos pesados em conjuntos (ex: EDAC, SAC-N) que escalam linearmente com o número de críticos e exigem muita VRAM, o UNIQ opera com custos de memória próximos aos do IQL. Ele alcança isso usando cabeças de valor de baixo ranking compartilhadas e um passo de calibração conformal leve.
• Transparência: Os autores relatam explicitamente casos de baixo desempenho e posicionam o trabalho como uma contribuição de mecanismo prático na fronteira de desempenho–eficiência, em vez de uma reivindicação de dominância absoluta de estado da arte (SOTA) sobre todos os métodos.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark D4RL MuJoCo (9 tarefas em HalfCheetah, Hopper e Walker2d).

• Desempenho vs. IQL: O UNIQ supera o IQL em todas as nove tarefas, alcançando uma pontuação média normalizada de 85.2 comparado aos 81.6 do IQL.
  • Ganhos: As melhorias são mais pronunciadas nas tarefas Hopper e Walker2d, particularmente em conjuntos de dados de replay médio (ex: +7.2 em Walker2d-medium-replay, +4.2 em Hopper-medium-replay).
  • HalfCheetah: Os ganhos são modestos (+0.1 a +1.5), consistentes com a hipótese de que dinâmicas suaves e bem cobertas beneficiam-se menos do conservadorismo adaptativo.
• Desempenho vs. Conjuntos Pesados:
  • O UNIQ (média de 85.2) fica atrás do EDAC (média de 92.9) e do ReBRAC (89.7) em pontuação agregada.
  • No entanto, o UNIQ alcança isso com um custo computacional significativamente menor.
• Eficiência:
  • VRAM: O UNIQ atinge o pico de ~250 MB, comparado aos ~530 MB do IQL, ~2500 MB do EDAC e ~1200 MB do ReBRAC.
  • Computação: O UNIQ é aproximadamente 4.6× mais rápido por passo que o EDAC (N=50) e apenas 1.1× mais lento que o IQL.

5. Significância e Alegações

O artigo posiciona o UNIQ não como uma solução SOTA universal que substitui métodos de conjuntos pesados, mas como um mecanismo prático que aborda o gargalo estrutural do conservadorismo global fixo em métodos do tipo IQL.

• Melhoria Direcionada: O método é especificamente eficaz em ambientes com cobertura heterogênea (ex: conjuntos de dados com replay pesado onde os modos de comportamento variam drasticamente). Nesses cenários, a capacidade do UNIQ de relaxar o conservadorismo em regiões bem cobertas, mantendo-o em regiões esparsas, gera ganhos significativos.
• Acessibilidade de Recursos: Ao operar com custos de memória próximos aos do IQL, o UNIQ oferece um caminho viável para profissionais com recursos computacionais limitados (ex: instâncias de GPU única ou MIG) para alcançar melhorias de desempenho sobre o IQL sem o overhead proibitivo de grandes conjuntos.
• Direções Futuras: Os autores identificam a necessidade de seleção automática e dependente do estado do coeficiente de pessimismo $\kappa(s)$ e o início antecipado da calibração conformal como os próximos passos fundamentais.

Em resumo, o UNIQ demonstra que o conservadorismo adaptável, guiado pela calibração de incerteza livre de distribuição, oferece uma relação custo-benefício de alto valor entre desempenho e eficiência, tornando o RL offline mais robusto em regimes de dados complexos e heterogêneos sem exigir um escalonamento computacional massivo.