Conformal bandits: bringing statistical validity and reward efficiency under weak arm separability

Resumo Técnico: Bandidos Conformes (Conformal Bandits)

Enunciado do Problema
O artigo aborda o problema do Multi-Armed Bandit (MAB), um paradigma para a tomada de decisão sequencial sob incerteza, focando especificamente no regime de separabilidade de braços fracos (weak arm separability). Em muitas aplicações do mundo real, como tratamentos médicos, intervenções de saúde digital e alocação de portfólio financeiro, a diferença nas recompensas esperadas ($\Delta = \mu^* - \mu$) entre o braço ótimo e os braços subótimos é extremamente pequena. Este regime de "pequeno hiato" (small-gap) ou de baixa relação sinal-ruído (SNR) impõe desafios significativos para estratégias clássicas de minimização de arrependimento (regret), como o Upper Confidence Bound (UCB).

As políticas UCB tradicionais dependem de suposições distributivas (por exemplo, recompensas sub-gaussianas) e garantias assintóticas derivadas de desigualdades como a de Hoeffding. Em cenários de pequeno hiato, esses limites de confiança clássicos frequentemente tornam-se instáveis ou excessivamente conservadores, levando a um arrependimento cumulativo linear ao longo de horizontes finitos e a uma falha em distinguir braços de maneira eficiente. Além disso, a literatura padrão de bandits negligencia amplamente a validade estatística de amostra finita (ou seja, a cobertura garantida de recompensas futuras), focando quase exclusivamente na minimização do arrependimento.

Metodologia
Os autores propõem os Bandidos Conformes (Conformal Bandits), um framework que integra a Predição Conforme (Conformal Prediction - CP) ao processo de decisão de bandit. Esta abordagem substitui os limites de confiança clássicos, dependentes da distribuição, por intervalos de predição estatisticamente válidos e de amostra finita.

1. Regressão Quantílica Conforme (CQR): Para lidar com a heterocedasticidade e a assimetria nas distribuições de recompensa (comuns em finanças), o framework utiliza CQR. Isso envolve:

   • Ajustar modelos de quantis condicionais (inferior e superior) em um conjunto de treinamento.
   • Calcular escores de conformidade (resíduos) em um conjunto de calibração.
   • Construir intervalos de predição $C_{k,t+1}^{1-\alpha} = [L_{k,t+1}, U_{k,t+1}]$ que garantem cobertura marginal $P(Y_{k,t+1} \in C_{k,t+1}^{1-\alpha}) \geq 1-\alpha$ sob a única suposição de permutabilidade (exchangeability).
   • Empregar Inferência Conforme Adaptativa (ACI) para ajustar o nível de erro de cobertura $\alpha$ dinamicamente, abordando a violação da permutabilidade causada pela natureza sequencial da seleção de braços do bandit.

2. Conformal UCB (CP-UCB): A política mais simples no framework seleciona o braço com o limite superior conforme mais alto ($U_{k,t+1}$), preservando o princípio do "otimismo diante da incerteza", mas utilizando intervalos baseados em dados e independentes de distribuição.

3. CP-Bandit Geral: Os autores introduzem uma família flexível de políticas parametrizada por um coeficiente de mistura $\lambda \in [0, 1]$. O escore de seleção é uma combinação convexa dos limites superior e inferior conformes:
   $$\text{Score}_k = (1-\lambda)U_{k,t+1} + \lambda L_{k,t+1}$$

   • $\lambda = 0$: Totalmente otimista (equivalente ao CP-UCB).
   • $\lambda = 1$: Totalmente conservador (regra maximin, focando no limite inferior).
   • $0 < \lambda < 1$: Políticas conscientes do risco, equilibrando o potencial de alta e a proteção contra a baixa. Esta formulação satisfaz a equivariância de mudança (shift-equivariance) e a consistência de dominância.

4. Extensão Sensível ao Regime: Para a aplicação de alocação de portfólio, o framework é estendido para lidar com a não estacionaridade. Um Modelo Oculto de Markov (HMM) é usado para inferir regimes de mercado (Bull/Alta, Neutro, Bear/Baixa). A política adapta-se dinamicamente:

   • Nos regimes Bull/Neutro: Atua de forma otimista (selecionando com base nos limites superiores).
   • Nos regimes Bear: Atua de forma defensiva (selecionando com base nos limites inferiores para minimizar o risco de queda).

Principais Contribuições

1. Integração de Framework: A introdução dos Bandidos Conformes, que une a lacuna entre políticas de bandit de minimização de arrependimento e a validade estatística de amostra finita.
2. Família de Políticas Conscientes de Risco: O desenvolvimento da família de políticas CP-Bandit, que permite uma interpolação fundamentada entre estratégias otimistas e conservadoras via critério de Hurwicz, oferecendo um análogo livre de distribuição ao Value-at-Risk (VaR) na seleção de bandits.
3. Desempenho em Pequenos Hiatos: Demonstração de que os Bandidos Conformes alcançam um arrependimento cumulativo e taxas de seleção do melhor braço superiores em regimes de pequeno hiato e baixa relação sinal-ruído (SNR), onde o UCB1 clássico falha (exibindo arrependimento linear).
4. Aplicação Financeira: Uma aplicação inovadora à alocação de portfólio que aborda os desafios específicos dos mercados financeiros: pequenos hiatos de recompensa, não estacionaridade e a necessidade de gestão de risco. A integração de modelos de mudança de regime permite que o bandit se adapte a dinâmicas de mudança de regime.

Resultados

• Estudos de Simulação: Em simulações de Monte Carlo com recompensas Gaussianas, Student-t (caudas pesadas) e Student-t Assimétrica, as variantes do Conformal Bandit (particularmente com $\lambda=0.5$) superaram consistentemente o UCB1 clássico. Elas alcançaram menor arrependimento cumulativo e convergência mais rápida para o braço ótimo. Crucialmente, enquanto o UCB1 produziu intervalos excessivamente conservadores com baixa cobertura em cenários de cauda pesada (por exemplo, atingindo 71,42% de cobertura contra o alvo nominal de 80% no cenário Student-t especificamente no hiato maior $\Delta=0.05$), os Bandidos Conformes mantiveram as garantias de cobertura nominal enquanto forneciam intervalos mais estreitos e informativos.
• Estudo de Caso de Alocação de Portfólio: Aplicado a dados diários de ETFs (2018–2025), a política Regime-Aware CP superou significativamente as estratégias de bandit estacionárias e os benchmarks de portfólio tradicionais (Peso Igual, Média-Variância).
  • Alcançou o maior Retorno Total (1,54 vs. 0,62 para CP-UCB) e o maior Índice Sharpe (1,80 vs. 0,60).
  • Demonstrou gestão de risco superior, com o menor Drawdown Máximo (0,086 vs. 0,259) e o maior Índice Calmar (1,66 vs. 0,27).
  • O mecanismo sensível ao regime conseguiu mudar para uma estratégia de "Venda Total" (caixa) durante episódios de mercado Bear, mitigando perdas que as políticas estacionárias não conseguiram evitar.

Significância e Alegações
O artigo afirma que os Bandidos Conformes oferecem uma solução robusta para a tomada de decisão sequencial em ambientes caracterizados por separabilidade de braços fracos e distribuições de recompensa complexas e não padronizadas. Ao substituir os limites de confiança dependentes de modelo por intervalos de predição livres de distribuição, o framework fornece garantias estatísticas de amostra finita (cobertura) sem sacrificar a eficiência do arrependimento.

Os autores enfatem que esta abordagem é particularmente valiosa em domínios como finanças e saúde, onde pequenas diferenças nos resultados esperados são críticas e onde as suposições clássicas (normalidade, estacionaridade) frequentemente falham. A integração de modelos de mudança de regime demonstra ainda mais a capacidade do framework de se adaptar a rupturas estruturais, aumentando os retornos ajustados ao risco enquanto mantém uma quantificação rigorosa da incerteza. O trabalho sugere um caminho para unificar a validade estatística com a eficiência da teoria da decisão no aprendizado sequencial.