Not all uncertainty is alike: volatility, stochasticity, and exploration

Resumo Técnico: Nem toda incerteza é igual: volatilidade, estocasticidade e exploração

Enunciado do Problema
A tomada de decisão adaptativa tanto na inteligência biológica quanto na artificial exige equilibrar a exploração de resultados conhecidos com a exploração de alternativas incertas. Embora trabalhos anteriores geralmente postulem que o aumento da incerteza impulsiona o aumento da exploração (por exemplo, via Limite Superior de Confiança ou Amostragem de Thompson), essa visão trata todas as fontes de incerteza como equivalentes. Este artigo aborda ambientes onde a incerteza surge de duas fontes distintas: volatilidade (estados de recompensa latentes que derivam ao longo do tempo) e estocasticidade (observações ruidosas desses estados). Ambas as fontes aumentam a incerteza posterior, no entanto, algoritmos padrão falham em distingui-las, prescrevendo mais exploração em ambos os casos. O problema central é que essa prescrição uniforme é subótima: a volatilidade cria oportunidades para ganho de informação, enquanto a estocasticidade degrada a qualidade da informação.

Metodologia
Os autores abordam este problema através de duas lentes teóricas primárias:

1. Extensão do Framework do Índice de Gittins:
   Os autores estendem o clássico framework do índice de Gittins, tradicionalmente aplicado a bandits Gaussianos independentes e identicamente distribuídos (iid), para bandits de espaço de estados Gaussianos com dinâmicas latentes. Neste cenário, cada braço possui um estado de recompensa latente $x_t$ evoluindo como um passeio aleatório Gaussiano com variância de inovação $v$ (volatilidade) e é observado através de ruído com variância $s$ (estocasticidade).

   • Eles formalizam o bônus de exploração como o valor da informação derivado do "problema de aposentadoria" (um agente escolhendo entre puxar um braço ou se aposentar por um salário fixo).
   • Eles provam que o bônus de exploração ótimo é monotonicamente crescente na volatilidade ($v$) e monotonicamente decrescente na estocasticidade ($s$). Isso é estabelecido através de argumentos de acoplamento: um canal de observação mais ruidoso restringe o conjunto de regras de parada disponíveis (reduzindo o valor), enquanto uma volatilidade mais alta aumenta a dispersão das médias posteriores futuras, realçando o valor da opção de puxar (aumentando o valor).

2. Derivação do CAUSE (Controle como Inferência):
   Reconhecendo que o índice de Gittins é ótimo apenas para bandits "descansados" (onde braços não selecionados não evoluem) e é intratável para configurações "descansadas", os autores derivam uma política prática e de forma fechada usando o framework de controle como inferência.

   • Eles lançam a seleção de ações como inferência posterior em um modelo gráfico probabilístico, condicionando à otimalidade futura.
   • Ao empregar um ansatz sigmoide para a mensagem reversa e usar aproximações probit para convoluções Gaussiano-sigmoide, eles derivam o CAUSE (Exploração Sensível à Incerteza Consciente da Causa).
   • O CAUSE decompõe-se em um termo de exploração (média atual) e um bônus de exploração que depende explicitamente de ambos $v$ e $s$, herdando as monotonicidades opostas estabelecidas pela análise do índice de Gittins.

Principais Contribuições

1. Assimetria Teórica: O artigo prova formalmente que os bônus de exploração ótimos aumentam com a volatilidade, mas diminuem com a estocasticidade. Isso desafia a suposição padrão de que "mais incerteza equivale a mais exploração".
2. Índice CAUSE: A derivação do CAUSE, a primeira política de índice de forma fechada conhecida para bandits descansados com dinâmicas Gaussianas de estado contínuo. É derivado via controle como inferência e não depende das aproximações típicas do índice de Whittle ou de programação dinâmica em MDPs de estado de crença.
3. Visão Unificada de Aprendizado e Exploração: Os autores demonstram que os efeitos opostos da volatilidade e da estocasticidade na exploração paralelam seus efeitos conhecidos nas taxas de aprendizado. Ambos os fenômenos derivam das mesmas propriedades normativas do modelo gerativo: a volatilidade torna novas observações relevantes, enquanto a estocasticidade as torna pouco confiáveis.
4. Análise de Lesão e Inferência Patológica: O artigo modela agentes "lesionados" que falham em inferir corretamente uma fonte de ruído. Ele prevê que tais falhas produzem padrões comportamentais invertidos (e não meramente prejudicados). Por exemplo, um agente insensível à estocasticidade superexplorará em ambientes de alto ruído (confundindo ruído com deriva), enquanto um agente insensível à volatilidade subexplorará em ambientes em mudança.

Resultados Experimentais
Os autores avaliam o CAUSE contra Amostragem de Thompson, UCB, Amostragem Preditiva e uma linha de base numérica de Gittins por braço através de vários regimes:

• Bandits Descansados Heterogêneos: Em regimes mistos, dominados por estocasticidade e dominados por volatilidade, o CAUSE alcança o menor arrependimento cumulativo. Notavelmente, no regime dominado por estocasticidade, o CAUSE e a linha de base Gittins por braço ponderam corretamente para baixo a exploração de braços de alto ruído, enquanto UCB e Amostragem de Thompson incorrem em arrependimento significativamente maior ao tratar a variância posterior como uma única quantidade.
• Estrutura de Bônus: O bônus de forma fechada do CAUSE rastreia de perto a forma do bônus ótimo de Gittins através de ordens de magnitude de estocasticidade, enquanto o UCB permanece insensível à estocasticidade.
• Validação do Limite Descansado: No limite onde a volatilidade é zero ($v=0$), o desempenho do CAUSE é estatisticamente indistinguível do índice de Gittins ótimo computado numericamente, validando a precisão das aproximações de controle como inferência.
• Análise de Lesão: Simulações confirmam que agentes com priores de ruído mal calibrados exibem os comportamentos de exploração invertidos previstos (por exemplo, agentes cegos à estocasticidade superexploram conforme a verdadeira estocasticidade aumenta).

Significado e Alegações
O artigo alega fornecer uma conta normativa unificada de como diferentes fontes de incerteza devem impulsionar a exploração. Seu significado primário reside em:

• Corrigir uma Falha Fundamental: Demonstra que estratégias de exploração padrão são estruturalmente subótimas em ambientes com estruturas de ruído heterogêneas porque confundem volatilidade e estocasticidade.
• Psiquiatria Computacional: O framework oferece um alvo comportamental concreto para investigar condições psiquiátricas (por exemplo, ansiedade, psicose, depressão). Sugere que comportamentos patológicos podem não ser apenas exploração "prejudicada", mas exploração "invertida", onde a direção do erro depende de qual canal de inferência de ruído (volatilidade vs. estocasticidade) está mal calibrado.
• Avance Metodológico: Estabelece o controle como inferência como uma rota viável para derivar índices de forma fechada e tratáveis para problemas de bandits descansados, um cenário onde políticas ótimas são geralmente intratáveis.

Os autores permanecem modestos quanto ao escopo, notando que o índice CAUSE de forma fechada depende da conjugação Gaussiana e de aproximações específicas (probit/sigmoide), e que, embora as previsões direcionais possam generalizar, a forma exata não se transfere mecanicamente para dinâmicas não-Gaussianas ou de mudança de ponto.