Metareasoning in uncertain environments: a meta-BAMDP framework

Título: Uma conta racional de recursos do dilema explorar-explorar via metaraciocínio

Autores: Prakhar Godara e Tilman Diego Alemán

1. O Problema

O artigo aborda o dilema explorar-explorar (explore-exploit dilemma) no contexto de tomada de decisão sob incerteza e restrições cognitivas.

• Contexto Tradicional: Modelos de metaraciocínio (raciocínio sobre como raciocinar) anteriores, como os baseados em MDPs (Processos de Decisão de Markov), assumiam que o agente conhecia as distribuições de transição e recompensa do ambiente. O foco era apenas otimizar onde e quando realizar cálculos para melhorar uma política conhecida.
• A Lacuna: Em cenários reais (humanos e IA), o agente frequentemente não conhece a dinâmica do ambiente (recompensas e transições). O agente precisa aprender essas distribuições online enquanto decide.
• O Desafio: Formular um modelo que integre o aprendizado da dinâmica do ambiente (incerteza epistêmica) com o custo computacional de planejar (incerteza computacional), tratando o próprio processo de raciocínio como um problema de otimização sujeito a custos de tempo e energia.

2. Metodologia: O Framework Meta-BAMDP

Os autores propõem uma generalização do modelo de metaraciocínio através do Meta-Bayes-Adaptive Markov Decision Process (Meta-BAMDP).

Definição do Meta-BAMDP

O problema é definido como uma tupla $(S_{MB}, A_{MB}, P_{MB}, R_{MB}, K)$:

• Espaço de Estados ($S_{MB}$): Composto por $S$ (estado físico), $B$ (crenças sobre as distribuições de recompensa/transição do ambiente) e $\tilde{B}$ (crenças de planejamento).
  • $\tilde{B}$ representa o estado intermediário de um algoritmo de planejamento (ex: um subgrafo de um grafo de decisão).
• Espaço de Ações ($A_{MB}$): Unificação de ações físicas ($A$) e ações computacionais ($C$).
  • Ações físicas alteram o estado do ambiente.
  • Ações computacionais alteram apenas a crença de planejamento $\tilde{B}$ (ex: expandir um nó em uma árvore de decisão), incorrendo em um custo $c$.
• Função de Recompensa: Inclui recompensas físicas e custos computacionais.
• Restrição de Política: O agente só executa uma ação física "greedy" (otimizada) baseada na função Q subjetiva atual $K(\tilde{b})$. Para mudar de ação, ele deve primeiro realizar cálculos que alterem essa função Q.

Aplicação ao Problema de Bandit

O framework é aplicado a tarefas de Bandit Bernoulli de N Braços (NABB).

• O agente mantém crenças (distribuições Beta) sobre as probabilidades de sucesso de cada braço.
• A "ação computacional" é a expansão de um nó no grafo de crenças (adicionar um passo futuro hipotético ao planejamento).
• Terminação: O valor dos nós terminais do grafo de planejamento é estimado usando uma heurística de exploração pura (assumindo que o agente seguirá a ação greedy até o fim sem aprender mais).

3. Contribuições Chave e Avanços Teóricos

Devido à complexidade exponencial do espaço de estados do Meta-BAMDP (que cresce com o horizonte temporal $T$ e o número de braços $N$), a solução exata é intratável. Os autores desenvolvem dois teoremas fundamentais para tornar o problema tratável:

1. Teorema 1 (Mudança de Mente - Mind-Changer):

   • A política meta-ótima é um "mudador de mente". Se cálculos adicionais não alterarem a ação física escolhida no passo atual, realizar esses cálculos é desperdício.
   • Isso permite podar o grafo de metaraciocínio: se a ação terminal não muda, não há necessidade de explorar ramos computacionais subsequentes.

2. Teorema 2 (Monotonicidade do Valor Subjetivo):

   • O valor subjetivo $K(\tilde{b})$ aumenta (ou permanece constante) monotonicamente à medida que o agente realiza mais computações (expande o grafo).
   • Isso estabelece limites superiores e inferiores para o valor, permitindo que o algoritmo pare de buscar quando o valor atual já supera o limite superior dos outros braços.

Algoritmo Proposto:
Com base nesses teoremas, os autores derivam um algoritmo que constrói um grafo meta-podado. Em vez de calcular todo o espaço de estados, o algoritmo expande apenas trajetórias computacionais que têm potencial para mudar a decisão final ("minimal mind-changers"), tornando a solução viável para tamanhos de problema maiores.

4. Resultados

Os autores simularam o Meta-BAMDP em tarefas de Bandit (N=2) com diferentes custos computacionais ($c$) e horizontes temporais ($T$).

• Comportamento Racional de Recursos:

  • À medida que o custo computacional $c$ aumenta, o agente realiza menos cálculos e tende a adotar políticas mais "greedy" (exploração reduzida).
  • Para tarefas curtas, o comportamento oscila entre quase-ótimo e quase-greedy (saltos discretos no valor).
  • Correlação com QI: O modelo prevê que indivíduos com menor custo computacional (maior capacidade de memória de trabalho/atenção) planejam mais longe e obtêm melhores recompensas, alinhando-se com dados empíricos que correlacionam QI e desempenho em tarefas de bandit.

• Adaptação à Carga Cognitiva (Comparação com Dados Humanos):
  O modelo reproduz qualitativamente dois fenômenos observados experimentalmente em humanos, sem assumir parâmetros ad-hoc:

  1. Redução da Exploração Direcionada: Sob alta carga cognitiva (alto $c$), o parâmetro de "bônus de incerteza" ($\omega$) diminui. O agente explora menos baseado na incerteza e mais baseado na recompensa esperada imediata.
  2. Redução da Entropia de Ação: Sob alta carga, a diversidade de escolhas diminui (o agente repete mais ações), alinhando-se a estudos que mostram que a pressão de tempo reduz a aleatoriedade exploratória.

• Sensibilidade ao Ambiente:

  • A sensibilidade do tempo de exploração ($\tau$) ao custo computacional é maior em ambientes com recompensas escassas.
  • A sensibilidade da recompensa total ($V$) ao custo é maior em ambientes ricos em recompensas com assimetria moderada.

5. Significado e Conclusão

• Primeira Explicação Normativa: Este é o primeiro estudo a fornecer uma explicação normativa (baseada em otimização) para a adaptação humana à exploração sob restrições cognitivas, generalizando o metaraciocínio para ambientes com dinâmicas desconhecidas.
• Ponte entre IA e Cognição: O trabalho conecta a teoria de Aprendizado por Reforço (RL) com a ciência cognitiva, mostrando que comportamentos humanos que parecem "subótimos" ou heurísticos são, na verdade, soluções aproximadas ótimas para um problema de metaraciocínio com custos.
• Previsões Testáveis: O modelo gera previsões quantitativas sobre como a manipulação experimental de custos computacionais (ex: carga de memória de trabalho, pressão de tempo) deve afetar o timing e a frequência da exploração em diferentes tipos de ambientes.

Em suma, o artigo demonstra que a "racionalidade limitada" humana pode ser modelada rigorosamente como uma otimização de recursos onde o custo de pensar é balanceado contra o ganho esperado de uma decisão melhor, utilizando o framework Meta-BAMDP para resolver problemas de planejamento sob incerteza.