Resumo Técnico: Agentes de Aprendizado por Reforço Infra-Bayesiano Superam o RL Clássico em Robustez para o Pior Caso

1. Formulação do Problema

O Aprendizado por Reforço (RL) Clássico e o RL Bayesiano operam sob a premissa de que um agente interage com um ambiente fixo, tipicamente modelado como um Processo de Decisão de Markov (MDP) ou como uma posteriori Bayesiana sobre tais modelos. Esta estrutura pressupõe a realizabilidade: o ambiente verdadeiro (ou um modelo suficientemente preciso dele) existe dentro da classe de hipóteses do agente.

No entanto, esta premissa falha em cenários não realizáveis, particularmente naqueles relevantes para a segurança da IA e agência embutida. Nestes ambientes:

• Dependência da Política: Outros atores (previsores, humanos, instituições) antecipam a política do agente e respondem a ela, e não apenas às suas ações realizadas.
• Incerteza Knightiana: O agente enfrenta ambiguidade onde não há fundamentos para construir uma distribuição de probabilidade a priori precisa sobre mundos possíveis.
• Especificação Incorreta do Modelo: O mundo real contém sistemas de complexidade comparável ou superior à do agente, tornando impossível que qualquer classe de hipóteses tratável contenha uma descrição completa do ambiente.

Sob estas condições, métodos Bayesianos clássicos podem produzir posteriors "confiantemente errados", levando a decisões não confiáveis e arrependimento ilimitado. Agentes de RL baseados em valor padrão podem falhar em convergir para políticas ótimas em ambientes dependentes da política (por exemplo, o problema de Newcomb), frequentemente convergindo apenas para políticas ratificáveis.

2. Metodologia: Aprendizado por Reforço Infra-Bayesiano (IBRL)

O artigo apresenta uma implementação de prova de conceito de uma arquitetura de Aprendizado por Reforço Infra-Bayesiano (IBRL) projetada para problemas de decisão sem estado com resultados finitos. Diferentemente de agentes clássicos que mantêm uma distribuição posterior sobre MDPs, o agente IB mantém um conjunto de hipóteses imprecisas representadas como infradistribuições.

Objetos Matemáticos Centrais

• Medidas-a (Medidas Afins): O bloco fundamental é uma medida-a $a = (\lambda\mu, b)$, onde:
  • $\mu$ é uma medida de probabilidade sobre históricos de observação (representando incerteza estocástica ordinária).
  • $\lambda \ge 0$ é um fator de escala.
  • $b \ge 0$ é um termo de deslocamento.
  • A avaliação de uma função de retorno limitada $f$ é dada por $a(f) = \lambda E_\mu[f] + b$.
  • O deslocamento $b$ preserva o valor de ramos da árvore de histórico excluídos por observações, garantindo consistência dinâmica.
• Infradistribuições ($\Psi$): Um conjunto de medidas-a admissíveis. O agente avalia uma política por sua expectativa inferior:
  $$E_\Psi[f] = \inf_{a \in \Psi} a(f)$$
  Isto representa o valor garantido contra o membro mais adverso admissível da classe de hipóteses.
• Tipos de Mistura:
  • Mistura Clássica (Bayesiana): Uma combinação ponderada de infradistribuições ($\sum w_i \Psi_i$), representando incerteza que pode ser média.
  • Mistura Knightiana: Uma união de conjuntos de infradistribuições sem pesos, representando ambiguidade onde o valor é determinado pelo componente menos favorável.

Componentes Algorítmicos

1. Representação: O agente armazena apenas os pontos mínimos extremais da infradistribuição (análogo a vértices de um poliedro convexo), garantindo tratabilidade computacional.
2. Modelos de Mundo: A implementação suporta representações comprimidas específicas para:
   • Bandidos Bernoulli: Históricos representados como pares $(N, R)$; medidas como conjuntos de pares $(c_i, p_i)$.
   • Problemas Semelhantes a Newcomb: O modelo de mundo contém a matriz de recompensa completa e a precisão do previsor; não ocorre aprendizado de estados internos, pois a estrutura é conhecida.
3. Processo de Decisão:
   • O agente discretiza o espaço de políticas $\Pi$.
   • Calcula a expectativa inferior para cada política: $E_{\Psi(\pi)}[f] = \inf_{a \in \Psi(\pi)} a(f)$.
   • Seleciona a política $\pi^*$ que maximiza esta expectativa inferior (estratégia Maximin).
4. Regra de Atualização: Ao observar um evento $L$, o agente realiza uma atualização no estilo IB:
   • Restringe a medida $\mu$ ao ramo observado ($\mu_L$).
   • Transfere o valor esperado dos ramos não observados para o termo de deslocamento $b$: $(\lambda\mu, b) \to (\lambda\mu_L, b + \lambda\mu((1-L)g))$.
   • Renormaliza a infradistribuição.
   • Devido à linearidade da atualização, nenhum novo ponto extremal é criado; apenas os existentes são atualizados.

3. Contribuições Principais

1. Primeira Implementação de Prova de Conceito: Os autores formulam e implementam uma arquitetura IBRL de resultados finitos baseada em medidas-a, infradistribuições e atualizações no estilo IB.
2. Recuperação do Comportamento Clássico: A arquitetura demonstra recuperar o comportamento Bayesiano ordinário no caso degenerado onde cada infradistribuição possui um único ponto mínimo e toda a incerteza é clássica.
3. Desempenho no Pior Caso: Demonstração empírica de que um agente IB alcança um arrependimento no pior caso menor do que um agente Bayesiano clássico em ambientes com incerteza Knightiana.
4. Tomada de Decisão Dependente da Política Ótima: Demonstração de que o agente IB obtém recompensas ótimas em ambientes semelhantes a Newcomb, superando agentes de teoria da decisão clássica (Causal e Evidencial) que falham em capturar a estrutura causal correta ou convergir para políticas ótimas.

4. Resultados Experimentais

A. Incerteza Knightiana (Bandidos Adversariais)

• Configuração: Um bandido Bernoulli de dois braços onde as probabilidades de recompensa $p_1 \in [0.3, 0.7]$ e $p_2 \in [0.4, 0.8]$ são escolhidas adversarialmente ou de forma dependente do tempo. O agente conhece apenas as restrições, não as probabilidades específicas.
• Agente Clássico: Deve assumir uma priori precisa (por exemplo, massas pontuais nos cantos). O comportamento é altamente sensível a esta escolha arbitrária de priori.
• Agente IB: Representa as restrições de intervalo diretamente como incerteza Knightiana. Identifica o ambiente do pior caso $(p_1=0.3, p_2=0.4)$ e seleciona consistentemente o Braço 2, garantindo uma recompensa média de 0.4.
• Resultado: O agente IB alcança um arrependimento no pior caso menor comparado ao agente clássico. O agente IB recusa corretamente "aprender" com padrões potencialmente adversariais que podem parecer atraentes, mas não são robustos.

B. Ambientes Dependentes da Política (Problema de Newcomb)

• Configuração: Uma variante do problema de Newcomb com um previsor imperfeito de precisão $\alpha$. O agente escolhe uma política para escolher uma caixa com probabilidade $p$.
• Resultado: O agente IB seleciona consistentemente a política ótima baseada na precisão do previsor:
  • Para $\alpha > 0.55$, escolhe uma caixa (ótimo).
  • Para $\alpha < 0.55$, escolhe duas caixas (ótimo).
• Comparação: Agentes de Teoria da Decisão Causal escolhem duas caixas independentemente da precisão (perdendo grandes recompensas), enquanto agentes de Teoria da Decisão Evidencial escolhem uma caixa, mas por razões que podem falhar em outras estruturas causais. O agente IB seleciona a ação ótima pelas razões estruturais corretas.

5. Significado e Afirmações

O artigo afirma que este trabalho preenche a lacuna entre a promessa formal do Infra-Bayesianismo (raciocínio robusto sob não realizabilidade) e a implementação prática de agentes.

• Robustez por Design: Os resultados sugerem que, para agentes operando em ambientes com especificação incorreta ou dependentes da política, otimizar para garantias no pior caso (via expectativas inferiores) fornece robustez que a otimização de caso médio (RL Bayesiano) carece.
• Distinção de Incerteza: A implementação demonstra concretamente que distinguir entre incerteza probabilística clássica e incerteza Knightiana leva a comportamentos de agentes fundamentalmente diferentes e mais seguros.
• Passo Fundamental: Embora a implementação atual seja limitada a resultados finitos e espaços de hipóteses pequenos, serve como um passo necessário em direção a sistemas de RL que permaneçam robustos sob especificação incorreta de modelos. Os autores observam que os limites de arrependimento para seu agente IB são lineares (uma melhoria sobre o RL clássico nestes cenários não realizáveis específicos, embora ainda não sejam sublineares), e que a escalabilidade para espaços contínuos e processos de múltiplos passos permanece um desafio aberto para trabalhos futuros.

O artigo conclui que o IBRL oferece um caminho viável para agentes que podem raciocinar efetivamente quando a premissa da "semente de verdade" do RL Bayesiano clássico é violada.