Unintended Consequences: Updating Causal Models

Este artigo examina como as crenças causais influenciam as escolhas de um agente e como o feedback dessas escolhas leva à atualização dessas crenças, propondo uma noção de estado estacionário onde o feedback recebido das ações ótimas pode ser racionalizado pelas crenças atuais do agente sobre o modelo causal verdadeiro.

O essencial

Imagine que você é um cozinheiro tentando descobrir a receita perfeita para um bolo. O problema é que você não sabe exatamente quais ingredientes estão na cozinha (o "modelo causal" real) e, às vezes, você acha que o sal faz o bolo crescer, quando na verdade é o fermento.

Este artigo, escrito por Joseph Halpern, Evan Piermont e Marie-Louise Vierø, é como um manual sobre como os humanos (e agentes inteligentes) aprendem — ou falham em aprender — a causa e efeito das coisas, e como isso afeta as decisões que tomamos no dia a dia.

Aqui está a explicação do conceito central, usando analogias simples:

1. O Mapa e o Terreno (Crenças vs. Realidade)

Imagine que o mundo é um terreno complexo. Você tem um mapa na mão (sua crença sobre como o mundo funciona).

• O Problema: Seu mapa pode estar errado. Talvez ele diga que há uma ponte onde não existe, ou que um rio flui para o norte quando flui para o sul.
• A Ação: Você decide caminhar (tomar uma ação) baseado no seu mapa.
• O Feedback: Você chega ao destino e vê o que aconteceu. Se o terreno bate com o mapa, você continua confiante. Se o terreno é diferente do mapa, você precisa atualizar seu mapa.

O artigo pergunta: O que acontece quando o seu mapa está tão errado que você nunca percebe?

2. A Ilusão da Estabilidade (O "Estado Estacionário")

Os autores criam um conceito chamado "Estado Estacionário". Pense nisso como um loop infinito de erro.

Imagine um turista que acredita que, se ele pular três vezes, o sol vai nascer mais cedo.

• Ele pula três vezes.
• O sol nasce (porque o sol nasce de qualquer jeito).
• O turista pensa: "Vi? Funcionou! Meu mapa está certo."
• Ele continua pulando todos os dias.

Neste cenário, a ação dele (pular) gera um resultado (sol nascer) que confirma a crença errada dele, mesmo que a crença seja totalmente falsa. Ele fica preso em um "estado estacionário" de ilusão. Ele nunca muda de ideia porque o mundo, por acaso, sempre dá a resposta que ele espera.

Exemplo do Artigo (O Tributo ao Sol):
O artigo usa a história de uma tribo que acredita que se eles não fizerem um ritual matinal, o sol não vai nascer. Eles fazem o ritual, o sol nasce, e eles pensam: "Nossa teoria está correta!". Eles nunca param de fazer o ritual, mesmo que o sol nasceria de qualquer forma. Eles estão presos em uma crença errada que se auto-alimenta.

3. A Surpresa que Muda Tudo (Quando o Mapa Quebra)

Agora, imagine um cenário diferente. O Governador da Índia Britânica (Exemplo 1 do texto) queria acabar com cobras.

• Sua crença (Mapa): "Se eu pagar por cabeças de cobra, as pessoas vão matar cobras e a população vai diminuir."
• A Ação: Ele cria uma recompensa.
• O Feedback Real: As pessoas começam a criar cobras em cativeiro para ganhar o dinheiro. Muitas escapam. A população de cobras explode.
• A Reação: O Governador vê que o resultado (mais cobras) é o oposto do que seu mapa previa. Como o resultado é inexplicável pelo seu mapa antigo, ele é forçado a quebrar o mapa e criar um novo: "Ah, pagar por cabeças incentiva a criação de cobras!".

Neste caso, a ação gerou uma surpresa que forçou uma mudança de crença. O "Estado Estacionário" foi quebrado.

4. O Dilema: Explorar ou Explorar?

O artigo também fala sobre como tomamos decisões quando não sabemos a verdade.

• Explorar: Fazer algo que não parece a melhor opção agora, só para descobrir como o mundo funciona (como testar um novo ingrediente).
• Explorar (no sentido de lucro): Fazer o que você acha que é melhor para ganhar pontos agora.

O modelo mostra que, às vezes, você precisa arriscar uma ação "ruim" para aprender a verdade. Mas, se você estiver preso em uma crença errada (como o turista que pula), você nunca vai tentar testar se a teoria é falsa, porque você acha que já sabe a resposta.

5. A "Desconhecida Desconhecida" (O que você não sabe que não sabe)

A parte mais brilhante do final do artigo é sobre a inconsciência introspectiva.
Imagine que você está dirigindo um carro, mas você não sabe que existe um botão de "navegação espacial" no painel. Você acha que o carro só anda na estrada.

• Se o carro começar a voar, você ficará confuso.
• O artigo sugere que, às vezes, somos inteligentes o suficiente para admitir: "Eu sei que posso estar errado sobre algo que nem consigo imaginar".
• Isso nos permite estar abertos a surpresas radicais, mesmo sem saber exatamente qual será a surpresa. É como dizer: "Eu sei que existe um 'Planeta X' que eu não conheço, e talvez ele mude tudo o que sei."

Resumo em uma frase

O artigo explica como nossas crenças sobre "o que causa o que" ditam nossas ações, e como, às vezes, o mundo nos dá feedback que confirma nossos erros (nos mantendo iludidos para sempre), enquanto em outras vezes, a realidade nos dá um choque que nos força a redesenhar nossa visão de mundo.

É um estudo sobre por que às vezes somos teimosos em nossos erros e como, às vezes, a sorte (ou a má sorte) nos obriga a mudar de ideia.

Resumo técnico

Resumo Técnico: Consequências Não Intencionais: Atualização de Modelos Causais

Autores: Joseph Y. Halpern, Evan Piermont, Marie-Louise Vierø
Instituições: Cornell University, Royal Holloway (University of London), Aarhus University.

1. O Problema

O artigo aborda a dificuldade fundamental dos agentes em raciocinar causalmente corretamente. Agentes frequentemente possuem modelos causais errôneos sobre o mundo, levando a decisões subótimas. O problema central investigado é duplo:

1. Como as crenças causais de um agente influenciam suas escolhas de ação?
2. Como o feedback (observações) resultante dessas ações leva à atualização dessas crenças?

O foco não é apenas na convergência para a verdade, mas na possibilidade de os agentes ficarem presos em estados de "delírio perpétuo" ou em ciclos de comportamento, mesmo após interações infinitas, devido a modelos causais mal especificados ou à incapacidade de explicar dados observados.

2. Metodologia e Estrutura do Modelo

Os autores utilizam a estrutura de Modelos Causais Estruturais (baseada em Pearl, 2000) para formalizar o raciocínio causal. O modelo é composto por três ingredientes principais:

A. Modelos Causais Estruturais

• O ambiente é descrito por variáveis exógenas ($U$) e endógenas ($V$).
• Um modelo causal $M$ é definido por um conjunto de equações estruturais que determinam os valores das variáveis endógenas com base nas exógenas e em outras endógenas.
• Assume-se que o modelo verdadeiro $M^\star$ é fixo, mas desconhecido pelo agente. O contexto (valores de $U$) é estocástico, distribuído conforme $\pi$.

B. Crenças e Atualização (Sistema de Probabilidade Condicional - CPS)

• O agente não conhece $M^\star$, mas mantém uma distribuição de probabilidade sobre um conjunto de modelos possíveis.
• Para lidar com evidências inexplicáveis (eventos que teriam probabilidade zero sob o modelo atual do agente), os autores empregam um Sistema de Probabilidade Condicional (CPS). Isso permite que o agente atualize suas crenças mesmo quando observa algo que seu modelo atual considera impossível, reavaliando a estrutura causal subjacente.
• A atualização ocorre via regra de Bayes condicional sobre o espaço de modelos, descartando modelos que não podem gerar a observação $o$.

C. Agência e Utilidade

• O agente toma ações definidas como intervenções em variáveis ($\vec{X} \leftarrow \vec{x}$) e observações parciais dos resultados.
• O agente maximiza uma função de valor $VAL(a, \mu)$ que combina:
  1. Utilidade Imediata: O payoff direto da intervenção.
  2. Valor da Informação: O valor descontado ($\delta$) de futuras decisões, baseado nas novas crenças $\mu^a$ formadas após a observação.
• O agente é "visionário": ele considera o valor de explorar (fazer ações que podem não ser ótimas agora, mas que revelam informações sobre a estrutura causal) versus explorar (agir para maximizar o payoff imediato).

3. Contribuições Principais

Definição de "Estado Estacionário" (Steady State)

Os autores propõem uma definição formal de estado estacionário: um par $(\mu, a)$ onde:

1. A ação $a$ é ótima dada a crença atual $\mu$.
2. A observação gerada pela ação $a$ no modelo verdadeiro $M^\star$ não altera a crença incondicional do agente ($\bar{\mu}$).
   Consequência: Se o agente atinge um estado estacionário, ele nunca revisará suas crenças e repetirá a mesma ação indefinidamente, mesmo que essa ação seja subótima em relação ao modelo verdadeiro.

Análise de Convergência e Falhas

• Ambientes Determinísticos: Em ambientes sem ruído no contexto, o comportamento do agente converge para um estado estacionário (que pode ser um modelo correto ou incorreto).
• Ambientes Estocásticos: O artigo demonstra que, na presença de incerteza sobre o contexto, a maximização repetida não garante convergência. O agente pode entrar em ciclos infinitos de mudança de ações e crenças, nunca estabilizando.

Introspecção e Desconhecimento (Unawareness)

O modelo é estendido para incluir agentes que são "conscientes de sua própria inconsciência" (introspectivamente desatentos).

• O agente considera a possibilidade de encontrar evidências inexplicáveis que forçariam uma mudança de paradigma.
• Introduz-se um valor subjetivo $v^*$ para o aprendizado de algo imprevisível.
• Define-se um Estado Estacionário Introspectivo, onde as probabilidades de descoberta de novos modelos permanecem constantes.

4. Resultados e Exemplos Ilustrativos

O artigo utiliza exemplos clássicos e novos para ilustrar os conceitos:

1. Exemplo 2 (Tribu Aition - Delírio Perpétuo):

   • Cenário: Uma tribo acredita que seus rituais diários fazem o sol nascer.
   • Mecanismo: O modelo verdadeiro é que o sol nasce independentemente do ritual. O modelo do agente é que o ritual é necessário.
   • Resultado: A ação de realizar o ritual gera uma observação (sol nasce) que é consistente com a crença errônea. Como a ação não produz evidência contraditória, o agente nunca revisa sua crença. O sistema fica preso em um estado estacionário de erro.

2. Exemplo 1 (Governador e Cobras - Correção via Evidência Inexplicável):

   • Cenário: Um governador paga por cabeças de cobras para reduzir a população, mas a população aumenta (devido à criação de cobras por locais).
   • Mecanismo: O modelo do agente ignora a variável "criação de cobras". A observação de um aumento drástico na população é inexplicável sob seu modelo atual.
   • Resultado: O agente é forçado a revisar suas crenças (mudar o modelo causal) para explicar os dados, abandonando a política falha. Aqui, o estado estacionário inicial é instável e leva à correção.

3. Exemplo 3 (Falha de Convergência em Ambientes Estocásticos):

   • Cenário: Um ambiente onde o agente não pode observar uma variável chave ($Y$) que determina o resultado.
   • Resultado: O agente oscila infinitamente entre duas ações. Nenhuma ação gera uma observação que elimine definitivamente um dos modelos candidatos, e a aleatoriedade do contexto impede a convergência para um estado estável.

5. Significado e Implicações

• Fundamentação Teórica: O trabalho fornece uma base teórica para entender por que agentes racionais, com modelos causais incorretos, podem falhar em aprender a verdade, mesmo com acesso ilimitado a dados.
• Risco de Políticas Públicas: Ilustra como intervenções baseadas em modelos causais incompletos podem levar a resultados desastrosos (como o aumento de cobras) ou a estagnação em práticas inúteis (como rituais religiosos), dependendo se a ação gera evidências contraditórias ao modelo do agente.
• Exploração vs. Exploração: O modelo destaca que a "exploração" (tentar aprender a estrutura causal) só ocorre se o agente acreditar que o modelo atual é incompleto ou se o payoff imediato for baixo. Se o agente estiver convencido de que seu modelo é completo (mesmo que errado), ele não explorará, perpetuando o erro.
• Aplicações Futuras: Os autores sugerem que essa estrutura pode ser estendida para ambientes estratégicos (teoria dos jogos), onde agentes podem tentar enganar outros manipulando suas crenças causais.

Em suma, o paper demonstra que a estabilidade do comportamento de um agente não é sinônimo de correção causal. Um agente pode atingir um "equilíbrio" onde suas ações são ótimas segundo suas crenças, mas essas crenças são fundamentalmente erradas e auto-reforçadas pela falta de evidências contraditórias.