Inferring the causes of noise from binary outcomes: A normative theory of learning under uncertainty

Este artigo apresenta uma teoria normativa e um modelo computacional que permitem inferir se o ruído em ambientes de aprendizado provém de volatilidade ou estocasticidade a partir de resultados binários, validando experimentalmente que os seres humanos ajustam suas taxas de aprendizado de forma consistente com essas distinções.

O essencial

O Detetive do Ruído: Como o Cérebro Aprende com "Sim" e "Não"

Imagine que você está tentando aprender a navegar em um novo bairro. Você vê uma placa de "Pare" e decide parar. Mas, de repente, um carro passa correndo sem parar. O que você pensa?

1. Cenário A: A placa foi roubada ou a regra mudou? (O ambiente mudou).
2. Cenário B: O motorista apenas errou ou estava distraído? (O evento foi um acidente).

Essa é a grande questão que este artigo tenta resolver: Como nosso cérebro decide se um erro foi causado por uma mudança real no mundo ou apenas por um "ruído" aleatório?

Os autores chamam esses dois tipos de ruído de:

• Volatilidade: Quando o mundo muda de verdade (a placa foi trocada).
• Estocasticidade: Quando o mundo é aleatório ou impreciso (o motorista errou, mas a regra continua a mesma).

O problema é que, para o seu cérebro, ambos parecem a mesma coisa: um resultado inesperado.

O Problema dos Modelos Antigos

Até agora, os cientistas usavam fórmulas matemáticas (chamadas de "Filtros de Kalman") que funcionavam muito bem para dados contínuos, como a temperatura ou a velocidade de um carro. Mas, quando tentaram aplicar essas fórmulas a dados binários (apenas Sim/Não, Vitória/Derrota, Ganhou/Perdeu), elas começavam a dar errado.

Era como tentar usar uma régua de metro para medir a espessura de um fio de cabelo. As fórmulas antigas faziam "truques" matemáticos (aproximações) que confundiam as coisas: elas faziam o cérebro aprender rápido demais quando algo ruim acontecia, mesmo que fosse apenas azar, e não uma mudança real.

A Solução: O Modelo PF-HMM

Os autores criaram uma nova abordagem, como se trocassem a régua antiga por uma lupa especializada. Eles usaram um modelo chamado HMM (Modelo Oculto de Markov), que é feito sob medida para coisas que só têm dois estados (como um interruptor de luz: ligado ou desligado).

Eles combinaram isso com uma técnica chamada Filtragem de Partículas (PF).

• A Analogia das Partículas: Imagine que seu cérebro é um detetive com 1.000 "agentes secretos" (partículas). Cada agente tem uma teoria diferente sobre o que está acontecendo:
  • Alguns agentes acham que o mundo mudou (alta volatilidade).
  • Outros acham que foi apenas azar (alta estocasticidade).
  • Quando você recebe um novo resultado (ex: "não ganhei"), os agentes que tinham a teoria certa ganham mais "peso" (crédito), e os que estavam errados são descartados.

Com o tempo, o cérebro consegue separar o que é mudança real do que é apenas barulho de fundo.

O Experimento: O Leão do Mar e a Tartaruga

Para testar isso, os pesquisadores criaram um jogo online com 73 pessoas.

• A História: Você é um turista numa praia tentando adivinhar de qual lado (esquerda ou direita) um leão-marinho vai aparecer para pegar um tesouro.
• As Regras Escondidas:
  • Às vezes, o leão muda de lado frequentemente (alta volatilidade).
  • Às vezes, as ondas jogam o tesouro para o lado errado, mesmo que o leão esteja no lugar certo (alta estocasticidade).

Os participantes não sabiam as regras. Eles tinham que descobrir apenas observando onde o tesouro aparecia.

O Resultado:
O cérebro humano é incrível! As pessoas aprenderam a ajustar sua velocidade de aprendizado:

• Quando o leão mudava de lado muito rápido (alta volatilidade), elas aprenderam rápido (atualizaram suas crenças imediatamente).
• Quando as ondas eram muito bagunçadas (alta estocasticidade), elas aprenderam devagar (ignoram um erro isolado e esperam ver mais dados antes de mudar de ideia).

Isso confirma que o cérebro humano consegue separar "mudança de regra" de "azar", algo que os modelos antigos diziam ser impossível de fazer corretamente com dados binários.

Por que isso importa para a saúde mental?

O artigo sugere que problemas psiquiátricos podem ser, em parte, falhas nessa "separação de ruído".

• Depressão: Uma pessoa deprimida pode interpretar um erro aleatório (estocasticidade) como uma mudança permanente e negativa no mundo (volatilidade). Exemplo: "Não consegui o emprego" (azar) vira "Eu sou um fracasso e nada vai dar certo nunca" (mudança de estado). Ela aprende rápido demais com a negatividade.
• Ansiedade: Pode ser o oposto, onde a pessoa não consegue perceber que o mundo mudou, mantendo crenças antigas mesmo quando a realidade já se transformou.

Conclusão

Este estudo nos dá uma nova "lente" para entender como aprendemos. Ele mostra que, para lidar com um mundo cheio de "Sim" e "Não", nosso cérebro usa um mecanismo sofisticado para distinguir entre o mundo que mudou e o mundo que apenas barulhou.

Ao entender essa diferença, podemos criar melhores tratamentos para doenças mentais e entender melhor como tomamos decisões quando tudo parece incerto. É como aprender a não culpar o tempo (chuva) quando o problema é o guarda-chuva furado, e vice-versa.

Resumo técnico

Título: Inferindo as causas do ruído a partir de resultados binários: Uma teoria normativa de aprendizado sob incerteza

Autores: Xiaotong Fang e Payam Piray (Departamento de Psicologia, Universidade do Sul da Califórnia).

---

1. O Problema

O aprendizado em ambientes incertos exige que os organismos distinguam entre duas fontes distintas de ruído que geram resultados imprevistos:

1. Volatilidade: Mudanças reais no estado oculto do ambiente (ex: as regras do jogo mudaram).
2. Estocasticidade: Ruído na observação ou na geração do resultado, mesmo que o estado oculto permaneça estável (ex: sorte ou erro aleatório).

O Desafio: A maioria dos modelos computacionais existentes foi desenvolvida para resultados contínuos (usando Filtros de Kalman) e utiliza aproximações ad hoc para lidar com dados binários (sucesso/fracasso, sim/não). Essas aproximações (como transformações sigmóides) introduzem inconsistências teóricas, falhando em dissociar corretamente a volatilidade da estocasticidade. Em particular, modelos baseados em Kalman tendem a aumentar a taxa de aprendizado após eventos surpreendentes, independentemente da fonte do ruído, o que é subótimo.

2. Metodologia e Abordagem Teórica

Os autores propõem uma mudança de paradigma, abandonando a adaptação de filtros de Kalman para dados binários e adotando uma estrutura nativa para estados binários: o Modelo Oculto de Markov (HMM).

• Modelo Gerativo (HMM):

  • Define um estado oculto binário ($x_t \in \{0, 1\}$) que evolui no tempo com uma probabilidade de transição governada pela volatilidade ($v$).
  • Gera uma observação binária ($o_t$) a partir do estado oculto, corrompida por um ruído governado pela estocasticidade ($s$).
  • Diferente de modelos anteriores, este framework trata $v$ e $s$ como parâmetros explícitos e independentes.
  • A inferência do estado oculto é analiticamente tratável e exata dentro do framework HMM (atualização bayesiana recursiva).

• Inferência de Parâmetros Desconhecidos (PF-HMM):

  • Em cenários reais, $v$ e $s$ são desconhecidos e podem variar. Para inferi-los a partir das observações, os autores combinam o HMM com Filtragem por Partículas (Particle Filtering - PF).
  • O modelo PF-HMM mantém uma população de "partículas" (hipóteses) sobre os valores de $v$ e $s$. À medida que os resultados chegam, as partículas são reponderadas e res amostradas, permitindo que o modelo aprenda e rastreie dinamicamente a volatilidade e a estocasticidade simultaneamente.
  • Utiliza-se o método de Rao-Blackwellized PF, onde a inferência do estado oculto é feita exatamente via HMM, condicionada às estimativas de $v$ e $s$ fornecidas pelo PF.

• Experimentos Comportamentais:

  • Tarefa "Sea Lion" (Leão-marinho): 73 participantes realizaram uma tarefa de aprendizado reversível probabilístico em um design fatorial 2x2 (Volatilidade Alta/Baixa x Estocasticidade Alta/Baixa). Os participantes previam onde um leão-marinho apareceria com base em tesouros encontrados.
  • Tarefa "Turtle" (Tartaruga): 30 participantes realizaram uma tarefa estruturalmente idêntica, mas focada em evitar perdas (aversão a perdas) em vez de buscar recompensas.
  • Análise de Dados: Uso de HMM de bloco (modelos neutros) para estimar taxas de aprendizado e ajuste do modelo PF-HMM aos dados individuais para recuperar os parâmetros latentes.

3. Contribuições Principais

1. Novo Framework Normativo: Desenvolvimento de uma teoria normativa para aprendizado binário que respeita a natureza discreta do processo gerativo, evitando as inconsistências das aproximações de Filtro de Kalman.
2. Algoritmo PF-HMM: Criação de um modelo computacional capaz de inferir simultaneamente volatilidade e estocasticidade a partir de resultados binários, sem assumir que esses parâmetros são conhecidos a priori.
3. Validação Experimental: Demonstração empírica de que humanos conseguem dissociar essas duas fontes de incerteza, ajustando suas taxas de aprendizado de forma oposta conforme a fonte do ruído.
4. Análise de Lesões (Ablação): Simulações mostrando que a falha em inferir um dos parâmetros leva a padrões maladaptativos específicos (ex: se a estocasticidade não é inferida, o modelo atribui erroneamente todo o ruído à volatilidade, aumentando excessivamente a taxa de aprendizado).

4. Resultados Chave

• Simulações do Modelo: O modelo PF-HMM infere com precisão os parâmetros de volatilidade e estocasticidade. As taxas de aprendizado ótimas aumentam com a volatilidade e diminuem com a estocasticidade, conforme previsto teoricamente.
• Comportamento Humano:
  • Os participantes aumentaram significativamente suas taxas de aprendizado em blocos de alta volatilidade.
  • Os participantes diminuíram significativamente suas taxas de aprendizado em blocos de alta estocasticidade.
  • Não houve interação significativa entre os fatores, indicando que os participantes conseguiram dissociar as duas fontes de incerteza.
• Tempos de Resposta (RT): A análise de RTs revelou que os participantes foram mais lentos quando a variabilidade da verossimilhança das partículas (medida de dificuldade de inferência) era baixa. Isso sugere que a dificuldade em distinguir a fonte do ruído (alta ambiguidade) custa tempo cognitivo.
• Comparação de Modelos: O PF-HMM superou consistentemente modelos alternativos (como o Filtro Gaussiano Hierárquico binário e o modelo de Associabilidade de Pearce-Hall) na seleção de modelos bayesiana em quatro conjuntos de dados diferentes (incluindo dados públicos), demonstrando melhor ajuste e capacidade de capturar os efeitos dissociáveis.
• Generalização: Os resultados foram replicados na tarefa de "Tartaruga" (aprendizado de perdas), indicando que o mecanismo é robusto independentemente da valência (recompensa vs. punição).

5. Significado e Implicações

• Ciência Cognitiva: O trabalho fornece uma base teórica rigorosa para entender como o cérebro lida com a incerteza em ambientes binários, que são ubíquos na vida real (ex: testes médicos, aceitação social, decisões de emprego).
• Psiquiatria Computacional: A distinção entre volatilidade e estocasticidade é crucial para entender transtornos psiquiátricos.
  • O modelo sugere que condições como depressão ou ansiedade podem envolver falhas na "explicação" (explaining away) do ruído. Por exemplo, indivíduos propensos à autocrítica podem interpretar erros estocásticos (azar) como mudanças voláteis no ambiente (falha pessoal), levando a ciclos de aprendizado maladaptativo e crenças negativas.
  • As simulações de "lesão" no modelo oferecem hipóteses testáveis sobre como déficits específicos no processamento de incerteza podem manifestar-se clinicamente.
• Aprendizado Estrutural: A capacidade de dissociar essas fontes de ruído é fundamental para a inferência de causas latentes e aprendizado estrutural, permitindo que agentes agrupem observações corretamente sob causas comuns.

Em suma, o artigo estabelece um novo padrão para modelagem de aprendizado sob incerteza em dados binários, combinando rigor matemático (HMM + PF) com validação experimental robusta, oferecendo insights profundos sobre a cognição humana e suas disfunções.