Dynamic distortion of inferred reward probability shapes choice over time

Este estudo demonstra que escolhas baseadas em inferência temporal e de recompensa são moldadas por dois princípios computacionais interagentes: uma distorção sistemática da probabilidade de recompensa inferida ao longo do tempo e uma precisão temporal modulada pela própria probabilidade de recompensa, em vez do tempo decorrido.

O essencial

Imagine que você está dirigindo em uma estrada nebulosa à noite. Você não vê o destino final claramente, mas sabe que, dependendo de quanto tempo você dirige, a probabilidade de encontrar um restaurante delicioso (recompensa) ou uma armadilha de urso (sem recompensa) muda.

O objetivo deste estudo foi entender como o nosso cérebro toma decisões quando o tempo e a probabilidade de ganhar algo estão misturados e mudando o tempo todo.

Aqui está a explicação do que os pesquisadores descobriram, usando analogias do dia a dia:

1. O Cenário: O "Semáforo Mágico"

Os participantes do estudo faziam um jogo simples:

• Uma luz acendia (o aviso).
• Depois de um tempo aleatório, uma segunda luz acendia (o "Go").
• Nesse momento exato, eles tinham que escolher entre o botão Esquerdo ou Direito.

A regra secreta era:

• Se você escolhesse Esquerdo logo no início, a chance de ganhar era alta, mas caía com o tempo.
• Se você escolhesse Direito no início, a chance era baixa, mas subia com o tempo.
• Havia um momento exato (o "ponto de cruzamento") onde as chances eram iguais.

O desafio? Não havia nenhuma pista visual entre as luzes. O cérebro tinha que adivinhar quanto tempo passou e, baseado nisso, calcular qual botão valia mais a pena.

2. A Descoberta 1: O "Filtro de Lógica" (Distorção da Probabilidade)

O cérebro humano não é uma calculadora perfeita. Se fosse, ele mudaria de botão instantaneamente no momento exato em que a chance de ganhar virasse 51% para um lado e 49% para o outro.

Mas o que os pesquisadores descobriram é que nosso cérebro aplica um "filtro de lógica" estranho:

• A Analogia: Imagine que você tem um filtro de café. Se você coloca um café muito fraco (baixa probabilidade de ganhar), o filtro o deixa ainda mais fraco. Se você coloca um café muito forte (alta probabilidade), o filtro o deixa ainda mais forte.
• O Resultado: As pessoas tendiam a ser mais extremas do que a matemática pura sugeriria. Se a chance de ganhar com o botão Esquerdo era de 60%, elas agiam como se fosse 70% ou 80%. Se era 40%, agiam como se fosse 20%.
• Por que isso é bom? Isso cria uma "barreira de segurança". Em vez de ficar indeciso na linha de 50/50, o cérebro empurra a decisão para um lado ou para o outro de forma mais decisiva. Isso evita erros caros nas extremidades (quando a chance de ganhar é muito baixa ou muito alta).

3. A Descoberta 2: O "Relógio Inteligente" (Incerteza Temporal)

Aqui está a parte mais surpreendente. A teoria antiga dizia que nosso relógio interno fica mais impreciso quanto mais tempo passa (como um relógio de areia que fica mais difícil de medir o tempo exato quanto mais areia cai). Isso é chamado de "Lei de Weber".

Mas este estudo mostrou que nosso cérebro é mais esperto que isso:

• A Analogia: Imagine que você está ouvindo uma música. Quando a música está prestes a chegar no refrão favorito (alta recompensa), você fica super atento e percebe cada segundo com precisão. Quando a música está numa parte chata (baixa recompensa), você "desliga" e perde a noção do tempo.
• O Resultado: A precisão do nosso relógio interno depende da recompensa esperada, não apenas do tempo que passou.
  • Se o momento atual tem uma chance alta de dar dinheiro, o cérebro foca e mede o tempo com precisão de relógio atômico.
  • Se a chance de ganhar é baixa, o cérebro relaxa e o tempo parece mais "borrado".

4. A Conclusão: Dois Princípios que Dançam Juntos

O estudo mostra que, para tomar decisões no tempo, nosso cérebro usa duas regras principais:

1. Amplificação da Decisão: Ele transforma as chances calculadas em algo mais extremo para tomar uma decisão clara (o filtro de café).
2. Foco Baseado em Recompensa: Ele ajusta a precisão do seu relógio interno dependendo de quão valioso é o momento atual (o relógio inteligente).

Em resumo:
Não somos robôs que calculam tempo e dinheiro separadamente. Somos caçadores de recompensas que ajustam nossa percepção do tempo e nossa confiança nas escolhas de acordo com o que está em jogo. Quando a recompensa é alta, nosso cérebro fica afiado e preciso; quando é baixa, ele relaxa e toma decisões mais "extremas" para garantir que não perca tempo demais.

Essa pesquisa nos ajuda a entender por que, em situações reais (como esperar uma resposta de um chefe ou decidir quando frear um carro), nossa percepção do tempo e nossas escolhas mudam dependendo de quão importante é o resultado.

Resumo técnico

Resumo Técnico: Distorção Dinâmica da Probabilidade de Recompensa Inferida e sua Influência na Escolha Temporal

1. O Problema Investigado

O estudo aborda um regime de tomada de decisão onde a probabilidade de recompensa não é fixa, mas varia sistematicamente ao longo do tempo, e onde não há evidência sensorial contínua entre eventos para guiar a escolha.

• Contexto: Em muitas decisões naturais (ex.: interação social, evasão de predadores), o momento de uma ação determina o resultado. O agente deve inferir duas variáveis latentes acopladas: o tempo decorrido e a probabilidade de recompensa associada a esse tempo.
• Limitação das Teorias Existentes: Modelos de acumulação de evidência e aprendizado por reforço tradicionais tratam a inferência temporal e a inferência de recompensa como processos separados. Eles não explicam adequadamente como a incerteza sobre o tempo interno molda o mapeamento de probabilidades de recompensa dinâmicas para a ação quando não há entrada sensorial contínua.
• Questão Central: Como os agentes combinam a incerteza sobre o tempo decorrido com a incerteza sobre a recompensa, quando a própria probabilidade de recompensa muda ao longo do tempo? Especificamente, a incerteza temporal segue a Lei de Weber (aumenta com a duração) ou é modulada pela probabilidade de recompensa esperada?

2. Metodologia

Os autores desenvolveram uma tarefa experimental e um arcabouço computacional para testar essas hipóteses.

• Tarefa Experimental (Set-Go):

  • Participantes: 12 adultos saudáveis realizaram uma tarefa de escolha forçada binária (botão esquerdo vs. direito).
  • Estrutura: Um "Set" (aviso) era seguido por um "Go" (alvo) após um intervalo de tempo aleatório ("Go time"), distribuído uniformemente entre 0,4s e 1,4s.
  • Recompensa Dinâmica: A probabilidade de recompensa para a escolha "Esquerda" diminuía linearmente com o tempo, enquanto a probabilidade para "Direita" aumentava. As probabilidades somavam 1 em cada ponto temporal.
  • Condições: Quatro condições experimentais com curvas de probabilidade de recompensa e pontos de cruzamento (onde $P(R|L) = P(R|R) = 0.5$) diferentes.
  • Objetivo: Os participantes deveriam aprender a estrutura dinâmica e escolher a opção com maior probabilidade de recompensa no momento do "Go".

• Modelagem Computacional:

  • DLLO (Dynamic Log-Odds Linear Operator): Os autores propuseram um modelo que transforma a probabilidade objetiva de recompensa em probabilidade de escolha através de uma transformação linear no espaço de log-odds.
    • Fórmula: $DLLO(\pi(p(t))) = \gamma \cdot Lo(p(t)) + (1-\gamma) \cdot Lo(p_0)$
    • Onde $\gamma$ é o parâmetro de inclinação (controle da distorção) e $p_0$ é o ponto fixo (viés de cruzamento).
  • Hipóteses de Incerteza Temporal:
    1. Embaçamento Temporal (Weber): A incerteza ($\sigma$) aumenta linearmente com o tempo decorrido ($\sigma = \varphi \cdot t$).
    2. Embaçamento Probabilístico: A incerteza é inversamente relacionada à probabilidade de recompensa (maior recompensa esperada = maior precisão temporal), independentemente da duração absoluta.
  • Ajuste de Modelo: Os modelos foram ajustados aos dados de escolha dos participantes para determinar qual combinação de transformação de probabilidade (DLLO) e mecanismo de incerteza temporal melhor explicava o comportamento.

3. Principais Resultados

• Desempenho Comportamental:

  • Os participantes aprenderam a estrutura dinâmica e obtiveram recompensas significativamente acima do nível de acaso (média de ~0.70-0.72 vs. 0.50).
  • O comportamento aproximou-se da estratégia ótima (uma função degrau no ponto de cruzamento), mas não a alcançou perfeitamente. Houve uma tendência sistemática de "mimetizar" menos a probabilidade objetiva e mais a política ótima.

• Distorção Sistemática da Probabilidade (DLLO):

  • A relação entre a probabilidade de recompensa objetiva e a probabilidade de escolha subjetiva seguiu uma curva sigmoide, não uma correspondência 1:1 (mimetismo) nem uma função degrau perfeita.
  • O modelo DLLO capturou com alta precisão (Adj. $R^2 > 0.99$) essa relação.
  • O parâmetro de inclinação $\gamma$ foi consistentemente maior que 1 (média entre 1.7 e 2.2), indicando uma distorção que amplifica as diferenças de probabilidade, empurrando a escolha para a opção mais provável, mas mantendo uma certa suavidade.
  • Implicação Econômica: Pequenos aumentos em $\gamma$ (de 1 para ~2) geram grandes ganhos de recompensa esperada, com retornos decrescentes para valores extremos. Os participantes operam em uma "região de alto rendimento" que maximiza a recompensa sem exigir precisão temporal infinita.

• Incerteza Temporal Modulada pela Recompensa:

  • Ao comparar os modelos, o Embaçamento Probabilístico (incerteza dependente da recompensa) explicou os dados significativamente melhor do que o Embaçamento Temporal (Lei de Weber).
  • A precisão temporal foi maior nos momentos de alta probabilidade de recompensa e menor quando a recompensa era improvável. Isso contradiz a Lei de Weber clássica, que prevê que a incerteza aumenta apenas com a duração do intervalo.

• Parâmetro de Cruzamento ($p_0$):

  • O ponto de cruzamento subjetivo ($p_0$) variou entre as condições, mas com pouco impacto no ganho total de recompensa. Isso sugere que $p_0$ reflete viéses latentes na inferência de tempo ou recompensa, em vez de um ajuste estratégico fino.

4. Contribuições Chave

1. Novo Paradigma de Inferência: Formaliza a escolha dependente do tempo como um problema de inferência sob dupla incerteza (tempo e recompensa), onde a recompensa é uma função latente do tempo.
2. Mecanismo de Distorção Log-Odds: Identifica que a transformação de probabilidades inferidas para ação ocorre através de uma transformação linear no espaço de log-odds, distinta das distorções de probabilidade estáticas (como na Teoria do Prospecto).
3. Refutação da Lei de Weber em Contextos Dinâmicos: Demonstra que a precisão temporal não é uma função intrínseca da duração, mas é adaptativamente modulada pela relevância comportamental (probabilidade de recompensa).
4. Princípios Computacionais Interagentes: Estabelece dois princípios que moldam o comportamento:
   • Mapeamento dinâmico de probabilidade de recompensa para escolha (via DLLO).
   • Precisão temporal baseada em recompensa (em vez de baseada em tempo).

5. Significado e Implicações

Este trabalho oferece uma unificação teórica entre o cronometramento intervalar, a estimativa de recompensa e a transformação de probabilidade.

• Neurociência Cognitiva: Sugere que o cérebro não trata o tempo e a recompensa como variáveis independentes; a expectativa de recompensa pode regular a resolução das representações temporais internas (possivelmente via sinais dopaminérgicos de erro de previsão).
• Tomada de Decisão: Mostra que os agentes humanos não buscam apenas a precisão temporal absoluta, mas otimizam a alocação de recursos cognitivos (precisão temporal) para os momentos onde a decisão é mais crítica (alta recompensa).
• Aplicações Futuras: O framework pode ser estendido para espaços de ação mais complexos e investigado em nível neural para entender como essas transformações log-odds e a modulação da incerteza temporal são implementadas biologicamente.

Em suma, o estudo revela que a escolha humana em ambientes dinâmicos é governada por uma inferência conjunta sofisticada, onde a precisão do relógio interno é ajustada pela importância da recompensa, e as probabilidades inferidas são distorcidas de forma sistemática para maximizar o retorno esperado dentro das limitações cognitivas.