Trial-by-Trial Behavioral Adaptation in a Restless Bandit Task: A Mixed-Effects Modeling Approach

Todos os dias, fazemos escolhas em um mundo que nunca fica parado. A cafeteria que era a melhor opção esta manhã pode estar lotada amanhã; a rota para o trabalho que era rápida ontem pode estar bloqueada hoje. Para navegar neste cenário mutável, nossos cérebros devem constantemente atualizar o que sabemos e ajustar nosso comportamento. Este processo de aprender com a experiência enquanto as regras do jogo estão mudando é um enigma central para cientistas que estudam como pensamos e decidimos. Uma forma poderosa de pesquisadores explorarem isso é através de uma configuração chamada tarefa de "bandido inquieto" (restless bandit). Imagine sentar-se à frente de quatro máquinas caça-níqueis. Em um jogo padrão, você poderia aprender qual delas paga mais e manter-se nela. Mas em uma versão inquieta, as máquinas mudam suas taxas de pagamento enquanto você joga. A máquina que estava pagando bem um momento atrás pode subitamente parar, enquanto outra que estava silenciosa pode começar a pagar. Para se sair bem, você não pode apenas confiar em uma regra fixa; você deve continuar observando, aprendendo e adaptando suas escolhas em tempo real.

Um novo estudo do pesquisador Erfan Jaripour oferece um novo olhar sobre como as pessoas lidam com esse tipo de desafio dinâmico. Em vez de tentar adivinhar a matemática mental oculta que as pessoas usam para tomar essas decisões, o estudo foca inteiramente no que pode ser visto e medido: as escolhas reais que as pessoas fazem, as recompensas que elas recebem, a rapidez com que respondem e quando decidem mudar sua atenção para uma opção diferente. Ao analisar uma coleção massiva de dados de quase mil pessoas jogando uma versão de quatro escolhas deste jogo, o pesquisador mapeou exatamente como o comportamento muda de um momento para o outro. O objetivo não era construir um modelo computacional complexo do cérebro, mas sim criar um retrato estatístico preciso de como a tomada de decisão humana evolui quando o ambiente se recusa a permanecer o mesmo.

O pesquisador examinou dados de 965 participantes que fizeram mais de 139.000 escolhas individuais no total. Cada pessoa jogou um jogo onde tinha que escolher uma de quatro opções repetidamente. O valor dessas opções mudava ao longo do tempo, criando três versões diferentes do jogo com padrões de mudança ligeiramente distintos. O pesquisador rastreou quatro coisas específicas: se a pessoa escolheu a opção que estava pagando mais no momento, quanto dinheiro ela realmente ganhou, quão rápido ela fez sua escolha e se ela mudou para uma opção diferente daquela que escolheu na vez anterior. Para dar sentido a essa enorme quantidade de dados, eles usaram um método estatístico sofisticado que pudesse levar em conta o fato de que cada pessoa é diferente. Essa abordagem permitiu que vissem as tendências gerais em todo o grupo, respeitando também a maneira única de cada indivíduo se adaptar às regras mutáveis.

A descoberta mais marcante foi que as pessoas não simplesmente melhoram no jogo em uma linha reta e constante. Se você fosse plotar a probabilidade de alguém escolher a melhor opção ao longo do tempo, a linha não subiria em um ângulo constante. Em vez disso, ela faria uma curva. O estudo descobriu que a forma dessa curva dependia fortemente da versão específica do jogo sendo jogada. Em uma versão do jogo, a probabilidade de escolher a melhor opção seguiu um caminho que curvava para cima, sugerindo uma melhoria constante que acelerava. Em outra versão, o caminho curvava para baixo, indicando que, embora as pessoas melhorassem inicialmente, sua capacidade de manter a melhor escolha eventualmente estagnava ou mudava de uma forma diferente. Isso significa que a maneira como as pessoas se adaptam não é um processo único e universal; ela é profundamente moldada pela estrutura específica do ambiente mutável em que se encontram.

O estudo também revelou que as pessoas variam significamente em como começam e como mudam. Alguns participantes começaram o jogo com uma alta tendência de escolher a melhor opção, enquanto outros começaram mais baixo. Mais importante ainda, a maneira como eles mudaram ao longo do tempo foi única para cada um. Algumas pessoas mostraram uma melhoria inicial rápida que desacelerou, enquanto outras mostraram um padrão de aprendizado diferente. Os modelos estatísticos confirmaram que essas diferenças no desempenho basal e na velocidade e forma de aprendizado eram reais e consistentes, não apenas ruído aleatório. Isso destaca que, embora existam padrões gerais em como os humanos se adaptam, a trajetória específica dessa adaptação é uma experiência altamente pessoal.

Olhar para as outras medidas forneceu nuances adicionais à imagem. A quantia de dinheiro que as pessoas realmente ganharam nem sempre correspondia ao padrão de suas escolhas. Mesmo quando as pessoas estavam escolhendo a melhor opção com mais frequência, a recompensa total que recebiam poderia mudar de uma maneira diferente, dependendo da versão do jogo. Isso mostra que fazer a escolha "certa" e obter uma recompensa alta são resultados relacionados, mas distintos, em um ambiente de mudança. Da mesma forma, a velocidade de tomada de decisão mudou ao longo do tempo. Conforme o jogo avançava, as pessoas geralmente tornavam-se mais rápidas, levando menos tempo para fazer suas escolhas. No entanto, esse aumento de velocidade aconteceu em uma taxa semelhante, independentemente de qual versão do jogo estivessem jogando, sugerindo que a prática geral de tomar decisões tornou-se mais eficiente para todos, mesmo que a estratégia específica para escolher a melhor opção diferisse.

O pesquisador também observou com que frequência as pessoas mudavam suas escolhas. Em geral, as pessoas mudavam menos frequentemente conforme o jogo progredia, sugerindo que estavam se estabelecendo em um ritmo. No entanto, a taxa na qual paravam de mudar dependia da versão do jogo. Em uma versão, as pessoas reduziram suas mudanças de forma muito mais acentuada do que em outra. Isso indica que o próprio ambiente sinaliza ao jogador se vale a pena manter uma escolha ou explorar novas opções. O estudo notou cuidadosamente que, embora esses padrões descrevam exatamente o que as pessoas fizeram, eles não explicam a mecânica mental oculta por trás disso. O pesquisador não mediu o que as pessoas estavam pensando, acreditando ou calculando em suas cabeças. Ele simplesmente mediu o resultado: as escolhas, a velocidade e as recompensas.

Essa distinção é crucial. O estudo prova que o comportamento observável em um mundo dinâmico segue padrões complexos e não lineares que variam por pessoa e por ambiente. Mostra que a adaptação não é uma melhoria simples e de linha reta, mas um processo curvo e mutável. Ao mapear esses padrões com tal precisão, o estudo fornece uma base sólida para pesquisas futuras. Cientistas agora podem usar essas descrições detalhadas do comportamento no mundo real para testar teorias sobre como o cérebro aprende. Eles podem perguntar se modelos computacionais específicos de aprendizado conseguem reproduzir as curvas e variações exatas vistas nestes dados. Até lá, o estudo permanece como uma descrição clara e quantitativa de como o comportamento humano se curva e se desloca quando o mundo ao seu redor se recusa a ficar parado. Ele confirma que, em um mundo inquieto, nossas escolhas não são estáticas; são uma dança contínua e evolutiva de adaptação, moldada tanto pelas regras do jogo quanto pela mente única do jogador.