Adaptive Noise in Human Game Play: An Information-Theoretic Signature that Separates Learning Models on Matching-Pennies Data

No estudo de como as pessoas aprendem a tomar decisões, os cientistas frequentemente observam jogos onde dois jogadores competem, tentando um superar o outro. Um exemplo clássico é um simples jogo de "matching pennies" (moedas coincidentes), onde um jogador vence se as moedas coincidirem e o outro vence se não coincidirem. Para ter sucesso, um jogador deve ser imprevisível; se ele cair em um padrão, seu oponente o detectará e o explorará. Ao mesmo tempo, um jogador deve prestar atenção ao que seu oponente está fazendo para ajustar sua própria estratégia. Isso cria um equilíbrio delicado: um jogador precisa ser aleatório o suficiente para evitar ser previsível, mas inteligente o suficiente para reagir à outra pessoa. Por décadas, os modelos de computador padrão usados para simular o aprendizado humano lutaram com esse equilíbrio. Esses modelos normalmente começam com muitos palpites aleatórios, mas tornam-se gradualmente mais confiantes e determinísticos à medida que aprendem, estabelecendo-se eventualmente em uma rotina rígida e previsível. Esse comportamento, no entanto, não condiz com o que as pessoas reais realmente fazem em laboratório.

Um novo estudo de Pratyush Mahadevaiah investiga essa discrepância analisando dados de centenas de pessoas jogando esses jogos ao longo de longas sessões. Em vez de tentar ajustar uma fórmula matemática complexa aos resultados, o pesquisador utilizou um método da teoria da informação para medir duas qualidades específicas do comportamento dos jogadores ao longo do tempo. A primeira qualidade é a quantidade de aleatoriedade, ou "ruído", nas escolhas de um jogador. A segunda é uma medida de quanto o próximo movimento de um jogador é influenciado pelo último movimento de seu oponente. Ao rastrear esses dois fatores através de 108 grupos diferentes de jogadores, o estudo revela um padrão distinto no comportamento humano que os modelos de computador padrão não conseguem replicar. A pesquisa mostra que os humanos mantêm um nível constante de imprevisibilidade durante todo o jogo, enquanto permanecem simultaneamente altamente responsivos às ações de seus oponentes. Em contraste, os modelos de aprendizado mais comuns usados por cientistas tornam-se excessivamente previsíveis e param de reagir aos seus oponentes conforme o jogo avança.

Os dados provêm de um grande conjunto de experimentos onde grupos de oito pessoas jogaram uma série de jogos de "matching pennies" por 200 rodadas cada. Os pesquisadores registraram cada movimento feito por cada jogador, criando uma linha do tempo detalhada de decisões. Eles então aplicaram uma medição específica para ver quanta informação o movimento atual de um jogador continha sobre o movimento anterior de seu oponente. Essa medição, conhecida como entropia de transferência, atua como um detector de responsividade. Se um jogador está realmente prestando atenção e ajustando sua estratégia com base no que a outra pessoa acabou de fazer, esse número será alto. Se o jogador está apenas agindo com base em sua própria lógica interna, sem considerar o oponente, o número será baixo. Quando os pesquisadores analisaram os dados humanos, descobriram que os jogadores mantiveram um alto nível de aleatoriedade, com uma medida média de imprevisibilidade permanecendo em torno de 0,64 bits ao longo do jogo. Mais importante ainda, eles mostraram um forte sinal de responsividade, com suas escolhas sendo claramente influenciadas pelo último movimento de seu oponente.

Quando a mesma análise foi aplicada a um modelo de computador padrão chamado Q-learning, os resultados foram drasticamente diferentes. Este modelo, que é amplamente utilizado para simular como agentes aprendem a partir de recompensas, começou com alguma aleatoriedade, mas a perdeu rapidamente. Em cerca de trinta rodadas, o comportamento do modelo tornou-se quase inteiramente previsível, reduzindo sua medida de aleatoriedade para quase zero. Como se tornou tão previsível, ele também parou de reagir ao seu oponente; a medida de responsividade caiu para quase nada. Os pesquisadores testaram se simplesmente alterar as configurações deste modelo de computador poderia resolver o problema. Eles tentaram tornar o modelo mais aleatório ajustando suas configurações internas de "temperatura", mas isso apenas criou um compromisso. Quando o modelo era tornado mais aleatório, tornava-se menos responsivo ao oponente. Quando era tornado mais responsivo, tornava-se menos aleatório. Nenhuma configuração única permitiu que o modelo fosse imprevisível e atento ao mesmo tempo, uma combinação que os humanos alcançaram naturalmente.

O estudo testou então quatro outros modelos de aprendizado comuns para ver se algum deles conseguia reproduzir o padrão humano. A maioria desses modelos falhou de maneiras semelhantes: alguns tornaram-se excessivamente rígidos e previsíveis, enquanto outros permaneceram aleatórios, mas falharam em prestar atenção ao oponente. No entanto, um modelo específico, conhecido como "self-tuning experience-weighted attraction" (atração ponderada pela experiência de ajuste automático), teve sucesso onde os outros falharam. Este modelo, que atualiza sua estratégia com base tanto em recompensas passadas quanto em um mecanismo que detecta mudanças no jogo, conseguiu manter-se tanto aleatório quanto responsivo. Seu comportamento aproximou-se muito dos dados humanos, ocupando o mesmo espaço no gráfico onde os jogadores humanos foram encontrados. Embora este modelo não tenha correspondido perfeitamente aos números humanos, foi o único que chegou perto de capturar a natureza dual do jogo humano.

As descobertas sugerem que a forma como os humanos aprendem em situações competitivas é estruturalmente diferente de como os modelos padrão de aprendizado por reforço operam. Os humanos não se tornam simplesmente mais confiantes e menos aleatórios à medida que ganham experiência; em vez disso, mantêm um nível constante de ruído adaptativo que permite que permaneçam imprevisíveis enquanto ainda monitoram o oponente. O estudo não afirma provar que este modelo de computador específico é exatamente como o cérebro humano funciona, mas identifica uma característica crucial que qualquer modelo bem-sucedido de aprendizado humano deve possuir. Para descrever com precisão como as pessoas jogam esses jogos, um modelo deve ser capaz de ser ruidoso e atento ao mesmo tempo. Essa percepção ajuda a restringir a busca por melhores teorias do comportamento humano, indo além de simples previsões do que as pessoas farão a seguir para compreender as qualidades dinâmicas de como elas aprendem e se adaptam ao longo do tempo.