Modeling the dynamics of social exchange in groups with reinforcement learning and Theory of Mind

Este estudo demonstra que o compartilhamento de recursos em grupos é impulsionado não apenas pela reciprocidade, mas também por um comportamento alternado estratégico, no qual um modelo de aprendizado por reforço que incorpora a Teoria da Mente supera outras abordagens ao explicar como os indivíduos equilibram parcerias estáveis e a exploração de alternativas.

O essencial

O Jogo do "Presente": Como o Cérebro Decide Quem Receber

Imagine que você está em uma festa com dois amigos. Você tem apenas um biscoito para dar a um deles. Quem você escolhe? O amigo que te deu um biscoito ontem? Ou você tenta dar para o outro, para ver se ele também te dá um amanhã?

Este estudo de cientistas alemães e chineses investigou exatamente esse dilema, mas em um grupo de três pessoas, repetido por 90 vezes. Eles queriam entender: como as pessoas decidem compartilhar recursos em grupo? Será que somos apenas "espelhos" (retribuímos o que recebemos) ou temos uma "bola de cristal" mental (imaginamos o que os outros vão fazer)?

1. O Cenário: O Jogo do Biscoito

Os pesquisadores criaram um jogo chamado "Jogo do Presente".

• Em cada rodada, uma pessoa é escolhida aleatoriamente para ser o "Doador".
• Ela tem um token (como um ponto ou um biscoito) e deve dar para um dos outros dois.
• Os outros dois são apenas "Receptores" e não podem fazer nada naquela rodada.
• O jogo dura 90 rodadas.

O que eles descobriram no primeiro teste?
As pessoas não ficaram apenas dando para o mesmo amigo o tempo todo. Elas faziam algo curioso: alternavam. Se hoje você deu para o Amigo A, amanhã você tende a dar para o Amigo B.

• Por que? Não era apenas para ser "justo" (igualdade). Era uma estratégia: "Se eu ficar só com o Amigo A, posso perder a chance de fazer uma parceria boa com o Amigo B". É como tentar diferentes parceiros de dança para ver com quem você se dá melhor.

2. A Grande Pergunta: "Eu" ou "Nós"?

Aqui entra a parte genial do estudo. Os cientistas queriam saber: quando você decide dar o biscoito, você está apenas olhando para o passado ("Ele me deu antes, então vou dar para ele") ou está usando uma Teoria da Mente (ToM)?

• Teoria da Mente (ToM): É a capacidade de colocar-se no lugar do outro e pensar: "Se eu der este biscoito para o João, ele vai pensar que sou legal e vai me dar um de volta. Mas se eu der para a Maria, ela pode ficar ciumenta e não me dar nada."
• É como um xadrez mental onde você simula o jogo na cabeça do seu oponente antes de fazer seu movimento.

3. Os Três Experimentos: Testando a "Bola de Cristal"

• Experimento 1 (O Básico): As pessoas alternavam e retribuíam. Um modelo de computador que incluía essa "simulação mental" (Teoria da Mente) funcionou muito melhor do que modelos que apenas olhavam para o passado.
• Experimento 2 (O Jogo com "Perda"): Eles adicionaram uma regra chata: depois de alguém receber o biscoito, o computador podia tirar um biscoito aleatoriamente de um dos dois.
  • A Teoria da Justiça: Se as pessoas fossem apenas "justas", elas dariam o biscoito para quem perdeu mais (para compensar).
  • A Realidade: Elas deram para quem perdeu menos. Isso prova que não era sobre justiça, mas sobre estratégia. Elas queriam manter o parceiro que estava "mais seguro" para continuar trocando presentes.
• Experimento 3 (O Teste da Adivinhação): Aqui foi o pulo do gato. Enquanto o Doador decidia, os Receptores tinham que adivinhar para quem o Doador iria dar.
  • Se as pessoas fossem apenas máquinas de retribuição, elas seriam péssimas em adivinhar.
  • Resultado: Elas adivinharam muito bem! E o modelo que usava a "Teoria da Mente" foi o único que conseguiu prever essa habilidade de adivinhação. Isso significa que as pessoas estavam realmente simulando a mente do outro: "Eu sei que ele vai alternar, então eu vou adivinhar que ele vai mudar de alvo."

4. A Conclusão: Somos Estrategistas Mentais

O estudo nos ensina que, ao compartilhar recursos (seja dinheiro, tempo ou atenção), não somos apenas reativos. Nós somos arquitetos de relacionamentos.

• Não é só sobre "olho por olho": A retribuição existe, mas não é tudo.
• É sobre explorar: Nós alternamos para ver quem é o melhor parceiro a longo prazo.
• O Cérebro é um Simulador: A chave para o sucesso social é a nossa capacidade de imaginar o que o outro está pensando e como ele vai reagir ao nosso gesto.

Em resumo:
Imagine que a vida social é um jogo de cartas. O estudo mostra que os melhores jogadores não são aqueles que apenas olham para as cartas que já saíram (o passado), mas sim aqueles que conseguem imaginar quais cartas o outro jogador vai tirar e como ele vai reagir à sua jogada. Essa "simulação mental" é o que nos permite criar laços fortes e duradouros em grupos.

Resumo técnico

Resumo Técnico: Dinâmicas de Troca Social em Grupos via Aprendizado por Reforço e Teoria da Mente

1. Problema e Contexto

A partilha de recursos é uma forma fundamental de troca social que sustenta laços sociais em humanos e outras espécies. Embora a reciprocidade seja amplamente reconhecida como um mecanismo chave em interações diádicas (entre dois indivíduos), os processos dinâmicos subjacentes à alocação de recursos em grupos (três ou mais indivíduos) permanecem pouco compreendidos.

O desafio central reside em entender como os indivíduos equilibram a tensão entre:

• Manter parcerias estáveis baseadas na reciprocidade.
• Explorar alternativas e distribuir recursos de forma equitativa entre múltiplos parceiros.

Além disso, a literatura carece de modelos que expliquem se essas decisões são guiadas apenas pelo rastreamento passivo de comportamentos (Aprendizado por Reforço simples) ou se envolvem mecanismos cognitivos superiores, especificamente a Teoria da Mente (ToM), onde os agentes simulam mentalmente as intenções e reações dos outros.

2. Metodologia

Os autores conduziram três experimentos utilizando uma tarefa de jogo repetido chamada "Giving Game" (Jogo de Dar), envolvendo trios de participantes.

• Design Experimental:

  • Em cada rodada, um jogador é selecionado aleatoriamente como o "Agente" (Actor) e deve entregar um token a um dos outros dois jogadores (Receptores).
  • O papel de Agente é rotativo, garantindo que cada jogador atue como Agente em blocos de três rodadas.
  • Experimento 1: Jogo padrão de 90 rodadas para estabelecer padrões comportamentais.
  • Experimento 2: Introdução de uma dedução aleatória de tokens de um dos receptores após a decisão do Agente. O objetivo foi isolar a motivação de "justiça" (fairness) de estratégias adaptativas. Se a alternância fosse por justiça, os agentes deveriam compensar quem sofreu perdas; se fosse estratégica, o padrão poderia ser diferente.
  • Experimento 3: Introdução de uma tarefa de adivinhação. Enquanto o Agente decide, os receptores devem adivinhar quem receberá o token. Isso permite testar se os participantes possuem uma representação mental (modelo) do comportamento dos outros.

• Modelagem Computacional:
  Foram comparados quatro modelos computacionais para explicar os dados:

  1. Modelo de Reciprocidade (Reciprocity): O Agente dá ao receptor que mais lhe deu no passado.
  2. Modelo de Alternância (Alternating): O Agente dá ao receptor que recebeu menos dele no passado (busca distribuição equitativa).
  3. Modelo de Reciprocidade Alternada (Alternating Reciprocity): Combina os dois mecanismos anteriores.
  4. Modelo de Inferência Mental (Mental Infer): Um modelo de Aprendizado por Reforço com Teoria da Mente de Nível Superior (h-ToM). Assume que os participantes não apenas rastreiam ações, mas mantêm um modelo mental de que os outros também seguem o modelo de "Reciprocidade Alternada". Isso permite inferir como as próprias ações do Agente influenciarão as futuras respostas dos outros.

• Análise: Os modelos foram ajustados usando Estimativa de Máxima Verossimilhança (MLE) e comparados pelo Critério de Informação de Akaike (AIC). Simulações foram realizadas para verificar a capacidade de cada modelo de reproduzir os padrões comportamentais observados.

3. Resultados Principais

• Comportamento Observado:

  • Os participantes exibiram consistentemente uma taxa de alternância acima do acaso (mudança de receptor entre rodadas), indicando uma preferência por distribuir recursos de forma equitativa.
  • Houve também um forte efeito de reciprocidade: a probabilidade de alternância diminuiu quando o receptor anterior retribuiu o favor.
  • No Experimento 2, a dedução aleatória não levou a um comportamento de "justiça" (compensar quem perdeu). Pelo contrário, os agentes tendiam a alternar mais se o receptor anterior tivesse perdido menos tokens, sugerindo que a alternância é estratégica (exploração/manutenção de parcerias) e não motivada puramente por equidade de ganhos.

• Desempenho dos Modelos:

  • O Modelo de Inferência Mental (Mental Infer) superou consistentemente todos os outros modelos em todos os três experimentos, apresentando o menor AIC.
  • Embora o modelo "Alternating Reciprocity" capturasse bem os padrões de envio de tokens, ele falhou em prever o comportamento de adivinhação no Experimento 3.
  • No Experimento 3, os participantes adivinharam corretamente as escolhas dos outros acima do nível de acaso. Apenas o modelo Mental Infer conseguiu reproduzir essa precisão, pois ele simula a lógica de decisão do outro jogador.
  • Houve uma correlação significativa entre a probabilidade de um participante alternar suas próprias escolhas e a probabilidade de ele adivinhar que os outros também alternariam, indicando que os participantes projetam suas próprias preferências cognitivas nos outros (um mecanismo de ToM).

4. Contribuições Chave

1. Dinâmica de Grupos vs. Diádica: Demonstra que a troca social em grupos não é apenas uma extensão da reciprocidade diádica, mas envolve uma estratégia complexa de alternância para gerenciar múltiplos laços sociais simultaneamente.
2. Papel da Teoria da Mente (ToM): Fornece evidência robusta de que a alocação de recursos em grupos depende de um mecanismo de h-ToM. Os indivíduos não apenas reagem ao passado, mas simulam mentalmente como seus atos atuais moldarão as futuras reações dos parceiros.
3. Distinção entre Justiça e Estratégia: O Experimento 2 refuta a hipótese de que a distribuição equitativa é impulsionada por uma preocupação intrínseca com a justiça (fairness concern) em relação aos ganhos, sugerindo que é uma estratégia adaptativa para explorar e manter parcerias.
4. Validação de Modelos Computacionais: Estabelece que modelos de RL simples são insuficientes para capturar a complexidade da interação social em grupos, sendo necessário incorporar representações mentais hierárquicas para prever tanto a ação quanto a previsão do comportamento alheio.

5. Significância

Este estudo avança a compreensão dos mecanismos cognitivos por trás da cooperação humana. Ao integrar a Teoria da Mente em modelos de Aprendizado por Reforço, os autores demonstram que a formação e manutenção de laços sociais em grupos dependem da capacidade de "mentalizar" (simular a mente do outro).

Isso tem implicações profundas para:

• Neurociência Social: Sugere que regiões cerebrais associadas à ToM são cruciais não apenas para a empatia, mas para a tomada de decisão econômica estratégica em grupos.
• Inteligência Artificial: Aponta para a necessidade de agentes de IA em ambientes multiagente possuírem modelos internos das intenções dos outros para otimizar a cooperação e a negociação.
• Teoria da Troca Social: Atualiza teorias clássicas, mostrando que a avaliação custo-benefício na troca social é mediada por processos cognitivos complexos de simulação mental, e não apenas por cálculos diretos de recompensa.

Em suma, a pesquisa conclui que a eficácia na partilha de recursos e na formação de laços sociais depende criticamente da capacidade de inferir e simular as intenções dos outros, transcendendo a simples reatividade aos comportamentos passados.