💻 computer science

Noncooperative Human-AI Agent Dynamics

Este artigo investiga as dinâmicas de interações não cooperativas entre agentes de IA (que maximizam a utilidade esperada) e decisores humanos (modelados pela Teoria do Prospecto), utilizando simulações numéricas em jogos matriciais para analisar comportamentos emergentes e anomalias estratégicas em populações mistas.

Autores originais: Dylan Waldner, Vyacheslav Kungurtsev, Mitchelle Ashimosi

Publicado 2026-03-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dylan Waldner, Vyacheslav Kungurtsev, Mitchelle Ashimosi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está organizando um grande torneio de jogos de tabuleiro, mas com uma reviravolta curiosa: metade dos jogadores são robôs super-racionais e a outra metade são humanos reais (ou robôs programados para agir como humanos reais).

Este artigo científico, escrito por Dylan Waldner e colegas, é como um relatório detalhado sobre o que acontece quando esses dois mundos colidem. Eles querem entender: quando um robô que só pensa em "lucro matemático" joga contra um humano que age por "medo, emoção e intuição", quem ganha? O jogo muda? O equilíbrio se quebra?

Aqui está a explicação do estudo, traduzida para uma linguagem simples e cheia de analogias:

1. Os Dois Tipos de Jogadores

Para entender o estudo, precisamos conhecer os dois "personagens" principais:

O Robô (IA de Utilidade Esperada): Pense nele como um matemático frio e calculista. Ele segue a regra de ouro da economia clássica: "Faça sempre a escolha que traz o maior ganho matemático possível, sem se importar com o passado ou com o medo." Ele é como um jogador de xadrez que nunca comete erros emocionais.
O Humano (Teoria do Prospecto): Aqui entra a mágica. Os humanos não são robôs. Nós temos "vícios" mentais. O estudo usa a Teoria do Prospecto para modelar isso.
- Medo de Perder: Para um humano, perder R$ 100 dói muito mais do que a alegria de ganhar R$ 100.
- Referência: Nós não olhamos apenas para o resultado final, mas para onde estamos em relação ao que esperávamos. Se você ganha R$ 10, mas esperava R$ 100, você se sente um fracasso.
- Probabilidade Distorcida: Nós tendemos a ter medo de chances muito pequenas (como ganhar na loteria) e ignorar riscos grandes se parecerem improváveis.

2. O Campo de Batalha: Os Jogos

Os pesquisadores colocaram esses dois tipos de agentes para jogar vários jogos clássicos, como se fossem arenas de luta:

Dilema do Prisioneiro: O clássico "trair ou cooperar".
Cara ou Coroa (Matching Pennies): Um jogo de sorte e estratégia pura.
Caça ao Veado (Stag Hunt): Um jogo sobre confiança. Você pode ir atrás de uma presa pequena e segura (coelho) ou tentar uma presa grande (veado) que exige cooperação, mas se o outro falhar, você fica sem nada.
Jogo da Galinha (Chicken): Quem cede primeiro? É o jogo de "quem pisca primeiro perde".
Batalha dos Sexos: Dois querem ir a lugares diferentes, mas preferem estar juntos a estar sozinhos.

3. O Que Eles Descobriram? (As Surpresas)

O estudo rodou milhares de simulações e encontrou comportamentos fascinantes e, às vezes, estranhos:

A. O Robô é "Frio", mas o Humano é "Imperfeito"

Em jogos simples de uma única rodada, os robôs geralmente vencem ou empatam porque seguem a lógica perfeita. Mas, quando os humanos (ou robôs simulando humanos) jogam, eles às vezes fazem movimentos que parecem "burros" para um matemático, mas fazem sentido para a psicologia humana.

B. O Efeito "Espelho" e a Confusão

Um dos achados mais interessantes foi que, em alguns jogos, os humanos (agentes de aprendizado) começaram a fazer movimentos estranhos e imprevisíveis quando jogavam contra os robôs.

Analogia: Imagine que você está jogando xadrez contra um computador. De repente, você começa a mover as peças de um jeito que não faz sentido lógico, apenas porque está "tensso" ou tentando adivinhar o que o computador vai fazer. O estudo mostrou que essa "tensão" (medo de perder) faz os humanos mudarem de estratégia de formas que os robôs não esperavam.

C. O Paradoxo da Recompensa

Em alguns casos, mesmo quando os humanos jogavam de forma "errada" (longe do equilíbrio perfeito), eles não perdiam dinheiro.

Analogia: É como dirigir em uma estrada. O GPS (o robô) diz o caminho mais rápido. Você (o humano), com medo de bater, dirige um pouco mais devagar e faz curvas estranhas. No final, você chega no mesmo lugar, mas gastou mais tempo e energia. O estudo mostrou que, em alguns jogos, a "irracionalidade" humana não custou nada extra, ou até ajudou a manter um equilíbrio estranho.

D. O "Ponto de Quebra" (Pathologias)

Existem jogos onde a lógica matemática diz que deve haver um equilíbrio perfeito. Mas quando humanos entram na sala, esse equilíbrio some.

Analogia: Imagine uma balança perfeitamente equilibrada. Se você colocar um peso de chumbo (lógica pura), ela fica estável. Se você colocar uma pena que voa com o vento (emoção humana), a balança começa a oscilar e nunca para. O estudo encontrou jogos onde, com humanos, o "equilíbrio" simplesmente desaparece e os jogadores ficam girando em círculos sem chegar a um ponto final.

4. Por Que Isso Importa para o Mundo Real?

O estudo não é apenas sobre jogos de tabuleiro. Ele é um aviso e uma ferramenta para o futuro:

Mercado Financeiro: Se robôs de trading (que são lógicos) lutam contra humanos (que têm medo e ganância), o mercado pode ficar instável de formas que os modelos antigos não previam.
Carros Autônomos: Um carro autônomo (robô) precisa saber como um motorista humano (emocional) vai reagir quando ele estiver quase batendo. Se o carro esperar que o humano aja como um robô, ele pode causar um acidente.
Segurança Cibernética: Hackers humanos agem por emoção e medo. Sistemas de defesa automatizados precisam entender essa "irracionalidade" para se protegerem melhor.

Conclusão Simples

Este artigo nos diz que não podemos tratar humanos como robôs com um pouco de erro. A "irracionalidade" humana (medo, referência ao passado, aversão à perda) cria dinâmicas de jogo totalmente novas.

Quando misturamos a lógica fria da IA com a mente quente e emocional do humano, o resultado não é apenas uma soma de dois jogadores, mas uma nova espécie de comportamento que pode ser imprevisível, às vezes ineficiente, mas muitas vezes surpreendentemente resiliente. O futuro da convivência entre humanos e IA depende de entendermos que, às vezes, o "erro" humano é, na verdade, uma estratégia de sobrevivência.

Título: Dinâmicas de Interação Não Cooperativa entre Agentes Humanos e de IA

Autores: Dylan Waldner, Vyacheslav Kungurtsev e Mitchelle Ashimosi
Data: 19 de março de 2026

1. Problema e Motivação

O artigo investiga as dinâmicas emergentes em ambientes estratégicos não cooperativos onde agentes de Inteligência Artificial (IA) e tomadores de decisão humanos interagem. O problema central reside na modelagem realista dessas interações:

Agentes de IA: São tradicionalmente modelados como maximizadores de Utilidade Esperada (EU - Expected Utility), assumindo racionalidade perfeita e alinhamento com objetivos de recompensa.
Agentes Humanos: A literatura de Economia Comportamental rejeita o modelo do Homo Economicus. Em vez disso, os humanos são melhor modelados pela Teoria do Prospecto (PT - Prospect Theory), que incorpora heurísticas cognitivas como dependência de referência, aversão à perda e ponderação não linear de probabilidades.

A questão de pesquisa é: Como as populações mistas (IA com EU vs. Humanos com PT) convergem em jogos repetidos? Existem vantagens competitivas sistêmicas ou vulnerabilidades decorrentes desses vieses comportamentais? O trabalho busca preencher a lacuna entre a teoria de jogos clássica e a realidade do aprendizado por reforço (RL) em populações heterogêneas.

2. Metodologia

2.1. Modelagem dos Agentes

O estudo define três tipos de agentes para simulações em jogos de matriz $2 \times 2$ :

Agente de IA (EU): Utiliza Aprendizado por Reforço padrão (Q-Learning) para maximizar a recompensa esperada descontada ou média, sem viés comportamental.
Humano Consciente (AH - Aware Human): Possui conhecimento completo da estrutura do jogo e das recompensas. Calcula a melhor resposta exata usando a transformação de valor da Teoria do Prospecto (CPT) sobre a tabela de pagamentos, sem aprendizado iterativo (comportamento estático ótimo).
Humano Aprendedor (LH - Learning Human): Não possui conhecimento prévio. Utiliza Q-Learning com recompensa média, mas aplica a transformação de CPT aos valores Q (Q-values) no momento da decisão para refletir a aversão à perda e a ponderação de probabilidade.

2.2. Teoria do Prospecto (CPT) Implementada

A implementação segue a Teoria do Prospecto Cumulativa (CPT) de Kahneman e Tversky:

Função de Valor ( $v$ ): Não linear, com "kink" (quebra) no ponto de referência. A aversão à perda ( $\lambda > 1$ ) faz com que perdas sejam sentidas mais intensamente do que ganhos equivalentes.
Ponderação de Probabilidade ( $w$ ): Funções em forma de "S" invertido que superpesam probabilidades baixas e subpesam probabilidades altas.
Pontos de Referência Dinâmicos: O estudo testa quatro modelos de atualização do ponto de referência ( $r_i$ $r_{i}$ ):
- EMA: Média Móvel Exponencial das recompensas recebidas.
- V-Based: Baseado nos valores Q aprendidos (expectativas racionais).
- EMAOR: Comparação social (baseado nas recompensas do oponente).
- Fixed: Ponto de referência estático.

2.3. Configuração Experimental

Jogos: Uma suíte de jogos clássicos (Prisioneiro, Moeda Correspondente, Caça ao Veado, Batalha dos Sexos, Galinha) e jogos anômalos projetados para quebrar equilíbrios na PT (Jogo de Ochs, Contraexemplo de Crawford).
Histórico de Estado: Simulações realizadas com histórico de estado $n=0$ (jogo único/sem memória) e $n=2$ (jogo repetido com memória limitada para capturar padrões como "Tit-for-Tat").
Algoritmo: Q-Learning com atualização de crenças sobre as ações do oponente (EMA) e lógica de desempate baseada em softmax quando os valores transformados estão próximos.

3. Contribuições Principais

Modelagem Heterogênea: É o primeiro trabalho a estudar empiricamente o comportamento assintótico de populações mistas (PT vs. EU) em jogos não cooperativos $2 \times 2$ .
Distinção de Agentes: Separa explicitamente entre agentes "conscientes" (com conhecimento perfeito) e "aprendedores" (que descobrem a dinâmica via interação), permitindo analisar o impacto do aprendizado sob viés cognitivo.
Q-Learning com Múltiplos Regimes de Referência: Formula e estuda a aplicação de Q-Learning onde a função de valor é transformada por CPT e o ponto de referência é dinâmico.
Análise de Anomalias: Identifica comportamentos emergentes que não são previstos pela teoria de jogos clássica, especialmente em jogos de coordenação e de risco.

4. Resultados Numéricos e Observações

4.1. Jogos Clássicos

Dilema do Prisioneiro: A maioria das combinações convergiu para o equilíbrio de traição mútua (0,0), conforme esperado. No entanto, foram observadas anomalias onde o Agente Aprendedor (LH) cooperou em ~10% das vezes contra o Humano Consciente (AH) sob certos pontos de referência (EMAOR), sugerindo que a aversão à perda pode, paradoxalmente, levar a comportamentos de cooperação em contextos específicos de referência.
Moeda Correspondente (Matching Pennies): O jogo zero-sum mostrou desvios significativos do equilíbrio misto (0.5, 0.5). O agente LH exibiu comportamentos anômalos (ex: razão de ações 9:1), embora as recompensas médias permanecessem equilibradas. Isso indica que a PT pode levar a políticas extremas que ainda resultam em equilíbrio de recompensa devido à estabilidade do oponente.
Caça ao Veado (Stag Hunt): A maioria das interações convergiu para o equilíbrio de coordenação (Stag), mas combinações de IA vs. IA e LH vs. IA (com referência V-Based) caíram no equilíbrio de segurança (Hare), demonstrando como a aversão à perda pode impedir a coordenação ótima.
Batalha dos Sexos: O agente LH frequentemente falhou em encontrar o equilíbrio puro ótimo, convergindo para políticas mistas subótimas ou cedendo a maior parte da recompensa. Em jogos repetidos, observaram-se novos pontos de convergência não previstos pela teoria clássica.

4.2. Jogos Anômalos (Pathology)

Contraexemplo de Crawford e Jogo de Ochs: Estes jogos são conhecidos por não terem equilíbrio de Nash em preferências PT.
- Os resultados confirmaram que agentes PT (LH e AH) tendem a convergir para estratégias puras em vez de mistas, falhando em encontrar o equilíbrio misto teórico (0.5, 0.5).
- Isso valida a teoria de que a não-linearidade da PT quebra a convexidade necessária para a existência de equilíbrios mistos clássicos, levando a patologias de convergência.

4.3. Métricas de Comportamento

Taxa de Mudança de Ação: O agente LH apresentou taxas de mudança de ação induzidas pela CPT significativamente altas (até 50% em Ochs' Game), indicando que a transformação de valor altera drasticamente a escolha da ação em relação ao que um agente EU escolheria.
Norma L2 (CPT vs. EU): Em muitos casos, a magnitude da transformação CPT (distância entre valores EU e PT) foi enorme, mas não correlacionou diretamente com mudanças drásticas no comportamento final ou recompensas, sugerindo que o sistema pode ser robusto a certas distorções de valor.

5. Significância e Conclusões

O artigo demonstra que a interação entre IAs racionais (EU) e humanos comportamentais (PT) gera dinâmicas complexas que não podem ser previstas apenas pela teoria de jogos clássica:

Vantagens e Desvantagens: Não há uma vantagem competitiva clara e consistente para nenhum dos lados em termos de recompensa total. No entanto, os agentes humanos (LH) tendem a convergir para equilíbrios mistos subótimos ou falhar em coordenações ótimas devido à aversão à perda.
Implicações para Segurança de IA: A modelagem correta dos vieses humanos é crucial para prever o comportamento de sistemas autônomos em mercados financeiros, navegação de veículos autônomos e cibersegurança. IAs que ignoram a PT podem explorar ou ser exploradas de maneiras não intuitivas.
Limitações e Futuro: O estudo revela que a convergência para equilíbrios em populações mistas é instável e depende fortemente da definição do ponto de referência. Trabalhos futuros devem focar em modelar crenças como parte do estado do agente e aplicar esses modelos a jogos de bens públicos e simulações do mundo real para desenvolver mecanismos de design que mitiguem riscos sistêmicos.

Em resumo, o trabalho fornece um framework analítico inicial para entender como os vieses cognitivos humanos distorcem os pontos de convergência estratégica quando competem com agentes de IA otimizados, destacando a necessidade de incorporar a psicologia humana no desenvolvimento de sistemas de IA seguros e robustos.