Resumo Técnico: Um Framework Baseado em Entropia para Coalizões Híbridas em Teoria dos Jogos. Parte I: Arbitragem Humana

1. Definição do Problema

A Teoria dos Jogos clássica, enraizada no framework de von Neumann e Morgenstern, assume agentes com autoridade de decisão fixa e estruturas de preferência padrão que satisfazem axiomas como completude, transitividade e a propriedade arquimediana. No entanto, sistemas híbridos Humano–IA apresentam um desafio fundamental: a autoridade de execução pode alternar endogenamente entre componentes Humanos e de IA dentro de um ambiente digital. Em tais configurações, o comportamento da coalizão não pode ser representado por uma ordenação de preferência suave única ou uma função de utilidade padrão. As abordagens híbridas existentes frequentemente misturam utilidades ou tratam a autoridade como estática, falhando em capturar a dinâmica de controle alternado onde o agente executor é selecionado a cada etapa com base na divergência de políticas. Este artigo aborda a insuficiência dos conceitos de equilíbrio clássicos para coalizões híbridas operando sob "Natureza Virtual" (o análogo algorítmico da Natureza clássica) e busca formalizar um framework onde a delegação é dinâmica e dependente de regime.

2. Metodologia: Neo-Teoria dos Jogos

Os autores introduzem a Neo-Teoria dos Jogos, uma extensão da Teoria dos Jogos clássica projetada para coalizões híbridas Humano–IA. O framework é construído sobre os seguintes pilares:

2.1. Natureza Virtual e Jogos Híbridos

O ambiente é modelado como Natureza Virtual ($V$), uma função de transição $V: S \times A \to \Delta(S)$ que captura estocasticidade algorítmica, limiares rígidos e descontinuidades. Um jogo híbrido é definido como uma tupla $N(V) = (S, A, U, \lambda, P_V)$, onde:

• $S$ é o espaço de estados.
• $A$ é o espaço comum de ações executadas (união dos conjuntos de propostas Humana e de IA).
• $U = \{U_H, U_{AI}\}$ são funções de utilidade individuais.
• $\lambda_T \in \{0, 1\}$ é um fator de delegação binário que determina qual agente executa a ação no tempo $T$.
• $P_V$ é o kernel de transição gerado pela Natureza Virtual.

2.2. Departures Axiomáticas

O framework relaxa axiomas clássicos no nível da coalizão:

• Falha de Transitividade: O controle alternado pode induzir preferências reveladas não transitivas (ex: $A \succ B, B \succ C, C \succ A$) mesmo que os agentes individuais sejam transitivos.
• Falha do Axioma Arquimediano: A coalizão não exibe trocas suaves (trade-offs); o ajuste humano é gradual, enquanto a otimização da IA pode ser discreta.
• Utilidade Lexicográfica: Os resultados da coalizão são comparados lexicograficamente. O regime de execução (Humano vs. IA) é selecionado antes da avaliação de utilidade, o que significa que não existe compensação (trade-off) entre regimes.

2.3. Mecanismo de Delegação Baseado em Entropia

A delegação é determinada pela divergência de Jensen–Shannon (JS) ($D_{JS}$) entre a política empírica Humana ($p_H$) e a política de IA ($p_{AI}$). O framework utiliza dois limiares fixos, $\alpha_{agree}$ e $\alpha_{disagree}$, para particionar o espaço de políticas em três regimes:

1. Acordo ($D_{JS} \le \alpha_{agree}$): A IA executa ($\lambda = 0$).
2. Desacordo ($D_{JS} \ge \alpha_{disagree}$): O Humano executa ($\lambda = 1$).
3. Contextual ($\alpha_{agree} < D_{JS} < \alpha_{disagree}$): A execução é determinada por uma regra probabilística onde a probabilidade de execução Humana é igual a $D_{JS}$.

2.4. Dinâmicas de Aprendizado e Equilíbrio

O artigo foca no Cenário 1: Arbitragem Humana, onde o Humano retém a autoridade de execução final.

• Atualizações de Política: A IA atualiza sua política em todos os regimes em direção à ação executada. O Humano atualiza sua política apenas no regime de acordo ($D_{JS} \le \alpha_{agree}$).
• Traços de Utilidade: As utilidades são atualizadas online usando uma média móvel exponencialmente ponderada (EWMA) baseada na ação executada.
• Conceito de Equilíbrio: O artigo define um Equilíbrio de Convergência de Frequência. Diferente dos equilíbrios de Nash clássicos (pontos fixos de melhores respostas), este é um equilíbrio de estabilização dinâmica do processo de adaptação de políticas estocásticas. Ele é caracterizado pela estabilização assintótica das frequências de regimes empíricos ($f_{agree}, f_{ctx}, f_{disagree}$).

3. Principais Contribuições

1. Formalização da Neo-Teoria dos Jogos: O artigo estabelece a base axiomática para coalizões híbridas, demonstrando como a autoridade alternada leva a estruturas de utilidade lexicográficas e potenciais falhas da transitividade clássica.
2. Delegação via Entropia: Propõe uma nova regra de delegação baseada na divergência de Jensen–Shannon, utilizando limiares para criar regimes de execução distintos (Acordo, Contextual, Desacordo).
3. Regime de Arbitragem Humana: Os autores desenvolvem e simulam o primeiro regime desta teoria, onde o Humano atua como o árbitro final enquanto a IA aprende por observação e correspondência de frequência.
4. Caracterização Teórica: O artigo prova que, sob tamanhos de passo de Robbins–Monro ou ganhos constantes, o sistema converge para uma distribuição estável de frequências de política. Estabelece que o processo de divergência é assintoticamente estacionário e ergódico sob condições específicas.

4. Resultados

Os autores realizaram simulações sobre vários horizontes ($H \in \{200, \dots, 50.000\}$) e grades de parâmetros (limiares, taxas de aprendizado, cronogramas de tamanho de passo e modos de geração de estado). As principais descobertas incluem:

• Convergência: Em todos os horizontes, as políticas Humana e de IA se alinham progressivamente, fazendo com que a divergência de Jensen–Shannon ($D_{JS}$) se aproxime de zero.
• Papel dos Parâmetros:
  • Taxa de Aprendizado ($\eta$): Tamanhos de passo constantes aceleram o alinhamento inicial, mas induzem pequenas oscilações. Tamanhos de passo decrescentes (Robbins–Monro) produzem trajetórias de convergência mais suaves e estáveis.
  • Limiares: Os limiares determinam a frequência das trocas de regime, mas não alteram o resultado de alinhamento a longo prazo.
  • Geração de Estado: Se os estados são gerados exogenamente (aleatórios) ou endogenamente (dependentes da ação) afeta a volatilidade de curto prazo, mas não o equilíbrio assintótico.
• Transiente vs. Assintótico: Os parâmetros influenciam primariamente o caminho de aprendizado transiente (velocidade e ruído) em vez da existência da convergência em si. Em horizontes suficientemente grandes ($H \ge 30.000$), o sistema atinge um regime saturado onde as políticas estão alinhadas e $D_{JS} \approx 0$, independentemente do cronograma de aprendizado ou da especificação ambiental.
• Estabilidade: O sistema demonstra um alinhamento de política robusto sem depender da otimização clássica de melhor resposta. A estabilidade emerge da execução repetida, adaptação empírica e da estrutura estatística da regra de delegação.

5. Significância e Alegações

O artigo afirma fornecer o primeiro regime (Arbitragem Humana) de um framework mais amplo de Neo-Teoria dos Jogos. Sua significância reside em:

• Fundação Teórica: Oferece uma base axiomática para sistemas híbridos onde a autoridade alterna, indo além de modelos que simplesmente agregam utilidades.
• Equilíbrio Comportamental: Redefine o equilíbrio não como um ponto fixo estratégico estático, mas como uma estabilização dinâmica de frequências empíricas e divergência de política.
• Implementação Prática: Os resultados das simulações validam que a delegação baseada em entropia pode robustamente impulsionar o alinhamento de políticas em sistemas híbridos, sugerindo um mecanismo viável para treinamento com humanos no ciclo (human-in-the-loop) e sistemas de IA sensíveis à confiança.

Os autores declaram explicitamente que este trabalho lança as bases para extensões futuras, especificamente os regimes de controle de IA e Negociação, que permitirão comparações sistemáticas com conceitos de solução estabelecidos, como os equilíbrios de Nash e Stackelberg, em ambientes mediados digitalmente. O artigo não pretende resolver todos os problemas de interação híbrida, mas sim formalizar uma classe específica de interações onde a autoridade de execução é endógena e orientada por políticas.