Watermarking Game-Playing Agents in Perfect-Information Extensive-Form Games

Resumo Técnico: Marca d'água em Agentes de Jogos em Jogos de Informação Perfeita na Forma Extensiva

Declaração do Problema
O avanço rápido da inteligência artificial produziu agentes superhumanos para jogos como xadrez, Go e pôquer. Embora esses agentes demonstrem desempenho superior, seu uso não autorizado em ambientes competitivos (por exemplo, trapaça online) e o potencial para roubo de propriedade intelectual (PI) (por exemplo, plágio de código ou destilação de modelos) apresentam desafios significativos. Técnicas existentes de marca d'água para Modelos de Linguagem de Grande Porte (LLMs), que codificam sinais ocultos para verificar fontes de saída, oferecem uma solução potencial. No entanto, a aplicação direta de marca d'água de LLMs a agentes de jogos não é trivial devido a diferenças estruturais: o jogo envolve ações sequenciais por múltiplos jogadores, requer a preservação da qualidade estratégica (utilidade esperada) e frequentemente necessita da divulgação de utilidades estimadas juntamente com recomendações de ação. Além disso, ao contrário da geração de texto onde ataques de pós-processamento offline são possíveis, as restrições do jogo (por exemplo, incapacidade de desfazer movimentos, presença de observadores) limitam os atacantes a manipulações online de um único passo.

Metodologia
Os autores adaptam a marca d'água Kirchenbauer-Green-Keen (KGW), uma técnica proeminente de marca d'água para LLMs, para jogos de informação perfeita na forma extensiva (EFGs). A metodologia central envolve a modificação do perfil de estratégia $\sigma$ de um agente solucionador de jogos.

1. Adaptação da KGW para Perfis de Estratégia:

   • Particionamento em Listas Verde/Vermelha: Para um histórico dado $h$, as ações disponíveis $A(h)$ são aleatoriamente particionadas em uma "lista verde" $G$ (tamanho $\gamma|A(h)|$) e uma "lista vermelha" $R$ com base em um gerador de números pseudoaleatórios semeado pelo hash da observação atual.
   • Distorção de Utilidade: Em vez de modificar logits como em LLMs, a marca d'água modifica as utilidades esperadas (estimadas) $\vec{u}$ associadas às ações. Um parâmetro de dificuldade $\delta$ é adicionado às utilidades das ações na lista verde, enquanto um valor compensatório de $-\gamma\delta/(1-\gamma)$ é subtraído das ações na lista vermelha. Isso garante que o ajuste esperado à utilidade seja zero, preservando a distribuição geral em expectativa.
   • Seleção de Ação: O agente seleciona a ação com a utilidade ajustada máxima. À medida que $\delta \to \infty$, o agente é forçado a escolher apenas ações da lista verde; à medida que $\delta \to 0$, a marca d'água atua apenas como um desempate.

2. Marca d'água em Utilidades Esperadas:

   • Para atender à necessidade de os usuários verem utilidades estimadas (não apenas ações), um mecanismo de marca d'água paralelo é aplicado aos próprios valores de utilidade. Isso impede que os atacantes contornem a marca d'água simplesmente selecionando a ação com a utilidade não modificada mais alta.
   • Restrição de Privacidade: O artigo observa que, se as utilidades esperadas forem retornadas ao usuário, a marca d'água deve ser implantada de forma privada (com uma chave secreta). Se o parâmetro de dificuldade $\delta$ for público, um atacante poderia reverter matematicamente os ajustes de utilidade para recuperar os valores reais do modelo subjacente.

3. Mecanismo de Detecção:

   • A detecção baseia-se em um teste estatístico (escore-z) comparando a frequência observada de ações da lista verde ($n_G$) contra a frequência esperada ($\gamma n$) sob a hipótese nula de que o jogador não está ciente da marca d'água.
   • Um escore-z alto indica a presença da marca d'água. Os autores sugerem um limiar de $z=4$ (taxa de falso positivo de aproximadamente $3 \times 10^{-5}$).

Principais Contribuições

• Iniciação da Marca d'água em Jogos: O artigo estabelece o primeiro quadro para marca d'água de estratégias em EFGs de informação perfeita, adaptando técnicas de LLMs ao domínio da teoria dos jogos.
• Limites Teóricos: Os autores fornecem uma análise teórica que limita a degradação na qualidade da estratégia. Eles provam que a perda total na utilidade esperada ($L$) incorrida pela marca d'água é limitada por $L \le n\delta(1 + \gamma/(1-\gamma))$, onde $n$ é o número de ações. Isso demonstra uma compensação entre detectabilidade (maior $\delta$) e qualidade da estratégia.
• Tratamento da Divulgação de Utilidade: O artigo aborda o desafio único de agentes de jogos onde os usuários requerem utilidades esperadas estimadas, propondo um método para marcar esses valores sem comprometer a capacidade de detecção, desde que a marca d'água seja mantida privada.
• Análise de Robustez: Os autores argumentam que a natureza do jogo (movimentos sequenciais, observáveis e irreversíveis) mitiga inerentemente vetores de ataque offline comuns na geração de texto, limitando os atacantes a manipulações online de um único passo, que são menos eficazes contra o esquema proposto.

Resultados Experimentais
Os autores avaliaram o quadro aplicando a marca d'água a seis motores populares de Interface Universal de Xadrez (UCI): asmFish 9, Dragon, Ethereal 14.40, PlentyChess, Stash v37.0 e Stockfish 17.1.

• Impacto no Desempenho: Em partidas de 100 rodadas entre motores marcados e originais, as diferenças de Elo foram negligenciáveis e dentro das margens de erro. Por exemplo, o Stockfish 17.1 mostrou uma diferença de Elo de +24,4 (estatisticamente insignificante) e o asmFish 9 mostrou -10,4. A probabilidade de o motor marcado ser inferior (LOI) geralmente não atingiu 90% de confiança, indicando que a marca d'água não degrada significativamente a força de jogo.
• Detectabilidade: A marca d'água foi detectável com alta confiança após um pequeno número de jogos. A maioria dos motores marcados cruzou o limiar $z=4$ dentro das primeiras 2 a 9 rodadas.
• Ablação de Parâmetros: Experimentos variando o tamanho da lista verde ($\gamma$) e a dificuldade ($\delta$) revelaram que $\gamma=0,25$ e $\delta=0,5$ peões centesimais ofereceram um equilíbrio ótimo. O aumento de $\delta$ melhorou as métricas de detecção (escores-z mais altos e Área sob a Curva), mas reduziu significativamente a força do motor (LOI mais alto).

Significado e Alegações
O artigo alega iniciar o estudo da marca d'água de estratégias de jogo, demonstrando que assinaturas robustas e únicas podem ser embutidas em agentes de jogos sem comprometer significativamente seu desempenho. Os autores afirmam que seu método permite a detecção de uso não autorizado de IA (por exemplo, trapaça) ou roubo de PI (por exemplo, destilação) usando testes estatísticos em dados de jogo. Eles enfatizam que, embora haja uma compensação entre detectabilidade e qualidade, a degradação na qualidade pode ser limitada e é frequentemente negligenciável na prática, especialmente quando o modelo subjacente já depende de estimativas heurísticas. O trabalho destaca que o jogo apresenta um cenário distinto da geração de texto, exigindo adaptações específicas quanto à divulgação de utilidade e à natureza dos ataques adversariais.