Strategic Concealment of Environment Representations in Competitive Games

1. Problema Investigado

O artigo aborda um cenário de jogos competitivos entre dois agentes autônomos: um Atacante e um Defensor. O problema central surge da necessidade de sistemas autônomos operarem em ambientes complexos e de alta dimensão, onde representações completas do mundo são computacionalmente inviáveis. Consequentemente, os agentes utilizam representações reduzidas (ou "superestados"), que agrupam estados do ambiente em regiões coarser (menos detalhadas) para facilitar a tomada de decisão.

O dilema estratégico é o seguinte:

• O Atacante possui uma representação privada do ambiente (sua "tipo" $\theta$) que restringe suas ações (exige que todas as posições dentro de um mesmo superestado compartilhem a mesma distribuição de ações).
• O Defensor não conhece a representação do Atacante, mas observa sua trajetória. Seu objetivo é inferir essa representação e colocar barreiras (obstáculos) para atrasar o progresso do Atacante rumo ao objetivo.
• O Conflito: Se o Atacante revelar sua representação através de uma trajetória ótima, o Defensor pode explorar essa fraqueza estrutural. Portanto, o Atacante tem o incentivo de ocultar estrategicamente sua representação, manipulando a crença do Defensor para induzir a seleção de barreiras subótimas.

O objetivo do trabalho é modelar essa interação, resolver para o equilíbrio e entender como a ocultação intencional emerge como uma estratégia vantajosa.

---

2. Metodologia

Os autores formulam o problema como um Jogo Bayesiano de Stackelberg com informação assimétrica, dividido em duas fases:

A. Estrutura do Jogo

1. Fase I (Observação): O Atacante navega no ambiente de $t=0$ a $t=T$. O Defensor observa a trajetória (estados e ações) e atualiza sua crença Bayesiana sobre o tipo de representação do Atacante.
2. Seleção de Barreira ($t=T$): O Defensor escolhe uma configuração de barreira $\omega$ baseada na crença atualizada.
3. Fase II (Execução): O Atacante continua para o objetivo no ambiente modificado pela barreira, até atingir o estado final.

B. Restrição SAD (Same-Action-Distribution)

Uma característica fundamental é a restrição SAD: para um dado tipo de representação $\theta$, todos os estados dentro de um mesmo "superestado" $\gamma$ devem compartilhar a mesma distribuição de ações. Isso limita a flexibilidade do Atacante e cria um padrão detectável que o Defensor pode explorar.

C. Abordagem de Solução

O problema é resolvido via Programação Bilinear para encontrar o Equilíbrio de Stackelberg Bayesiano Perfeito (PBSE).

• Fase II (MDP Restrito): Para cada tipo de Atacante e barreira, o problema é modelado como um Processo de Decisão de Markov (MDP) com restrições SAD. Isso é formulado como um programa bilinear onde a função de valor depende da distribuição de ocupação de estado-ação.
• Fase I (Jogo Bayesiano): O Atacante planeja uma distribuição de trajetórias não apenas para maximizar a recompensa imediata, mas para manipular a atualização da crença do Defensor ($b_t$).
• Formulação Unificada: Os autores derivam uma formulação de programação linear (sem restrições SAD) e, em seguida, incorporam as restrições SAD, resultando em um Programa Bilinear. A variável de decisão principal é a medida de ocupação de histórico-ação ($z$), que permite planejar sobre a dinâmica de crenças induzida.

A solução envolve:

1. Resolver o MDP da Fase II para obter valores terminais.
2. Resolver o programa bilinear da Fase I para encontrar a estratégia ótima do Atacante (que inclui randomização) e a melhor resposta do Defensor.

---

3. Principais Contribuições

1. Novo Modelo de Jogo Bayesiano: Introduz um jogo onde o "tipo" do agente está diretamente ligado à sua representação do ambiente, e não apenas a um estado oculto ou objetivo. Isso vincula a representação às estratégias admissíveis (via restrição SAD).
2. Ocultação Intencional (Purposeful Concealment): Demonstra que a ocultação não é apenas maximizar a incerteza, mas uma estratégia ótima onde o Atacante randomiza suas ações (mesmo que subotimamente em curto prazo) para confundir o Defensor e forçá-lo a escolher barreiras que são menos eficazes contra a verdadeira representação do Atacante.
3. Algoritmo de Solução Bilinear: Desenvolve um programa bilinear que integra inferência Bayesiana, planejamento estratégico e manipulação de crenças. Diferente de trabalhos anteriores que usam programação linear, a restrição SAD torna o problema intrinsecamente bilinear.
4. Análise de Equilíbrio: Define e calcula o Equilíbrio de Stackelberg Bayesiano Perfeito (PBSE) neste contexto específico, mostrando como o líder (Atacante) antecipa a resposta do seguidor (Defensor) e ajusta sua trajetória para explorar essa antecipação.

---

4. Resultados e Simulações

Os autores testaram o modelo em um ambiente de grade com dois tipos de representações (tipos 1 e 2) e duas opções de barreira.

• Comportamento Emergente: O Atacante do Tipo 1, que possui uma resolução grosseira perto do objetivo, opta por randomizar sua trajetória em um ponto crítico (Ponto A). Ao fazer isso, ele imita o comportamento de um Atacante do Tipo 2.
• Manipulação de Crença:
  • Se o Atacante seguisse a trajetória ótima determinística, o Defensor inferiria com 100% de certeza o tipo e colocaria a barreira perfeita.
  • Com a randomização estratégica, a crença do Defensor se torna ambígua (ex: 26% Tipo 1, 74% Tipo 2).
• Vantagem de Desempenho:
  • Cenário de Informação Completa: Se o Defensor soubesse o tipo, o desempenho esperado do Atacante seria -0.978.
  • Cenário de Informação Assimétrica (Com Ocultação): O Atacante alcança um desempenho esperado de -0.841.
  • Melhoria: Isso representa uma melhoria de 14% no desempenho total. Se considerarmos apenas a Fase II (excluindo o custo da Fase I), a melhoria relativa devido à ocultação é de 30,5%.
• Robustez: O estudo de sensibilidade mostrou que a estratégia de ocultação se adapta à distribuição a priori ($b_0$). Se a prioridade do Defensor já favorece um tipo, o Atacante ajusta sua randomização para manter a ambiguidade ou, em alguns casos, adota uma trajetória determinística se a randomização for muito custosa para o tipo específico.

---

5. Significado e Impacto

Este trabalho é significativo por várias razões:

1. Segurança em Sistemas Autônomos: Ilustra um novo vetor de ataque/defesa onde a vulnerabilidade não está no código ou no sensor, mas na abstração cognitiva do agente. Adversários podem explorar as limitações de representação de oponentes.
2. Teoria dos Jogos e IA: Avança a teoria de jogos bayesianos ao conectar explicitamente o "tipo" do jogador à sua capacidade de planejamento (representação), em vez de tratar o tipo apenas como um parâmetro de recompensa.
3. Implicações para Defesa: Para projetar sistemas defensivos robustos, não basta inferir o objetivo do oponente; é necessário inferir e adaptar-se à sua arquitetura de representação e à sua capacidade de manipulação de crenças.
4. Otimização Não-Convexa: A proposta de usar programação bilinear para resolver jogos de informação assimétrica com restrições estruturais oferece uma nova ferramenta computacional para problemas complexos de planejamento multiagente.

Em resumo, o artigo demonstra que, em ambientes competitivos com recursos computacionais limitados, a capacidade de esconder como você "vê" o mundo é tão valiosa quanto a capacidade de agir nele, e que a randomização estratégica é a ferramenta chave para explorar essa vantagem.