Resumo Técnico: Inferência de Intenção sob Ruído de Execução

Declaração do Problema

Em dilemas sociais como o Dilema do Prisioneiro Iterado (IPD), a estabilidade da cooperação depende de agentes que observem as escolhas uns dos outros de forma confiável. No entanto, sob ruído de execução, as intenções de ação são estocasticamente corrompidas antes da execução (por exemplo, uma intenção cooperativa é executada como uma deserção). Isso cria um problema de atribuição: uma deserção observada pode decorrer de uma intenção hostil ou meramente de um erro de execução.

As formulações padrão de Processos de Decisão de Markov (MDP) tratam as ações executadas como o espaço de estados. Essa escolha estrutural impede a distinção entre intenção e execução, forçando os agentes a tratar todas as deserções observadas como deliberadas. Consequentemente, agentes padrão exibem sobre-retaliação sistemática, desestabilizando a cooperação. Embora estratégias de perdão projetadas (como o Generous Tit-for-Tat) ofereçam correções práticas, elas carecem de uma conta de princípios sobre quanto o perdão é justificado pelas evidências e não conseguem se adaptar a oponentes específicos. Abordagens de aprendizado por reforço frequentemente falham em modelar intenções latentes, levando à mesma incapacidade estrutural de hipotetizar que um oponente "pretendia cooperar, mas executou incorretamente".

Metodologia

Os autores propõem uma formulação de Processo de Decisão de Markov Parcialmente Observável (POMDP) resolvida dentro do framework de Inferência Ativa (AIF).

1. O POMDP de Intenção Latente

A inovação central é a separação da incerteza aleatória (ruído de execução) da incerteza epistêmica (incerteza sobre a intenção).

• Estados ($S$): Codificam as ações pretendidas conjuntas (estados latentes) antes da execução (ex: $CC$, $CD$, $DC$, $DD$).
• Observações ($O$): Correspondem às ações executadas conjuntas, que são versões ruidosas dos estados.
• Modelo de Observação ($A$): Um canal binário simétrico fixo com parâmetro de ruído $\epsilon$, mapeando estados pretendidos para ações observadas.
• Modelo de Transição ($B$): Codifica a política reativa do oponente (como a próxima intenção deles depende do resultado anterior). Esta matriz é desconhecida e aprendida online.
• Preferências ($C$): Log-preferências sobre observações derivadas da estrutura de pagamentos (ex: $T > R > P > S$).

2. Solução de Inferência Ativa

O agente minimiza a Energia Livre Esperada (G), que se decompõe em dois componentes:

• Valor Pragmático: Impulsiona o agente em direção a observações preferidas e de alto pagamento (explotação).
• Valor Epistêmico: Impulsiona ações de busca de informação para resolver incertezas. Isso é subdividido em:
  • Ganho de Informação de Estado: Reduzindo a incerteza sobre a intenção latente atual do oponente.
  • Ganho de Informação de Parâmetro: Reduzindo a incerteza sobre o modelo de transição (política reativa) do oponente.

3. Aprendizado Online

O agente aprende a política reativa do oponente ($B$ matrix) via acumulação de contagem de Dirichlet. As atualizações de crença sobre estados ocultos fornecem um sinal de treinamento "limpo" para as contagens de Dirichlet, desacoplando o aprendizado da estratégia do oponente do ruído da execução. Isso cria um sistema acoplado onde a estimativa precisa de intenção melhora o aprendizado da política, e o aprendizado preciso da política melhora a estimativa de intenção.

Principais Contribuições

1. Formulação POMDP: Uma nova separação do ruído de execução aleatório e da incerteza epistêmica sobre a intenção, com preferências consistentes com estruturas de pagamento.
2. Mecanismo de Aprendizado Online: Acoplamento da inferência de estado com o aprendizado de modelo via posteriors de Dirichlet, permitindo que o agente aprenda ativamente a política reativa do oponente através do ruído.
3. Análise do Limiar Crítico de Ruído: Derivação de um limiar teórico que governa o colapso da cooperação. Os autores identificam que a cooperação falha não porque os agentes não consigam distinguir ruído de hostilidade (discriminabilidade), mas porque a probabilidade da intenção cooperativa persistir através do horizonte de planejamento cai abaixo de um ponto crítico.
4. Validação Empírica: Demonstração de que o valor da inferência de intenção é dependente do contexto, mostrando vantagens contra oponentes reciprocantes, mas fragilidade sob inferência mútua em altos níveis de ruído.

Resultados

Desempenho Contra Diferentes Oponentes

• Auto-jogo (POMDP vs. POMDP):
  • Em baixo ruído ($\epsilon \le 0.10$), o POMDP mantém uma cooperação quase perfeita, superando o baseline MDP.
  • Em um limiar crítico ($\epsilon \in [0.10, 0.15]$), o POMDP sofre um colapso abrupto e catastrófico na cooperação. Isso é impulsionado por dinâmicas de crença correlacionadas: quando um agente retalia devido ao ruído, o outro infere corretamente a intenção hostil e retalia, criando uma espiral auto-reforçadora.
  • O baseline MDP degrada gradualmente sem um limiar agudo, pois carece da camada de intenção latente para desencadear esse cascata baseada em crenças.
• vs. Tit-for-Tat (TFT):
  • O POMDP mantém uma vantagem consistente em todos os níveis de ruído. Como a política do TFT é estacionária, as dinâmicas de crença do agente focal não desestabilizam o oponente, evitando o colapso correlacionado visto no auto-jogo.
• vs. Win-Stay Lose-Shift (WSLS):
  • Ambas as formulações colapsam para a explotação (ciclos DC/DD) em qualquer $\epsilon > 0$. A disposição de perdão do POMDP atrasa essa transição, resultando em pontuações marginalmente menores do que o MDP, que se adapta mais rápido para explorar o WSLS.

Mecanismo de Falha

A análise da decomposição da Energia Livre Esperada revela que, no POMDP, o modelo de observação conhecido absorve o ruído, permitindo que o ganho de informação de estado se resolva para zero. Em contraste, o MDP sofre de incerteza de estado irredutível, levando a indecisão persistente e políticas não comprometidas.

O limiar crítico de ruído é derivado como o ponto onde a probabilidade de sobrevivência cooperativa ($p_t(CC)^h$) cai abaixo de 0.5. Além deste ponto, a hipótese "hostil" torna-se a explicação mais provável para as deserções observadas ao longo do horizonte de planejamento, tornando a retaliação uma resposta racional mesmo que o agente possa distinguir perfeitamente ruído de intenção.

Significância e Alegações

O artigo afirma que a escolha representacional do que constitui um estado versus uma observação determina se a cooperação principiada sob ruído é estruturalmente possível.

• Necessidade de Representação e Impulso: As vantagens cooperativas surgem especificamente da interação entre a estrutura POMDP (que isola o ruído aleatório) e o impulso epistêmico (que sonda ativamente a política do oponente). Nenhum dos componentes isolados é suficiente; remover os termos epistêmicos elimina a trajetória "explorar-então-comprometer-se", enquanto usar o POMDP sem o impulso epistêmico não gera melhoria.
• Valor Dependente de Contexto: A inferência de intenção é benéfica contra oponentes reciprocantes, mas torna-se um passivo em cenários de auto-jogo com alto ruído, onde a inferência mútua cria um loop de feedback de retaliação.
• Estrutura Estratégica: A vantagem é específica para jogos onde a atribuição de intenção é relevante para a decisão (ex: IPD onde $T > R$). Em jogos como o Stag Hunt ($T < R$), onde não há tentação de explorar, o POMDP e o MDP performam de forma semelhante, pois a distinção entre erro e intenção é menos consequente.
• Limitações: Os autores observam que o colapso agudo no auto-jogo é uma propriedade da inferência mútua e não uma falha do modelo em si. O modelo assume uma política de oponente estacionária; quando ambos os agentes co-evoluem, essa suposição é violada, levando ao erro de especificação do modelo. O artigo sugere que mecanismos de esquecimento ou detecção de mudança de ponto poderiam mitigar isso em trabalhos futuros.

Em conclusão, o artigo argumenta que a inferência precisa sob ruído é limitada pelo contexto em que opera: embora separar o ruído da intenção permita uma cooperação robusta contra estratégias fixas ou reciprocantes, isso introduz uma fragilidade em configurações mútuas onde o ruído pode desencadear uma transição auto-reforçadora para a deserção mútua.