Resumo Técnico: Moldando Coordenação Zero-Shot via Bloqueio de Estados

Declaração do Problema

A Coordenação Zero-Shot (ZSC) visa permitir que sistemas multiagente cooperem com parceiros treinados independentemente (incluindo humanos) sem interação conjunta prévia. Embora métodos existentes como Auto-Jogo (SP) sejam eficazes para agentes treinados em conjunto, eles frequentemente convergem para uma única convenção de coordenação, levando a uma degradação severa de desempenho ao serem emparelhados com parceiros treinados sob diferentes sementes aleatórias ou métodos (Cross-Play, XP).

Abordagens anteriores tentam mitigar isso aumentando a diversidade de parceiros por meio de populações, políticas randomizadas ou modificação do ambiente. No entanto, essas estratégias frequentemente falham em capturar um conjunto diversificado de modos de coordenação subótimos estruturados. Elas ou produzem comportamentos muito semelhantes à convenção ótima ou introduzem variabilidade não estruturada que não generaliza bem. Além disso, abordagens de diversidade de ambiente frequentemente exigem acesso explícito ou modificação do ambiente, o que limita sua aplicabilidade. O desafio central permanece: como expor sistematicamente um agente egoísta a um conjunto diversificado de comportamentos de parceiros estruturados e subótimos sem modificar o ambiente subjacente ou exigir dados humanos externos.

Metodologia: Coordenação com Bloqueio de Estados (SBC)

Os autores propõem a Coordenação com Bloqueio de Estados (SBC), um framework que induz diversidade estruturada nos comportamentos dos parceiros criando variações ambientais virtuais através do bloqueio de estados.

1. MDP com Bloqueio de Estados (SB-MDP)

A SBC define um Processo de Decisão de Markov modificado onde estados específicos são designados como "estados de penalidade".

• Mecanismo: Um conjunto de estados de penalidade $\tilde{S}$ é selecionado do buffer de replay. A função de recompensa é modificada para penalizar transições para esses estados:
  $$\tilde{R}(s_t, a_t, s_{t+1}; \tilde{S}) = R(s_t, a_t, s_{t+1}) - \alpha \sum_{\tilde{s} \in \tilde{S}} \frac{1}{\|s_{t+1} - \tilde{s}\|^2 + \epsilon}$$
  onde $\alpha$ é o coeficiente de penalidade.
• Efeito: Ao forçar os parceiros a evitar estados específicos enquanto ainda completam a tarefa, o SB-MDP induz estratégias de coordenação distintas e localmente ótimas. Essas estratégias representam comportamentos subótimos estruturados que diferem do ótimo global, mas permanecem válidos para a tarefa.

2. Procedimento de Treinamento

A SBC emprega um processo de treinamento em duas etapas envolvendo uma política consciente de bloqueio e uma política egoísta normal:

• Política Consciente de Bloqueio ($\tilde{\pi}$): Esta política é treinada no SB-MDP. Ela condiciona-se ao conjunto específico de estados bloqueados $\tilde{S}$ como entrada. Ao amostrar conjuntos diversos de estados de penalidade durante o treinamento, o sistema gera uma família de parceiros conscientes de bloqueio, cada um aderindo a uma convenção de coordenação diferente ditada por seus estados bloqueados específicos.
• Política Egoísta Normal ($\pi_e$): A política final usada no momento do teste é treinada no MDP original (sem entradas de estados de penalidade). Ela é exposta a uma mistura de:
  1. Parceiros padrão de Auto-Jogo (cópias de si mesma).
  2. Parceiros conscientes de bloqueio (treinados em SB-MDPs, mas atuando no MDP original durante o treinamento do egoísta).
     Essa exposição permite que o agente egoísta aprenda a coordenar-se com um amplo espectro de comportamentos estruturados sem superajustar-se a uma única convenção.

3. Agendamento de Estados de Penalidade Guiado por Valor

Para evitar a seleção de estados de penalidade críticos para a conclusão da tarefa (o que degradaria o desempenho do parceiro excessivamente), a SBC introduz um mecanismo de agendamento:

• Métrica de Criticidade: A lacuna de valor $\Delta V(\tilde{s}) = V^{\pi}(s_0) - \tilde{V}^{\tilde{\pi}}(s_0, \tilde{s})$ quantifica o quanto o bloqueio de um estado degrada o retorno.
• Estratégia de Amostragem: Estados de penalidade são amostrados com probabilidade $P(\tilde{s}) \propto \exp(-\beta \Delta V(\tilde{s}))$.
• Recozimento (Annealing): A temperatura $\beta$ é recozida de 0 para 1. No início do treinamento, a amostragem é quase uniforme para maximizar a diversidade. Posteriormente, o agendador reduz progressivamente o peso de estados altamente críticos, focando em configurações de bloqueio que induzem comportamentos subótimos significativos, mas não catastróficos.

4. Componentes Adicionais

Para aumentar ainda mais a robustez, a SBC incorpora:

• Previsão de Ação do Parceiro: Um modelo auxiliar prevê as ações do parceiro, que são alimentadas na política egoísta para auxiliar na adaptação.
• Injeção de Ação Aleatória: Os parceiros ocasionalmente executam ações aleatórias para melhorar a robustez a desvios.

Contribuições Principais

1. Framework: Introdução da SBC, um método que gera diversidade estruturada de parceiros via bloqueio de estados sem modificar as dinâmicas de transição do ambiente ou exigir dados externos.
2. Mecanismo: A formulação do MDP com Bloqueio de Estados e a estratégia de agendamento guiada por valor para equilibrar diversidade com viabilidade da tarefa.
3. Desempenho: Demonstração de que a SBC alcança desempenho superior de Coordenação Zero-Shot em múltiplos benchmarks, reduzindo significativamente a lacuna entre as pontuações de Auto-Jogo e Cross-Play.
4. Coordenação Humano-AI: Validação de que a SBC coordena-se efetivamente tanto com proxies humanos quanto com participantes humanos reais, superando linhas de base existentes em termos de retorno da tarefa, redução de colisões e fluência percebida de coordenação.

Resultados Experimentais

Os autores avaliaram a SBC em Multi-Destination Spread e Overcooked v1 (cinco layouts), comparando com linhas de base incluindo IPPO, FCP, MEP, E3T, GAMMA e CEC.

• Multi-Destination Spread: A SBC alcançou uma pontuação XP de 957,2 (vs. 77,4 para IPPO) com uma Lacuna de 24,8 (vs. 912,6 para IPPO). Foi o único método a manter alto desempenho tanto em SP quanto em XP.
• Overcooked v1: A SBC superou consistentemente as linhas de base no Cross-Play em todos os layouts. Por exemplo, no layout Coordination Ring, a SBC alcançou um XP de 316 (Lacuna 17), enquanto o IPPO marcou 41 (Lacuna 246). A SBC também manteve ou melhorou o desempenho de Auto-Jogo em comparação com outros métodos.
• Held-Out XP: A SBC demonstrou generalização robusta para parceiros treinados com métodos ZSC diferentes, não apenas sementes diferentes.
• Avaliação Humano-AI: Em experimentos com 40 participantes humanos reais, a SBC alcançou as maiores pontuações em todos os cinco layouts. Resultou no menor número de colisões por entrega e nas maiores avaliações dos participantes para fluência de coordenação em uma escala Likert de 7 pontos.

Significado e Afirmações

O artigo afirma que a SBC aborda a limitação fundamental dos métodos ZSC existentes: a incapacidade de construir comportamentos de parceiros subótimos diversos, porém estruturados. Ao induzir parceiros "conscientes de bloqueio", a SBC expõe o agente egoísta a uma ampla gama de convenções de coordenação, permitindo generalização robusta para parceiros não vistos.

Os autores enfatizam que:

• A SBC não requer modificação explícita do ambiente (ao contrário da CEC) ou coleta de dados humanos em grande escala.
• O método melhora a coordenação com parceiros humanos, sugerindo que a exposição a estratégias localmente ótimas diversas ajuda os agentes a se adaptarem a idiossincrasias humanas.
• Embora a SBC introduza hiperparâmetros ($\alpha$ e $K$), o agendamento guiado por valor torna o método robusto a variações moderadas, e a sobrecarga computacional é modesta em comparação com os ganhos de desempenho e com linhas de base mais pesadas como GAMMA ou CEC.

O trabalho posiciona a SBC como um passo prático rumo à implantação de agentes de IA cooperativos que podem integrar-se perfeitamente a sistemas treinados independentemente e colaboradores humanos em cenários do mundo real.