Resumo Técnico: Direcionamento de Equipe Baseado em Influência (IBTS)

1. Declaração do Problema

O artigo aborda as limitações de escalabilidade do Trabalho em Equipe Humano-Máquina (HMT) em cenários de Coordenação Zero-Shot (ZSC). Enquanto os métodos de HMT baseados em dados dependem de interações humanas custosas, a ZSC tenta treinar agentes para colaborar com parceiros não vistos simulando populações diversas de parceiros. No entanto, os autores argumentam que a diversidade de parceiros, por si só, é insuficiente à medida que o tamanho da equipe aumenta (por exemplo, passando de equipes diádicas para triádicas) e a comunicação se degrada.

Métodos padrão baseados em população (por exemplo, FCP, MEP, GAMMA) frequentemente convergem para políticas generalistas robustas, mas estáticas. Essas políticas falham em sustentar padrões de coordenação eficazes e de alto desempenho, particularmente em ambientes com recompensas esparsas e longas cadeias de interação, onde etapas intermediárias não são recompensadas imediatamente. O desafio central é identificar e reforçar estruturas de coordenação produtivas sem cobertura exaustiva de dados humanos.

2. Metodologia: Direcionamento de Equipe Baseado em Influência (IBTS)

Os autores propõem o IBTS, um framework de três estágios que amplia a diversidade de parceiros com orientação de coordenação aprendida. O framework opera dentro de uma formulação de Processo de Decisão de Markov Parcialmente Observável Descentralizado (Dec-POMDP).

Estágio 1: Construção de Pool de Equipes Diversas

O objetivo é gerar um pool de equipes diversas e de alto desempenho. Isso é alcançado modificando o objetivo de Treinamento Centralizado com Execução Descentralizada (CTDE) (especificamente usando PPO/MAPPO) com dois termos de recompensa intrínseca:

1. Modelagem de Influência: Para incentivar comportamentos de suporte, o método recompensa ações que aumentam a probabilidade de companheiros de equipe realizarem ações subsequentes "salientes".
   • Uma ação saliente $a^*_t$ é definida como aquela que induz a maior mudança nas características do estado colaborativo (localizações, posse de objetos).
   • Uma recompensa de influência direcionada ($r^{inf}_{i,t}$) é calculada comparando um preditor de linha de base (prevendo a sequência do companheiro com base apenas na observação) contra um preditor condicionado à influência (condicionado à ação do agente $i$).
   • A recompensa é a diferença não negativa, incentivando o agente $i$ a realizar ações que tornem a sequência do companheiro mais provável, mesmo que o efeito seja atrasado (capturado via um rótulo de evento de horizonte curto $K$).
2. Diversidade Comportamental: Para evitar que a população colapse em uma única convenção, um termo de diversidade ($r^{div}_{i,t}$) é adicionado. Isso recompensa ações que são menos prováveis sob a distribuição média de ações atual da população, incentivando estilos de coordenação distintos em todo o pool de equipes.

Estágio 2: Preditor de Equipe Condicionado a Trajetórias

Um preditor baseado em transformer é treinado em históricos de execução (rollouts) do pool de equipes construído.

• Entrada: Histórico de trajetória $h_t$ (localizações dos agentes, orientação, objetos segurados, ações).
• Saída: Um embedding de coordenação $c_t$ e uma distribuição $p_t$ sobre as $M$ equipes no pool.
• Objetivo: O preditor aprende a mapear trajetórias de interação recentes para o estilo de coordenação específico (identidade da equipe) que as gerou. Isso permite que o sistema reconheça o "modo" atual de interação em tempo real.

Estágio 3: Direcionamento de Equipe

Este estágio treina uma política de melhor resposta implantável usando a estrutura de coordenação aprendida.

1. Direcionamento de Qualidade de Trajetória: O pool histórico de equipes é avaliado para atribuir uma pontuação de qualidade $S(m)$ a cada equipe. Uma recompensa de direcionamento ($r^{steer}_t$) é definida com base em se a trajetória atual se move em direção a modos históricos de maior qualidade.
   • $r^{steer}_t = \max(Q(h_{t+\Delta}) - Q(h_t), 0)$, onde $Q$ é a pontuação ponderada pela qualidade da trajetória atual.
   • Essa recompensa guia a política a direcionar interações em andamento para padrões de coordenação mais fortes e previamente aprendidos.
2. Destilação de Aluno Compartilhado: Como o processo de direcionamento produz políticas especializadas "professoras" (cada uma treinada como um índice específico de agente contra parceiros congelados), uma etapa de destilação offline consolida essas políticas em uma única política de aluno compartilhada. O aluno é treinado via clonagem de comportamento em um conjunto de dados agrupado de ações de professores, permitindo que ele atue como um agente de melhor resposta geral para qualquer posição na equipe.

3. Contribuições Principais

1. Framework IBTS: A introdução de um framework que acopla a diversidade de parceiros com a estrutura de desempenho da equipe aprendida, utilizando modelagem de influência para descobrir padrões de suporte e direcionamento guiado por preditores para reforçá-los.
2. Extensão para HMT Escalonado: A extensão da avaliação Overcooked-AI para layouts de três agentes e o desenvolvimento de um protocolo de IA sintética condicionado à personalidade para testar a robustez contra variação de estilo de parceiro.
3. Estudo Humano e Conjunto de Dados: Um estudo humano com 30 participantes avaliando o IBTS em configurações de humano-máquina e dois-humanos-máquina. Os autores lançam um conjunto de dados de 90 trajetórias dessas colaborações, representando o primeiro do seu tipo para pesquisa Overcooked-AI de 2-humanos-1-IA.

4. Resultados Experimentais

A avaliação foi conduzida no Overcooked-AI em três layouts: Coordenação Forçada (FC), Pipeline (PL) e Vantagens Assimétricas (AA).

• Avaliação Simulada In-Distribution: O IBTS superou significativamente bases fortes (MAPPO-SP, FCP, MEP, GAMMA), particularmente no layout Pipeline (PL), onde recompensas esparsas tornam a coordenação difícil.
  • Em PL de 2 agentes, o IBTS melhorou em +16,5% sobre o MEP.
  • Em PL de 3 agentes, o IBTS melhorou em +17,1% sobre o MEP.
  • Em configurações com recompensas mais densas (por exemplo, Vantagens Assimétricas), o IBTS permaneceu competitivo com as melhores bases.
• Avaliação com Parceiro Sintético LLM: O IBTS foi testado contra parceiros GPT-5-mini condicionados com personalidades Amigável, Extrovertida e Neurótica.
  • O IBTS superou o FCP em todos os 18 cenários testados e o MEP em 13 de 18.
  • Alcançou uma pontuação média de 186,9, significativamente maior que o MEP (133,7) e o FCP (110,6).
  • Os maiores ganhos foram observados no layout Pipeline, indicando eficácia em cadeias de interação mais longas.
• Estudo Humano:
  • Na condição humano-máquina, o IBTS superou significativamente o MEP e o GAMMA no layout Pipeline.
  • Na condição dois-humanos-máquina, o IBTS superou significativamente ambas as bases no layout Coordenação Forçada.
  • Questionários pós-jogo indicaram que, embora companheiros humanos tenham sido avaliados como os mais confiáveis, o IBTS foi geralmente percebido favoravelmente em comparação com outras bases aprendidas, sugerindo que os ganhos de desempenho não vieram à custa da qualidade subjetiva do companheiro de equipe.

5. Significado e Alegações

O artigo afirma que a cobertura de parceiros, por si só, é inadequada para ZSC escalável. Em vez disso, a coordenação bem-sucedida requer combinar diversidade com mecanismos que identifiquem e reforcem estruturas de coordenação transferíveis.

• Princípio de Design: Os autores propõem que as máquinas não devem ser meramente treinadas para tolerar parceiros diversos, mas devem aprender a reconhecer e reforçar padrões de coordenação produtivos à medida que emergem.
• Tratamento de Recompensas Esparsas: O IBTS demonstra que a modelagem de influência é crítica para descobrir etapas intermediárias de coordenação úteis em ambientes de recompensa esparsa, onde recompensas de tarefa padrão são insuficientes para guiar o aprendizado.
• Escalabilidade: O framework transfere com sucesso de configurações diádicas (2 agentes) para grupais (3 agentes), sugerindo um caminho para colaboração humano-grupo mais realista, onde as máquinas devem se adaptar tanto a preferências individuais quanto a dinâmicas humano-humano emergentes.

Limitações Reconhecidas pelos Autores:

• O IBTS depende da qualidade da estrutura de desempenho da equipe aprendida; se o espaço de embedding carecer de comportamentos preferidos por humanos, o direcionamento não pode recuperá-los.
• A formulação de influência par a par incorre em custos de escalabilidade para equipes muito grandes.
• O estudo humano foi limitado em tamanho, e lacunas subjetivas de confiança entre companheiros humanos e máquinas persistiram apesar das melhorias de desempenho.