Resumo Técnico: Descoberta de Habilidades Hierárquicas Conscientes do Parceiro para Colaboração Robusta entre Humanos e IA

Declaração do Problema

A colaboração eficaz entre múltiplos agentes, particularmente no trabalho em equipe entre humanos e IA, requer agentes capazes de adaptar-se a parceiros novos com comportamentos diversos e dinâmicos. Os métodos convencionais de Aprendizado por Reforço Hierárquico Profundo (DHRL) geralmente focam em recompensas centradas no agente, otimizando a diversidade sem levar explicitamente em conta a influência do parceiro. Essa limitação leva ao "aprendizado de atalho", onde os agentes exploram correlações espúrias em características de estado em vez de capturar informações relevantes para interações com parceiros. Consequentemente, as habilidades aprendidas frequentemente falham em generalizar para parceiros novos, resultando em coordenação deficiente e inconsistência comportamental. Abordagens existentes que maximizam a informação mútua (MI) entre habilidades e estados frequentemente sofrem com essa questão, pois são limitadas pela entropia das habilidades e não garantem sensibilidade ao comportamento do parceiro, levando a habilidades estáticas com adaptabilidade limitada.

Metodologia

Os autores propõem a Descoberta de Habilidades Consciente do Parceiro (PASD), um framework de DHRL projetado para aprender habilidades condicionadas ao comportamento do parceiro. A inovação central é uma recompensa intrínseca contrastiva que molda representações de habilidades para serem consistentes entre parceiros com comportamentos semelhantes, mantendo ao mesmo tempo a discriminabilidade entre estratégias diversas.

Visão Geral do Framework

A PASD opera dentro de uma estrutura hierárquica consistindo de um gestor de alto nível ($\pi_{hi}$) que seleciona habilidades latentes ($z$) e um controlador de baixo nível ($\pi_{lo}$) que executa ações primitivas condicionadas ao estado atual e à habilidade ativa. O framework utiliza uma população de parceiros ($\mathcal{D}_p$) amostrada de uma distribuição durante o treinamento.

Mecanismos Chave

1. Recompensa Intrínseca Contrastiva:
   Em vez de maximizar a MI padrão entre habilidades e estados, a PASD maximiza um limite inferior variacional da MI entre habilidades e sub-trajetórias. Isso é alcançado por meio de um objetivo contrastivo no estilo InfoNCE.

   • Pares Positivos: Sub-trajetórias geradas pela mesma habilidade interagindo com diferentes parceiros.
   • Pares Negativos: Sub-trajetórias geradas por diferentes habilidades.
   • Objetivo: A recompensa intrínseca ($r_{int}$) incentiva a política a selecionar habilidades que produzem embeddings de estado consistentes entre parceiros com comportamentos semelhantes (consistência intra-habilidade), ao mesmo tempo que garante embeddings distintos para diferentes habilidades (discriminabilidade inter-habilidade).

2. Objetivo de Treinamento:
   A recompensa total para as políticas de alto e baixo nível é uma combinação ponderada da recompensa extrínseca da equipe ($r$) e da recompensa intrínseca contrastiva ($r_{int}$):
   $$\tilde{r} = (1 - \lambda)r + \lambda r_{int}$$
   Durante o início do treinamento, $\lambda$ é alto para promover a exploração de padrões condicionados a parceiros diversos. À medida que o treinamento progride, $\lambda$ é annealed para priorizar o desempenho da tarefa, mantendo a consistência comportamental aprendida.

3. Otimização:
   O gestor de alto nível, o controlador de baixo nível e a função de término são otimizados de ponta a ponta usando o algoritmo de Otimização de Política Proximal (PPO).

Contribuições Principais

1. Framework PASD: Introdução de um framework de DHRL que condiciona a descoberta de habilidades ao comportamento do parceiro, permitindo coordenação robusta com parceiros novos.
2. Recompensa Intrínseca Novel: Proposta de uma recompensa intrínseca contrastiva derivada da perda InfoNCE. Essa recompensa captura padrões compartilhados a partir de execuções paralelas com parceiros diversos, mitigando o aprendizado de atalho causado por informações de estado espúrias e aproveitando diretamente informações relevantes para o parceiro.
3. Avaliação Abrangente: Avaliação extensiva no benchmark Overcooked-AI através de populações diversas de parceiros (variando níveis de habilidade e estilos de jogo) e modelos proxy humanos. O estudo demonstra que a PASD aprende habilidades transferíveis que generalizam efetivamente através de uma ampla gama de comportamentos de parceiros.

Resultados Experimentais

Os autores avaliaram a PASD contra baselines incluindo Fictitious Co-Play (FCP), DIAYN e Hierarchical Population Training (HiPT) no ambiente Overcooked-AI.

• Desempenho com Parceiros de IA: A PASD superou consistentemente todas as baselines em cinco layouts padrão (Cramped Room, Asymmetric Advantages, Coordination Ring, Counter Circuit, Forced Coordination). Por exemplo, no layout Cramped Room, a PASD alcançou uma recompensa média de 165,8, significativamente maior que a do FCP (137,7) e do HiPT (117,9).
• Desempenho com Modelos Proxy Humanos: Quando emparelhada com modelos de clonagem de comportamento (BC) treinados em trajetórias humano-humano, a PASD manteve desempenho superior, alcançando os maiores retornos em todos os layouts (por exemplo, 150,00 em Cramped Room versus 118,75 para o FCP).
• Estudo com Sujeitos Humanos: Em um estudo controlado com 19 participantes humanos, a PASD alcançou recompensas conjuntas mais altas que o HiPT em todos os layouts, melhorando a colaboração humano-IA em 22% a 47%.
• Análise Qualitativa: A análise dos embeddings de habilidades aprendidos (por meio de mapas de calor de similaridade de cosseno e projeções UMAP) revelou que a PASD desentrelaça com sucesso as habilidades. Embeddings para a mesma habilidade formaram clusters compactos independentemente do parceiro, enquanto habilidades diferentes permaneceram distintas, confirmando a capacidade do modelo de capturar dinâmicas condicionadas ao parceiro em vez de ruído centrado no agente.

Significado e Alegações

O artigo afirma que a PASD aborda uma lacuna crítica no aprendizado por reforço multiagente: a incapacidade de métodos hierárquicos padrão de adaptar-se aos comportamentos dinâmicos de parceiros novos. Ao deslocar o foco da diversidade centrada no agente para a consistência consciente do parceiro, o método mitiga o aprendizado de atalho e promove robustez comportamental.

Os autores afirmam que a PASD fornece uma base para agentes colaborativos mais adaptativos e eficientes, aprendendo habilidades que não são apenas diversas, mas também significativas no contexto da interação humano-IA. Os resultados sugerem que condicionar a descoberta de habilidades ao comportamento do parceiro permite que os agentes generalizem efetivamente para parceiros não vistos, incluindo aqueles com estilos de jogo semelhantes aos humanos, sem exigir dados humanos extensivos para treinamento. O trabalho destaca que a coordenação robusta requer raciocínio sobre comportamentos temporalmente estendidos que são sensíveis às estratégias específicas dos colaboradores.