Resumo Técnico: Coordenação Adaptativa Humano–IA via Desemaranhamento Hierárquico de Ações

Declaração do Problema

Desenvolver agentes inteligentes capazes de colaboração eficaz com parceiros humanos permanece um desafio significativo no Aprendizado por Reforço Multiagente (MARL). Diferentemente de cenários adversariais, onde o sucesso é definido por superar um oponente, a colaboração exige que os agentes se adaptem a parceiros com comportamentos diversos e imprevisíveis, níveis de habilidade variados e preferências individuais.

As abordagens existentes enfrentam limitações críticas:

• Clonagem de Comportamento (BC): Embora eficazes para demonstrações específicas, esses métodos são dispendiosos em termos de dados e têm dificuldade em generalizar além dos dados de treinamento.
• Aprendizado por Reforço Hierárquico Profundo (DHRL): Embora o DHRL ofereça abstração temporal ao decompor tarefas em habilidades de alto nível e ações de baixo nível, os métodos atuais de descoberta de habilidades frequentemente sofrem de colapso de habilidades (onde múltiplas habilidades convergem para comportamentos semelhantes) ou aprendem habilidades redundantes que capturam ruído em vez de padrões relevantes para o parceiro.
• Falta de Consciência do Parceiro: Muitos mecanismos de recompensa intrínseca promovem diversidade com base na própria exploração do agente ou distribuições de estado, falhando em modelar explicitamente a dinâmica de interação ou comportamentos dependentes do parceiro. Consequentemente, os agentes frequentemente superajustam-se a parceiros de treinamento e falham em generalizar para parceiros novos com estilos de coordenação diferentes.

Metodologia: Desemaranhamento Intrínseco de Ações (IAD)

Os autores propõem o Desemaranhamento Intrínseco de Ações (IAD), um framework de Aprendizado por Reforço Hierárquico Profundo de dois níveis projetado para aprender sequências distintas de ações de baixo nível, conscientes do parceiro, condicionadas a habilidades latentes de alto nível.

Arquitetura do Framework

O sistema opera sobre uma política hierárquica $\pi_\theta = (\pi_{hi}, \pi_{lo}, \beta)$:

1. Gerenciador de Alto Nível ($\pi_{hi}$): Observa padrões temporalmente estendidos do comportamento do parceiro e seleciona uma habilidade latente $z \in \mathcal{Z}$. É implementado como uma rede recorrente para capturar dependências sequenciais.
2. Controlador de Baixo Nível ($\pi_{lo}$): Executa sequências de ações atômicas condicionadas à habilidade selecionada $z$.
3. Função de Término ($\beta$): Uma função estocástica que determina quando a habilidade atual deve terminar, permitindo a troca adaptativa com base no contexto colaborativo.

Inovação Central: Desemaranhamento Intrínseco de Ações

A contribuição central do IAD é uma recompensa intrínseca novel aplicada à política de baixo nível para incentivar explicitamente o desemaranhamento das distribuições de ações entre diferentes habilidades.

• Objetivo: A política de baixo nível é regularizada para garantir que cada habilidade latente $z$ produza uma sequência de ações distinta e previsível que espelhe os padrões de coordenação do parceiro, em vez de refletir variações centradas no agente.
• Formulação da Recompensa Intrínseca: A recompensa intrínseca $r^{IAD}$ é definida como a divergência de Kullback–Leibler (KL) entre a distribuição de ações condicionada à habilidade e a distribuição marginal de ações:
  $$r^{IAD}(s_t, a_t, z_k) = \text{KL}(\pi_{lo}(\cdot | s_t, z_k) \parallel \pi_{lo}(\cdot | s_t))$$
  onde $\pi_{lo}(a | s) = \sum_{z \in \mathcal{Z}} \pi_{hi}(z | s) \pi_{lo}(a | s, z)$.
• Dinâmica de Treinamento:
  • Objetivo de Baixo Nível: Maximiza uma combinação de recompensas extrínsecas da equipe e a recompensa intrínseca de desemaranhamento. Isso garante que as habilidades aprendam padrões de coordenação reutilizáveis e específicos do parceiro.
  • Objetivo de Alto Nível: Maximiza a recompensa extrínseca cumulativa da equipe ao longo dos segmentos de habilidade, aproveitando os comportamentos estruturados de baixo nível para selecionar a habilidade mais eficaz para a dinâmica atual do parceiro.
  • Otimização: Toda a hierarquia é treinada de ponta a ponta usando Otimização de Política Proximal (PPO). A função de término $\beta$ é otimizada usando o mesmo sinal de vantagem de alto nível para garantir que as habilidades terminem adequadamente para maximizar o desempenho.

Contribuições Principais

1. Framework IAD: Um framework DHRL de dois níveis novel que permite que agentes se adaptem a parceiros previamente não vistos com estilos de coordenação e níveis de habilidade diversos, alcançando coordenação robusta em tarefas colaborativas.
2. Recompensa de Desemaranhamento Intrínseco: Um mecanismo de recompensa específico para a política de baixo nível que incentiva explicitamente o desemaranhamento de sequências de ações atômicas entre habilidades. Isso previne o colapso de habilidades e alinha cada habilidade de alto nível a um padrão comportamental distinto e relevante para o parceiro.
3. Avaliação Abrangente: Experimentos extensivos no ambiente Overcooked-AI em cinco layouts, testando a generalização para:
   • Grandes populações de parceiros de autojogo com níveis de habilidade variados.
   • Um modelo-proxy humano clonado por comportamento treinado em trajetórias reais humano-humano.
   • Parceiros humanos reais em um estudo de usuário controlado.

Resultados Experimentais

Os autores avaliaram o IAD contra bases fortes: Co-Play Fictício (FCP), DIAYN e Treinamento de População Hierárquica (HiPT).

• Parceiros de Autojogo: O IAD consistentemente alcançou os retornos médios mais altos em todos os layouts (por exemplo, 172,96 em Cramped Room vs. 137,7 para FCP e 117,9 para HiPT). Demonstrou convergência mais rápida e desempenho estável, enquanto o DIAYN lutou devido à sensibilidade a variações de estado irrelevantes, e o HiPT/FCP mostrou desempenho inconsistente devido à falta de habilidades de baixo nível estruturadas.
• Parceiros Proxy Humanos: Quando emparelhado com um proxy humano treinado por BC, o IAD novamente superou todas as bases (por exemplo, 148,76 em Cramped Room vs. 118,75 para FCP), demonstrando a capacidade de generalizar para comportamentos semelhantes aos humanos, apesar das limitações dos dados humanos finitos.
• Parceiros Humanos Reais: Em um estudo de usuário com 24 participantes válidos, o IAD alcançou recompensas conjuntas significativamente mais altas do que o HiPT em todos os layouts, com melhorias variando de 22% a 47%.
• Análise Qualitativa: Projeções UMAP de embeddings de sequência revelaram que o IAD produz clusters compactos e bem separados para diferentes habilidades, indicando forte consistência intra-habilidade e desemaranhamento claro inter-habilidade. Visualizações de trajetórias confirmaram que habilidades específicas se alinharam consistentemente com subtrajetórias humanas distintas (por exemplo, diferentes estratégias de escolha de pratos ou coordenação no sentido horário vs. anti-horário).

Significado e Alegações

O artigo afirma que o IAD aborda a lacuna crítica nos métodos hierárquicos existentes ao modelar explicitamente a dinâmica de interação em vez de apenas promover diversidade centrada no agente. Ao desemaranhar distribuições de ações com base no comportamento do parceiro, o IAD permite que os agentes:

• Aprendam comportamentos condicionados a habilidades reutilizáveis e estruturados que são robustos a mudanças distribucionais.
• Se adaptem efetivamente a parceiros heterogêneos sem superajustar-se a instâncias específicas de treinamento.
• Alcançem coordenação confiável em cenários reais de humano-IA, conforme evidenciado pelo desempenho superior tanto com proxies humanos simulados quanto com participantes humanos reais.

Os autores concluem que sua abordagem fornece uma maneira principiante de lidar com a complexidade temporal da colaboração humano-IA, garantindo que decisões de alto nível sejam fundamentadas em padrões de execução de baixo nível distintos e conscientes do parceiro.