Nested Training for Mutual Adaptation in Human-AI Teaming

Resumo Técnico: Treinamento Aninhado para Adaptação Mútua em Trabalho em Equipe Humano–IA

1. O Problema

O desafio central abordado é a dificuldade de projetar agentes de Aprendizado por Reforço (RL) que possam colaborar eficazmente com parceiros humanos diversos e adaptativos.

• Limitações das Abordagens Atuais:
  • Métodos existentes geralmente treinam agentes contra populações de estratégias simuladas tratadas como estáticas. Isso resulta em políticas que são "conformistas" (adaptam-se a um padrão fixo) em vez de verdadeiramente adaptativas.
  • O aprendizado simultâneo de múltiplos agentes (co-adaptação) frequentemente leva a convenções de coordenação "frágeis" e opacas que não generalizam para parceiros não vistos.
  • A maioria dos paradigmas trata a adaptação como unidirecional (o agente reage a um parceiro fixo), ignorando o fato fundamental de que os humanos também ajustam suas estratégias em resposta ao comportamento da IA.
• Objetivo: Criar um sistema onde a IA e o humano se adaptem mutuamente, evitando que a IA "trave" em uma única convenção de coordenação específica que falhe com novos parceiros.

2. Metodologia

Os autores propõem modelar a colaboração humano-robô como um Processo de Decisão de Markov Interativo Parcialmente Observável (I-POMDP) aninhado em nível finito, e introduzem um regime de treinamento aninhado para resolvê-lo aproximadamente.

• Modelagem (I-POMDP):

  • O estado do sistema inclui explicitamente os modelos dos outros agentes.
  • Nível 0: Políticas fixas (não adaptativas).
  • Nível 1: O agente humano (ou modelo humano) mantém crenças sobre as políticas de nível 0 do robô e adapta seu comportamento.
  • Nível 2: O agente robô (IA) mantém crenças sobre as políticas adaptativas de nível 1 do humano. Isso permite que a IA raciocine sobre como o humano vai reagir às suas ações.

• Regime de Treinamento Aninhado:

  • Em vez de treinar o robô e o humano simultaneamente (o que causa instabilidade), o treinamento ocorre em camadas hierárquicas:
    1. Treinamento de Nível 1: Um conjunto de políticas humanas $\{\pi^j_H\}$ é treinado contra um conjunto fixo de políticas de robô de nível 0 $\{\pi^k_R\}$. Isso gera comportamentos humanos adaptativos a políticas fixas.
    2. Treinamento de Nível 2: A política do robô $\pi_R$ é treinada contra o conjunto de políticas humanas adaptativas (Nível 1) geradas no passo anterior.
  • Vantagem: Ao treinar contra parceiros que são adaptativos a níveis inferiores, mas fixos durante o treinamento do nível superior, o robô aprende a lidar com a adaptação sem colapsar para uma única convenção de coordenação específica.

• Implementação Técnica:

  • Para tornar a atualização de crenças tratável, o método aprende uma incorporação latente ($z_t$) que resume o histórico de interações.
  • A política é condicionada a essa incorporação: $a_t \sim \pi_\theta(a| o_t, z_t)$. Isso permite a otimização end-to-end e a amortização da incerteza sobre os tipos de parceiros.

3. Contribuições Principais

1. Formulação Teórica: Modelagem explícita da adaptação humana dentro de um I-POMDP aninhado, permitindo que a IA realize raciocínio de nível 2 (pensar sobre o pensamento/adaptação do parceiro).
2. Algoritmo de Treinamento: Introdução do regime de treinamento aninhado, que evita a convergência para convenções arbitrárias (prova teórica no Apêndice A.4) e promove a generalização.
3. Mecanismo de Representação: Uso de embeddings latentes para capturar a história de interações e aproximar as crenças aninhadas do I-POMDP de forma eficiente computacionalmente.

4. Resultados Experimentais

Os experimentos foram realizados no domínio Overcooked (um jogo de cooperação culinária), especificamente em uma variante que exige cooperação obrigatória e múltiplas receitas possíveis.

• Comparação: O método proposto foi comparado com baselines de última geração: LIAM, LILI, PACE e uma política "Generalista".
• Desempenho (Taxa de Sucesso):
  • Avaliação Curta (5 episódios): O método proposto alcançou 0.90 de taxa de sucesso média, superando significativamente o segundo melhor (Generalista com 0.575). O LIAM falhou completamente (0.00).
  • Avaliação Estendida (25 episódios): O método proposto manteve alta performance (0.935), enquanto as baselines mostraram melhorias marginais ou instabilidade.
• Generalização:
  • O método proposto manteve desempenho consistente em todos os 8 parceiros adaptativos não vistos (sementes diferentes).
  • As baselines exibiram alta variância, funcionando bem apenas com parceiros específicos (sinal de overfitting) e falhando com outros.
• Análise Comportamental:
  • Agentes Propostos: Exibiram "adaptação mútua estruturada". O agente de Nível 2 antecipou o comportamento de espera do parceiro (Nível 1) e comprometeu-se proativamente com uma receita, estabilizando rapidamente a coordenação.
  • Agentes Baseline: Apresentaram oscilações persistentes na escolha de receitas, falhando em estabelecer uma convenção estável devido à incapacidade de modelar a dinâmica de adaptação do parceiro.

5. Significado e Impacto

• Superação da Não-Estacionariedade: O trabalho resolve um problema fundamental no MARL (Aprendizado por Reforço Multiagente): a não-estacionariedade causada quando ambos os agentes aprendem simultaneamente. O treinamento aninhado desacopla esse processo de forma inteligente.
• Robustez em Cenários Reais: Ao demonstrar que é possível treinar agentes que generalizam para parceiros humanos não vistos e adaptativos, o método abre caminho para aplicações reais em trabalho em equipe humano-robô, onde a flexibilidade é crucial.
• Validação Teórica e Empírica: A combinação de uma prova formal de que o método evita a convergência para uma única convenção com resultados empíricos superiores no Overcooked valida a eficácia da abordagem de I-POMDP aninhado para colaboração.

Em suma, o artigo demonstra que modelar explicitamente a adaptação do parceiro e treinar agentes contra versões adaptativas de níveis inferiores permite que a IA desenvolva estratégias de coordenação robustas e generalizáveis, superando as limitações dos métodos atuais que tratam os parceiros como estáticos ou que falham em lidar com a co-adaptação dinâmica.