Resumo Técnico: Avaliando os Limites da Aprendizagem por Reforço em Contexto para Trabalho em Equipe Ad-Hoc

1. Declaração do Problema

A Aprendizagem por Reforço em Contexto (ICRL) permitiu recentemente que agentes fundamentais se adaptassem instantaneamente a tarefas novas, tratando o histórico de interações como um prompt para modelos de sequência, alcançando sucesso em domínios de agente único (por exemplo, via Distilação de Algoritmos e Transformers Pré-treinados para Decisão). No entanto, sua eficácia em Trabalho em Equipe Ad-Hoc (AHT) — onde um agente deve coordenar-se com parceiros desconhecidos e heterogêneos, sem comunicação prévia ou protocolos de coordenação — permanece amplamente inexplorada.

Os benchmarks existentes de AHT sofrem de três limitações críticas:

1. Falta de Escala: Eles geralmente dependem de pequenos conjuntos de parceiros homogêneos ou variantes limitadas de tarefas, falhando em fornecer os milhões de transições necessárias para testar rigorosamente a generalização em contexto.
2. Generalização Conflituosa: Frequentemente falham em desvendar a generalização entre companheiros da generalização entre layouts ambientais, tornando difícil distinguir coordenação genuína de superajuste estatístico a pares específicos de parceiro-ambiente.
3. Infraestrutura Ausente: Há uma falta de pipelines padronizados e reproduzíveis para gerar históricos de aprendizagem (sequências de episódios mostrando melhoria) e conduzir avaliação online de adaptação no momento do teste.

Consequentemente, não está claro se os agentes atuais de ICRL baseados em modelos de sequência podem realizar a inferência estratégica necessária para identificar a intenção oculta de um parceiro e adaptar sua política puramente a partir do histórico de interações em configurações multiagente.

2. Metodologia: O Benchmark ICRL4AHT

Para abordar essas lacunas, os autores introduzem o ICRL4AHT, um benchmark de grande escala e reproduzível construído sobre uma implementação JAX de alto rendimento do OvercookedV2. O benchmark foi projetado para sondar rigorosamente os limites da ICRL em configurações cooperativas através de um pipeline de três estágios:

A. Especificação do Benchmark e Suíte de Companheiros

• Ambiente: O OvercookedV2 é modelado como um Processo de Decisão de Markov Parcialmente Observável Descentralizado (Dec-POMDP). Ele introduz complexidades críticas ausentes em versões anteriores, incluindo observabilidade parcial (campo de visão 5x5), posições iniciais estocásticas e mudanças dinâmicas de receitas.
• Diversidade de Companheiros: O benchmark constrói uma "Suíte de Companheiros" heterogênea composta por:
  • Políticas de RL: Uma população diversificada de parceiros treinada usando algoritmos conhecidos por gerar comportamentos variados (FCP, BRDiv, LBRDiv, CoMeDi).
  • Políticas Heurísticas: Quatro famílias distintas (H1–H4) que variam de "Consciente de Receita" (mínima autonomia) a "Avarenta de Utilidade" (alta autonomia), ordenadas por crescente cooperabilidade.
• Mudança de Distribuição: O desenho experimental separa estritamente as distribuições de treinamento e teste. Os agentes são treinados exclusivamente em históricos de aprendizagem gerados por RL e testados exclusivamente em políticas heurísticas não vistas, induzindo uma mudança de distribuição severa que preclude a simples interpolação.

B. Infraestrutura de Dados

• Históricos de Aprendizagem: Ao contrário de conjuntos de dados padrão de RL offline que contêm trajetórias estáticas de especialistas, o ICRL4AHT coleta "históricos de aprendizagem" — sequências de episódios onde um agente egoísta (treinado via PPO) melhora de comportamento aleatório para comportamento especialista contra um companheiro fixo.
• Escala e Filtragem: O pipeline gera mais de 1,19 bilhão de transições originais, filtradas para ~150 milhões de transições de alta qualidade entre 80 companheiros únicos. Um mecanismo de filtragem baseado em qualidade seleciona trajetórias com alto desempenho final e gradientes de melhoria significativos para garantir que os modelos de ICRL aprendam dinâmicas de adaptação genuínas.
• Armazenamento: Os dados são serializados no formato HDF5 em blocos com um índice JSONL para busca eficiente de metadados e amostragem em lote de janela de contexto.

C. Faixas de Avaliação

O benchmark define duas faixas de avaliação rigorosas para desvendar capacidades de generalização:

1. Faixa 1 (Generalização de Companheiro): Testa a adaptação a comportamentos de parceiros não vistos dentro de layouts familiares ($L_{train} \times \Pi_{test}$).
2. Faixa 2 (Generalização de Layout): Testa a robustez sob mudanças simultâneas no comportamento do parceiro e na dinâmica ambiental ($L_{test} \times \Pi_{test}$).

D. Baselines

Os autores avaliam algoritmos representativos de ICRL condicionados a histórico:

• Distilação de Algoritmos (AD): Treina um modelo de sequência para prever ações autoregressivamente a partir de históricos de aprendizagem, visando aprender "como aprender" a partir do contexto.
• Transformer Pré-treinado para Decisão (DPT): Treina um Transformer para prever ações expert ótimas dado um contexto específico da tarefa, tratando o histórico como um prompt para adaptação zero-shot.

3. Resultados Chave

A análise empírica revela limitações notáveis nas baselines atuais de ICRL quando aplicadas ao AHT:

• Falha em Superar o Aleatório: Contrariamente ao seu sucesso em domínios de agente único, tanto AD quanto DPT frequentemente falham em superar uma baseline simples aleatória em ambas as faixas de avaliação. Em vários cenários complexos de coordenação (por exemplo, companheiros H1 em layouts "test wide"), os agentes de ICRL alcançam retornos significativamente negativos, indicando que eles interferem ativamente com o parceiro em vez de coordenar-se.
• Ausência de Melhoria em Contexto: Uma característica definidora da ICRL é a melhoria de desempenho dentro de uma única janela de contexto à medida que o histórico se acumula. As curvas de avaliação para AD e DPT são consistentemente planas, não mostrando tendência de alta nos retornos à medida que o número de episódios de teste aumenta. Isso sugere que os modelos falham em realizar a inferência bayesiana necessária para identificar a política do parceiro a partir do histórico de interações.
• Robustez da Falha: A falha persiste em:
  • Comprimento do Contexto: Aumentar a janela de contexto de 250 para 2.000 (e até 10.000) transições não produz melhoria consistente.
  • Escala do Modelo: Escalonar os parâmetros do modelo (configurações Pequeno para Grande) resulta apenas em ganhos modestos, falhando em restaurar a adaptação robusta.
  • Condicionamento de Ação do Companheiro: Fornecer acesso explícito às ações do parceiro (+TA) não resolve o problema, sugerindo que o gargalo não é a disponibilidade de informação, mas a incapacidade do modelo de ligar causalmente ações observadas a intenções latentes.
  • Arquitetura: A troca para uma arquitetura recorrente (Hybrid-AD) ou o uso de um objetivo de RL offline (AMAGO-Offline) não altera qualitativamente o resultado.

4. Contribuições Chave

1. Benchmark e Pipeline Escaláveis: Os autores fornecem o primeiro pipeline reproduzível baseado em JAX para geração de companheiros, coleta de históricos de aprendizagem e avaliação padronizada de métodos de ICRL multiagente cooperativos com diversidade controlável.
2. Suíte Diversa de Companheiros: Eles constroem uma biblioteca heterogênea de companheiros que separa estritamente as distribuições de treinamento (baseada em RL) e teste (baseada em heurística), impondo um teste rigoroso de generalização que previne o superajuste a clusters específicos de parceiros.
3. Avaliando os Limites: O artigo demonstra que baselines representativas de ICRL baseadas em modelos de sequência condicionados a histórico, embora bem-sucedidas em configurações de agente único, lutam com a inferência estratégica necessária para adaptação de parceiros sob o protocolo AHT do OvercookedV2.

5. Significado e Alegações

O artigo posiciona o ICRL4AHT como um campo de testes crítico para a próxima geração de algoritmos de coordenação. Os autores afirmam que suas descobertas destacam um desafio fundamental: as arquiteturas atuais de modelos de sequência lutam para realizar a inferência implícita de parceiros bayesiana necessária para AHT sob mudanças de distribuição realistas.

O significado deste trabalho é primariamente diagnóstico. Em vez de propor um novo sistema operacional, os autores caracterizam sistematicamente as limitações das abordagens atuais de ICRL. Eles argumentam que a falha não é meramente um detalhe de implementação ou uma questão de ajuste de hiperparâmetros, mas reflete uma limitação substancial dos paradigmas estudados quando confrontados com diversidade realista de parceiros e mudanças ambientais. O benchmark de código aberto e as descobertas empíricas destinam-se a orientar a comunidade no desenvolvimento de arquiteturas com módulos explícitos de inferência de parceiros e objetivos de treinamento que incentivem a exploração voltada à busca de informação.