Resumo Técnico: Estimativa de Capacidade de Parceiro para Adaptação Agnóstica a Tarefas em Trabalho em Equipe Ad-Hoc

1. Formulação do Problema

O artigo aborda uma limitação crítica na pesquisa atual de Trabalho em Equipe Ad-Hoc (AHT): a suposição de que agentes colaboram em uma única tarefa fixa com capacidades de parceiro conhecidas. Em cenários de mundo aberto mais realistas, particularmente aqueles envolvendo colaboradores humanos, os parceiros possuem restrições ocultas e invariantes à tarefa sobre suas habilidades (capacidades) e podem agir de forma subótima ou com estratégias diversas.

Os autores formalizam o problema como planejamento conjunto com execução descentralizada sob capacidades de parceiro ocultas. O desafio central é aprender um modelo reutilizável e agnóstico à tarefa das capacidades de um parceiro específico a partir de trajetórias conjuntas observadas. Diferente de abordagens anteriores que aprendem políticas robustas para uma tarefa fixa ou inferem preferências (o que um parceiro quer fazer), este trabalho foca em inferir capacidades (o que um parceiro é fundamentalmente capaz de fazer). O objetivo é permitir que um agente autônomo ($Ag_1$) estime o vetor de capacidade oculto ($c$) de um parceiro incontrolável ($Ag_2$) e use essa estimativa para planejar futuras tarefas conjuntas sem pré-treinamento em uma população de parceiros.

2. Metodologia

2.1. Estrutura de Modelagem

Os autores estendem o framework de Processo de Decisão de Markov Contextual Multi-agente (CMMDP).

• Estado e Ação: Definidos sobre um conjunto finito de estados conjuntos ($S$) e ações conjuntas ($A$).
• Capacidades ($C$): Modeladas como vetores binários de $D$ dimensões, onde cada bit representa uma capacidade específica (ex: habilidade de levantar um objeto pesado, habilidade de usar uma ferramenta específica).
• Função de Transição ($T$): As capacidades modulam a função de transição. Se uma capacidade necessária para uma transição estiver ausente ($c_i=0$), a transição resulta em um auto-loop (o estado não muda), tornando efetivamente a ação inviável naquele contexto.
• Objetivo: O agente busca encontrar o vetor de capacidade $c^*$ que minimize a diferença entre a trajetória conjunta planejada sob $c^*$ e a trajetória observada $\tau_{obs}$ através de múltiplas tarefas.

2.2. CE-CM: Estimativa de Capacidade via Modelos Contextuais

O método principal, CE-CM, é uma abordagem de inferência Bayesiana aproximada que opera através de um loop de "simular-e-comparar":

1. Amostragem: O agente amostra vetores de capacidade candidatos ($\hat{c}$) de uma distribuição a priori.
2. Simulação: Para cada candidato, o agente utiliza um planejador conjunto para simular a trajetória ($\tau_{\hat{c}}$) que resultaria se o parceiro possuísse aquelas capacidades.
3. Comparação: A trajetória simulada é comparada à trajetória observada ($\tau_{obs}$) usando uma métrica de similaridade (distância de Jaccard para estados proposicionais, similaridade de cosseno para vetores de valores reais).
4. Atualização de Crença: Candidatos que caem dentro de um limiar de similaridade $\epsilon$ são aceitos. O agente mantém um conjunto de amostras aceitas para aproximar a distribuição a posteriori.
5. Estimativa: Uma estimativa pontual $\hat{c}^*$ é derivada (ex: via estimativa de Máxima Verossimilhança a Posteriori) através do limiar da média empírica das amostras aceitas.
6. Planejamento: As capacidades estimadas induzem uma instância específica de CMMDP, que o agente utiliza para computar um novo plano conjunto para a próxima tarefa.

2.3. CE-CM-Div: Lidando com a Diversidade Comportamental

Os autores identificam que o CE-CM padrão é frágil quando parceiros humanos exibem comportamentos diversos ou subótimos, pois um único vetor de capacidade pode induzir múltiplas trajetórias válidas. Para resolver isso, propõem o CE-CM-Div:

• Em vez de comparar a observação a uma única trajetória ótima, o CE-CM-Div gera um conjunto diverso de trajetórias ($\Delta_{\hat{c}}$) para cada hipótese de capacidade candidata usando um planejador consciente da diversidade (baseado em Busca em Árvore Monte Carlo).
• Uma hipótese é aceita se pelo menos uma trajetória no conjunto diverso for suficientemente similar à observação.
• Esta abordagem evita a rejeição de hipóteses de capacidade válidas devido a variações comportamentais não modeladas ou subotimalidade.

3. Contribuições Principais

1. Formulação Baseada em Capacidade: Uma formalização de AHT multi-tarefa como planejamento conjunto sob restrições de capacidade ocultas e invariantes à tarefa, fornecendo uma representação de parceiro interpretável e reutilizável.
2. Algoritmo CE-CM: Um método de adaptação online e agnóstico à tarefa que infere vetores de capacidade discretos a partir de poucas interações sem exigir pré-treinamento de população ou dados de demonstração.
3. Extensão CE-CM-Div: Um mecanismo de robustez que considera a diversidade comportamental ao avaliar hipóteses contra conjuntos de rollouts diversos do planejador, em vez de trajetórias únicas ótimas.
4. Validação Empírica: Avaliação abrangente em dois domínios (TidyUP e Overcooked) e um estudo com seres humanos demonstrando a eficácia e as limitações da modelagem baseada em capacidade.

4. Resultados Experimentais

4.1. TidyUP (Domínio PDDL)

Em um domínio doméstico simbólico com recompensas totalmente especificadas e transições determinísticas:

• Inferência: O CE-CM recuperou rapidamente os vetores de capacidade reais, reduzindo a distância de Hamming para quase zero em cinco tarefas.
• Coordenação: O método reduziu significativamente a razão de "ações corrigidas" (conflitos entre o plano do agente e do parceiro) e aumentou a sobreposição de planos (IoU) em comparação com baselines otimistas e pessimistas.
• Conclusão: Em ambientes bem especificados onde a viabilidade dita estritamente o comportamento, a inferência de capacidade é altamente eficaz.

4.2. Overcooked (Parceiros Simulados)

Em um domínio de coordenação dinâmica com recompensas subespecificadas (múltiplas estratégias válidas):

• Inferência: O CE-CM recuperou com sucesso as restrições de capacidade, reduzindo a proporção de ações inviáveis (improdutivas) atribuídas ao parceiro.
• Limitação de Coordenação: Apesar das estimativas de capacidade precisas, o CE-CM não resolveu totalmente os erros de coordenação (a sobreposição de planos permaneceu baixa). Isso ocorre porque as capacidades restringem a viabilidade, mas não determinam qual estratégia viável o parceiro escolhe quando múltiplas existem.
• Conclusão: Capacidades sozinhas são insuficientes para prever o comportamento em domínios com alta ambiguidade de estratégia.

4.3. Overcooked (Sujeitos Humanos)

Um estudo com 15 participantes (225 trajetórias) revelou variabilidade comportamental significativa:

• Falha do CE-CM: O CE-CM padrão falhou frequentemente em atualizar as crenças porque as trajetórias humanas raramente coincidiam com a trajetória única ótima gerada pelo planejador, levando a pouquíssimas amostras aceitas.
• Sucesso do CE-CM-Div: A extensão consciente da diversidade melhorou substancialmente a precisão da inferência (menor distância de Hamming) e o tamanho da a posteriori ao aceitar hipóteses que correspondiam a qualquer um dos comportamentos plausíveis e diversos.
• Conclusão: Considerar a diversidade comportamental é essencial para uma inferência de capacidade robusta em equipes humano-IA reais.

5. Significância e Alegações

O artigo afirma que a modelagem baseada em capacidade oferece uma abordagem promissora, interpretável e agnóstica à tarefa para a adaptação em trabalho em equipe ad-hoc. Ao distinguir entre o que um parceiro pode fazer (capacidades) e o que eles escolhem fazer (preferências/estratégias), os agentes podem acumular conhecimento reutilizável sobre um indivíduo através de diferentes tarefas.

No entanto, os autores são modestos quanto ao escopo desta solução. Eles declaram explicitamente que:

• Capacidades são necessárias, mas não suficientes: Em domínios com múltiplas estratégias válidas (como Overcooked), saber as capacidades de um parceiro não prevê unicamente seu comportamento.
• A diversidade é crítica: A adaptação robusta em equipes humano-IA requer mecanismos (como o CE-CM-Div) que considerem a variabilidade comportamental e a subotimalidade, em vez de assumir um planejamento ótimo.
• Escalabilidade: A abordagem atual depende de planejamento conjunto, que escala exponencialmente com o número de agentes, limitando a aplicação imediata em grandes equipes sem aproximações adicionais.

O trabalho posiciona a estimativa de capacidade como um passo fundamental para o trabalho em equipe humano-IA generalizável, ao mesmo tempo em que destaca a necessidade de modelar conjuntamente capacidades e preferências para resolver plenamente a ambiguidade comportamental.