Resumo Técnico: Modelagem Bayesiana de Parceiros Permite o Replanejamento Adaptativo para Coordenação de LLMs

Declaração do Problema

Sistemas multiagentes de Grandes Modelos de Linguagem (LLMs) frequentemente lutam para colaborar com novos companheiros cujas estratégias mudam no meio da tarefa. Embora os agentes possam inferir com sucesso a intenção de um parceiro (uma capacidade associada à "Teoria da Mente"), eles frequentemente falham em traduzir essa crença atualizada em mudanças comportamentais oportunas. Especificamente, os agentes tendem a continuar executando habilidades multi-passo obsoletas mesmo após evidências públicas indicarem que um parceiro mudou sua estratégia. Isso cria um hiato entre crença e ação (belief–action gap): o agente possui um modelo preciso do papel atual do parceiro, mas falha em interromper sua própria execução em curso para selecionar uma habilidade complementar. Métodos existentes ou tratam o rastreamento de parceiros como contexto passivo (levando a tempos de reação lentos) ou acionam o replanejamento indiscriminadamente (causando um excesso de churn computacional).

Metodologia: BayesBeliefAgent

Os autores introduzem o BayesBeliefAgent, um agente de coordenação de LLM hierárquico projetado para preencher a lacuna entre a crença do parceiro e o controle. O sistema opera através de três mecanismos centrais:

1. Atualização de Crença de Habilidade de Parceiro Bayesiana Online

O agente mantém uma crença posterior recursiva $b_t(\psi)$ sobre a habilidade ativa do companheiro $\psi$ a partir de uma biblioteca finita de habilidades $\Psi$. Como a política de alto nível do companheiro é inobservável, o agente infere a habilidade usando inferência bayesiana inversa baseada em ações primitivas publicamente observáveis.

• Janela de Inferência: O agente atualiza as crenças sobre um segmento de trajetória recente, assumindo que a habilidade do companheiro permanece fixa dentro de uma janela de $k$ passos.
• Aproximação de Verossimilhança: Como o controlador de baixo nível real do companheiro é desconhecido, o agente aproxima a verossimilhança das ações usando seu próprio controlador de ação de baixo nível $\pi^i_{low}$ para prever o que o parceiro faria se estivesse executando uma habilidade específica $\psi$.
• Inicialização de Prior: A crença a priori é inicializada usando um modelo de contagem suavizado baseado no histórico de habilidades concluídas do parceiro dentro do episódio atual, permitindo que o agente aprenda preferências comportamentais ao longo do tempo.

2. Interrupção de Habilidade Condicionada por Contradição

Em vez de replanejar constantemente, o agente emprega um mecanismo de interrupção com portão (gated interruption mechanism). O agente avalia a verossimilhança das ações recém-observadas do companheiro sob a estimativa de habilidade de Máxima Verossimilhança a Posteriori (MAP) atual.

• Sinal de Contradição: Se a verossimilhança das ações observadas cair abaixo de um limiar $\theta_{obs}$, um sinal de contradição é acionado.
• Portões de Interrupção: Para evitar replanejamento induzido por ruído, a interrupção ocorre apenas se:
  1. Uma contradição for detectada.
  2. A estimativa de habilidade MAP permaneceu estável durante as atualizações recentes.
  3. A confiança da crença atual exceder um limiar $\Gamma_{conf}$.
  4. O agente ego estiver no meio de uma habilidade e não estiver em um período de cooldown.

3. Replanejamento Seletivo

Quando os portões de interrupção são satisfeitos, o agente interrompe sua habilidade atual e invoca o planejador de alto nível do LLM. O planejador recebe a crença posterior atualizada e a nova estimativa MAP como contexto de coordenação para selecionar uma habilidade complementar. Isso garante que o agente apenas replaneje quando o plano atual for demonstravelmente inconsistente com o comportamento do parceiro.

Principais Contribuições

1. Método: A introdução do BayesBeliefAgent, que utiliza contradições baseadas em verossimilhança sob uma estimativa atual de habilidade do companheiro para interromper e replanejar seletivamente, em vez de depender de gatilhos periódicos ou baseados em eventos.
2. Diagnósticos: Um protocolo de avaliação inovador definindo a taxa de hiato crença–ação (a fração de decisões onde o agente possui uma estimativa correta do parceiro, mas executa uma habilidade não complementar), recuperação condicionada por contradição e eficiência de replanejamento. Essas métricas revelam falhas de coordenação que métricas de recompensa agregadas podem ocultar.
3. Evidência: Resultados empíricos demonstrando que a interrupção baseada em posterior converte crenças de parceiros de contexto passivo em sinais de controle ativos, reduzindo significativamente o hiato crença–ação e reduzindo as taxas de habilidades duplicadas.

Resultados Experimentais

O sistema foi avaliado nos ambientes Overcooked e Burrito através de três layouts (Open, Ring, Forced Coordination) e três grupos de parceiros com diversas preferências comportamentais.

• Desempenho de Coordenação: O BayesBeliefAgent superou as baselines de LLM (ProAgent, Hypothetical Minds) nos layouts Open e Ring, particularmente contra parceiros com distintas preferências de logística ou obtenção de recursos. No entanto, as baselines baseadas em RL (TALENTS, GAMMA) geralmente alcançaram recompensas brutas mais altas, indicando que o planejador de LLM subjacente permanece um gargalo de desempenho.
• Fechando o Hiato Crença–Ação: Apesar de alcançar precisão de previsão de habilidade de companheiro quase idêntica à baseline ProAgent, o BayesBeliefAgent reduziu significativamente o hiato crença–ação (por exemplo, de 0,41 para 0,20 no layout Open) e reduziu as taxas de habilidades duplicadas.
• Eficiência de Replanejamento: O método alcançou recompensas comparáveis às heurísticas de replanejamento genérico (Periodic-10, Completion-triggered, LLM-judge), mas com drasticamente menos replanejametos. Por exemplo, no cenário Open G1, o BayesBeliefAgent teve uma média de 2,0 replanejametos por episódio, enquanto as heurísticas dispararam entre 43 e 169 replanejametos para desempenhos similares.
• Estudos de Ablação: Experimentos confirmaram que usar o posterior como um sinal de controle (acionando a interrupção) é mais eficaz do que usá-lo meramente como contexto no prompt do planejador. O acoplamento direto da crença com as decisões de replanejamento mostrou ser o principal motor da melhoria na coordenação.

Significância e Alegações

O artigo argumenta que a coordenação multiagente eficaz requer mais do que apenas modelagem de parceiro precisa; requer um mecanismo principiado para decidir quando agir sobre esse modelo. Os autores afirmam que:

• Crença é insuficiente sem controle: Inferir corretamente a intenção de um parceiro não garante a coordenação se o agente falhar em interromper um plano obsoleto.
• Replanejamento seletivo é superior ao replanejamento frequente: Reagir a cada mudança comportamental causa um excesso de churn. Detectar contradições específicas contra uma crença estável permite uma adaptação eficiente.
• Preenchendo a Lacuna da ToM: O trabalho aborda a lacuna da "Teoria da Mente literal–funcional" ao demonstrar que a atualização de crenças deve ser diretamente acoplada a sinais de controle para evitar que os agentes continuem executando estratégias redundantes ou conflitantes.

Os autores notam modestamente as limitações, especificamente que o método depende de uma biblioteca de habilidades fixa e especificada manualmente e é menos eficaz em ambientes de acoplamento estreito (Forced Coordination), onde as limitações do planejador de LLM subjacente são mais pronunciadas. Eles identificam o aprendizado do espaço de habilidades e a adaptação conjunta da estimativa de crença com a seleção de ação como direções futuras necessárias.