Resumo Técnico: GPTNT – Avaliação de Referência para Colaboração em Tempo Real entre Agentes Multimodais

Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) estão sendo cada vez mais implementados para tarefas colaborativas com humanos e outros agentes. Embora os benchmarks existentes demonstrem capacidades fundamentais em visão e linguagem, eles geralmente falham em avaliar as condições específicas que definem a colaboração em tempo real: pressão de tempo, assimetria de informação e a necessidade de comunicação eficiente através de um ambiente visual dinâmico. Os benchmarks atuais frequentemente isolam esses fatores, operam em ambientes estáticos ou dependem de protocolos baseados em turnos que não penalizam a latência de geração. Consequentemente, não há um ambiente unificado para testar se os modelos conseguem coordenar-se efetivamente quando um agente possui informações visuais, mas não possui instruções, e o outro possui as instruções, mas não possui acesso visual, tudo isso enquanto um cronômetro de contagem regressiva avança.

Metodologia

Os autores introduzem o GPTNT, um benchmark construído sobre o jogo de vídeo cooperativo Keep Talking and Nobody Explodes (ktane). O framework envolve o jogo para criar um ambiente de avaliação zero-shot para agentes multimodais.

O Ambiente

• Papéis Assimétricos: Dois agentes coordenam a desativação de uma bomba gerada proceduralmente.
  • O Desativador (Defuser): Pode ver a bomba (um ambiente 3D com vários módulos de quebra-cabeça), mas carece do manual de instruções. Ele deve manipular a bomba (rotacionar, dar zoom, clicar) com base nas instruções.
  • O Especialista (Expert): Tem acesso ao manual de instruções (texto e imagens), mas não pode ver a bomba. Ele deve identificar os módulos e fornecer instruções baseando-se apenas nas descrições do Desativador.
• Restrições de Tempo Real: O benchmark opera em modo assíncrono, onde o relógio do jogo avança em tempo de relógio real, independentemente da velocidade de geração do modelo. Isso penaliza o raciocínio verboso e a inferência lenta, tornando a latência uma parte central da dificuldade da tarefa. Um modo síncrono também está disponível para experimentos controlados onde o relógio pausa durante a geração.
• Mecanismo de Interação: Os agentes se comunicam via linguagem natural. O Desativador utiliza uma abordagem "Set-of-Marks" (SoM) para interagir com elementos da interface, sobrepondo máscaras de segmentação para evitar erros de ancoragem de coordenadas.
• Complexidade da Tarefa: As missões envolvem resolver múltiplos módulos de quebra-cabeça independentes (ex: Fios, Simon Says, Código Morse) antes que o tempo expire ou que a equipe acumule três erros (strikes).

Protocolo de Avaliação

• Modelos Avaliados: Cinco MLLMs de última geração foram testados: GPT-5.2, Claude Sonnet 4.6, Gemini 3 Flash, Qwen3.5 (27B) e InternVL 3.5 (38B).
• Linhas de Base (Baselines): Foi estabelecida uma linha de base humana consistindo em dez pares de jogadores (incluindo não especialistas).
• Métricas: O sucesso é medido pela conclusão da missão (resolver todos os módulos), sucesso parcial (módulos resolvidos) e modos de falha (tempo esgotado vs. acúmulo de erros).
• Ablações Diagnósticas:
  • Missões de Módulo Único: Para isolar as dificuldades de módulos específicos.
  • VQA Offline: "Manual VQA" testa a capacidade do Especialista de raciocinar sobre o manual; "Simulator VQA" testa a percepção e as habilidades de contagem do Desativador.
  • Ablações de Agente Único: Os modelos foram testados com acesso tanto à bomba quanto ao manual (removendo a comunicação) ou sem o manual (testando conhecimento paramétrico/contaminação).

Principais Contribuições

1. Benchmark Unificado para Colaboração em Tempo Real: O GPTNT é o primeiro benchmark que exige simultaneamente coordenação sob assimetria de informação, ação assíncrona em tempo real, ancoragem visual em um ambiente dinâmico e comunicação sustentada de múltiplos turnos.
2. Avaliação Abrangente de Modelos de Fronteira: O artigo fornece uma decomposição sistemática de onde os modelos atuais falham, indo além de pontuações agregadas para analisar o desempenho através de diferentes papéis, combinações de parceiros e complexidades de tarefa.
3. Ferramentas Diagnósticas para Colaboração vs. Memorização: O framework inclui avaliações específicas para distinguir entre a capacidade colaborativa genuína e a dependência de soluções memorizadas do jogo (contaminação de dados), bem como ferramentas para isolar falhas perceptivas de baixo nível de erros de raciocínio de alto nível.

Resultados

Principais Descobertas

• Falha Total no Cenário Completo: No cenário primário assíncrono de múltiplos módulos, nenhum dos cinco modelos testados desativou uma única bomba com sucesso. Em contraste, 9 de 10 pares humanos resolveram pelo menos uma missão, com o melhor par resolvendo seis.
• Pressão de Tempo como um Gargalo: O modo de falha dominante para os modelos foi o timeout (esgotamento do tempo), ocorrendo em 50–90% das missões. Mesmo no modo síncrono (onde a pressão de tempo é removida), os modelos tiveram dificuldades significativas, resolvendo apenas uma fração das missões, indicando que o gargalo não é apenas velocidade, mas a capacidade central de colaborar.
• Assimetria de Papel: O desempenho varia significamente conforme o papel. O papel de Desativador tem um impacto maior no sucesso geral do que o papel de Especialista. Modelos como o GPT-5.2 performam melhor como Desativadores, enquanto outros como o Gemini 3 Flash performam melhor como Especialistas.
• Compatibilidade de Parceiros: No "other-play" (modelos diferentes pareados), as taxas de comunicação aumentaram, mas o sucesso não necessariamente melhorou. A compatibilidade entre pares de modelos específicos foi um preditor de sucesso mais forte do que a capacidade individual dos parceiros.
• Fraquezas de Baixo Nível: Avaliações offline revelaram déficits críticos:
  • Rastreamento de Estado: Os modelos lutam para manter o estado entre os turnos (ex: lembrar cores de fios na Wire Sequence ou sequências no Simon Says).
  • Contagem: Os Desativadores tiveram um desempenho ruim em tarefas de contagem (ex: número de baterias), uma fraqueza conhecida em grandes modelos.
  • Alucinação e Ambiguidade: Os modelos frequentemente falham em detectar quando um parceiro fornece informações ambíguas ou alucinadas, muitas vezes prosseguindo com suposições incorretas em vez de solicitar esclarecimentos.
• Contaminação: Os modelos demonstraram conhecimento paramétrico do jogo (desempenhando melhor do que as linhas de base aleatórias sem o manual), mas esse conhecimento foi insuficiente para resolver missões sem a lógica condicional específica do manual. O contexto visual pareceu servir de suporte para a recuperação do Desativador, mas não para o raciocínio procedural do Especialista.

Significância e Alegações

O artigo afirma que o GPTNT expõe uma lacuna crítica nas capacidades atuais dos MLLMs: embora os modelos possuam fortes habilidades individuais de visão e linguagem, eles carecem da competência colaborativa integrada necessária para tarefas assimétricas, sensíveis ao tempo e do mundo real.

• Validade Ecológica: Ao contrário dos benchmarks estáticos, o GPTNT simula as condições "caóticas" de implantação no mundo real, onde a informação é incompleta, a comunicação é imperfeita e o tempo é limitado.
• Desafio Dinâmico: Como o benchmark depende da natureza proceduralmente gerada do ktane e de sua comunidade de modding ativa, ele é projetado para permanecer desafiador à medida que os modelos melhoram, evitando os problemas de saturação comuns em benchmarks estáticos.
• Valor Diagnóstico: O artigo argumenta que os modelos atuais falham não apenas por falta de conhecimento, mas devido a fraquezas fundamentais no rastreamento de estado, recuperação de erros e na capacidade de reconhecer e resolver ambiguidades em diálogos em tempo real.

Os autores concluem que o GPTNT serve como um passo necessário em direção a uma avaliação mais holística, revelando que o caminho para uma colaboração multimodal eficaz exige abordar essas limitações interativas e temporais específicas, em vez de simplesmente escalar o tamanho do modelo.