🤖 AI

CalBench: Evaluating Coordination-Privacy Trade-offs in Multi-Agent LLMs

CalBench é um ambiente de avaliação controlado para LLMs multiagente que utiliza uma tarefa de agendamento de calendário descentralizada com informações privadas para medir com precisão a qualidade da coordenação, a eficiência da comunicação, a equidade e o vazamento de privacidade em relação a soluções ótimas e de referência.

Autores originais: Chelsea Zou, Yiheng Yao, Selena She, Robert D. Hawkins

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chelsea Zou, Yiheng Yao, Selena She, Robert D. Hawkins

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando organizar um jantar em grupo com cinco amigos. O problema é que ninguém quer dizer aos outros exatamente o que está fazendo na terça-feira à noite. Talvez uma pessoa tenha um compromisso médico secreto, outra esteja escondendo uma festa surpresa e uma terceira esteja evitando uma conversa difícil com seu chefe.

No mundo real, vocês todos trocariam mensagens: "Estou livre às 19h", "Não consigo às 19h, tenho que buscar meu filho", "E às 20h?". Vocês tentam encontrar um horário que funcione para todos sem revelar seus segredos mais profundos.

CalBench é um playground digital criado por pesquisadores de Stanford para testar o quão bem agentes de IA (programas de computador agindo como pessoas) conseguem realizar exatamente essa dança.

Aqui está a explicação de como funciona, usando analogias simples:

1. O Jogo: Um Chat de Grupo Secreto

Os pesquisadores configuraram um jogo com N agentes (digamos, 5 assistentes de IA). Cada agente tem um calendário privado preenchido com:

Horários livres: Vagas abertas.
Recados: Compromissos pré-existentes (como "dentista" ou "academia").
Segredos: Cada recado tem um "sabor" ou contexto oculto (por exemplo, "arquivamento de falência" versus "comprar mantimentos").

O objetivo é agendar M novas reuniões para o grupo. Para ter sucesso, os agentes devem concordar com um único horário que funcione para todos.

O Problema:

Privacidade: O Agente A não pode ver o calendário do Agente B. Eles só conhecem o próprio.
A Negociação: Eles precisam conversar entre si para encontrar um horário.
A Armadilha: Se o Agente A disser: "Não consigo na terça-feira porque tenho uma reunião", ele pode revelar acidentalmente o que é essa reunião. O jogo testa se eles conseguem dizer "Estou ocupado" sem dizer "Estou reunindo com meu advogado sobre um processo judicial".

2. O "Oráculo" (A Solução Perfeita)

Para saber se a IA está fazendo um bom trabalho, os pesquisadores têm uma folha de cola no "modo Deus" chamada Oráculo.

O Oráculo vê os calendários de todos ao mesmo tempo. Ele conhece o horário perfeito que causa o menor transtorno para todos.
Os agentes de IA são então comparados a essa solução perfeita. Eles encontraram um horário que funciona? Eles causaram caos desnecessário (como forçar alguém a cancelar um evento de alta prioridade)?

3. Os Três Grandes Desafios

O artigo testa a IA em três habilidades específicas, usando metáforas para explicá-las:

A. O "Abraço em Grupo" (Coordenação)

Os agentes conseguem realmente concordar com um horário?

O Modo de Falha: Às vezes, os agentes acham que concordaram na terça-feira às 17h, mas o Agente A realmente anotou para terça-feira às 18h. Eles acabam com uma "reunião fantasma" para a qual ninguém aparece.
O Resultado: Alguns modelos (como o Gemini 3.1 Pro) foram ótimos nisso, fazendo todos concordarem 100% das vezes. Outros lutaram e deixaram reuniões sem agendamento.

B. O "Custo" (Eficiência vs. Equidade)

Imagine mover uma reunião das 17h para as 18h.

Custo Baixo: Mover um recado de "comprar mantimentos" é fácil.
Custo Alto: Mover uma "audiência judicial" é um desastre.
O Teste: A IA consegue encontrar um horário que minimize a dor total para o grupo?
A Surpresa: Algumas IAs foram terríveis nisso. Elas encontrariam um horário que funcionava, mas forçavam uma pessoa a cancelar seu evento mais importante enquanto todos os outros não faziam nada. Isso é chamado de falha de Equidade. Os melhores modelos encontraram um equilíbrio onde a "dor" era compartilhada igualmente.

C. O "Vizinho Fofoqueiro" (Privacidade)

Esta é a parte mais única do estudo. Os pesquisadores introduziram um "Agente Fofoqueiro" — um espião no chat do grupo.

O espião faz perguntas como: "Ah, você não consegue na terça-feira? Por quê? É algo sensível?"
O teste é: Os outros agentes vão escorregar e revelar seus segredos apenas para explicar por que estão ocupados?
O Resultado: Mesmo quando instruídos a não compartilhar segredos, algumas IAs cederam sob pressão.
- Exemplo: Um agente foi perguntado por que não podia mover um horário. Em vez de dizer "Tenho um conflito", ele disse: "Tenho uma preparação de arquivamento de falência com meu advogado".
- O estudo descobriu que, quando o "custo" de mover uma reunião era alto (era algo importante), os agentes tinham maior probabilidade de soltar a informação para explicar por que era tão difícil mover.

4. A Descoberta "Falar" vs. "Agir"

Os pesquisadores notaram algo interessante sobre como a IA falava:

Mais falar não significa melhores resultados. Alguns modelos enviaram centenas de mensagens, mas ainda assim falharam em encontrar um bom horário.
Precisão importa. Os melhores modelos não diziam apenas "É difícil para mim". Eles diziam: "É difícil porque custa 100 pontos mover isso".
A Analogia: Imagine tentar dividir uma conta.
- IA Ruim: "Não quero pagar muito, é muito difícil." (Vago, inútil).
- IA Boa: "Posso pagar $5, mas se eu pagar $10, estou falido." (Preciso, permite uma solução justa).

5. A Conclusão

O CalBench prova que, para a IA funcionar bem em uma equipe, ela não pode ser apenas inteligente; ela precisa ser diplomática.

Ela precisa saber o que compartilhar (disponibilidade) e o que esconder (a razão secreta).
Ela precisa entender que "resolver o problema" não é apenas encontrar qualquer horário; é encontrar o horário que causa menos dor e trata todos com justiça.

O artigo conclui que, embora a IA esteja ficando melhor em planejamento, ela ainda luta para equilibrar privacidade (manter segredos) com eficiência (fazer o trabalho). Quanto maior a pressão para explicar uma decisão, maior a probabilidade de a IA vazar acidentalmente um segredo.

Resumo Técnico: CalBench – Avaliando Compromissos entre Coordenação e Privacidade em LLMs Multiagente

1. Definição do Problema

O artigo aborda o desafio de avaliar Modelos de Linguagem de Grande Porte (LLMs) multiagente em tarefas de coordenação descentralizada onde os agentes possuem informações privadas. Embora benchmarks existentes frequentemente permitam que um único agente capaz resolva um problema com visibilidade total do estado, cenários do mundo real, como agendamento de calendários, exigem que os agentes negociem e alcancem consenso enquanto retêm dados sensíveis (por exemplo, compromissos específicos, restrições de disponibilidade e contextos semânticos).

O problema central é o compromisso entre coordenação e privacidade: os agentes devem comunicar informações suficientes para encontrar uma agenda mutuamente viável (minimizando custos de perturbação) sem revelar detalhes privados irrelevantes para a tarefa. Os benchmarks atuais carecem de métricas rigorosas e verificáveis para essa interseção específica de tomada de decisão descentralizada, otimização de custos e preservação de privacidade.

2. Metodologia: O Ambiente CalBench

Os autores introduzem o CalBench, um ambiente de avaliação controlado para agendamento de calendários multiagente.

Configuração do Ambiente

Agentes e Calendários: $N$ agentes gerenciam cada um um calendário privado com $T$ intervalos de tempo discretos. Os intervalos contêm tempo livre, tarefas existentes (com contextos semânticos privados) ou reuniões agendadas.
Tarefa: Os agentes devem coordenar-se para agendar um fluxo de $M$ reuniões entrantes. Cada reunião requer um único intervalo de tempo consistente em todos os calendários dos participantes.
Restrições: Os agentes observam apenas seus próprios calendários. Eles não podem inspecionar diretamente os calendários dos outros.
Custos: O ambiente suporta custos uniformes (todos os deslocamentos custam 1) e custos variáveis (tarefas têm custos de deslocamento heterogêneos), permitindo o estudo da otimização versus mera viabilidade.
Fases: Cada rodada de reunião prossegue através de quatro fases:
1. Fala barata (Cheap-talk): Participantes negociam intervalos candidatos.
2. Voluntário: Não participantes contactados durante a negociação podem reagendar seus próprios compromissos.
3. Decisão: Participantes submetem independentemente ações de agendamento atômicas (REAGENDAR/AGENDAR).
4. Resolução: O motor valida a consistência e aplica as alterações.

Linhas de Base e Oráculo

Para fornecer verdade fundamental e comparação justa, o CalBench inclui:

Solução Oráculo: Gerada via CP-SAT (Programação por Restrições) com informações completas para definir o custo ótimo global.
Linhas de Base Scriptadas: Quatro protocolos descentralizados operando sob as mesmas restrições de informação privada:
- IMAP (Planejamento Multiagente Incremental): Linha de base de alta divulgação e custo quase ótimo (envia vetores de custo completos).
- SD-MAP: Linha de base de baixa divulgação, focada na viabilidade (apenas viabilidade binária).
- DSM (Multiagente Baseado em Pontuação Distribuída Multi-round): Duas variantes (Bem-estar e Privada) que trocam entre o tamanho do conjunto de ofertas e a privacidade.

Métricas de Avaliação

O benchmark mede o desempenho em cinco eixos:

Taxa de Sucesso: Fração de reuniões agendadas com sucesso.
Eficiência de Comunicação: Mensagens diretas (DMs) médias por reunião agendada.
Qualidade de Coordenação: Custo realizado relativo ao ótimo do oráculo (Custo Excedente).
Equidade: Distribuição dos custos de perturbação entre os agentes (razão entre custo mínimo e máximo).
Vazamento de Privacidade: Medido por dois métodos:
- VPS (Valoração de Estados Possíveis): Uma métrica estrutural que quantifica o quanto um observador pode inferir sobre a disponibilidade de um agente a partir das mensagens trocadas.
- Sondagem Adversária: Um agente "fofoqueiro" tenta extrair contexto semântico sensível (por exemplo, "Por que este intervalo está bloqueado?") durante a negociação.

3. Contribuições Principais

Um Benchmark Multiagente com Recompensas Precisas: O CalBench fornece um ambiente verificável com soluções oráculo e métricas computáveis para qualidade de coordenação, equidade e privacidade, distinto de benchmarks onde um único agente pode substituir o grupo.
Geração de Cenários Controláveis: Um mecanismo que gera tarefas solucionáveis com métricas oráculo conhecidas, equilibrando dificuldade e restrições de privacidade.
Condições de Estresse de Privacidade: Inclui um cenário adversário que pressiona os agentes a revelar informações privadas irrelevantes para a tarefa, distinguindo entre compartilhamento necessário de disponibilidade e vazamento semântico sensível.
Análise em Nível de Rastreamento: Uma taxonomia detalhada de padrões comportamentais (por exemplo, "fofoca de disponibilidade", "achatamento qualitativo") explicando como os agentes falham, além das taxas de sucesso agregadas.

4. Resultados Experimentais

Os autores avaliaram sete LLMs (incluindo GPT-5.4 Mini, Claude Sonnet 4.6, Gemini 3.1 Pro e Llama 4 Maverick) em 72 tarefas.

Coordenação e Custo

Viabilidade vs. Otimização: Em tarefas de custo uniforme, a maioria dos modelos alcançou altas taxas de coordenação (>94%). No entanto, em tarefas de custo variado, surgiram lacunas significativas de desempenho.
Achatamento de Custos: Modelos como GPT-5.4 Mini e Llama 4 Maverick exibiram "achatamento qualitativo", usando linguagem vaga (por exemplo, "difícil") que obscurecia grandes diferenças de custo. Isso levou a custos excedentes massivos (por exemplo, GPT-5.4 Mini: 1159,17 vs. Oráculo) e baixa equidade.
Melhor Desempenho: Gemini 3.1 Pro alcançou o melhor equilíbrio, atingindo 100% de coordenação com o menor custo excedente (12,83) em configurações variadas, compartilhando valores de custo exatos.

Compromissos entre Privacidade e Eficiência

O Compromisso: Um significativo compromisso entre privacidade e eficiência foi observado em configurações de custo variado. Maior vazamento de VPS (revelando mais disponibilidade estrutural) correlacionou-se com menor custo excedente.
Vazamentos Adversários: Na sondagem adversária, foram encontrados 22 vazamentos induzidos em 216 rastreamentos. Os vazamentos foram mais frequentes e sensíveis em cenários de custo variado, onde os agentes sentiram pressão para justificar por que um intervalo era caro (por exemplo, revelando "preparação de processo de falência" ou "revisão de PDI").
Volume de Comunicação: A contagem de mensagens não foi um proxy confiável para qualidade. O modelo mais parcimonioso (GPT-5.4 Mini) teve o pior desempenho de custo, enquanto o melhor coordenador (Gemini 3.1 Pro) usou apenas marginalmente mais mensagens.

Padrões Comportamentais

A análise de rastreamento revelou modos de falha específicos:

Fofoca de Disponibilidade: Os agentes frequentemente revelaram estados de calendário de terceiros (18,9% das mensagens), violando limites de privacidade.
Falso Acordo: Os agentes pareciam concordar, mas comprometeram-se com intervalos diferentes (37 falhas), muitas vezes devido a negociações oscilantes sem compromisso final explícito.
Achatamento Qualitativo: Comprimir grandes diferenças de custo em termos vagos impediu concessões ótimas.

5. Significado e Alegações

O artigo alega que o CalBench fornece um ambiente prático e verificável para estudar protocolos de coordenação, eficiência de comunicação, estratégias de negociação, equidade e vazamento de privacidade em sistemas multiagente.

As principais descobertas enfatizadas pelos autores incluem:

Descentralização Estrutural: Ao contrário de muitos benchmarks, o CalBench torna a coordenação multiagente um requisito e não uma escolha arquitetônica, pois nenhum agente único tem visibilidade total.
Separabilidade dos Modos de Falha: A otimização de custos e a viabilidade são modos de falha distintos. O "achatamento qualitativo de custos" é identificado como o principal motor de arrependimento e injustiça.
Persistência dos Compromissos: O compromisso entre privacidade e eficiência observado em Problemas Clássicos de Otimização de Restrições Distribuídas (DCOPs) persiste em agentes LLM e é quantificável via VPS.
Natureza das Falhas de Privacidade: As falhas de privacidade surgem não apenas de esquecer instruções, mas de comportamentos estruturalmente funcionais (como fofoca de disponibilidade) e de quebras na adesão a instruções sob a pressão de justificar restrições de agendamento.

Os autores concluem que o volume de comunicação não é um proxy confiável para a qualidade da coordenação; em vez disso, a precisão das informações de custo e a capacidade de expor sinais relevantes para a tarefa no nível de abstração adequado são os determinantes críticos do sucesso. O benchmark, incluindo seu gerador de cenários, linhas de base e kit de ferramentas de análise de rastreamento, foi lançado para facilitar pesquisas adicionais neste domínio.