Can AI Agents Agree?

O estudo revela que agentes baseados em grandes modelos de linguagem (LLMs) ainda não possuem uma capacidade emergente confiável para alcançar consenso em cenários adversariais, apresentando falhas frequentes de vivacidade que aumentam com o tamanho do grupo e a presença de agentes maliciosos.

O essencial

Imagine que você tem um grupo de amigos muito inteligentes, mas que são como "robôs de texto" (chamados de Agentes de IA). O objetivo deles é simples: todos precisam concordar em um único número entre 0 e 50, como se estivessem decidindo o preço de um produto ou a hora de um encontro.

O problema é que, às vezes, um ou mais desses "amigos" podem ser trapaceiros (chamados de agentes bizantinos). Eles não querem que o grupo chegue a um acordo; eles querem causar confusão, mentir ou fazer o grupo ficar preso em uma discussão eterna.

Este artigo de pesquisa, feito por cientistas da ETH Zurich, colocou esses robôs à prova para ver se eles conseguem realmente chegar a um consenso (um acordo) quando estão trabalhando juntos.

Aqui está o resumo da história, usando analogias do dia a dia:

1. O Cenário: Uma Reunião de Decisão

Imagine uma sala de reuniões onde todos têm um papel de papel com um número escrito (seu "valor inicial"). Eles devem se comunicar, discutir e tentar chegar a um único número que todos aceitem.

• O Desafio: Eles não têm preferência pelo número final. O importante é que todos concordem com o mesmo número.
• A Regra: Para a reunião acabar, pelo menos 2/3 dos participantes precisam dizer "Parar, estamos de acordo!". Se ninguém chegar a isso, a reunião acaba no tempo limite e ninguém ganha nada (ninguém decide nada).

2. O Que Eles Descobriram (Sem Trapaceiros)

Mesmo quando todos os robôs eram honestos e queriam cooperar, as coisas deram errado com frequência.

• O Problema do Tamanho: Quanto mais pessoas na sala (grupo maior), mais difícil foi para eles concordarem. É como tentar organizar um jantar com 16 pessoas em vez de 4; o caos aumenta.
• O Problema do Medo: Quando os robôs foram avisados na instrução inicial: "Cuidado! Pode haver um trapaceiro aqui", eles ficaram paranoicos. Isso fez com que a reunião demorasse muito mais ou nunca terminasse. Curiosamente, quando eles foram avisados que "todos são honestos", o grupo funcionou muito melhor.
• O Resultado: Em muitos casos, eles simplesmente não conseguiam parar de discutir. A reunião acabava por tempo esgotado, sem nenhum acordo.

3. O Que Acontece com Trapaceiros?

Quando o pesquisador adicionou apenas um robô trapaceiro (um "lobo na ovelha") ao grupo de 8:

• O Colapso: A chance de sucesso caiu drasticamente.
• A Estratégia do Trapaceiro: O trapaceiro não precisava convencer ninguém a aceitar um número errado. Ele só precisava fazer os honestos ficarem confusos ou travados.
• O Resultado Principal: O maior problema não foi que o grupo concordou com o número errado (corrupção do valor), mas sim que eles nunca conseguiram concordar com nada (perda de "vivacidade"). A reunião virou um beco sem saída.

4. A Analogia da "Fofoca" vs. "Grito"

O estudo descobriu algo muito interessante sobre como eles falharam:

• Não foi como se um robô gritasse "O número é 99!" e todos os outros, ingenuamente, aceitassem.
• Foi mais como se o robô trapaceiro (ou a própria confusão do grupo) começasse a sussurrar coisas diferentes para cada um, ou fizesse perguntas que ninguém conseguia responder. O grupo ficou paralisado. Eles ficaram presos em um ciclo de "eu penso que você pensa que ele pensa...", e nunca chegaram a uma conclusão.

5. A Conclusão Importante

A mensagem principal do artigo é um alerta de cautela:

Ainda não podemos confiar em grupos de IAs para tomar decisões críticas sozinhas.

Mesmo em situações simples, onde ninguém tem nada a ganhar ou perder (apenas concordar em um número), esses agentes de IA:

1. Têm dificuldade de chegar a um acordo quando o grupo é grande.
2. São extremamente frágeis se houver apenas um "mau elemento" tentando atrapalhar.
3. Tendem a travar (não terminar a tarefa) em vez de tomar uma decisão errada.

Em resumo: Se você planeja usar uma equipe de IAs para gerenciar algo importante (como redes elétricas, finanças ou segurança), saiba que, hoje em dia, elas ainda não são tão "sociais" ou confiáveis quanto gostaríamos. Elas precisam de supervisão humana, pois podem entrar em um loop infinito de indecisão ou serem facilmente sabotadas por um único agente mal-intencionado.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Can AI Agents Agree?" (Os Agentes de IA Podem Concordar?), escrito por Frédéric Berdoz, Leonardo Rugli e Roger Wattenhofer da ETH Zurique.

1. O Problema

O artigo investiga a capacidade de modelos de linguagem grandes (LLMs), quando implantados como agentes autônomos cooperativos, de alcançarem consenso em ambientes adversariais. Embora os LLMs sejam cada vez mais usados para tarefas colaborativas (planejamento, codificação, raciocínio), seu comportamento em cenários de consenso sob falhas ou ataques (especificamente o Problema dos Generais Bizantinos) não foi sistematicamente estudado.

O foco do estudo é um cenário de consenso escalar sem "stake" (sem aposta):

• Um grupo de agentes deve concordar sobre um único valor numérico.
• Os agentes não têm preferência intrínseca pelo valor final (qualquer valor inicial de um agente honesto é válido).
• O objetivo é avaliar a agreement (acordo) e a liveness (vivacidade/progresso), e não a otimalidade do valor.
• O cenário inclui agentes "honestos" e uma fração de agentes "bizantinos" (maliciosos) que tentam sabotar o consenso.

2. Metodologia

Os autores desenvolveram um simulador chamado A2A-Sim (All-to-All Simulator) para testar a robustez de grupos de LLMs.

• Configuração do Experimento:
  • Rede: Comunicação síncrona "todos para todos" (all-to-all).
  • Agentes: Grupos de tamanho $N \in \{4, 8, 16\}$.
  • Modelos: Utilizaram a família de modelos Qwen3-8B e Qwen3-14B.
  • Fração Bizantina ($f$): Variou de $0$(cenário benigno) até$1/3$(o limite teórico clássico para tolerância a falhas bizantinas). O número de agentes maliciosos ($B$) foi de 0 a 4 em grupos de 8.
  • Protocolo: Em cada rodada, os agentes recebem um resumo textual das rodadas anteriores, propõem um valor escalar (entre 0 e 50), fornecem uma justificativa e decidem se votam para "parar" (concluir) ou "continuar".
  • Terminação: O jogo termina quando $\ge 2/3$ de todos os agentes votam para parar. Se o limite de rodadas ($T_{max} = 50$) for atingido sem consenso, ocorre um timeout.
  • Modelo de Ameaça: Os agentes bizantinos podem propor valores arbitrários e adaptar-se ao histórico, mas não podem mentir sobre a identidade, enviar mensagens diferentes para destinatários diferentes (equivocação) ou suprimir mensagens. Eles devem enviar a mesma mensagem a todos.
  • Prompting: Foram testadas duas variantes de prompt para agentes honestos: uma avisando que agentes bizantinos podem existir e outra omitindo qualquer menção a adversários.

3. Principais Contribuições

1. Estudo de Capacidade: Avaliação sistemática da capacidade de consenso de agentes LLM em cenários benignos, variando tamanhos de modelo e de grupo.
2. Estudo de Robustez: Demonstração de que a presença de apenas um agente bizantino é suficiente para colapsar drasticamente o sucesso do consenso.
3. Análise de Falhas: Identificação de que as falhas são dominadas pela perda de vivacidade (timeouts, estagnação, falta de convergência) e não por corrupção sutil de valores (os agentes raramente concordam em um valor "errado", eles simplesmente não conseguem concordar em nenhum valor).

4. Resultados Chave

Cenário Benigno (Sem Agentes Bizantinos, $B=0$)

• Baixa Confiabilidade: Mesmo sem adversários, apenas 41,6% das simulações resultaram em consenso válido dentro do limite de rodadas.
• Impacto do Tamanho do Modelo: O Qwen3-14B performou significativamente melhor que o Qwen3-8B (67,4% vs 15,8% de consenso válido), mas ambos ainda apresentaram altas taxas de timeout.
• Impacto do Tamanho do Grupo: A performance degrada conforme o grupo cresce. O consenso válido caiu de 46,6% ($N=4$) para 33,3% ($N=16$).
• Efeito do Prompt: Remover a menção de possíveis agentes bizantinos do prompt melhorou a performance do Qwen3-14B de 59,1% para 75,4% e reduziu o tempo de convergência pela metade. Isso sugere que a simples menção de adversários, mesmo inexistentes, prejudica a "vivacidade" do sistema.

Cenário Adversarial (Com Agentes Bizantinos)

• Colapso da Liveness: A introdução de agentes bizantinos reduz drasticamente a taxa de sucesso. Com apenas 1 agente malicioso em um grupo de 8, a taxa de consenso válido cai para quase zero (a maioria dos casos resulta em timeout).
• Natureza da Falha: A falha não é que os agentes concordem em um valor falso (consenso inválido é raro). A falha é a incapacidade de chegar a um acordo (nenhum consenso). Os agentes bizantinos conseguem impedir a convergência, mantendo os agentes honestos em estados de proposta divergentes ou indecisos.
• Trajetórias de Proposta: Gráficos mostram que, na presença de adversários, as propostas dos agentes honestos oscilam ou estagnam, impedindo a formação de um consenso estável.

5. Significado e Conclusão

O estudo conclui que a capacidade emergente de acordo confiável ainda não é uma característica dependável de grupos de agentes LLM atuais, mesmo em cenários controlados e sem incentivos econômicos ("no-stake").

• Implicações para Segurança: A fragilidade do consenso em grupos pequenos e benignos levanta preocupações sérias para implantações que dependem de coordenação robusta, delegação de tarefas ou sistemas de segurança crítica baseados em múltiplos agentes.
• Desafio de Escala: A degradação do desempenho com o aumento do tamanho do grupo e a sensibilidade extrema a um único agente malicioso indicam que os LLMs atuais não possuem mecanismos internos robustos de tolerância a falhas bizantinas.
• Futuro: O trabalho destaca a necessidade de desenvolver novos mecanismos de coordenação, prompts mais robustos ou arquiteturas híbridas (LLM + algoritmos determinísticos) para garantir a segurança e a confiabilidade em sistemas multi-agente.

Em resumo, o artigo alerta que, embora os LLMs sejam poderosos em raciocínio individual, a coordenação coletiva confiável sob condições adversas permanece um desafio não resolvido.