The Consensus Trap: Rescuing Multi-Agent LLMs from Adversarial Majorities via Token-Level Collaboration

Resumo Técnico: A Armadilha do Consenso e a Colaboração ao Nível de Tokens

1. O Problema: A Vulnerabilidade Estrutural da Agregação de Respostas

O artigo identifica uma vulnerabilidade crítica nas arquiteturas atuais de múltiplos agentes de Grandes Modelos de Linguagem (LLMs). A maioria dos sistemas depende de agregação ao nível da resposta (como Votação Maioritária - Majority Voting ou MAJ), onde cada agente gera uma resposta completa de forma independente e o sistema escolhe a resposta mais frequente.

• A Falácia da Independência: Este método assume que os erros dos agentes são independentes. No entanto, em ambientes abertos, agentes são suscetíveis a corrupção contextual sigilosa (ex: injeção de prompts direcionados, publicidade manipuladora ou desinformação).
• A Armadilha do Consenso: Quando um adversário corrompe uma maioria local de agentes (razão de corrupção $\rho > 0.5$), a votação majoritária colapsa matematicamente. Como a agregação ocorre apenas no final (resposta terminal), o sistema é "cego" à lógica intermediária falha. Se mais da metade dos agentes for manipulada para gerar a mesma resposta errada, o sistema converge para um consenso falso, ignorando a minoria honesta.
• Limitação Atual: Mecanismos de debate macroscópicos ou auto-correção falham porque os agentes corrompidos podem racionalizar a lógica falsa de forma persuasiva, criando uma "câmara de eco" sycophante (subserviente ao contexto).

2. Metodologia: Colaboração Round-Robin ao Nível de Tokens (Token-Level RR)

Os autores propõem uma mudança de paradigma: sair da agregação macroscópica de respostas para uma colaboração microscópica ao nível de tokens.

• Mecanismo de Interleaving (Interleaving): Em vez de gerar respostas isoladas, $N$ agentes constroem coletivamente uma única trajetória de geração autoregressiva compartilhada.
  • O processo é estritamente sequencial e rotativo (Round-Robin): o Agente 1 gera um bloco de $K$ tokens, o Agente 2 lê o contexto completo e gera os próximos $K$ tokens, e assim por diante.
  • Isso cria um contexto compartilhado contínuo onde a lógica é intercalada.
• O "Atrator de Verdade" (Truth Attractor): Se um agente corrompido introduz um erro lógico ou uma instrução maliciosa, o próximo agente honesto (que lê todo o contexto anterior) pode intervir diretamente no meio da geração para corrigir a lógica (ex: "Espera, o cálculo anterior estava errado...").
• RRMaj: Após completar uma trajetória colaborativa, o processo é repetido $M$ vezes. As respostas finais dessas trajetórias são então submetidas a uma votação majoritária. Como as trajetórias foram "reparadas" estruturalmente durante a geração, a votação final reflete a verdade corrigida.
• Eficiência de Custo: O método mantém a paridade de custo com a votação tradicional. Gerar $N$ trajetórias colaborativas de comprimento $L$ requer o mesmo número de passos de decodificação autoregressiva ($N \times L$) que gerar $N$ respostas independentes. A sobrecarga de pré-preenchimento de contexto é paralelizável e insignificante.

3. Fundamentação Teórica

Os autores formalizam o processo como um sistema dinâmico de tempo discreto no espaço latente semântico:

• Operadores de Transição: A geração de tokens é modelada como operadores de transição ($T_i$). Agentes honestos ($T_H$) atuam como contrações que puxam o estado latente para uma direção de verdade ($\theta$), enquanto agentes corrompidos ($T_C$) introduzem perturbações adversárias.
• Estabilidade de Lyapunov: O artigo prova que, devido à hipótese de representação linear e à "gargalo de sycophancy" (a dificuldade do modelo de contradizer um contexto factual bem estabelecido), a correção ao nível de tokens impõe um limite matemático à deriva adversária.
• Resiliência à Super-Maioria: Ao contrário da votação que colapsa em $\rho = 0.5$, o sistema RR demonstra teoricamente e empiricamente que pode tolerar taxas de corrupção superiores a 50% (até ~66% em cenários simulados), pois a correção ocorre antes que o erro se consolide em uma resposta final.

4. Resultados Experimentais

O estudo foi avaliado em diversos benchmarks de raciocínio (matemático, lógico e espacial) com modelos como Llama-3.3-70B, Mistral e Qwen.

• Colapso da Votação Tradicional (MAJ): Sob injeção de prompts moderada ou forte, quando a corrupção atinge 60% dos agentes (3 corrompidos, 2 honestos em um grupo de 5), a precisão do MAJ cai drasticamente (ex: de ~90% para <1% em alguns casos).
• Recuperação com RR: O método Token-Level RR mantém alta precisão mesmo com maioria corrompida.
  • Exemplo: No conjunto de dados Track7 com 3 agentes corrompidos e 2 honestos, a precisão do MAJ foi de 0,8%, enquanto o RR recuperou para 89,1%.
  • Exemplo: Em GSM8K sob injeção imperativa forte, o RR recuperou a precisão de 1,2% (MAJ) para 69,3% (Llama-70B).
• Ablação e Escalabilidade:
  • Tamanho do Bloco (K): Existe um ponto ideal ($K \approx 100-300$ tokens). Blocos muito pequenos fragmentam o raciocínio; blocos muito grandes permitem que a lógica maliciosa se consolide antes da intervenção.
  • Escalabilidade: Diferente do MAJ, que piora com mais amostras (devido à Lei dos Grandes Números favorecendo a maioria corrompida), o RR melhora a precisão à medida que o número de trajetórias ($M$) aumenta, transformando a escala computacional em um amplificador de verdade.
  • Heterogeneidade: Agentes honestos mais fracos conseguem "salvar" agentes corrompidos mais fortes, pois a lógica verificável no contexto compartilhado força o modelo forte a seguir a derivação correta devido à sua própria inércia autoregressiva.

5. Contribuições Principais

1. Identificação da "Armadilha do Consenso": Demonstração formal de que a agregação ao nível de resposta é inerentemente frágil contra maiorias corrompidas em ambientes abertos.
2. Mecanismo Token-Level RR: Proposta de uma arquitetura de colaboração onde agentes interagem token a token, permitindo correção em tempo real da lógica.
3. Prova Teórica de Resiliência: Estabelecimento de limites teóricos que provam que a colaboração ao nível de tokens pode superar a barreira de 50% de corrupção, algo impossível para métodos de votação clássicos.
4. Eficiência de Custo: Demonstração de que essa robustez é alcançada sem aumentar significativamente o custo computacional em relação à votação tradicional.

6. Significado e Impacto

Este trabalho representa um avanço fundamental na segurança e confiabilidade de sistemas multi-agente de IA. Ele sugere que a defesa contra manipulação não deve depender apenas de filtrar entradas ou votar em saídas, mas sim de integrar a verificação lógica no próprio processo de geração.

A metodologia oferece uma solução prática para cenários de alto risco (como assistentes de pesquisa autônomos, planejamento financeiro ou análise de dados) onde a integridade do raciocínio é mais importante do que a velocidade de resposta isolada. Ao transformar a colaboração de um processo de "votação cega" para um "diálogo lógico intercalado", o sistema torna-se resiliente a ataques que explorariam a maioria, garantindo que a verdade lógica prevaleça mesmo sob forte adversidade contextual.