Resilient Consensus in Agentic AI

Resumo Técnico: Consenso Resiliente em IA Agêntica

Definição do Problema
Agentes de Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implementados em sistemas multiagentes que exigem coordenação e tomada de decisão compartilhada. Um desafio crítico surge quando esses agentes devem alcançar um consenso na presença de atores adversários ou com mau funcionamento (agentes bizantinos). Embora a teoria clássica de sistemas distribuídos forneça garantias rigorosas para o consenso entre agentes determinísticos, permanece incerto se esses limites e algoritmos teóricos se transferem para agentes de LLM, que operam via prompting probabilístico em vez de regras de atualização determinísticas. O artigo investiga se políticas de LLM baseadas em prompts podem alcançar o acordo teoricamente garantido pelas condições de consenso resiliente clássico e se os mecanismos de filtragem clássicos podem mitigar falhas em IA agêntica.

Metodologia
Os autores enquadram o problema de acordo entre agentes de LLM como um jogo de consenso bizantino. A configuração experimental envolve uma rede síncrona de $N$ agentes, compreendendo $H$ agentes honestos e $B$ agentes bizantinos, comunicando-se através de grafos completos e direcionados gerais.

• Agentes: Agentes honestos são modelados usando o LLM meta-Llama-3.2-3B-Instruct, encarregado de concordar sobre um número inteiro entre 0 e 50. Eles recebem propostas de vizinhos e geram novas propostas via engenharia de prompt.
• Adversários: Agentes bizantinos também são LLMs, instruídos a propor valores estrategicamente (seja altos ou baixos) para impedir que os agentes honestos convirjam.
• Protocolo: O sistema executa por um horizonte fixo ($T_{max}$). Em cada rodada, os agentes transmitem propostas, e os agentes honestos atualizam seu estado com base nos valores recebidos.
• Intervenção: O estudo avalia a eficácia de envolver as políticas de LLM com filtros de consenso resiliente clássicos, especificamente o filtro do tipo MSR global (para grafos completos) e o filtro do tipo MSR local (para grafos gerais). Esses filtros funcionam removendo os $f$ menores e os $f$ maiores valores do conjunto recebido antes que um agente compute sua próxima proposta.

Principais Contribuições

1. Formalização da Falha de Consenso de LLM: Os autores formalizam o jogo de consenso bizantino para LLMs e demonstram que políticas de LLM baseadas em prompts falham em alcançar o acordo mesmo em regimes onde a teoria clássica garante que um algoritmo convergente existe (especificamente quando $N \ge 3B + 1$). Essa falha persiste através de variações de temperaturas e horizontes de tempo, indicando uma lacuna entre políticas arbitrárias baseadas em prompt e as regras de atualização resilientes necessárias para as garantias teóricas.
2. Restauração via Filtros Clássicos: O estudo mostra que envolver agentes de LLM com filtros de consenso resiliente clássicos recupera o acordo alcançável.
   • Em grafos completos, o filtro do tipo MSR global restaura a probabilidade de consenso para aproximadamente 100%, mesmo em cenários onde o modelo de base falha.
   • Em grafos gerais que satisfazem condições topológicas específicas, o filtro do tipo MSR local melhora o acordo, embora a magnitude da melhoria dependa da robustez inerente da topologia da rede.
3. Análise de Robustez: Através de estudos de ablação, os autores confirmam que esses efeitos são robustos em diferentes temperaturas de amostragem e horizontes de consenso. Eles demonstram ainda que os filtros permanecem eficazes mesmo quando o número de agentes bizantinos ($B$) é mal especificado (superestimado), desde que o parâmetro do filtro $f$ seja definido como um limite superior.

Resultados Experimentais

• Desempenho da Base (Baseline): Em grafos completos, a probabilidade de consenso cai significamente conforme $B$ aumenta, falhando muito antes do limiar teórico de $N < 3B + 1$. Por exemplo, com $H=15$ e $B=4$, a probabilidade de consenso da base foi de apenas 30% na temperatura 0.5, apesar de a teoria sugerir que o acordo seria possível.
• Eficácia do Filtro: Aplicar o filtro do tipo MSR global ($f=B$) em grafos completos resultou em consenso quase perfeito (≈100%) em todos os valores de $B$ e temperaturas testados.
• Grafos Gerais: Em uma topologia de grafo geral específica, a base alcançou alto consenso dentro do regime teoricamente garantido ($B \le 4$), mas degradou além dele. O filtro do tipo MSR local teve desempenho pelo menos tão bom quanto a base no regime garantido, mas ofereceu melhoria limitada adicional, sugerindo que em grafos densamente conectados, a própria topologia fornece robustez substancial.
• Mal especificação: Quando o parâmetro do filtro foi fixado em $f=6$ enquanto o verdadeiro $B$ era 0, 2 ou 4, o protocolo filtrado manteve 100% de consenso, superando a base mesmo na ausência de adversários.

Significância e Alegações
O artigo postula que a teoria do consenso resiliente clássico serve como uma lente útil para a segurança da IA agêntica. O principal achado não é uma contradição da teoria clássica, mas sim uma demonstração de que a implementação de agentes de LLM via prompting padrão não satisfaz inerentemente as condições necessárias para o consenso. A lacuna reside entre o comportamento de uma política baseada em prompt e uma regra de atualização matematicamente resiliente.

Os autores alegam que integrar ferramentas de controle clássico, como filtros de consenso resiliente, atua como uma camada de segurança que pode garantir o comportamento coletivo mesmo quando agentes de LLM individuais são não confiáveis ou adversários. Eles concluem que, embora este trabalho atual foque em acordo escalar, a direção natural para trabalhos futuros é estender essas noções de resiliência para tarefas agênticas mais complexas, como concordar sobre planos, respostas ou decisões estruturadas.