Consensus among Learning Agents: A Multi-AgentReinforcement Learning Framework withGame-Theoretic Incentives

Resumo Técnico: Consenso entre Agentes de Aprendizado

Definição do Problema
Os protocolos de consenso de blockchain tradicionais (ex: Prova de Trabalho, variantes de Tolerância a Falhas Bizantinas) são projetados em torno de modelos de participantes estáticos, onde os agentes aderem a regras fixas ou funções pré-agendadas. Esses protocolos assumem um ambiente relativamente estável e espaços de estratégia limitados. No entanto, à medida que agentes autônomos impulsionados por modelos de aprendizado operam cada vez mais em ambientes descentralizados, suas políticas derivam durante a operação. Essa não-estacionariedade viola as suposições de equilíbrio dos protocolos estáticos existentes, criando um "hiato de adaptabilidade" onde os controladores não conseguem se ajustar na mesma escala de tempo das estratégias dos agentes, levando a uma potencial instabilidade ou falha na manutenção da compatibilidade de incentivos.

Metodologia
O artigo propõe um framework que modela o consenso descentralizado entre agentes de aprendizado autointeressados como um jogo de Markov. O sistema é implementado como um ambiente de simulação que suporta até 100 nós, utilizando os seguintes componentes principais:

1. Agentes de Aprendizado Independentes: Cada nó atua como um agente autônomo treinado usando Otimização de Política Próxima (PPO) Independente. Os agentes aprendem políticas para escolher entre três ações discretas: Propor, Validar ou Aguardar. O framework prioriza a descentralização ao evitar críticos centralizados durante a execução, embora reconheça o desafio resultante da não-estacionariedade.
2. Mecanismo de Recompensa Teórico-Ganancioso: Uma estrutura de recompensa parametrizada é projetada para alinhar os incentivos individuais com os objetivos do sistema (honestidade e vivacidade/liveness).
   • Recompensas Baseadas em Funções: Propositores selecionados recebem as recompensas mais altas, seguidos por propositores voluntários e forçados. Validadores recebem recompensas superiores aos nós ociosos.
   • Dissuasão de Spam: Se muitos nós propuserem simultaneamente (excedendo um limite de congestionamento de $\lfloor n/3 \rfloor$), propositores voluntários enfrentam penalidades, enquanto propositores forçados (designados para garantir a vivacidade) enfrentam penalidades mais leves.
   • Seleção de Propositor: Utiliza uma função de probabilidade ponderada pelo histórico que considera recompensas cumulativas, contagens de inatividade e flags de propositor forçado, garantindo que nenhum nó seja permanentemente excluído ou favorecido.
3. Controle de Parâmetros Adaptativo: Um controlador online monitora métricas do sistema (throughput, taxa de fork, taxa de sucesso) e ajusta parâmetros de incentivo (recompensa base, penalidades, limites de inatividade) em tempo real. Isso substitui as constantes ajustadas offline de protocolos estáticos.
4. Módulos Auxiliares: O framework inclui componentes opcionais: um módulo de economia de tokens (gerando carga de transação exógena) e um codificador de estado por modelo de linguagem (LLM) (aumentando as observações de estado com embeddings semânticos). Estes são tratados como hipóteses a serem testadas, em vez de componentes essenciais do núcleo.

Principais Contribuições

• Formalização: Enquadra o consenso entre agentes de aprendizado como um jogo de Markov com um mecanismo de recompensa compatível com incentivos, projetado para tornar o comportamento honesto uma estratégia de equilíbrio sob condições dinâmicas.
• Controle Adaptativo: Introduz um mecanismo para ajustar incentivos de consenso online com base no feedback de desempenho, permitindo que o sistema acompanhe o comportamento não-estacionário dos agentes.
• Análise Teórica: Substitui a afirmação original de convergência de probabilidade um por um resultado de existência de equilíbrio de Nash $\epsilon$-aproximado para o espaço de estados contínuos, reconhecendo as limitações do PPO independente em ambientes não-estacionários.
• Avaliação Empírica: Fornece uma avaliação abrangente através de cinco questões de pesquisa, incluindo estudos de ablação sobre componentes auxiliares e análise da degradação do sistema sob condições adversárias.

Resultados
O framework foi avaliado em redes variando de 5 a 100 nós com até 50% de participantes adversários. As principais descobertas incluem:

• Convergência e Desempenho: As políticas convergem rapidamente. O sistema alcança altas taxas de sucesso de consenso (ex: ~0,92 para $n=20$) e uma distribuição de recompensa equitativa após a convergência.
• Tolerância Adversária: O sistema tolera comportamentos adversários alinhados com o limite de congestionamento de $\lfloor n/3 \rfloor$ do protocolo.
• Descobertas Negativas (Estudos de Ablação):
  • Codificador de Estado LLM: Não proporcionou ganho mensurável sobre uma linha de base numérica, enquanto inflou significativamente os custos de treinamento.
  • Módulo de Economia de Tokens: Seus benefícios aparentes foram totalmente explicados pela injeção exógena de pool de transações, em vez da lógica de decisão dos agentes de tokens.
  • Controlador Adaptativo: Quando avaliado contra linhas de base fixas calibradas, o controlador adaptativo online não melhorou o desempenho em regime permanente ou a robustez. Seu único benefício consistente foi equivalente a um simples cronograma de recozimento (annealing) de recompensa.
• Decomposição de Falhas: O estudo revela que analisar apenas as taxas de sucesso oculta modos de degradação; decompor as métricas em latência de finalidade, vivacidade e tempo de resolução de fork fornece uma visão mais precisa da saúde do sistema.

Significância e Alegações
O artigo posiciona-se não como um substituto para protocolos BFT permissionados em regimes estáticos de baixo número de nós, mas como uma solução para o hiato de adaptabilidade em ambientes dinâmicos onde as estratégias dos agentes evoluem. Os autores explicitamente evitam alegar que o ajuste dinâmico é inerentemente superior a designs estáticos bem calibrados; em vez disso, tratam a adaptabilidade dos parâmetros de incentivo como uma questão empírica. O trabalho demonstra que, embora o PPO independente possa alcançar o consenso entre agentes de aprendizado, as garantias teóricas limitam-se a equilíbrios de Nash $\epsilon$-aproximados, e os benefícios práticos de controladores adaptativos complexos ou codificadores semânticos auxiliares podem ser negligenciáveis em comparação com bases mais simples. O framework serve como um ambiente de simulação para estudar a interação entre a dinâmica de aprendizado e a estabilidade do consenso, identificando variantes de crítico centralizado (como MAPPO) como uma direção necessária para trabalhos futuros para estreitar o hiato da não-estacionariedade.