Consensus among Learning Agents: A Multi-AgentReinforcement Learning Framework withGame-Theoretic Incentives

기술 요약: 학습 에이전트 간의 합의 (Consensus among Learning Agents)

문제 정의
전통적인 블록체인 합의 프로토콜(예: 작업 증명(PoW), 비잔틴 장애 허용(BFT) 변형 모델)은 에이전트가 고정된 규칙이나 사전에 계획된 역할을 준수하는 정적 참여자 모델을 중심으로 설계되었습니다. 이러한 프로토콜은 상대적으로 안정적인 환경과 유한한 전략 공간을 가정합니다. 그러나 학습 모델에 의해 구동되는 자율 에이전트들이 탈중앙화된 환경에서 운영됨에 따라, 이들의 정책(policy)은 운영 중에 변화(drift)합니다. 이러한 비정상성(non-stationarity)은 기존의 정적 프로토콜이 가진 평형 가정을 위반하며, 컨트롤러가 에이전트의 전략 변화 속도를 따라잡지 못해 발생하는 "적응성 격차(adaptivity gap)"를 생성합니다. 이는 잠재적인 불안정성이나 인센티브 호환성 유지 실패로 이어질 수 있습니다.

방법론
본 논문은 자기 이익을 추구하는 학습 에이전트들 사이의 탈중앙화된 합의를 **마르코프 게임(Markov game)**으로 모델링하는 프레 framework를 제안합니다. 시스템은 최대 100개의 노드를 지원하는 시뮬레이션 환경으로 구현되었으며, 다음과 같은 핵심 구성 요소를 활용합니다:

1. 독립적 학습 에이전트 (Independent Learning Agents): 각 노드는 **독립적 근사 정책 최적화(Independent PPO)**를 사용하여 훈련된 자율 에이전트로 동작합니다. 에이전트는 제안(Propose), 검증(Validate), *대기(Wait)*라는 세 가지 이산적 행동 중 하나를 선택하는 정책을 학습합니다. 본 프레임워크는 실행 단계에서 중앙 집중형 크리틱(centralized critic)을 피함으로써 탈중앙화를 우선시하지만, 이로 인해 발생하는 비정상성 문제를 인정합니다.
2. 게임 이론적 보상 메커니즘: 개별 인센티브를 시스템 수준의 목표(정직성 및 활성도)와 일치시키도록 매개변수화된 보상 구조를 설계했습니다.
   • 역할 기반 보상: 선택된 제안자는 가장 높은 보상을 받으며, 자발적 제안자와 강제적 제안자가 그 뒤를 잇습니다. 검증자는 유휴 상태의 노드보다 높은 보상을 받습니다.
   • 스팸 억제: 너무 많은 노드가 동시에 제안하여 혼잡 임계값($\lfloor n/3 \rfloor$ 초과)을 넘길 경우, 자발적 제안자는 페널티를 받는 반면, 활성도 보장을 위해 지정된 강제적 제안자는 더 완만한 페널티를 받습니다.
   • 제안자 선택: 누적 보상, 비활성 횟수, 강제 제안자 플래그를 고려하는 이력 가중 확률 함수를 사용하여 제안자를 선택하며, 이를 통해 특정 노드가 영구적으로 배제되거나 과도한 이득을 취하지 않도록 보장합니다.
3. 적응형 매개변수 제어 (Adaptive Parameter Control): 온라인 컨트롤러가 시스템 지표(처리량, 포크 발생률, 성공률)를 모니터링하고 인센티브 매개변수(기본 보상, 페널티, 비활성 임계값)를 실시간으로 조정합니다. 이는 정적 프로토콜의 오프라인 튜닝된 상수들을 대체합니다.
4. 보조 모듈: 프레임워크에는 선택적 구성 요소인 토큰 경제 모듈(외생적 트랜잭션 부하 생성)과 언어 모델(LLM) 상태 인코더(상태 관측에 의미론적 임베딩을 추가)가 포함됩니다. 이들은 테스트 대상인 가설로 취급되며 필수적인 핵심 구성 요소는 아닙니다.

주요 기여

• 정형화: 학습 에이전트 간의 합의를 마르코프 게임으로 규정하고, 동적인 조건에서도 정직한 행동이 평형 전략이 되도록 설계된 인센티브 호환적 보상 메커니즘을 제시했습니다.
• 적응형 제어: 성능 피드백에 따라 합의 인센티브를 온라인으로 조정하는 메커니즘을 도입하여, 시스템이 비정상적인 에이전트의 행동을 추적할 수 있도록 했습니다.
• 이론적 분석: 독립적 PPO가 비정상적 환경에서 갖는 한계를 인정하며, 원래의 확률 1 수렴 주장 대신 연속 상태 공간에 대한 $\epsilon$-근사 내쉬 평형( $\epsilon$-approximate Nash equilibrium) 존재 결과를 제시했습니다.
• 실증적 평가: 보조 구성 요소에 대한 절제 연구(ablation studies)와 적대적 조건에서의 시스템 저하 분석을 포함하여 5가지 연구 질문에 대한 종합적인 평가를 제공합니다.

결과
프레임워크는 최대 50%의 적대적 참여자가 있는 5개에서 100개 노드 규모의 네트워크에서 평가되었습니다. 주요 결과는 다음과 같습니다:

• 수렴 및 성능: 정책이 빠르게 수렴합니다. 시스템은 높은 합의 성공률(예: $n=20$일 때 약 0.92)과 수렴 후 공평한 보상 분포를 달성합니다.
• 적대적 내성: 시스템은 프로토콜의 $\lfloor n/3 \rfloor$ 혼잡 임계값과 일치하는 적대적 행동을 견뎌냅니다.
• 부정적 결과 (절제 연구):
  • LLM 상태 인코더: 수치적 베이스라인 대비 측정 가능한 이득을 제공하지 못했으며, 오히려 훈련 비용을 크게 증가시켰습니다.
  • 토큰 경제 모듈: 이 모듈의 외견상 이점은 토큰 에이전트의 결정 로직보다는 외생적 트랜잭션 풀 주입에 의해 완전히 설명되었습니다.
  • 적응형 컨트롤러: 보정된 고정 베이스라인과 비교했을 때, 온라인 적응형 컨트롤러는 정상 상태 성능이나 강건성을 개선하지 못했습니다. 유일하게 일관된 이점은 단순한 보상 어닐링(reward-annealing) 스케줄과 대등한 수준이었습니다.
• 실패의 분해: 본 연구는 성공률만을 분석하는 것이 저하 모드를 은폐할 수 있음을 보여줍니다. 지표를 최종성 지연 시간(finality latency), 활성도(liveness), 포크 해결 시간으로 분해하는 것이 시스템 건강 상태를 더 정확하게 보여줍니다.

의의 및 주장
본 논문은 정적이고 노드 수가 적은 환경을 위한 허가형 BFT 프로토콜의 대체재가 아니라, 에이전트의 전략이 진화하는 동적 환경에서의 적응성 격차를 해결하기 위한 솔루션으로 자신을 포지셔닝합니다. 저자들은 동적 조정이 잘 튜닝된 정적 설계보다 본질적으로 우월하다고 주장하는 것을 명시적으로 피하며, 대신 인센티브 매개변수의 적응성을 하나의 경험적 질문으로 다룹니다. 본 연구는 독립적 PPO가 학습 에이전트 간의 합의를 달anche할 수 있음을 입증하지만, 이론적 보장은 $\epsilon$-근사 내쉬 평형에 국한되며, 복잡한 적응형 컨트롤러나 보조 의미론적 인코더의 실질적인 이점이 단순한 베이스라인에 비해 미미할 수 있음을 보여줍니다. 이 프레임워크는 학습 역학과 합의 안정성 사이의 상호작용을 연구하기 위한 시뮬레이션 환경 역할을 하며, 비정상성 격차를 좁히기 위해 중앙 집중형 크리틱 변형(MAPPO 등)이 향-후 연구의 필수적인 방향임을 식별합니다.