Consensus among Learning Agents: A Multi-AgentReinforcement Learning Framework withGame-Theoretic Incentives

デジタルな町の広場を想像してみてください。そこでは、何百もの自律的なロボット（エージェント）が、単一の共有された取引台帳（レジャー）に合意しようと試みています。これが、**ブロックチェーン・コンセンサス（合意形成）**の核心となる問題です。

通常、これらのロボットは、ずっと昔に人間によって書かれた厳格で不変のルールブックに従います。しかし、この論文において、著者たちは、ロボットたちが学習エージェントである未来を想定しています。彼らは単にルールに従うだけでなく、システムが稼働している最中に、戦略を学び、適応し、変化させます。問題は、もしロボットたちの思考の変化がルールブックの更新速度よりも速かった場合、システム全体が混乱に陥ってしまうことです。

以下に、著者たちがどのようにこれを解決したかを、分かりやすい比喩を用いて説明します。

1. 問題点：指揮者のいないダンス

従来のブロックチェーンを、固定された振付のあるダンス教室だと考えてみてください。全員がいつ左にステップを踏み、いつ右に踏むかを正確に知っています。しかし、もしダンサーたちが即興（学習）を始め、進行中に動きを変え始めたら、古い振付は崩れてしまいます。「ダンス（コンセンサス）」は、ルールがダンサーたちの新しい習慣に追いつけないために失敗してしまうのです。

著者たちは、ダンスフロア自体がダンサーに適応するようなシステムを構築したいと考えました。

2. 解決策：自己調整型のゲーム

チームは、ロボットたちが互いにゲームをプレイするフレームワークを作成しましたが、そのゲームのルールは、彼らのパフォーマンスに基づいてリアルタイムで変化します。

• プレイヤー（エージェント）： 各ロボットは独立した学習者です。彼らはスマートなアルゴリズム（PPOと呼ばれます）を使用して、最善の動きを判断します。「新しいブロックを提案すべきか？」「誰かの検証を行うべきか？ それとも待機すべきか？」
• インセンティブ（スコアボード）： 全員を正直に保つために、著者たちは「ゲーム理論的」な報酬システムを設計しました。
  • 正しく役割を果たせば（例：自分の番にブロックを提案する）、大きな報酬が得られます。
  • システムにスパム行為（一度に提案するロボットが多すぎる状態）を行えば、罰金が科せられます。
  • 動くべき時に動かず、怠慢であれば、活動的な者よりも小さな報酬しか得られません。
  • ひねり： 報酬と罰金の大きさは固定されていません。中央の「コントローラー」がゲームを監視しています。もしロボットたちが争いすぎている（フォークが多すぎる）場合、コントローラーはスパムに対する罰金を自動的に引き上げます。もし動作が遅すぎる場合は、働くための報酬をブーストします。

3. トレーニング・プロセス：調和への6つのステップ

論文では、心拍のようなサイクルとして起こる、6つのフェーズからなるトレーニング・ループについて説明しています。

1. 状態の構築（State Construction）： ロボットたちはスコアボード（トランザクション数、チェーンの成長速度など）を観察します。
2. 意思決定（Decision）： 各ロボットは、これまでに学んだことに基づいて動きを選択します。
3. コンセンサス・チェック（The Consensus Check）： システムは、あまりにも多くのロボットが同時に叫んでいないかをチェックします。もし混沌としすぎていれば、ラウンドは失敗し、「スパマー」には罰金が科せられます。
4. 更新（Update）： ブロックチェーンが成長し、システムは誰が何をしたかを記録します。
5. 適応型制御（Adaptive Control）： コントローラーが結果を確認します。「おや、フォークが多すぎた！ 次のラウンドのために、スパムに対するペナルティを少し高くしておこう」
6. 学習（Learning）： ロボットたちは、次回より良く動けるように自分たちの脳（ニューラルネットワーク）を更新します。

4. 分かったこと（結果）

著者たちは最大100台のロボットを用いたシミュレーションを行い、5つの重要な問いを投げかけました。以下にその発見を記します。

• 機能する： ロボットたちは驚くほど速く協力することを学習しました。最大50%のロボットが悪意を持って行動（システムを壊そうとする）しても、悪意のある主体が特定の閾値（グループの約1/3）を超えない限り、正直な者たちは合意に達することができました。
• 「スマートな」追加機能は役に立たなかった： 著者たちは、シミュレーションをより現実的にするために、2つの高度な機能を追加してみました。
  • トークン経済（Token Economy）： トランザクション負荷を生み出すために、ロボットたちが偽の通貨を取引する仕組み。
  • 言語モデル（Language Model）： ロボットが状況を理解しやすくするために、「テキストによる説明」を与える仕組み。
  • 結論： これらの機能は役に立ちませんでした。これらはトレーニングを遅くし、コストを増大させましたが、ロボットたちの合意形成を向上させることはありませんでした。単純な数学ベースのアプローチの方が同等に優れていました。
• 「適応型」コントローラーは諸刃の剣： ルールをリアルタイムで自動調整するシステムは、最終的なパフォーマンスを（適切に調整された静的なシステムと比較して）実際に向上させたわけではありません。その唯一の真の利点は、「ウォームアップ・スケジュール」として機能し、システムの初期段階でロボットたちが落ち着くのを助けたことでした。システムが安定した後は、自動調整による価値はほとんどありませんでした。
• 成功の「ブラックボックス」： 著者たちは、「成功率（合意できたか？）」だけを見ていると真実を見失うことを発見しました。そのため、彼らは分析を以下の3つの要素に分解する必要がありました。
  • レイテンシ（遅延）： どれくらいの時間がかかったか？
  • ライブネス（生存性）： システムは動き続けていたか？
  • フォーク解消（Fork Resolution）： 不一致を解決するのにどれくらいの時間がかかったか？
  • 彼らは、システムは最終的に成功するものの、時には「フォーク（不一致）」を解決するのに長い時間がかかることがあることを発見しました。これは単純な成功率だけでは見落とされてしまう事実です。

5. 結論

この論文は、参加者が時間の経過とともに考えを変える学習エージェントであるブロックチェーン・コンセンサス・システムを構築できることを証明しています。悪い行動を罰する報酬システムと、ルールを随時微調整するコントローラーを使用することで、システムは安定を保つことができます。

しかし、著者たちはその限界についても正直に述べています。

• 動作させるために高度なAI言語モデルは必要なく、単純な数学で十分です。
• ルールをリアルタイムで自動変更することは、システムの立ち上げには役立ちますが、一度システムが稼働してしまえば、よく設計された静的なルールブックも同等の価値を持ちます。
• システムは堅牢ですが、魔法ではありません。もしあまりにも多くのエージェント（3分の1以上）が悪意を持った場合、システムは依然として困難に直面します。

要約すると、彼らは、市民と共に進化するルールを持つ、自己調節型のデジタルな町を構築しました。これにより、学習エージェントがコンセンサスに達することができることを証明すると同時に、時には最もシンプルなツールが最も効果的であることを示しました。