StableEval Arena: A Cost-Aware Agentic Benchmark for Stablecoin Price Stability Prediction
StableEval Arenaは、予測の質、運用の信頼性、および計算コストの共同スペクトルを測定することによって、ステーブルコインのペグリスク予測におけるLLMベースのエージェントシステムの評価を行うコスト意識型のベンチマークフレームワークであり、エージェントは構造化された出力を安定して生成できる一方で、稀に発生する深刻なストレス事象や持続的なデペグ事象を正確に予測することには苦慮するということを明らかにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは巨大な宇宙艦隊の艦長であると想像してください。あなたの貨物室には、常に正確に1ドルの価値を持つように設計された「デジタル・ゴールド」が詰め込まれています。これは単なる金ではありません。「ステーブルコイン」と呼ばれる特別な通貨であり、人々がコーヒーを買ったり、家賃を払ったり、資産を取引したりする際に、お金が突然消えたり、価値が倍増したりすることを心配せずに済むよう、完璧に安定していることが求められています。しかし、ここに落とし穴があります。これらのコインは退屈なほど安定しているはずですが、時にはパニックに陥ることがあります。市場が恐怖に包まれると、価格が揺れ動いたり、1ドルを下回ったり、あるいは完全に暴落したりすることがあります。これを「デペグ（ペグ外れ）」と呼びます。もしこれが起きたら、まるで宇宙船の燃料計が突然嘘をつき始めたようなものです。
艦隊の安全を守るために、私たちはトラブルが起こる前にそれを察知できる見張り役を必要としています。かつては、単純な数学や人間の専門家を使用してきました。しかし今では、エージェンティックAI（Agentic AI）――思考し、推論し、自律的に意思決定を行うことができる、いわばデジタル副操縦士のような、超スマートなコンピュータプログラムが存在します。大きな疑問は、これらのAIパイロットは、単純なルールブックよりも優れた精度で嵐の到来を察知できるのか？という点です。私たちは、彼らが単に指示に従えるだけでなく、真に信頼できるものであるかどうかを知る必要があります。もしAIが、船が衝突する直前に「すべて異常なし！」と言ったとしたら、どれほどその速度が速く、レポートの見栄えが良くても、それは失敗なのです。
これこそが、論文**『StableEval Arena』が検証しようとしていることです。研究者たちは、これらのAIエージェントが、ステーブルコインがドルのペグを失おうとしている瞬間を予測できるかどうかを試すために、コストを考慮した巨大な訓練場（「アリーナ」）を構築しました。彼らは単にAIに将来の価格を予想させたのではありません。AIにリスクマネージャーとして振る舞うよう求めたのです。AIは過去30日間の価格履歴と市場の喧騒（チャッター）を分析し、その後の7日間に何が起こるかを予測しなければなりませんでした。コインはStable（安定）な状態を維持するのか？ それともWatch（警戒）状態（少し不安定な状態）に入るのか？ あるいはStress（ストレス）**状態（本格的な危機）に突入するのか？
研究者たちは2種類のテストを実施しました。まず、トラブルがより頻繁に発生するように設定した120ケースの「ストレス・テスト版」を作成し、目の前に危険があるときにAIが兆候を察知できるかを確認しました。次に、ステーブルコインが通常は穏やかで、問題が発生することは稀である自然界の状態を正確に模した、507ケースの「実世界版」を実行しました。彼らは6種類の異なるAIエージェントを、いくつかの非常に単純なベースライン（例えば、「すべて順調であると仮定する」というルールや、基本的な数学モデルなど）と比較検証しました。
結果は、朗報と深刻な現実認識が入り混じったものでした。良い側面としては、AIエージェントはルールの遵守において驚異的に信頼できました。彼らは完璧にフォーマットされたレポートを作成し、エラーで停止することもありませんでした。また、非常に低いコストでこれらを実現しました。彼らは「今日は少し不安定に見えますね」と言うことには非常に優れていました。しかし、最も重要な仕事――稀に起こる壊滅的な暴落を察知すること――に関しては、AIはほとんど的外れでした。507ケースの大規模なテストにおいて、AIは実際のストレス事象21件のうち19件を見逃しました。彼らはプロトコルに従うことには非常に長けていたため、有効なレポートを作成できましたが、そのレポートは、コインが実際に暴落する直前に「すべて異常なし」と報告してしまうことが多かったのです。
実際、実世界テストにおいては、過去のトレンドを見るだけの単純なコンピュータプログラムでさえ、稀な暴落の予測に苦戦しており、AIと同様に、その大部分を見逃していました。派手なAIエージェントが、これらの古典的な手法を**圧倒（ドミネイト）**したり、凌駕したりすることはできませんでした。事実、どのエージェントも、最も重要となる稀でハイステークスなストレス事象を確実に検出することはできなかったのです。この論文は、これらのAIエージェントは従順さと効率性においては極めて優秀ですが、私たちのデジタルマネーの唯一の守護者となるには、まだ信頼性に欠けるという結論を下しています。彼らは台本通りに完璧に動くことはできますが、最も重要な、稀に起こる恐ろしい嵐を見抜くことは依然として困難なのです。研究者たちは、AIがこうした稀でハイステークスな事象を察知する能力を高めない限り、彼らに宇宙船の操縦を独占させてはいけないと示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。