技術的概要：Solidity スマートコントラクト向け脆弱性検出ツールの実証分析

問題提起

ブロックチェーン技術の急速な普及により、重要なビジネスロジックを自動化するスマートコントラクト（SC）のセキュリティ確保の重要性が高まっている。自動化された脆弱性検出ツールの普及にもかかわらず、実証的な証拠は、高い偽陽性（FP）率や一貫性のない検出能力を含む、重大な信頼性の問題を示唆している。既存の評価は、しばしば自動的にラベル付けされた（ツールのバイアスを内在する）、規模が限定的な、あるいはコントラクトレベルまたは関数レベルでのみ注釈付けられたデータセットに依存している。さらに、これらのツールが、キュレーションされた単純化されたベンチマークと比較して、現実世界の複雑なコントラクト上でどの程度機能するかを理解する上での決定的なギャップが存在する。加えて、検出ツールとしての大規模言語モデル（LLM）の登場は、制御された環境を超えた汎用性を決定づけるための厳密な評価を必要とする。

手法

著者は、以下の主要な方法論的ステップを含む包括的な実証研究を実施した。

1. データセット構築:

   • 本研究は、2,182 件の Solidity スマートコントラクトインスタンスから構成される手動注釈付きデータセットを構築した。
   • 脆弱性は、開発者および研究者を対象とした動機付け調査で特定された粒度の好みを反映し、コード行レベルでラベル付けされた。
   • データソースには以下が含まれる:
     • SmartBugs 結果: 47,587 件の大規模コーパスから抽出された 1,501 件のコントラクトの層化サンプリング。ツール出力（少なくとも 2 つのツールが脆弱性をフラグ付けすること）に基づいて選択された。
     • SmartBugs Curated: 142 件の手動注釈付きコントラクト（139 件が脆弱であると確認）。
     • ZEUS データセット: Kalra ら（2018）のデータセットから Etherscan API を介して取得された 538 件のコントラクト。手動で再評価された。
   • 第三者評価者が非脆弱ラベルを二重チェックし、不一致は合意によって解決された。

2. ツール評価:

   • 従来のツール: 本研究では、SmartBugs 2.0フレームワークからの19 件の脆弱性検出ツール（ハニーポットを標的とする HoneyBadger を除く）を評価した。これには、静的アナライザー（例：Slither、Solhint、Securify）、動的アナライザー/ファッザー（例：Manticore、Sfuzz）、および記号実行ツール（例：Osiris、Oyente）が含まれる。
   • LLM 評価: ChatGPT-4o を行レベルの脆弱性検出器として評価した。モデルには、DASP TOP 10分類に基づいて脆弱性を特定するようプロンプトが与えられた。
   • シナリオ: 算術的脆弱性に関する 2 つのシナリオ下で評価が実施された。1 つは算術的脆弱性を含むもの（Solidity < 0.8.0 に関連）、もう 1 つは除外するもの（Solidity >= 0.8.0 のデフォルトのオーバーフローチェックを考慮）である。

3. LLM の specifics:

   • ChatGPT-4o は、SmartBugs Curated データセットと、SmartBugs 結果データセットからの400 件の現実世界のコントラクトのランダムサンプルでテストされた。
   • 本研究は、コントラクトの複雑さ（循環的複雑度とコード行数で測定）および潜在的なデータ漏洩（トレーニングデータの重複）が LLM の性能に与える影響を分析した。

4. 組み合わせ戦略:

   • ツールは、検出行動に基づいてk-means アルゴリズムを用いてクラスタリングされた。
   • 各クラスタからの代表ツールが選択され、相補的な検出スイートが形成された。

主要な貢献

1. データセットの公開: 現在までに最も大規模な手動分析済みスマートコントラクトデータセットの公開。2,182 件のインスタンスに対する行レベルの脆弱性注釈を特徴とする。このデータセットは、既存のベンチマークにおける微細なグラウンドトゥルースの欠如に対処する。
2. 広範なツール評価: 19 の最先端ツール（および LLM アプローチ）の最も広範な実証評価。DASP TOP 10 分類にマッピングされ、手動検証済みグラウンドトゥルースに対して評価された。
3. LLM 性能分析: LLM ベースの検出（ChatGPT-4o）が、キュレーションされたベンチマークと比較して現実世界のコントラクトにおいて著しく低い有効性を示すことを実証。汎化の問題と潜在的なデータ漏洩を浮き彫りにした。
4. 最適なツール組み合わせ: Conkas、Slither、Smartcheckの 3 ツールの特定の組み合わせを特定。これらを併用することで、手動注釈付き脆弱性の最大**76.78%**を検出でき、平均実行時間は 1 分未満である。

結果

ツールの性能（RQ1）

• 単一のツールでは不十分: DASP TOP 10 分類のすべての脆弱性クラスを検出する単一のツールは存在しなかった。
• 特化:
  • Osirisは算術的脆弱性に対して最も効果的だった。
  • Smartcheckはサービス拒否（DoS）検出に優れていた。
  • Solhintはアクセス制御、未チェックの低レベル呼び出し、不良な乱数に対して強力な能力を示したが、高い偽陽性率に苦しんだ。
  • ConkasとSlitherは全体的に最も効果的なツールとして浮上した。Conkas は算術的脆弱性を含む場合に、Slither は除外する場合（Solidity >= 0.8.0）にそれぞれより良好に機能した。
• 実行時間: 再現率と実行時間の間に重大なトレードオフが存在する。例えば、Slitherは非常に低い平均実行時間（1.14 秒）で高い再現率（0.68）を達成したのに対し、Sfuzzは同様の再現率であったが、平均で 582 秒以上を要した。
• 未検出クラス: ツールはフロントランニング、ショートアドレス、不良な乱数に対して著しく苦労したが、先行研究と比較していくつかの改善が認められた（例：Securify によるフロントランニングの検出）。

LLM の有効性（RQ2）

• キュレーション済み対現実世界: ChatGPT-4o は、以前の報告と比較して、SmartBugs Curatedデータセットで中程度の再現率（47.67%）と高い適合率を達成した。しかし、400 件の現実世界のコントラクトでは、性能は崩壊した（適合率：5.6%、再現率：3.3%、F1 スコア：1.9%）。
• 複雑さ要因: 現実世界のコントラクトは、キュレーションされたベンチマークよりも著しく大きく、複雑（循環的複雑度が高い）であった。本研究は、LLM の有効性がコントラクトのサイズと複雑さの増加とともに低下することを示唆している。
• データ漏洩: 本研究は、キュレーションされたデータセットでの高い性能の理由の一部がデータ漏洩にあると仮説を立てている。これらのコントラクトは、モデルのトレーニングカットオフに先立つか、トレーニングに使用された公開リポジトリに含まれていることが多いためである。

ツール組み合わせ（RQ3）

• ツールをクラスタリングし、相補的な代表を選択することにより、著者はConkas、Slither、Smartcheckのトリオを特定した。この組み合わせは、すべての脆弱性（算術的を含む）の73.38%、および非算術的脆弱性の**76.78%**を集合的に検出した。
• この組み合わせは、個々のツールおよび以前の組み合わせと比較して統計的に優れており（フィッシャーの正確確率検定、p < 0.001）、最小限の計算オーバーヘッド（平均 1 分未満）で高いカバレッジ率を提供した。

意義と主張

本論文は、以下の点でスマートコントラクトセキュリティ分野に重要な貢献をすると主張している。

1. 信頼性の高いベンチマークの提供: 手動注釈付きの行レベルデータセットは、自動的にラベル付けされたデータセットのバイアスを超えて、将来のツール評価のための堅牢なグラウンドトゥルースとして機能する。
2. 評価ギャップの強調: 本研究は、単純化されたベンチマークと現実世界の展開におけるツール性能の不一致を強調し、キュレーションされたデータセットのみに基づいてツールの有効性を過大評価することに対する警告を発している。
3. LLM の限界の示現: 汎用 LLM は有望であるが、さらにドメイン固有の微調整または検証なしには、現実世界のスマートコントラクト監査に必要な信頼性を現時点では欠いていることを実証的証拠で示している。
4. 実用的な解決策の提示: 相補的なツール組み合わせの特定は、計算コストを管理しながら脆弱性検出を最大化するための、開発者および監査人にとっての実用的でスケーラブルな戦略を提供する。

著者は、ツールが改善された一方で、偽陽性、過小評価された脆弱性クラスの検出、および複雑な現実世界のシナリオへの AI ベースの手法の汎化に関する重大な課題が残っていると結論付けている。