技術サマリー: PIPE-Cypher

問題提起

エンタープライズのプロパティグラフは、スキーマ構造、内部用語、ドメインの前提条件、ガバナンスの制約、およびユーザーのインタラクションパターンにおいて、公開ベンチマークとは大きく異なります。その結果、公開されているText-to-Cypherデータセットでは、モデルが組織固有のラベル、リレーションシップの方向、値、および運用上の質問を扱えるかどうかを評価することができません。さらに、静的な公開データセットは、プロダクトの出荷や統合の追加に伴ってグラフ構造が進化する場合に適応できません。

関連性の高いベンチマークの作成が困難な理由は以下の通りです：

1. 独自性: スキーマと値は組織ごとに固有である。
2. 動態性: 製品の出荷や統合の追加に伴い、グラフ構造は時間の経過とともに変化する。
3. 要件: 各自然言語（NL）からCypherへのペアは、実行可能であり、実際のグラフエンティティを使用し、多様性を維持し、かつクエリの種類と難易度においてバランスが取れていなければならない。
4. プライバシー: 組織は機密性の高いスキーマや値を有料の生成APIに送信することができない。
5. 信頼性: ローカルモデルは個々のクエリを書くことはできるが、実際の値をグラウンディング（接地）し、リレーションシップの方向を維持し、安全でない句を回避し、カテゴリのバランスを取るという完全なループを実行することには失敗することが多い。

メソドロジー: PIPE-Cypher パイプライン

PIPE-Cypherは、ライブのプロパティグラフとオプションのシードクエリ（顧客からの質問、ログ、またはエージェントの呼び出しから取得）を、バランスの取れた実行可能なNL-to-Cypherベンチマークへと変換する、ローカルなベンチマーク生成パイプラインです。これは、モデルが言語と生成を担当し、決定論的なグラフチェックが再現性、スケーラビリティ、および監査可能性を確保するという、制約付きのパイプラインとして機能します。

パイプラインは7つのステージで構成されています：

1. スキーマおよび値のプロファイリング: ラベル、リレーションシップの型、プロパティ、観測された方向、および境界のある低カーディナリティのカテゴリ値を記録する。
2. ワークロード計画: 8つの運用カテゴリ（単純/複雑な検索、単純/複雑な集計、ブール値の存在、否定/差分、パス/時間的トランザクション、およびランキング/Top-k）をターゲットとする。
3. 逆方向Cypherグラウンディング: 読み取り専用のCypherクエリを実行して、実際に行を生成するスロット値を見つける。これにより、グラフ内に答えが存在しない、もっともらしいが実体のない質問の生成を防ぐ。
4. 制約付き生成: 逆方向にバインドされた値によって埋められたワークロードテンプレートに基づき、ローカルLLM（Qwen3.5-9B）を使用して候補を生成する。特定のテナント値をモデルが記憶することを防ぐため、プレースホルダー化されたリトリーバル例を採用する。
5. Cypherガバナンス（決定論的ゲート）: 受理前に厳格なルールを適用する：
   • 読み取り専用の安全性: 書き込み/管理者用トークンをブロックする。
   • スキーマの妥当性: ラベル、プロパティ、およびカテゴリ値が存在することを確認する。
   • 方向の妥当性: リレーションシップのトラバーサル方向を検証する。
   • 正規化: RETURN DISTINCTを強制し、リスクのある構成（例：UNION, CALL, UNWIND）を拒否する。
6. 実行検証: 読み取り専用の資格情報を使用して生成されたCypherを実行する。構文エラーや実行時エラーをチェックし、必要に応じて結果が空でないことを確認する。
7. LLMジャッジによるレビュー: ローカルLLMジャッジが、実行を通過した候補のみをレビューする。少数の人間によるラベル付けに対して、曖昧さ、セマンティックな整合性、およびスキーマの使用状況を評価する。

プライバシーと匿名化: システムには、設定可能な値サンプリングポリシーと匿名化ルールが含まれている。プロンプトおよび結果内の機密性の高い値は、より広範な内部レビューのために安定したプレースホルダーに置き換えられ、PII（個人識別情報）を漏洩することなくベンチマークを共有できるようにする。

主な貢献

本論文は、主に4つの貢献を行っています：

1. ローカルモデルのワークフロー: 有料APIに依存することなく、組織独自のグラフからプライベートなNL-to-Cypherベンチマークを生成する方法。
2. 結果を考慮したグラウンディングと検証: 読み取り専用の安全性、リレーションシップの方向、正確なリテラル、カテゴリ値、および保守的な書き換えのための、逆方向グラウンディングとCypher特有のバリデータのシステム。
3. スケーラブルな公開プロキシ評価: アブレーション研究、ジャッジのキャリブレーション、匿名化監査、および11モデルのローカル転送研究を含む、FinBench、SNB、およびICIJ Offshore Leaksにわたる包括的な評価。
4. 再現性のあるアーティファクト: オンボーディング、値のサンプリング、ベンチマークのリフレッシュ、証拠のパッケージング、および監査トレイルのためのツール。

結果

生成と判定にローカルのQwen3.5-9Bを使用することで、PIPE-Cypherは4,925個の候補から3,000個の受理された例（FinBenchから2,000個、SNBから1,000個）を生成しました。

• 受理率: 全体で約61%。
• カバレッジ: 両方のグラフにおいて、8つの全ワークロードカテゴリで完璧なバランスを達成した。
• 信頼性: アブレーション研究において、ガバナンス付きのパイプラインは、制約のないセルに対して100%のターゲットカバレッジに到達したが、制約なしの生成はバランスの取れた実行可能なカバレッジを生成することに失敗した。
• 多様性: クエリ・シグネチャの多様性はテンプレート・シーディングにより低レベルに留まったが、多様性を管理するセレクターにより、構造的カバレッジ、調整されたDistinct-2、およびプロパティのカバレッジが向上した。
• ジャッジのキャリブレーション: 80行に対する事後的な人間による監査では、ローカルLLMジャッジとの一致度が80%であった（Cohen's $\kappa$ = 0.60）。ジャッジは保守的であり、サンプル内で誤った受理（false accepts）は観察されなかった。

ダウンストリーム評価:

• ゼロショット性能: ホールドアウト分割に対するゼロショット転送は弱く、平均実行精度は0.000から0.203の範囲であった（平均0.036）。
• フューショットの有用性: スキーマ固有の例のバンクが性能を向上させた。「ノー・シグネチャ」コントロール（正確なクエリ・シグネチャの一致を除外）は平均精度を0.200に引き上げ、順序付けられた同カテゴリのバンクは0.269に達した。
• 失敗モード: ベンチマークはセマンティックな失敗を正常に露呈した。多くのモデルは、構文的に正しいCypherを生成して実行はできたものの、誤った回答を出力していた（例：エラーの52.1%は回答の不一致であった）。

重要性と主張

本論文は、PIPE-Cypherを単なる静的なデータセットではなく、再現可能なエンタープライズ・ワークフローとして位置づけています。その重要性は以下の点にあります：

• 静的から動的へのシフト: グラフやワークロードが進化するにつれて、古い公開コーパスに頼るのではなく、ベンチマークを更新することを可能にする。
• プライバシー保護: 機密性の高い値を外部APIにさらすことなく、プライベートなデータでのベンチマークを可能にする。
• 実行可能な真実: 正当性をプロンプティングによって期待するのではなく、実行と決定論的なゲートを通じてチェックされるものとして扱うことで、「見た目は正しいがセマンティックに失敗する」クエリを排除する。
• 診断的価値: パイプラインは、モデルがどこで失敗しているか（例：方向のエラー、空の結果、またはセマンティックな不整合）を理解するための明確な診断（拒否レジャー、多様性メトリクス、失敗の分類学）を提供する。

著者らは、本ベンチマークが構文のみの評価では隠されてしまうダウンストリームのモデルの失敗を明らかにするものの、セマンティックな正当性を保証するものではない（実行の妥当性 $\neq$ セマンティックな正当性）と控えめに主張しています。また、結果は公開プロキシ（FinBench, SNB, ICIJ）に基づいていること、およびテナント固有のファインチューニングは、本研究の完了した主張ではなく、提供されたアーティファクトによって可能になるエンジニアリングの経路であることを注記しています。