Sustainable Local RAG Architectures for Energy Governance: A Green AI Approach via Document Slice Contextualization

技術要約：エネルギー・ガバナンスのための持続可能なローカルRAGアーキテクチャ

問題提起
本論文は、検索拡張生成（RAG）の計算需要と、エネルギー・ガバナンスおよびデータ主権による厳格な制約との間の緊張関係に対処している。現在の「Red AI」的なインデックス作成時のコンテキスト化（すべてのドキュメントチャンクをドキュメント全体に対して要約する手法）は、二次関数的な自己注意（self-attention）と線形に増大するキー・バリュー（KV）キャッシュに依存している。このパターンは、メモリ要件を消費者向けGPUの8 GB VRAMを超えて押し上げ、組織がクラウドデータセンターへの依存を余儀なくされる要因となっている。しかし、エネルギー規制当局や監査人は、（GDPRやAI法などの）データ主権ルールや、オンプレミスでの防御可能なコンプライアンス監査の必要性から、データ処理を外部化できない場合が多い。課題は、全ドキュメントのコンテキスト化に伴う二次関数的なメモリおよびエネルギーコストを回避しつつ、汎用的なハードウェア上で高精度なRAGを実現することである。

手法
著者らは、8 GBのGPUを搭載した単一のワークステーションで完全に動作するように設計された、「ドキュメント・スライス・コンテキスト化」と「2ティア・ルーティング・エージェント」を中心とする「Green AI」アーキテクチャを提案している。

1. ドキュメント・スライス・コンテキスト化: すべてのチャンクを要約するためにドキュメント全体をモデルに投入する代わりに、本システムはターゲットとなるチャンク $c_i$ の周囲に限定された「スライス（隣接チャンク）」を定義する。スライスのサイズは、コンテキスト半径 $k$ によって決定される。ドキュメントの境界を処理するために、実装ではスライスをクランプ（固定）し、ターゲットチャンクがコンテキストウィンドウの中央に位置するように保証している。これにより、プロンプトの長さを総ドキュメント長に関わらず一定のサイズに制限し、KVキャッシュが物理VRAMを超えないように制御する。
2. 2ティア・ルーティング・エージェント: ルーティング・エージェントは、要約が行われる前に、各チャンクに対して最適な半径 $k$ を決定する。これには、要約を実行するのと同じ小型言語モデル（SLM）を使用する。
   • ティア1（決定的ゲート）: 正規表現ベースのゲートが「テーブル・チャンク」（シリアライズされた表またはキャプション）を識別し、モデルを呼び出すことなく固定半径（$k=2$）を割り当てる。
   • ティア2（SLMルーター）: 非テーブルチャンクに対して、エージェントは40億パラメータのモデル（Gemma 3 4B-it-qat）を用いたシングル・トークン・フォワードパスを実行する。モデルは、そのチャンクが「自己記述的（self-describing）」（例：アブストラクト、結論、参考文献）であり、コンテキストを必要としない（$k=0$、要約をスキップ）か、あるいは「隣接が必要（needs neighbors）」（$k=2$）かを判断する。
3. パイプライン実行: メモリのスワッピングを避けるため、パイプラインは単一のGPU上で逐次的に実行される。
   • ルーティングと要約: ルーターが半径を割り当て、要約器は $k > 0$ のチャンクに対してコンテキストを付加した要約を生成する。
   • 埋め込みとインデックス作成: 強化されたテキストは nomic-embed-text-v1.5 を用いて埋め込まれ、LanceDBにインデックス化される。
   • 検索: ハイブリッド検索システム（BM25 + 密ベクトル検索）が、ColBERTv2を用いて結果を再ランク付けする。

主な貢献

• 境界付きスライスの定式化: 本論文は、境界クランプされたドキュメント・スライスの形式的な定義を提供し、このアプローチがインデックス作成時のアテンション・ワークを、チャンク数を $n$ としたとき、$O(n^3)$（フルドキュメント）から $O(n)$（境界付きスライス）へと削減することを証明する複雑性モデルを提示している。
• チャンクごとのルーティング・ポリシー: 軽量なルーティング・メカニズムを導入し、コンテキストウィンドウを動的に選択することで、自己記述的なチャンクについては要約自体を完全にスキップする。これにより、要約器の呼び出し回数と総プロンプト・トークン数を削減する。
• Green AI 測定プロトコル: 本研究は、CodeCarbonを用いた厳格なエネルギー計上プロトコルを実装しており、GPU、CPU、およびメモリの電力を追跡して、実行ごとのエネルギー台帳と炭素排出量の推定値を生成することで、再現性を確保している。
• ローカルでの実現可能性: 高精度なRAGパイプラインが、消費者向けノートPCのGPU（RTX 4060）の8 GBメモリ枠内で動作可能であることを実証しており、これはオンプレミスのエネルギー・ガバナンスにおける重要な要件である。

結果
25の学術論文（382チャンク、250のマルチホップ質問）および4つの欧州委員会政策文書を用いて評価を行った。

• 精度: ルーティングされたパイプラインは、Recall@20 で 0.952 を達成した。これは、フルドキュメントのベースライン（0.954）と統計的に区別がつかず、静的な $k=3$ のスライス（0.945）よりも優れた数値であった。また、最高の平均逆順位（MRR@20）および平均順位（MAR@20）を記録した。
• 効率性:
  • エネルギー: ルーティングされたパイプラインは、フルドキュメント・ベースラインと比較して、追跡された生成エネルギーを 87.6%（106.7 Wh から 13.2 Wh へ）、CO2排出量を 87.0%（21.8 g から 2.8 g へ）削減した。
  • 時間: 生成時間は 84.1% 短縮された（54:54 から 8:45 へ）。
  • メモリ: このアプローチは、フルドキュメント・ベースラインが同一ハードウェア上でメモリ・ページングを引き起こすような30,000トークンのウィンドウを必要としたのに対し、KVキャッシュを8 GBの制限内に収めた。
• ルーティングの挙動: ルーターは平均半径1.37を割り当て、32%のチャンク（主にアブストラクト、参考文献、謝辞）をスキップし、残りに $k=2$ を割り当てた。これにより、すべてのチャンクにフルドキュメントのコンテキストが必要なわけではないことが確認された。
• ドメイン横断的な堅牢性: 欧州委員会の政策文書において、固定半径バリアント（$k=3$）は、エネルギーを71.8%節約しつつ、ベースラインから0.6ポイント以内の性能を維持した。

意義と主張
本論文は、分散型のコンプライアンス監査のための PEP-AI パスウェイ（Precise [正確], Explainable [説明可能], Provable [証明可能]）を提示すると主張している。コンテキストを制限し、ルーティング決定を行うことで、本アーキテクチャは以下を可能にする：

1. 再現可能なメトリクス: パフォーマンスはゴールドスタンダードに対して測定され、統計的有意性テストが行われる。
2. 検査可能な意思決定: すべてのルーティング決定は、その根拠（対数確率）とともにログに記録され、監査証跡を可能にする。
3. 検証可能なエネルギー: 実行ごとのエネルギー台帳は、AIプロセスによる炭素足跡の証明可能な記録を提供する。

著者らは、このアプローチにより、エネルギー・ガバナンス機関が、フルドキュメントのコンテキスト化の精度を犠牲にすることなく、データ主権規制を遵守しながら、ローカルの汎用ハードウェア上で高度で防御可能なRAGシステムを実行できると主張している。本研究は、境界付きかつルーティングされたコンテキスト化が、精度をほぼ最適に保ちつつ、時間とエネルギーのコストを劇的に削減する、支配的なパレート最適の選択肢であることを示している。