技術要約：規制業界のための分類器ゲート型マルチティアLLMルーティング

問題提起

金融サービスやヘルスケアなどの規制業界における大規模言語モデル（LLM）の導入は、能力、コスト効率、および規制遵守の間の極めて重要なトレードオフに直面している。現在のサービング・アーキテクチャは、以下の3つの具体的な制約を同時に解決できていない。

1. データのレジデンシーとコンプライアンス： GDPR、SEBI、RBI、およびインドのDPDPAといった規制は、個人識別情報（PII）が管轄区域を超えてはならないと定めている。単一モデルのデプロイメントでは、ルーティング決定が行われる前にデータがモデルのエンドポイントに到達してしまうため、これを強制することができない。
2. 単一モデル・サービングの非効率性： すべてのクエリを単一の大型モデルにルーティングすることは、クエリの複雑さに関わらずフルGPU容量を消費する。これはインフラストラクチャの競合を生み出し、規制業界におけるほとんどのクエリが小規模なモデルで十分な単純なルックアップであるという現実を無視している。
3. 既存のルーティング手法の限界：
   • 混合エキスパート（MoE）： MoEはトークンをエキスパート層間でルーティングするが、すべてのエキスパートがメモリにロードされた状態で、ルーティングはデータがエンドポイントに到着した後に発生する。これは、地理的なデータレジデンシーの強制を不可能にする。
   • 従来のルーティング手法（FrugalGPT、RouteLLM、Hybrid LLM）： これらの手法はコストまたは品質に焦点を当てているが、統合されたPII検出および地理的ルーティングを欠いている。これらはコンプライアンスを設計によって強制しておらず、多くの場合、決定が下される前に機密データがクロスリージョンのインフラストラクチャを通過することを許容してしまう。

メソドロジー

本論文では、プリインファレンス（推論前）レイヤーでコンプライアンスを強制し、コストを最適化する、分類器ゲート型ルーティング・アーキテクチャであるComplianceGateを提案する。このシステムはプライベートネットワーク内で動作し、以下の2つの主要コンポーネントで構成される。

1. エンコーダー分類器

双方向トランスフォーマーエンコーダー（12レイヤー、768隠れ次元、約1億3400万パラメータ）が、デコーダーの推論前に配置される。

• 学習： 20億トークンの英語テキストで事前学習され、5万件のドメイン固有の例でファインチューニングされている。
• 機能： 生のクエリテキストを評価し、複雑さ（単純、中程度、複雑）と機密性（PIXの有無 vs 非機密）を判定する。
• 出力： 6つのラベル（3つの複雑レベルと2つの機密次元の直積）に対する確率分布と信頼度スコア。
• パフォーマンス： 推論時間は10ms未満（実験では具体的に7ms）である。

2. ルーティング・ロジックとフォールバック

ルーティング層は、分類器の出力を解釈し、LLMの計算が始まる前に決定論的な決定を下す。

• 地理的強制： PIIを含むクエリは、ローカルエンドポイント（管轄区域内）にルーティングされる。非機密のクエリは、クロスリージョンのインフラストラクチャにルーティングされる。
• モデルティアの選択：
  • 単純なクエリ $\rightarrow$ 小規模で高速な高密度モデル（例：Nova Lite、Gemma 4B）。
  • 中程度のクエリ $\rightarrow$ 中規模モデル（例：Gemma 27B、Ministral 14B）。
  • 複雑なクエリ $\rightarrow$ 大規模で高性能なモデル（例：Qwen3-480B）。
• 信頼度に基づくフォールバック： 分類器の信頼度が設定された閾値（デフォルトは80%）を下回る場合、システムは最も制限の厳しいラベル（complex_pii）をデフォルトとする。これにより、不確実な状況下では、クエリがローカルのフルキャパシティモデルにルーティングされるようになり、構造的にデータレジデンシー違反を防止する。

3. デプロイメント・アーキテクチャ

システムはコンテナ化され、Infrastructure as Code（IaC）を介してデプロイされる。各モデルティアは独立したインフラストラクチャ上で動作し、共有メモリや障害ドメインを持たないため、他のティアに影響を与えることなく、独立したスケーリングやアップグレードが可能である。

主な貢献

1. コンプライアンス・バイ・デザイン： このアーキテクチャは、PIIを検出し、LLMの計算が行われる前にローカルエンドポイントへルーティングすることで、データレジデンシー違反を構造的に不可能にする。
2. マルチティアによるコスト最適化： バイナリルーティングやMoEとは異異なり、このシステムは複数のモデルティアをサポートする。単純なクエリをフロンティアモデルより6〜8倍安価なモデルにルーティングすることで、実際のトラフィックの複雑さに比例してサービングコストを大幅に削減する。
3. パフォーマンスとレジリエンス： 巨大なモデルを通じて単純なリクエストを処理するオーバーヘッドを回避することで、レイテンシを低減し、スループットを向上させる。独立したティアにより、一つのモデルの失敗がシステム全体に連鎖することはない。
4. 形式的なコストモデル： 本論文では、分数的な節約（$S$）に関する数学的モデルを導出し、クエリ分布が単純なリクエストに偏っている場合（金融サービスに典型的）に節約が最大化されることを示している。

実験結果

システムは、Amazon Bedrock (us-east-2) を使用し、Qwen3-480B-A35B (MoE) をベースラインとして、600件のクエリを用いて評価された。

• 精度： エンコーダー分類器は、99.2%の精度とほぼ完璧なPII再現率を達成した。
• レイテンシの削減：
  • 単純なクエリ： 2〜4倍高速（ベースラインの約1850msに対し、490〜840ms）。
  • 中程度のクエリ： 1.7〜3.3倍高速（ベースラインの約3750msに対し、1140〜2250ms）。
  • 複雑なクエリ： 差なし（同じモデルを使用）。
  • 中央値レイテンシ： 全体で39%の削減。
• スループット： ゲート型ルーティングは、単純/中程度のクエリに対して122〜200 tokens/secondを達成し、MoEベースラインの50〜64 tokens/secondと比較して向上した。
• 予測可能性（分散）：
  • MoEベースラインは高いレイテンシ分散を示した（最大/最小比は最大34.5倍）。
  • ゲート型ルーティングは分散を1.1〜2.0倍に抑え、SLA保証を可能にした。
• コスト削減：
  • 等しいクエリ分布（単純/中程度/複雑が各33%）の場合、33%の節約。
  • 金融サービスに典型的な偏った分布（単純60%、中程度25%、複雑15%）の場合、52%の節約。
  • 高度に偏った分布（単純70%）の場合、74%の節約を予測。

重要性と主張

論文は、ComplianceGateが、規制業界における単一モデルおよびMoEデプロイメントに代わる、プロダクション環境での利用が可能な選択肢を提供すると主張している。その重要性は、「事後的な」ポリシー適用から、「推論前」の構造的な強制へのアーキテクチャの転換にある。

• 構造的優位性： データがモデルに入った後に地理的ルーティングを強制できないMoEとは異なり、このアーキテクチャはルーティングレイヤーにおいて管轄区域の境界を強制する。
• スケーラビリティ： MoEはクラスター全体をスケーリングする必要があるが、本システムはモデルティアを独立してスケーリングできる。
• 実用性： ルーティングのオーバーヘッドが無視できる程度（総コストの<0.1%）であり、高い分類精度を持つことから、訓練されたエンコーダーが、複雑なクエリの品質を損なうことなく、厳格なコンプライアンス命令（データレジデンシー）とアグレッシブなコスト効率目標を同時に満たせることを示している。

著者らは、本研究の価値は選択された特定のモデルにあるのではなく、クエリごとの測定可能な複雑さと機密性、ならびに管轄区域と制約に基づいて、適切なモデルを適切なクエリに適合させることを可能にするルーティングフレームワークにあると結論付けている。