Policy-Governed LLM Routing with Intent Matching for Instrument Laboratories

「計器実験室における意図マッチングに基づくポリシー管理型 LLM ルーティング」の論文の詳細な技術的概要を以下に示す。

1. 問題定義

工学計器実験室におけるチューターとしての大規模言語モデル（LLM）の統合は、学習を支援するのに十分な援助を提供しつつ、学生の依存を誘発する過度の足場かけ（scaffolding）を回避するという、重要な緊張関係をもたらす。現在の LLM チュータリングシステムは、以下の 3 つの主要な限界に悩まされている。

• 制御の欠如: 指導者は、いつ高レベルの足場かけ（例：完全な解答）を許可するか、プロンプトにどのような変換を適用するか、またはコストをどのように制限するかを決定する能力が限られている。
• 教育学的側面と運用面とのギャップ: 既存のルーティングシステムは、コストや回答の品質を最適化するが、指導者が定義する教育学的ポリシー（例：「承認がない限り概念的なガイダンスのみを許可」）を無視している。
• 監査可能性: 実時間の実験環境において、ルーティング決定、プロンプトの変更、および予算の使用状況を追跡する透明性のあるメカニズムが欠如している。

本論文は、特に計器実験室向けに、コスト意識型マルチモデルルーティングと指導者管理型足場かけポリシーおよび監査可能なプロンプト介入を組み合わせるためのシステム証拠のギャップに対処する。

2. 手法とシステムアーキテクチャ

著者らは、LABIIUM遠隔電子実験プラットフォームに統合された 2 構成要素のシステムを提案する。

A. システム構成要素

1. Routiium（ゲートウェイ）:

   • 複数の LLM バックエンド（ローカルおよびクラウド）を前面に出す OpenAI 互換のゲートウェイ。
   • 機能: クライアントを認証し、ポリシーに基づいて設定可能なプロンプトオーバーレイ（クエリ/応答の変更）を適用し、ターンごとの使用状況（トークン数、コスト、モデル）をログ記録する。
   • プライバシー: ローカルモデルにルーティングされる場合、学生のクエリをキャンパスネットワーク内に保持する。

2. EduRouter（意思決定エンジン）:

   • 各クエリに対してバックエンドを選択するポリシー認識型ルーティングサービス。
   • ワークフロー:
     1. 意図マッチング: 学生のクエリと指導者がキュレーションした標準質問ライブラリとの間の埋め込み類似性を計算する。
     2. ポリシー執行: 予算制限、承認ワークフロー、およびヒントレベルの制約（L0～L3）を確認する。
     3. ルーティング決定: ライブラリのメタデータ（推奨ティア、最大コスト）と「粘着性」（会話コンテキストを同じモデルに維持すること）に基づいてモデルを選択する。
     4. フォールバック: ライブラリマッチが閾値を超えない場合、クエリの複雑さに基づくヒューリスティックなルーティングにフォールバックする。

B. ガバナンスメカニズム

本システムは、特定のヒントレベルとポリシーモードを定義する。

• ヒントレベル（L0～L3）: 最小限の検証（L0）から完全な解答（L3）まで範囲が広がる。高いレベル（L2/L3）は、予算の引き落としまたはティーチングアシスタント（TA）の承認をトリガーする。
• ポリシーモード:
  • P0（未管理）: 制限なし、オーバーレイ無効。
  • P1（管理型）: 強制された支出制限とヒントの上限。
  • P2（整合性重視）: 厳格な承認キューと整合性フラグのゲート制御。

C. 評価手法

システムは 2 つのアプローチを用いて評価された。

1. トレース駆動シミュレーション: 2 つの電子実験室（LED 特性評価、RC 回路解析）からのデータで較正されたシミュレーターを用い、合成ワークロード（416 構成）下でのポリシー準拠をテストする。
2. ライブクエリ再生: 実際のモデルエンドポイントを通じて 100 クエリのワークロードを再生し、実際のコスト、レイテンシ、およびルーティングの正確性を測定する。

3. 主要な貢献

• Routiium: 設定可能なプロンプトオーバーレイとターンごとの監査ログ記録を可能にするオープンソースの OpenAI 互換ゲートウェイ。
• EduRouter: 埋め込みベースの意図マッチングと厳格なポリシー執行（予算、承認）を統合するルーティングサービス。
• ガバナンス指標: 教育成果指標ではなく、指導者のポリシーとのシステム整合性を特徴づける一連の新しい行動指標。
  • 課題整合性指数（CAI）: 観測されたヒント分布と目標ヒント分布の一致度。
  • 生産的葛藤ウィンドウ（PSW）: 高レベルの足場かけヒントが表示されるまでのターン数。
  • オーバーレイ遵守スコア（OAS）: プロンプト変更の検証。
  • 標準ヒットレート（CHR）およびルーティングゲイン（CRG）: 意図ベースのルーティングの効率性。
• オープンリリース: ソースコード、シミュレーター設定、および評価ツールの完全なリリース。

4. 結果

シミュレーション結果（ポリシー準拠）

• 課題整合性: 管理型ポリシー（P1/P2）は、CAI を未管理時の0.90から0.98に向上させ、目標ヒント分布へのほぼ完全な遵守を示した。
• オーバーレイ遵守: 管理型ポリシー下で OAS は0.69から0.87に改善された。
• 生産的葛藤: PSW 指標は1.4ターンから3.6ターンに増加し、学生が高レベルの足場かけヒントを受ける前に葛藤する時間がより多く与えられたことを意味する。
• 公平性: 公平性指数（EI）はわずかに低下（0.59 から 0.52）し、予算制限が L3 ヒントをより少ない学生に集中させたことを示しており、これは指導者が管理すべきトレードオフである。

ライブ再生結果（コストとレイテンシ）

• コスト削減: EduRouter はクエリの**75%をローカルモデル（gpt-oss-20b）にルーティングし、すべてのプレミアムルーティング（0.26 ドル）と比較して、総トークンコストを66%**削減した（0.087 ドル）。
• レイテンシ:
  • 直接クラウド（GPT-5 Mini）: 平均 23.2 秒のレイテンシ。
  • ローカルモデル: 平均 26.1 秒のレイテンシ。
  • ルーティング実行: 21.7 秒の平均レイテンシ（インテリジェントな選択による）、TTFT（First-Token までの時間）は 305ms（ルーティングオーバーヘッドを含む）。
• ルーティングの正確性:
  • 易しい/中程度のクエリ: 96% / 89% の正確性。
  • 高度なクエリ: 68% の正確性（大学院レベルのトラブルシューティングに対する標準ライブラリの不備に起因）。
• 標準パフォーマンス: 選定された 89 意図の質問バンクにおいて、標準ヒットレート（CHR）は1.0であり、既知の意図に対する完全なマッチングを示した。

5. 意義と限界

意義:

• システムアーティファクト: 本論文は、教育における「管理された AI」のための具体的で実装可能なフレームワークを提供し、「LLM は教えることができるか？」という焦点から、「LLM がどのように教えるかをどのように制御できるか？」という焦点へと移行させる。
• コスト効率: 埋め込みベースのルーティングが、標準的な実験室クエリを処理する能力を犠牲にすることなく、コストを大幅に削減できることを実証している。
• 監査可能性: 特定のモデルやヒントレベルが選択された「理由」のターンレベルログを提供することで、「ブラックボックス」問題を解決し、指導者がポリシーを動的に監査および調整できるようにする。

限界:

• 範囲: 指標は教育効果（学習成果）ではなく、行動準拠を測定する。
• データの忠実度: シミュレーションは、限られた較正セッションから導き出された学生の行動のマルコフモデルに依存しており、現実世界の学生の行動とは異なる可能性がある。
• カバレッジ: システムは標準ライブラリ内のクエリで最もよく機能する。高度で新規なクエリ（例：大学院レベルのトラブルシューティング）は、ライブラリのギャップにより、現在ルーティングの正確性が低い。
• キュレーションのオーバーヘッド: 標準ライブラリの作成には学期ごとに指導者の 2～3 時間の労力が必要であり、その価値はユーザー研究によってまだ検証されていない。

結論:
本論文は、指導者が教育学的ポリシーを執行し、コストを管理し、AI 支援実験室で監査証跡を維持することを可能にするルーティングおよびガバナンス層を成功裏に実証した。これは、これらのガバナンスメカニズムが改善された学習成果につながるかどうかを決定するための将来の教室研究の基盤を確立する。