技術的概要：意味的キャッシングによる自律型 AI、ネスト型学習、および AI 持続可能性を用いた幻覚抑制

問題定義

大規模言語モデル（LLM）を生産システムに展開する際、信頼性の重要なギャップに直面します。それは、高い確信度で事実根拠のない主張（幻覚）を生成するという問題です。単一モデル環境では問題となりますが、未チェックの幻覚が段階を超えて伝播・増幅するマルチエージェントパイプラインでは、この問題はさらに悪化します。既存の防御アーキテクチャは主にプロンプト注入攻撃向けに設計されており、通常は入力側の単一パスフィルターまたは出力側のジャッジとして機能し、以前の対話から蓄積された文脈を活用できていません。さらに、多段階レビューパイプラインは、逐次的な LLM 呼び出しに伴う遅延とコスト、および事実の裏付けを改善するためのモデル再学習の欠如により、スケーリングにおいて運用上の非現実性に直面することが多いです。

手法

著者は、HOPE（処理と経験の階層的組織化）フレームワークのネスト型学習アーキテクチャに着想を得たコンティニュウムメモリシステム（CMS）と統合された、オープンフロアプロトコル（OFP）を介してオーケストレーションされる、3 段階の自律型パイプラインを提案します。

1. 自律型パイプラインアーキテクチャ

このシステムは、Ollama 経由でLlama 3.1上で実行される 4 つの異なるエージェントを採用しており、推論パラメータとシステムプロンプトによって区別されます。

• FrontEndAgent（第 1 段階）意図的に「弱く」、高確率性（$temp=1.0$）のジェネレーターとして構成されます。免責事項を避け、完全な確信度で回答するよう指示されており、幻覚の測定可能なベースライン（高い事実主張密度）を作成します。
• SecondLevelReviewer（第 2 段階）主要な修正役として機能します（$temp=0.1$）。根拠のない主張を検出し、慎重な表現に置き換え、構造化されたメタデータ（utterance、whisper_context、whisper_value）を出力します。
• ThirdLevelReviewer（第 3 段階）最終的な事実性の執行役として機能します（$temp=0.05$）。内部推論メタデータなしに、ユーザー向けにクリーンなテキストを生成し、権威ある枠組みを優先します。
• KPI Evaluator（第 4 エージェント）決定経路とは独立して評価指標を計算する、読み取り専用の観察者です（$temp=0.0$）。

2. コンティニュウムメモリシステム（CMS）と意味的キャッシング

標準的な推論エンジンのステートレスな性質に対処し、「ネスト型学習」を可能にするため、各エージェントは以下の構成要素からなる CMS を備えています。

• 中長期メモリ（MTM）最近のプロンプト - 応答対を保存する LRU（Least Recently Used）キャッシュ。
• 長期メモリ（LTM）MTM から定期的な統合によって供給される、反復パターン用の LFU（Least Frequently Used）キャッシュ。
• 意味的インデックス付け：LLM を呼び出す前に、エージェントは all-MiniLM-L6-v2 を使用してプロンプトを埋め込み、閾値 $\tau = 0.87$ のコサイン類似度を用いてキャッシュを照会します。意味的な一致が見つかった場合、キャッシュされた応答が再利用されます。そうでない場合、新しい推論が実行されます。

3. 評価フレームワーク

このシステムは、310 のプロンプトからなるハイブリッドベンチマークで評価されました。

• 70% の現実的な認識的不確実性プロンプト：エージェントが捏造ではなく慎重な表現を行うべき質問。
• 30% の捏造誘発ストレステストプロンプト：パイプラインに要求に応じて幻覚を起こすよう圧力をかけるように設計されたもの。

パフォーマンスは、総合幻覚スコア（THS）に集約される 5 つの重要業績評価指標（KPI）を介して測定されます。

• FCD（事実主張密度）低いほど良い。
• FGR（事実根拠参照）高いほど良い。
• FDF（虚偽免責頻度）高いほど良い。
• ECS（明示的文脈化スコア）高いほど良い。
• OSR（観測可能性スコア比）推論とメタデータの透明性を測定する新しい指標。

THS 数式は、リスク信号（FCD）から緩和信号（FGR、FDF、ECS、OSR）を減算します。より負の THSは、より強力な緩和を示します。バランスの取れたBaselineからExtremeObservabilityまで、5 つの重み付け構成がテストされました。

主要な結果

1. 緩和の有効性

非対称なパイプライン設計により、事実の信頼性において顕著なエンドツーエンドの改善が得られました。

• THS の削減：5 つの重み付け構成全体で、パイプラインは FrontEndAgent から ThirdLevelReviewer にかけて、総合幻覚スコアを−31.3% から−35.9% 削減しました。
• U 字型の軌道：SecondLevelReviewer は、最も低い（最良の）ローカル THS スコア（例：ExtremeObservabilityで−0.1005）を達成しました。ThirdLevelReviewer は、冗長な慎重な表現（高い FDF/ECS）をコンパクトで権威ある出力と引き換えるため、THS がわずかに反発しました（例：−0.0709）。しかし、初期のジェネレーターよりも依然として大幅に優れていました。
• 観測可能性の影響：OSR、FDF、ECS を強く重み付けするExtremeObservability構成は、最も負の最終 THS（−0.0709）を達成しました。これは、透明性と監査可能性を優先することが、緩和を損なうのではなく、むしろ強化することを確認しました。

2. 効率性と持続可能性

意味的キャッシングは計算負荷を大幅に削減し、スケーラブルな多段階パイプラインを可能にしました。

• キャッシュヒット率：システムは 930 の潜在的な呼び出しのうち440 回のキャッシュヒットを達成し、47.3% のヒット率となりました。
• 推論の削減：実効的な LLM 呼び出しは 930 から490に削減され、モデルの再学習なしにエネルギー消費と CO2e フットプリントを低下させました。
• 均一な分布：ヒット率は段階全体で一貫していました（46.1% → 47.1% → 48.7%）。これは、効率性の向上が孤立したバーストに集中するのではなく、分散していることを示しています。

意義と主張

本論文は、モデル重みを修正することなく、メモリ拡張型マルチエージェント設計が事実の信頼性、運用効率、および監査可能性を同時に改善できることを実証すると主張しています。

• 運用上の実現性：意味的キャッシングを統合することで、著者は生産環境ではコストが高すぎると見なされがちな多段階レビューパイプラインが、運用上可能になると論じています。
• アーキテクチャ的洞察：この研究は、測定可能な幻覚負荷を作成するために意図的に「弱い」最初のエージェント（高確率性）が必要であり、これにより下流のレビューヤーの修正価値を定量化できると実証しています。
• 緩和としての観測可能性：評価関数における観測可能性（OSR）の重み付けがパフォーマンスを低下させるのではなく、緩和の質を積極的に強化するという知見が得られました。
• 実用的な実装：この作業は、既存の推論エンジンと互換性のある実用的でキャッシングベースのアプローチを用いて、ネスト型学習（HOPE）の理論的諸原則を近似しており、自律型システムにおける幻覚の伝播に対する具体的な防御策を提供します。

著者は、ベンチマークが合成されたものであり、KPI 評価器がモデルベースであることを認めつつ、控えめな立場を維持しています。今後の課題として、より大規模な実世界のコーパス、クロスジャッジの堅牢性チェック、およびインフラを考慮した持続可能性報告のための直接的な電力計測が必要であると特定しています。