技術要約：不適切（Ill-Posed）な質問のトポロジー

問題定義

大規模言語モデル（LLM）は、曖昧であったり、情報が不足していたり、矛盾していたり、あるいは必要な文脈を欠いていたりする「不適切（ill-posed）な質問」に頻繁に遭遇します。適切に定義された問題とは異なり、これらのクエリは有効な回答を持たないか、あるいは複数の妥当な解釈を許容する可能性があります。不適切さを扱う既存のアプローチは、主にモデルの出力分析（拒絶パターンの検出など）や、入力・出力の書き換えを通じた特定の曖昧性のサブクラスへの焦点化に依存しています。これらの手法は、LLMをブラックボックスとして扱うことが多く、多様な不適切さのソースを統一的な内部表現として捉えることができていません。その結果、現在のステアリング（制御）メカニズムは、ソースを認識した明確化や標的を絞った棄却へとモデルを導くのではなく、一般的な拒絶テンプレートへと崩壊してしまう傾向があります。

手法

本論文は、プロンプト・トークンの**内部隠れ状態（internal hidden states）**をトポロジカルな構造としてモデル化することで、LLMの挙動を分析し、制御するフレームワークを提案しています。

1. 層ごとのトークン雲表現（Layer-wise Token Cloud Representation）

プロンプトを単一のプーリングベクトルに圧縮する代わりに、著者らは各トランスフォーマー層 $l$ におけるプロンプト・トークンの文脈的隠れ状態を点群（point cloud） $X^{(l)}(q)$ として扱います。

• 次元削減: ノイズと計算コストを管理するため、訓練セットに適合させた主成分分析（PCA）を用いて、トークン状態を低次元空間に投影します。
• トポロジカル分析: これらのトークン雲の幾何学的構造を、**有限ゼロ次元パーシステントホモロジー（$H_0$）**を用いて分析します。この手法は、距離閾値（フィルトレーション半径）が増加するにつれて、初期状態で離散していたトークン成分がどのように結合していくかを追跡します。
• 解釈: 適切に定義された質問は、フィルトレーションの早い段階でコヒーレントな構造へと合体するトークン状態を誘発します。一方で、不適切な質問は、より大きなスケールになるまで、分離した、あるいは不均一に接続されたグループ（未解決のエンティティ、文脈、または制約を表すもの）を維持するため、独特の結合パターンを示します。

2. コンパクトなトポロジカル記述子

各層において、有限 $H_0$ パーシステンス図は、以下の3つの固定次元スカラー記述子に要約されます。

1. 平均有限寿命（Mean Finite Lifetime, $\mu$）: 成分が結合する平均的なスケールであり、断片化の度合いを示します。
2. 正規化寿命エントロピー（Normalized Lifetime Entropy, $E$）: 結合イベントの分布（拡散しているか集中しているか）を測定します。
3. 最大寿命集中度（Largest-Lifetime Concentration, $R$）: 上位5つの寿命の合計と総和の比率であり、主要な分離の支配性を捉えます。

これらの記述子はすべての $L$ 層にわたって連結され、質問を表すトポロジー・ベクトル $z(q) \in \mathbb{R}^{3L}$ を形成します。

3. トポロジー条件付き活性化ステアリング（Topology-Conditioned Activation Steering）

本フレームワークは、これらのトポロジー・ベクトルを以下の2つの目的で使用します。

• 分類: 監督学習を用いた分類器が、トポロジー・ベクトルから直接、二値的な不適切さ、または詳細なサブタイプ（例：多義性、時間的文脈の欠如）を予測します。
• ローカル・ステアリング: 単一のグローバルな「棄却」方向を適用するのではなく、この手法は訓練セットからトポロジカルに類似した正例（明確化/棄却）および負例（直接回答）を検索します。
  • ローカル・ステアリング・ベクトル $v_{local}$ は、これら検索された近傍の平均活性化の差分として構築されます。
  • このベクトルは、プリフィル（prefill）およびデコーディングの段階で隠れ状態に加算され、元の質問のセマンティックな内容を保持しつつ、不適切さの特定のソースに対処するような応答へとモデルを導きます。

主な貢献

1. 統一されたトポロジカル表現: 有限 $H_0$ パーシステントホモロジーを用いて、不適切な質問のマルチスケールな接続性を定量化する、層ごとのトークン雲表現を導入しました。
2. コンパクトな特徴抽出: $H_0$ の寿命から導出された3つのコンパクトな統計量（平均寿命、エントロピー、集中度）が、二値検出および詳細な9クラス分類の両方をサポートできる、堅牢で低次元な表現を形成することを実証しました。
3. トポロジー条件付きステアリング: トポロジカルな類似性を用いてクエリ固有の対照ペアを選択するステアリング・メカニズムを開発しました。これにより、モデルが、一般的な拒絶へと崩壊することなく、ソースを認識した棄却や明確化へと挙動をシフトすることを可能にしました。

実験結果

本フレームワークは、3つのオープンウェイトLLM（Gemma-7B-it, Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3）を用い、3つのベンチマーク（AmbigQA および SituatedQA による二値検出、CLAMBER による9クラスの詳細分類）で評価されました。

• 分類性能:

  • AmbigQA: 精度は 67.4%（AEN ベースライン）から 78.9% へ向上しました。
  • SituatedQA: 精度は 79.9% から 88.5% へ向上しました。
  • CLAMBER (9-way): 精度は 57.6% から 69.6% へ向上しました。
  • トポロジー特徴量は、プロンプトベースのベースライン（zero-shot, few-shot, CoT）やニューロン・プロービング・ベースライン（AEN）を一貫して上回りました。

• ステアリング性能:

  • トポロジー条件付きステアリングにより、Grounded Acceptable（欠落または曖昧な要素を正しく特定し対処している応答）の割合が、平均して 11.9% から 16.4% に増加しました。
  • Total Acceptable（Grounded + Generic）の割合は、61.4% から 70.6% に増加しました。
  • 極めて重要な点として、本手法は「ジェネリック（一般的）」な拒絶を減らし、「グラウンデッド（根拠に基づいた）」な応答を増やしました。これは、ステアリングが質問固有の情報を保持しながら、応答の挙動を適切に変更できたことを示しています。

意義と主張

本論文は、パーシステントホモロジーが、モデルの内部的な接続構造が層を越えてどのように変化するかを捉える、不適切さの解釈可能な表現を提供すると主張しています。その意義は、以下の点にあります。

1. 不適切さは単なる出力レベルの現象ではなく、プリフィル段階におけるトークン状態の幾何学的な配置にエンコードされていること。
2. トポロジカルな記述子が、ローカルな活性化ステアリングのための効果的な検索キーとして機能し、不適切さの特定のサブタイプ（例：語彙的な曖昧性と時間的文脈の欠如の区別）に対して、標的を絞った介入を可能にすること。
3. このアプローチは、固定された拒絶テンプレートを超え、LLMが（必要な場合には）棄却しつつも、クエリの曖昧さの性質に関する情報を提供できる応答を生み出すことを可能にします。

著者らは、対象が3つのインストラクション・チューニング済みモデルと3つのQAベンチマークに限定されていることを限界として挙げており、今後の課題として、高次元ホモロジー（$H_1$）の探索や、層集約重みの学習などが挙げられています。