Auditing Framing-Sensitive Behavioral Instability in Large Language Models for Mental Health Interactions

技術要約：メンタルヘルス・インタラクションにおける大規模言語モデルのフレーミング感受性による行動的不安定性の監査

問題提起
大規模言語モデル（LLM）は、メンタルヘルス支援やその他の心理的に敏感な対話型アプリケーションへの導入が進んでいる。こうしたハイステークスな文脈においては、ユーザーの信頼と安全のために、行動の安定性と一貫性が極めて重要である。しかし、ユーザーは本質的に同じニーズを、全く異なる文脈的フレーミング（例：不確実性を文書化の問題として表現するか、制度的責任として表現するか）を通じて表現することが多い。先行研究では、アラインメントされたLLMがプロンプトのフレーマリングに敏感であり、サイコファンシー（追従性）や文脈依存的な安全性行動などの現象を示すことが確立されているが、フレーミングに起因する行動の変化が、モデルの内部表現構造の中でどのように現れるかについての理解には大きな空白がある。具体的には、フレーミングによって引き起こされる行動の変動が、単なる表面的なパラフレーズ（言い換え）のアーティファクトなのか、それとも解釈的応答の傾向に関連する内部隠れ状態表現の系統的な差異に対応しているのかは不明である。

手法
著者らは、文脈的フレーミングの効果を意味的な意図から分離するために、制御されたマッチド・プロンプト・フレームワークを提案している。

• データセット構築: 本研究では、653個のマッチド・プロンプト・グループを利用し、それぞれを5つの異なる非敵対的なフレーミング条件（文書化［正式な報告］、認識論的［解釈／不確実性の解消］、制度的［組織的制約］、責任所在［リスク／説明責任］、役割ベース［支持的なガイダンス］）に書き換えている。根底にある意味的な意図は、これらすべてのバリアントにおいて一定である。
• 評価対象モデル: このフレームワークは、Qwen (0.5B, 1.5B)、Gemma (2B, 9B)、Mistral-7B、Phi (3.5, 4-mini) を含む、様々なアーキテクチャとスケールを持つ複数のインストラクション・チューニング済みトランスフォーマー・ファミリーに適用された。
• 行動アノテーション: 応答は、「弱／非積極的」から「解釈の増幅（Escalated Interpretation）」に至る4つのカテゴリーにアノテーションされた。これは、事実の正確性ではなく、解釈の増幅度合いとサポートの較正（キャリブレーション）に焦点を当てたものである。
• 内部表現分析:
  • 層別プロービング: 全てのトランスフォーマー層の隠れ状態の活性化に対して、ロジスティック回帰プローブを学習させ、応答カテゴリーを予測した。これには、特定の語彙テンプレートを超えた汎化性能を評価するためのホールドアウト・フレーミング・プローブ（4種類のフレーミングで学習し、5番目のフレーミングでテスト）が含まれる。
  • コントロール: 表面的な単語の手がかりと、より深い表現的信号を区別するために、性能をランダムラベル・コントロールおよびTF-IDF語彙ベースラインと比較検証した。
  • 活性化ステアリング: 対照的活性化付加（Contrastive Activation Addition: CAA）を用いて、「抑制的・支持的」な状態と「高解釈的」な状態の差分からステアリング方向を抽出した。この方向を推論中の隠れ状態から減算することで、内部表現を調整することがダウンストリームの行動結果を因果的に変えうるかをテストした。

主な結果

• 行動変調: 文脈的フレーミングは、テストされた全てのアーキテクチャにおいて、解釈的応答の傾向を系統的に変化させる。文書化フレーミングは一貫して最も高い解釈の増幅率を生み出し（例：Gemma-9Bで0.63に達する）、一方で制度的フレーミングは解釈の増幅を安定させる、あるいは抑制する傾向があった。これらの変化は、同一の潜在的な意味的意図が存在するにもかかわらず発生した。
• 表現のデコーダブル性（復号可能性）: 行動に関連する情報は、トランスフォーマーの全層を通じて隠れ状態からデコード可能である。
  • ホールドアウトによる汎化: 特定のフレーミング条件で学習されたプローブは、未知のフレーミング・カテゴリーに対してテストされた際も、一貫してチャンスレベルを上回った（均衡精度 約0.72–0.83）。これは、行動に関連する信号が、正確な学習テンプレートを超えて部分的に汎化することを示唆している。
  • 語彙 vs 表現: TF-IDF語彙ベースラインはより高い絶対精度（0.89–0.94）を達成しており、表面的なフレーミングの手がかりが強く寄与していることを示しているが、ホールドアウト・プローブの性能がチャンスレベルを上回っていることは、その信号が完全に語彙マッチングに還元できるものではないことを示唆している。
  • 深さの分布: フレーミング信号のデコーダブル性は、単一の「創発」層に限定されるのではなく、複数のトランスフォーマー層に分散している。ただし、この信号の安定性と大きさはアーキテクチャによって異なる。
• ステアリングによる介入: 活性化ステアリング実験は、フレーミングに関連する表現的方向が、ダウンストリームの応答傾向を部分的に変調できることを示した。中程度のステアリング強度は、いくつかのモデル（特にMistral-7BおよびQwen-1.5B）において、応答品質の壊滅的な劣化を引き起こすことなく、解釈的ルーティング率を減少させた。しかし、これらの効果は非線形かつアーキテクチャ依存であり、一部のモデルでは高いステアリング強度においてリバウンド効果が見られた。

意義と主張
本論文は、**フレーミングの堅牢性（Robustness）**が、信頼できるAIの評価における、極めて重要でありながら見落とされがちな次元であることを主張している。特にメンタルヘルスに関するインタラクションにおいて顕著である。知見は以下の通りである：

1. 一貫性は保証されない: 意味的に類似した懸念であっても、文脈的なフレーミングのみによって、系統的に異なる解釈的行動を引き起こすことがあり、これはシステムの信頼性に対するユーザーの期待を覆すものである。
2. 内部メカニズム: これらの行動的不安定性は、単なる表面的な出力のバリエーションではなく、モデルの内部的な表現組織に反映されている。
3. 部分的な制御可能性: 活性化ステアリングは、これらの傾向に介入できるという予備的な証拠を提供しているが、効果の非線形性とアーキテクチャ固有の性質は、行動の較正が単純な線形ポリシー状態ではなく、分散的な現象であることを示唆している。

著者らは、会話型AIを敏感な領域に展開するにあたって、行動の安定性を文脈の変化に対して監査することが不可欠であると結論付けている。彼らは、本研究を、より透明性が高く、行動的に較正されたシステムを開発するためのステップとして位置づけ、将来の研究において、これらのフレーミング感受性が現実世界の環境における長期的なユーザーの信頼と依存にどのように影響するかを調査する必要があると強調している。