技術的サマリー：フレームリングの重要性：行動に基づく価値整合を通じた意思決定におけるフレームリング感受性への対処

1. 問題提起

大規模言語モデル（LLM）は、法的推論、医療トリアージ、道徳的判断などの高リスク意思決定分野において、ますます展開されています。これらのシステムにとっての重要な要件は一貫性です：モデルは、入力情報が言語的にどのようにフレームリングされようとも、事実的に同等の入力が提示された場合、同じ意思決定を下す必要があります。

しかし、本論文は重大な脆弱性を特定しています：LLM はフレームリング効果に対して高い感受性を示します。すなわち、事実を保持しつつ意味的に再フレームリングされた入力が、モデルの意思決定を逆転させるのです。損失回避や現在バイアスなど、人間のコグニティブ・バイアスはよく文書化されていますが、LLM におけるフレームリング感受性を駆動する内部メカニズムは未だ十分に理解されていません。プロンプトレベルの指示や活性化ベースのステアリングなどの既存の緩和策は、この感受性を抑制できず、場合によっては逆に増幅さえします。核心的な問題は、現在の介入が、フレームリングが作用する表面的な症状に対処するのではなく、その背後にある表現経路に対処していない点にあります。

2. 手法

2.1 FRAGILE ベンチマーク

この問題を体系的に調査するために、著者らは FRAGILE を導入しました。これは、4 つの高リスク分野における事実を保持する意味的フレームリングを分離するように設計された大規模ベンチマークです：

1. 道徳的ジレンマ（GGB, UNIBENCH）
2. 医療トリアージ（TRIAGE, MEDICAL TRIAGE ALIGNMENT DATASET）
3. 法的判断（SUPER-SCOTUS）
4. 対人役割葛藤（ROLECONFLICTBENCH）

このベンチマークは、心理学理論に由来する 3 つの制御された直交次元に沿って、基本シナリオを変換します：

• 価値色付きナレーション：事実を変更することなく、シナリオに潜在的な価値志向（シュワルツの人間価値に基づく）を埋め込みます（例：行動を「他者を保護する」対「自律性」としてフレームリング）。
• 時間的スライス：選択肢レベルで、結果の知覚される時間的視野（短期的対長期的）をシフトさせます。
• 物語的生々しさ：行動指向の表現（例：「検閲をヒットする」対「投稿を検閲する」）を通じて、経験的具体性を調節します。

このベンチマークには、位置バイアスを制御するためのラベル交換バリアントを含む 48,140 のインスタンスが含まれています。フレームリング感受性は、フリップ率（行動的不一貫性）と分布シフト（意思決定分布間の L1 距離）を通じて定量化されます。

2.2 診断分析

著者らは、決定トークンにおける隠れ状態を語彙空間に投影する Logit Lens 分析を採用しました。これにより、フレームリングがレイヤーごとに内部表現をどのように変化させるかを追跡できます。分析により、フレームリングに起因する意思決定のフリップは初期層の現象ではなく、決定境界の近くに集中した後期層の表現シフトから生じることが明らかになりました。各フレームリングタイプに対して、明確なトークンレベルのシグナルが特定されました：

• 価値色付き：分散した価値空間の再編成。
• 時間的：緊急性経路の活性化（例：「即時」、「OUT」などのトークン）。
• 生々しさ：曖昧さの増幅または場を想起させるイメージ。

2.3 VALIGN フレームワーク

これらの効果を緩和するために、本論文は安定した価値事前分布に意思決定を固定する表現レベルの介入フレームワーク VALIGN を提案します。これは 3 つの段階で動作します：

1. 自己報告ベクトル抽出：モデルに中核的価値を表明するようプロンプトします。特定のレイヤー（約 65〜70% の深さ）における隠れ状態を抽出し、モデルの内在的価値志向を表す価値ベクトル（$\hat{w}$）を形成します。
2. 感受性部分空間の構築：フレームリングされた状態と基本状態の差分ベクトルに対して PCA を用いることで、表現がフレームリングの手がかりに対して最も敏感である低次元の時間的・生々しさ感受性部分空間（$\{\hat{v}_1, \dots, \hat{v}_K\}$）を特定します。
3. 推論時介入：フォワードパス中に、隠れ状態（$h$）を以下のように修正します：
   • 価値ステアリング：価値ベクトルを加えて、状態を価値一貫性の方向へ誘導します：$h^* = h + \alpha \hat{w}$。
   • 直交射影：誘導された状態から感受性部分空間の成分を射影して除去します：$h' = h^* - \sum (h^* \cdot \hat{v}_i)\hat{v}_i$。

このプロセスは、モデルに表面的な手がかりではなく中核的価値から推論するよう指示するテキストレベルの価値アンカーシステムプロンプトと組み合わされます。

3. 主要な結果

3.1 フレームリング感受性

LLaMA-3.1-8B、Mistral-7B、Qwen2.5-7B における実験は、深刻なフレームリング不安定性を明らかにしました：

• 平均意思決定フリップ率：すべてのモデルおよびフレームリングタイプ全体で 28.6%。
• 価値色付きナレーションが最も強い不安定性を引き起こします（平均フリップ率約 36〜47%）、次いで時間的スライス（約 21〜38%）、物語的生々しさは弱いが依然として有意な効果をもたらします（約 8〜18%）。
• ベースラインの失敗：既存の緩和策（指示プロンプティング、Chain-of-Thought、概念活性化ベクトル）は、多くの場合、フレームリング感受性を一貫して増幅し、フリップ率を 20〜40 ポイント増加させました。

3.2 VALIGN の性能

VALIGN は、すべてのモデルおよびフレームリングタイプにおいて一貫して有意な緩和を示しました：

• フリップ率の削減：平均フリップ率をベースラインの 28.6% から 13.2%（VALIGN）に削減しました。
• 安定性の向上：安定した低摂動応答の割合（NL%）が 67.1% から 81.9% に増加しました。
• 具体的な改善：
  • 価値色付きナレーション下では、フリップ率が約 40% から約 13% に低下しました。
  • 時間的スライス下では、フリップ率が約 30% から約 13% に低下しました。
  • この手法は高確信度のフリップ（FH%）を効果的に抑制し、モデルの内部信念分布が最終出力だけでなく、より頑健になっていることを示しています。
• 一般化：この手法は、より大規模なモデル（LLaMA-3.1-70B）や、複数のフレームリング手がかりが組み合わされた多フレームリングシナリオにおいても有効です。

3.3 アブレーション研究

アブレーション研究は、VALIGN の 3 つの構成要素すべてが必要であることを確認しました：

• 時間的・生々しさ射影を除去すると、特に時間的および生々しさフレームリングにおいて、最も大きな劣化が生じます。
• テキスト価値アンカーを除去するとフリップ率が増加し、明示的なグラウンディングが必要であることを示しています。
• 価値ステアリングを除去すると、内部信念分布の安定化が低下します（NL% が低下）。

4. 意義と主張

本論文は、LLM におけるフレームリング不変の意思決定を実現するには、表面的なプロンプトエンジニアリングではなく、深層的な表現介入が必要であると主張しています。

• メカニズム的洞察：この研究は、フレームリング感受性が特定的内部経路（後期層の表現シフト）によって駆動されており、それらを特定して無力化できるという証拠を提供します。
• 既存手法の限界：標準的なアライメント手法（プロンプト、CoT）は不十分であり、フレームリングバイアスの根本的な表現的原因に対処できないため、安定性に対して逆効果になり得ることを浮き彫りにしています。
• 価値整合による頑健性：この発見は、モデルの意思決定を安定した内在的価値プロファイルに固定することで、一時的なフレームリングの手がかりから意思決定を効果的に切り離すことができ、高リスク分野におけるより信頼性の高い AI への道筋を提供することを示唆しています。

著者らは謙虚な立場を維持しており、ベンチマークは制御された評価のために二値意思決定に焦点を当てているものの、その背後にあるメカニズムはより複雑な多選択肢意思決定空間にも及ぶ可能性があると認めています（これは付録で簡潔に検証されています）。また、VALIGN は安定性を向上させるものの、特定の分野（例：役割葛藤）ではタスク固有の精度とのトレードオフがある可能性にも言及しており、今後の研究が一貫性と規範的正しさを両立させる必要があることを示唆しています。