TEMPER: 数値推論における感情的撹乱のテストに関する技術的サマリー

本論文「TEMPER: Testing Emotional Perturbation in Quantitative Reasoning」は、大規模言語モデル（LLM）が、数値的な内容が完全に保存されたままでも、感情的な表現（イライラ、緊急性、熱意など）で囲まれた問題文に対して、推論能力が低下することを示実証した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義

現在の LLM の評価ベンチマーク（GSM8K や MultiArith など）は、感情を排した「清潔で中立的」な言語で記述された数値推論タスクに依存しています。しかし、現実世界のユーザークエリは、フラストレーションや緊急性、熱意などの感情を帯びていることが多く、この「評価環境」と「実運用環境」の間にギャップが存在します。

本研究は以下の核心的な問いに答えることを目的としています。

• 数値や関係性が一切変更されていない場合でも、「感情的な枠組み（Emotional Framing）」のみが推論精度を低下させるのか？
• もし低下するならば、その原因は内容の破損か、それとも感情的なスタイルそのものか？

2. 手法：制御された感情変換フレームワーク

感情的な内容と数値的コンテンツを分離して評価するために、著者らは新しい教師 - 学生（Teacher-Student）フレームワークを開発しました。

2.1 教師 - 学生感情変換アーキテクチャ

• 学生モデル: Llama 3.1-8B-Instruct（LoRA 微調整）。中立的な数学問題から感情的なバリエーションへ、またはその逆（中立化）への変換を行います。
• 教師モデル: 凍結された感情分類器（DistilRoBERTa、GoEmotions データセットで事前学習済み）。7 種類の基本感情（怒り、嫌悪、恐怖、喜び、中立、悲しみ、驚き）を分類します。
• 学習手法: 学生モデルの最終層の隠れ状態を、教師モデルの潜在空間（100 次元の埋め込みまたは 7 次元のカテゴリ確率）にアライメントさせるための補助損失（Auxiliary Loss）を導入します。
  • EMO100: 100 次元の潜在表現に一致させる（感情の強度やスタイルの微細な制御が可能）。
  • EMO7: 7 次元のカテゴリ確率に一致させる。
  • 損失関数: $L = L_{CE} + \lambda \cdot L_{aux}$。ハイパーパラメータ $\lambda$ を調整することで、生成の流暢さ（忠実度）と感情の強度のトレードオフを制御します。

2.2 評価用データセット：TEMPER-5400

• 構成: GSM8K、MultiArith、ARC-Challenge の 3 つのベンチマークから抽出した 900 問の問題を、6 種類の感情（エックマンの 6 感情）に変換し、合計 5,400 組の「感情 - 中立ペア」を構築しました（合計 10,800 翻訳）。
• 品質管理: 数値、量化詞、論理関係が完全に保存されていることを確認するための自動化チェック（MVP: Math Value Preservation）と、人間および LLM による厳格なフィルタリングを実施しました。

3. 主要な貢献

1. 制御された感情変換フレームワークの提案: 感情の強度を制御可能にし、かつ数値的コンテンツを厳密に保存する変換器の開発。
2. TEMPER-5400 ベンチマークの構築: 3 つの推論ドメイン、6 種類の感情、5,400 件の検証済みペアからなる大規模データセット。
3. 感情的な枠組みによる推論低下の定量的証拠: 18 種類のモデル（1B パラメータから最先端モデルまで）において、数値内容が同一であっても、感情的な表現により推論精度が 2〜10% 低下することを示した。
4. 中立化による回復効果: 感情的な変換を元の中立なトーンに戻す（中立化）ことで、失われた性能の大部分が回復することを実証。これは低下が「内容の破損」ではなく「感情的スタイル」に起因することを証明し、推論時の軽量な緩和策として機能することを示唆。
5. 表現空間の分析: 隠れ状態（Hidden States）の解析により、感情的なテキストは中立化や単なる言い換え（パラフレーズ）と比較して、元の表現から 3〜4 倍も大きくシフトすることを発見。これは感情的なノイズがモデル内部の表現構造に干渉していることを示しています。

4. 実験結果

18 種類のモデル（Llama, Gemma, Mistral, Qwen, Frontier モデルなど）を対象に、ベースプロンプトとゼロショット CoT（Chain-of-Thought）の両方で評価を行いました。

4.1 精度の低下

• 全体的な傾向: 感情的な枠組みは、すべてのモデルとデータセットで推論精度を低下させました（低下幅：2〜10%）。
• モデルサイズの影響: 大規模モデルほど頑健ですが、70B パラメータ以上の最先端モデルでも 2〜4% の低下が見られました。
• プロンプト戦略: CoT を使用しても完全には防げず、ベースプロンプト（CoT なし）の方が低下幅が大きい傾向がありました（GSM8K でベース 6.1% vs CoT 3.9%）。
• 感情ごとの影響:
  • 最も破壊的: 「嫌悪（Disgust）」（平均 5.9% 低下、ARC で 10% 低下）と「恐怖（Fear）」。
  • 最も影響が少ない: 「喜び（Joy）」と「驚き（Surprise）」。

4.2 中立化による回復

• 感情的な変換を中立化（Neutralization）すると、失われた正解の約 70% が回復しました（MultiArith で 81%、ARC で 70%、GSM8K で 66%）。
• この回復は、中立化プロセスが元の問題文を見ていない（感情文のみを入力とする）ため、低下が「内容の改変」ではなく「感情的なスタイル」によるものであることを強く示唆しています。

4.3 対照実験（非感情的パラフレーズ）

• 感情的な内容を持たないが、長さや語彙の複雑さを感情的な変換と同等にした「非感情的パラフレーズ」を作成して評価しました。
• 結果、パラフレーズによる精度変化はほぼゼロ（±1% 以内）であり、低下の原因が「言い換え」や「長さ」ではなく、「感情的な内容」そのものであることを確認しました。

4.4 失敗パターンの分析

CoT による推論チェーンを分析した結果、感情的な変換による失敗は主に以下の 3 つのパターンに分類されました：

1. 制約の劣化（49%）: 感情的な記述により数学的な制約（例：「それぞれ」の解釈、初期値の無視）が曖昧になる。
2. 注意の競合（30%）: 感情的な言語が重要な数値要素からの注意を逸らす（例：往復ではなく片道のみ計算する）。
3. 早期完了（8.6%）: 感情的な枠組みが目標量を前面に出し、モデルが推論を早期に終了させる。

4.5 表現空間の分析

• コサイン距離: 感情的なテキストは、元のテキストから 3〜4 倍も大きな距離（コサイン距離）で表現空間を移動させました。一方、中立化やパラフレーズは元の位置に近いままです。
• 線形プローブ: 隠れ状態から感情を分類する線形プローブは、感情的なテキストをほぼ 100% の精度で識別でき、感情がモデル内部で構造化された領域を形成していることを示しました。

5. 意義と結論

本論文は、LLM の推論能力評価において、従来の「内容ベース」の摂動（数値の変更や構造の変更）だけでなく、**「スタイルベース」の摂動（感情的なトーン）**が重要な脆弱性軸であることを初めて体系的に実証しました。

• 実用性: 現実世界のユーザー入力には感情が伴うことが多く、現在のベンチマークはモデルの推論ロバスト性を過大評価している可能性があります。
• 対策: 推論前にテキストを「中立化」する軽量な前処理ステップが、感情的なノイズに対する有効な防御策となり得ます。
• 一般化: 提案された教師 - 学生フレームワークは、感情に限らず、フォーマルさ、皮肉、専門用語など、あらゆるスタイル変数の制御と影響評価に応用可能です。

結論として、LLM の推論能力は、数学的内容が保存されていても、感情的な表現によって構造的に干渉を受け、精度が低下することが明らかになりました。これは、より現実的な評価基準の策定と、ロバストな AI システムの構築に向けた重要な示唆を提供します。