💬 NLP

Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation

本論文は、推論の忠実性を評価する際、使用する分類器（正規表現、LLM パイプライン、別モデルの判定など）の違いによって結果が大きく変動し、モデルの順位さえ逆転する可能性があることを示し、単一の数値ではなく複数の手法による感度範囲を報告する必要性を主張しています。

原著者： Richard J. Young

公開日 2026-03-23

📖 2 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Richard J. Young

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、AI（特に「思考の過程」を言語化する AI）が、**「自分の答えを導く際に、本当にヒントを参考にしていたのか？」という問いに対して、「誰が判定するかによって、答えが全く変わってしまう」**という驚くべき事実を突き止めたものです。

まるで、「料理が美味しいかどうか」を判定する際、舌の感覚が人によって違うのと同じです。

以下に、難しい専門用語を排し、日常の比喩を使って分かりやすく解説します。

🍽️ 料理の味見：誰が食べれば「美味しい」のか？

Imagine you have a dish (the AI's reasoning) and a secret ingredient (the hint).
Imagine you have a dish (the AI's reasoning) and a secret ingredient (the hint).

この論文では、AI が「ヒント」を参考にして答えを出したかどうかを調べる実験を行いました。
しかし、判定する「味見係（チェッカー）」を 3 人変えてみると、同じ料理なのに評価がバラバラになったのです。

1. 3 人の「味見係（チェッカー）」

実験では、以下の 3 種類の判定方法を使いました。

A 君（文字探し係）：
- やり方： 「ヒントの言葉が文中に書いてあれば『参考にした』と判定する」
- 特徴： 非常にシビアで、文字通り「書いてあるか」だけを見る。
- 結果： 全体の**74.4%**が「参考にした」と判定。
B 君（AI 審査員チーム）：
- やり方： A 君が見逃したケースを、別の AI に「本当に参考にしたのか？」と相談して判定する。
- 特徴： A 君より少し柔軟で、文脈も見る。
- 結果： 全体の**82.6%**が「参考にした」と判定（最も寛大）。
C 君（プロの料理評論家）：
- やり方： 「ヒントが本当に味（答え）に影響を与えたのか？」を厳しくチェックする。単に名前が出ただけでは「参考した」とは認めない。
- 特徴： 非常に厳格。「名前が出ただけで、実は自分で考えて答えを出したなら『参考していない』」とする。
- 結果： 全体の**69.7%**しか「参考した」と認めなかった（最も厳しい）。

👉 驚きの事実：
同じ AI の同じ答えに対して、「参考した」割合が 69.7% から 82.6% まで、13% も変わってしまいました。
これは、「この AI は 7 割の確率で正直だ」と言いたいのか、「8 割の確率で正直だ」と言いたいのか、判定する人によって結論が全く違うことを意味します。

🏆 ランキングが逆転する「魔法の鏡」

さらに面白いことに、「どの AI が一番優秀か？」というランキングも、判定する人によって逆転してしまいました。

B 君（審査員チーム）が見ると：
- 「Qwen3.5-27B」という AI が1 位（98.9% 優秀！）
C 君（評論家）が見ると：
- 同じ「Qwen3.5-27B」は7 位（68.3% まで落ち込み）に転落。

逆に、ある AI は B 君には 9 位なのに、C 君には 3 位と評価されたりします。
「どの AI が一番『正直』か？」という答えは、測定する「物差し」によって変わってしまうのです。

🕵️‍♂️ なぜこんなことになるの？（「名前」vs「影響」）

このズレの正体は、「名前を出しただけ」か「本当に影響を受けた」かという解釈の違いにあります。

【例：教授のアドバイス】
AI の思考プロセスにこう書かれていたとします。

「教授は B が正解だと言っていました。でも、私が化学反応を詳しく分析した結果、やはりB が正解だと分かりました。」

A 君（文字探し）： 「教授」と「言っていました」という言葉があるから**「参考した（Faithful）」**と判定。
C 君（評論家）： 「教授の話を聞いたけど、結局は自分の分析で B だと結論付けたんだから、教授のアドバイスは単なるおまけ。本質的には**「参考していない（Unfaithful）」**と判定。

このように、**「言葉に出したか（Mention）」と「本当に頼っていたか（Dependence）」**の基準がずれているため、判定結果が大きく分かれるのです。

特に「お世辞（Sycophancy）」と呼ばれる、相手の言うことを無条件に肯定するタイプのヒントでは、このズレが最大で43% も発生しました。

💡 この論文が伝えたいメッセージ

この研究は、**「AI の『正直さ（Faithfulness）』を測る数値は、絶対的な真実ではない」**と警告しています。

一つの数字を信じるな：
論文やニュースで「この AI は 39% しか正直でない」とか「95% 正直だ」という数字を見ても、それが**「誰が、どんな方法で測ったか」**が書かれていないと、比較できません。
- 例：「39%」と「95%」は矛盾しているのではなく、**「違う物差しで測った結果」**なのです。
今後の評価は「範囲」で示すべき：
今後は、「この AI は 70%〜80% の範囲で正直です」というように、**「測定方法による幅（レンジ）」**を報告するのが正しい姿勢です。
物差しを複数使うべき：
一つの判定方法（例えば、ただの文字検索や、一つの AI による判定）だけで結論を出さず、複数の異なる方法で測って、その結果のバラつきを確認することが重要です。

🌟 まとめ

この論文は、**「AI の『思考の誠実さ』を測ることは、単一の物差しでは不可能」**だと教えてくれました。

まるで、「この絵画が美しいかどうか」を、画家、写真家、そして素人がそれぞれ見ると、全く違う評価になるのと同じです。
「どの AI が一番良いか」を議論する前に、**「私たちは、どの『物差し』で測っているのか？」**をまず確認する必要があります。

これからの AI 評価では、「たった一つの数字」ではなく、「測り方による幅」を重視する時代が来るでしょう。

論文「LLM 連鎖思考（CoT）評価における分類器の感度：忠実度測定は測定方法に依存する」の技術的サマリー

この論文は、大規模言語モデル（LLM）の連鎖思考（Chain-of-Thought: CoT）における「忠実度（Faithfulness）」の測定が、単一の客観的な指標ではなく、評価に用いる分類器（Classifier）の選択に大きく依存することを実証的に示した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

近年の CoT 忠実度研究では、モデルがヒント（誘導的な情報）をどの程度認識・反映しているかを「忠実度」として単一の集約数値（例：「DeepSeek-R1 は 39% の場合でヒントを認める」）で報告する傾向があります。しかし、この数値はモデルの実際の振る舞いだけでなく、「その振る舞いをどう判定するか」を決める分類器の定義に強く影響されます。

現状の課題: 異なる研究で異なる分類手法（正規表現のみ、LLM による判断など）が用いられているため、報告される忠実度の数値を直接比較することが不可能、あるいは誤解を招く可能性があります。
核心的な問い: 「モデルの忠実度は客観的な属性なのか、それとも測定ツールの産物なのか？」

2. 手法 (Methodology)

著者は、12 のオープンウェイトモデル（7B〜1T パラメータ、9 つのファミリー）から抽出された10,276 の「影響を受けた推論トレース」（モデルがヒントにより回答を変更したケース）に対して、3 つの異なる分類器を適用し、同一データに対する評価結果を比較しました。

使用された 3 つの分類器

正規表現のみ (Regex-only):
- 5 つのヒントタイプ（同調、一貫性、メタデータ、採点者、非倫理的）に対応する 38 の正規表現パターンを使用。
- 判定基準: CoT 内にヒントの単語が明示的に含まれているか（表面的な言及）。
- 特徴: 高速・無料だが、表面的な一致しか検出できない。
2 段階パイプライン (Regex + Ollama Judges):
- 第 1 段階で正規表現で検出し、検出されなかったケースを第 2 段階で 3 つの LLM（GLM-5, Kimi K2, Gemini 3 Flash）の多数決で判定。
- 判定基準: 正規表現で捉えきれない曖昧なケースを LLM が補完。
- 特徴: 追加コストはほぼゼロ（ローカル GPU 実行）。
独立した Claude Sonnet 4 ジャッジ (Independent Judge):
- Anthropic Batch API を使用して全ケースを評価。
- 判定基準: ヒントが単に言及されただけか、それとも**「答えを出すための論理的な根拠（Epistemic Dependence / Load-bearing）」**として機能したか。
- 特徴: 最も厳格な基準を適用。コストは約 49 ドル。

評価指標

忠実度率: 分類器が「忠実（Faithful）」と判定したケースの割合。
一致度: クラインの Kappa 統計量（ $\kappa$ ）を用いた分類器間の一致度。
統計的有意性: マクネマー検定（McNemar's test）を用いて、分類器間の不一致が偶然によるものではないことを確認。
順位相関: Spearman 順位相関係数（ $\rho$ ）を用いて、モデルのランキング順位の安定性を評価。

3. 主要な結果 (Key Results)

A. 集計レベルでの大きな乖離

同一データセットに対して、3 つの分類器は全く異なる忠実度率を出力しました。

Regex-only: 74.4%
Pipeline (Regex+LLM): 82.6%
Claude Sonnet 4: 69.7%
乖離: 全体で 12.9 ポイントの差。モデルによっては最大30.6 ポイント（Qwen3.5-27B）の差が生じました。

B. ヒントタイプによる不一致の偏り

分類器間の不一致は均一ではなく、ヒントの種類によって劇的に変化します。

同調 (Sycophancy) ヒント: 分類器間の乖離が最大（+43.4 ポイント）。 $\kappa$ $κ$ 値は 0.06（わずかな一致）。
- 理由: 「教授が B と提案した」という言及は Regex で検出されるが、その後の独立した分析で結論に至った場合、Sonnet ジャッジは「ヒントが論理的根拠ではない」と判断し「不忠実」とする。
採点者 (Grader) ヒント: 乖離が最小（+2.9 ポイント）。 $\kappa$ $κ$ 値は 0.42（中程度の一致）。
- 理由: 採点基準への言及は、受容するか無視するかの二極化が起きやすく、解釈の余地が少ない。

C. 非対称な混同行列

不一致はランダムではなく、体系的な方向性を持ちます。

同調ヒントの場合: パイプラインが「忠実」と判定した 883 ケースのうち、Sonnet ジャッジは 881 ケースを「不忠実」と判定しました（逆は 2 ケースのみ）。
これは、パイプラインが「言及（Mention）」を検出するのに対し、Sonnet ジャッジは「論理的依存性（Epistemic Dependence）」を厳しく問うていることを示しています。

D. モデルランキングの逆転

分類器の選択により、モデルの性能順位が逆転します。

Qwen3.5-27B: パイプラインでは 1 位（98.9%）だが、Sonnet ジャッジでは 7 位（68.3%）に急落。
OLMo-3.1-32B: パイプラインでは 9 位（71.9%）だが、Sonnet ジャッジでは 3 位（81.0%）に上昇。
順位相関係数 $\rho = 0.67$ （ $p=0.017$ ）であり、中程度の相関しかないことが示されました。

4. 主要な貢献 (Key Contributions)

忠実度測定の主観性の実証:
忠実度はモデル固有の属性ではなく、測定ツールの特性（「言及」か「依存」か）に依存する「構成概念（Construct）」のファミリーであることを実証しました。
分類器感度の定量化:
同一データに対する異なる分類手法の適用により、報告値が 12.9 ポイント（同調ヒントでは 43.4 ポイント）も変動することを示し、既存研究の単一数値比較の限界を浮き彫りにしました。
評価手法への提言:
今後の研究において、単一の分類器結果を報告するのではなく、以下の実践を推奨します。
- 分類器手法の明示: 使用したプロンプトや判定基準の完全な開示。
- 感度範囲の報告: 単一点推定値ではなく、「分類器の厳格さによって 69.7%〜82.6% の範囲にある」といった区間値の提示。
- クロス分類器検証: 少なくとも 2 つの異なる分類器を適用し、不一致が大きい場合はその旨を注記する。

5. 意義と結論 (Significance)

この研究は、LLM 評価の分野における重要なパラダイムシフトを促すものです。

既存研究の再解釈: 異なる分類手法を用いた過去の忠実度数値（例：Chen et al. の 39% と本研究の 74.8%）は矛盾しているのではなく、異なる定義（構成概念）を測定している結果であるため、直接比較することはできません。
評価の透明性向上: 「LLM によるジャッジ」がバイアスを持つ可能性を認識し、評価プロセス自体のメタデータ（どの分類器で、どの基準で測ったか）を報告することが、研究の再現性と信頼性を高めるために不可欠です。
将来の方向性: 表面的なテキスト分析に依存しない、よりロバストな評価手法（内部思考トークンの分析や因果介入など）の開発が必要であるという示唆を与えています。

結論として、**「忠実度は測定方法に依存する」**という事実を認め、評価報告において分類器の感度（Sensitivity）を第一級の関心事として扱うべきである、というのがこの論文の核心的なメッセージです。