💬 NLP

Rhetorical Questions in LLM Representations: A Linear Probing Study

本論文は、大規模言語モデルにおける修辞的疑問文の表現を線形プローブで分析した結果、情報収集型の疑問文とは線形に分離可能であるものの、データセット間の転移性が高いにもかかわらず、異なるデータセットで学習されたプローブが捉える修辞的現象（議論全体のスタンス対構文に依存した疑問）が異なり、単一の共有方向ではなく複数の線形方向で符号化されていることを明らかにした。

原著者： Louie Hong Yao, Vishesh Anand, Yuan Zhuang, Tianyu Jiang

公開日 2026-04-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Louie Hong Yao, Vishesh Anand, Yuan Zhuang, Tianyu Jiang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI（大規模言語モデル）が『皮肉な質問』や『 rhetorical question（修辞疑問文）』を、頭の中でどのように理解しているのか」**を調査した面白い研究です。

専門用語を抜きにして、わかりやすい例え話で解説しますね。

🎭 物語のテーマ：「本当に知りたいのか、それともただの皮肉か？」

まず、人間が会話する時の「質問」には 2 種類あります。

本気な質問（情報収集）： 「今、何時ですか？」（答えが欲しい）
皮肉な質問（修辞疑問）： 「お前、本当にそれが正しいって思ってるのか？」（答えは不要。ただの批判や皮肉）

この研究は、AI がこの 2 つの違いを、自分の「脳内（内部表現）」でどう区別しているのかを調べました。

🔍 実験のやり方：「AI の脳を X 線撮影する」

研究者たちは、AI の頭の中を直接見ることはできませんが、**「線形プローブ（Linear Probing）」**という仕組みを使って、AI の脳内の信号を「X 線撮影」のようなものを行いました。

イメージ： AI の脳内には、無数の「光のベクトル（矢印）」が飛び交っています。研究者は、「皮肉な質問」を指し示す特別な「矢印」を探し当てようとしたのです。

📊 発見その 1：「最後の言葉」が鍵を握っている

AI は文章を単語ごとに処理していきます。

発見： 皮肉な質問の「正体」は、文章の**「最後の単語」の直後**に最もはっきりと現れることがわかりました。
例え： 長い物語を読んだ後、最後の一言で「あ、これは冗談だったんだ！」と気づくようなものです。AI も、文章の終わりに近づくと「これは皮肉だ！」という信号を強く発しているのです。

🌉 発見その 2：「似ているのに、実は違う」パラドックス

ここがこの論文の一番面白い部分です。

研究者は、**「Twitter のデータ」で AI に学習させ、「Reddit のデータ」**でテストしました。

結果 A（性能）： どちらのデータでも、AI は「皮肉な質問」を 8 割〜9 割の精度で見分けられました。（AUROC 0.7〜0.8）
結果 B（中身）： しかし、「Twitter で学習した AI の『皮肉の矢印』と、「Reddit で学習した AI の『皮肉の矢印』」は、全く別の方向を指していました！

🍕 例え話：「ピザの味」

状況： ニューヨーク風ピザとナポリ風ピザを、それぞれ別のシェフが「美味しいピザ」として分類するとします。
結果： 両方とも「美味しいピザ」を 9 割正しく当てられます（性能は同じ）。
しかし： ニューヨークのシェフは「チーズの量」で判断し、ナポリのシェフは「生地の厚さ」で判断していました。
結論： 「美味しい」という結果は同じでも、「美味しいと感じる基準（脳内の矢印）」は全く違うのです。

AI も同じで、「皮肉な質問」を見分ける能力はありますが、「どの手がかり（文脈、文法、トーン）を重視するか」は、学習したデータによってバラバラでした。

🧩 発見その 3：「皮肉」は一つではない

この研究からわかった最大の結論は、「皮肉な質問」というのは、AI の脳内で「一つの単一のルール」で処理されているわけではないということです。

多様性：
- ある AI は「長い議論の文脈」を見て皮肉だと判断します。
- 別の AI は「短い文法構造」だけを見て判断します。
意味： 皮肉という現象は、AI の脳内で**「複数の異なるルート」**で処理されているのです。だから、データが変わると、AI が使う「判断の基準（矢印）」も変わってしまうのです。

💡 この研究が教えてくれること

AI は賢いが、一貫性はない： AI は「皮肉」を識別できますが、それが「一つの共通の概念」として脳に定着しているわけではありません。状況や学習データによって、使い方がコロコロ変わります。
性能が良い＝同じ仕組みではない： 「精度が高いから、AI は人間と同じように理解している」とは限りません。同じ結果を出すために、AI は全く異なる「裏技」を使っている可能性があります。

🎯 まとめ

この論文は、**「AI が『皮肉な質問』をどう理解しているか」を調べ、「実は AI の頭の中には、皮肉を捉えるための『万能なスイッチ』は一つもなく、状況によって使い分ける『複数の異なるスイッチ』が並んでいる」**ことを発見しました。

AI は、私たちが思っているほど「単一のルール」で世界を理解しているわけではなく、もっと複雑で多様な方法で、文脈に合わせて「皮肉」を捉えているのかもしれません。

論文要約：LLM 表現における修辞的問い（Rhetorical Questions）：線形プロービング研究

1. 研究の背景と問題設定

修辞的問い（Rhetorical Questions）は、情報の収集を目的とするのではなく、説得や立場の表明、あるいは議論の展開を促すために用いられる言語現象です（例：「本当にそう信じているのか？」）。従来の計算言語学では、修辞的問いの検出は分類タスクとして扱われてきましたが、大規模言語モデル（LLM）が内部でどのように修辞的問いを表現・符号化しているかという**表現の基盤（Representational Basis）**については、ほとんど研究されていませんでした。

本研究は、LLM の内部表現空間において、修辞的問いがどのようにエンコードされ、情報収集型の問いと区別されているのか、またその表現が異なるデータセット間でどのように転移（Transfer）するかを解明することを目的としています。

2. 手法（Methodology）

データセット

2 つのソーシャルメディア由来のデータセットを使用しました。

RQ データセット (Zhuang & Riloff, 2020): Twitter の会話文脈における修辞的・情報的問いのラベル付きデータ。
SRAQ データセット (Ikumariegbe et al., 2025): Reddit のスレッドから抽出された、より文脈が長いデータ。

モデルと表現

モデル: Qwen3-32B, Llama-3.3-70B-Instruct などのデコーダー専用モデル。
表現の抽出: 入力シーケンスの最終トークン表現（Last-token representation）と、全トークンの平均プーリング（Mean-pooled representation）を比較し、主に最終トークン表現を用いて分析を行いました。
次元削減: 高次元な埋め込み空間を、各データセットごとに PCA（主成分分析）を用いて 64 次元に圧縮し、ノイズを低減してプロービングの安定性を確保しました。

評価手法：線形プロービング（Linear Probing）

修辞的問いの線形分離可能性を評価するために、3 つのプローブ手法を適用しました。

DiffMean: 訓練不要の手法。修辞的クラスと情報的クラスの平均ベクトルの差（ $\mu_+ - \mu_-$ ）を方向ベクトルとして定義。
ロジスティック回帰: クロスエントロピー損失を最小化する線形分類器。
線形 SVM (Hinge Loss): マージン最大化を目的とした線形分類器。

評価指標:

AUROC: 分離性能の指標。
ランク一致度 (Rank Agreement): Spearman 相関係数によるスコア順の一致度。
ハイトール重なり (Tail Overlap): 上位・下位 20% のインスタンス間のジャッカード係数（Jaccard Index）。

3. 主要な結果（Key Results）

修辞的シグナルの出現と安定性

早期の出現: 修辞的シグナルはモデルの浅い層から現れ始めます。
表現の選択: 最終トークン表現（Last-token）は、平均プーリング表現よりも、特に深い層で修辞的問いの検出において安定した高い AUROC（約 0.8 以上）を示しました。

線形分離可能性と転移性

データセット内での分離: 各データセット内では、修辞的問いと情報的問いは線形に明確に分離可能でした（AUROC 0.7〜0.8）。
クロスデータセット転移: あるデータセットで学習したプローブ方向を別のデータセットに適用しても、一定の検出性能（AUROC 0.7〜0.8）が維持されました。これは、ある程度の共通の線形構造が存在することを示唆します。

重要な発見：性能と表現の一致の欠如（Divergence）

本研究の最も重要な発見は、**「高い分類性能や転移性が、単一の共有された表現方向を意味するわけではない」**という点です。

ランクの不一致: 異なるデータセットで学習したプローブ（例：RQ で学習したプローブを SRAQ に適用）は、同じテストデータに対して著しく異なるランキングを生成しました。
上位インスタンスの重なり: 上位 20% のインスタンス間の重なり（Jaccard 係数）は 0.2 以下と非常に低く、各プローブが捉えている「修辞的である」という基準が異なっていることが示されました。
方向の不一致: 異なるデータセット間で学習されたプローブ方向ベクトルのコサイン類似度は低く（0.2〜0.4）、非共線（Non-collinear）であることが確認されました。

定性的分析：修辞的意味の多様性

ランクの不一致を定性的に分析した結果、以下の違いが明らかになりました。

SRAQ 由来のプローブ: 長文の議論の中で、修辞的問いが構造的な足場（scaffolding）として機能し、議論を推進する文脈を重視する傾向があります。
RQ 由来のプローブ: 文法構造や局所的な疑問詞に依存した、短い文脈での修辞的問いを重視する傾向があります。
結論: LLM における修辞的問いは、単一の線形軸で表現されているのではなく、文脈やデータに応じて異なる手がかりを強調する、複数の線形方向（Multiple linear directions）によって符号化されていることが示唆されました。

4. 貢献と意義

学術的貢献

LLM 表現空間における修辞的問いの体系的分析: 実世界データを用い、修辞的シグナルがモデルのどの層で、どの表現で最も安定して捉えられるかを明らかにしました。
識別性能と表現整合性の乖離の解明: 高い分類精度や転移性が「単一の共通表現」の存在を保証しないことを実証しました。これは、機械学習モデルの解釈可能性研究において重要な洞察です。
修辞的意味の異質性の提示: 修辞的問いが、議論レベルの立場表明から局所的な文法行為まで多様な現象を含んでおり、LLM 内でもそれらが異なる表現方向としてエンコードされていることを示しました。

意義と今後の展望

解釈可能性への示唆: 従来の「線形分離可能＝単一の概念ベクトル」という単純化された見方を戒め、複雑な言語現象が複数の非共線な方向で表現されている可能性を指摘しました。
制御可能性（Controllability）: 線形分離可能性が必ずしも線形制御可能性（Steering）を意味しない点に注意を促し、将来的には因果介入（Causal Intervention）を用いたより体系的な制御手法の開発が必要であると提言しています。

総じて、この研究は LLM が「修辞的問い」という複雑な言語現象を、単一の単純な特徴量ではなく、文脈依存的で多様な表現の集合として処理していることを示す重要な証拠を提供しています。