💬 NLP

Do Language Models Encode Knowledge of Linguistic Constraint Violations?

本論文は、スパースオートエンコーダと連言的反証フレームワークを用いて大規模言語モデルが言語的制約違反に対する特定の表現を符号化しているかどうかを検証し、異なる文法現象にわたって統一的な違反検出器のセットが存在するという証拠は限定的であることを明らかにした。

原著者： Hardy, Sebastian Padó

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hardy, Sebastian Padó

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大言語モデル（LLM）を、私たちの耳に完璧に響く文を次々と生み出す、驚くほど才能に恵まれたシェフたちだと想像してみてください。彼らは「The cat sat on the mat」と「The cat sat on the table」（どちらも問題ない）の違いがわかる一方で、「The cat sat on the table」（これも問題ない）と「The cat sat on the table」（待てよ、これも問題ない）の違いも理解しています。試しにやってみましょう：「The cat sat on the mat」対「The cat sat on the mat」（問題ない）対「The cat sat on the mat」（問題ない）。さて、実際の文法誤りを試してみましょう：「The cat sit on the mat.」

私たちはこれらの AI シェフが違いを区別できることを知っていますが、彼らはどのようにそれを知っているのでしょうか？彼らの脳内には、誤りを検知したときだけオンになる、特定の小さな「文法警察」スイッチのようなものが備わっているのでしょうか？それとも、それよりももっと入り組んだものなのでしょうか？

この論文は、AI の脳内にあるその特定の「文法警察」スイッチを見つけようとする探偵チームのようです。

調査：「誤り警報」を探す

研究者たちは次のような仮説を持っていました：AI には、検知器として機能する特定の内部「特徴」（小さなスイッチや警報のようなもの）が存在する、というものです。AI が文法違反を含む文（例えば「The cat sit」）を聞くと、これらの特定のスイッチが明るく点灯するはずです。一方、完璧な文を聞くと、これらのスイッチはオフのままになるはずです。

これらのスイッチを見つけるために、彼らは**スパースオートエンコーダ（SAE）**という特別なツールを使用しました。

比喩： AI の脳を、すべての楽器が同時に少しばかりの何かを演奏している巨大で混沌としたオーケストラだと想像してください（多義的）。この場合、「意味」の信号と混ざり合っているため、「違反」の信号を聞き分けるのは困難です。SAE は、オーケストラを個々の純粋な楽器に分離する、超高度なサウンドエンジニアのようなものです。これで、ごちゃごちゃした音の壁ではなく、特定のバイオリン一つに注目して、「ああ、このバイオリンは文法ミスがあるときだけ演奏するんだ」と言えるようになります。

検証：「三振ルール」

研究者たちは、単に悪い文で点灯するスイッチを見つけたいだけではありませんでした。それが** dedicated（専任）な文法検知器であることを証明したかったのです。そこで、真の「文法警察」検知器と見なされるために、ある特徴が通過しなければならない厳格な三振ルール**（「連合的破棄枠組み」）を設定しました：

一振目（警報）： このスイッチをオフにすると、AI は突然、悪い文がより良く聞こえるようになるはずです（「これは間違っている」と教えていた警報を除去したため）。
二振目（安定性）： このスイッチをオフにしても、AI の良い文に対する評価は全く変わらないはずです。このスイッチは完璧な文には一切干渉しないほど、特定でなければなりません。
三振目（優先度）： このスイッチは、良い文よりも悪い文に対してはるかに大きな影響を与えなければなりません。これは一般論ではなく、専門家である必要があります。

結果：探索は空しく終わった

チームは、6 つの異なる AI モデルにおいて、13 種類の文法規則（主語と動詞の一致、代名詞など）についてこの検証を行いました。

悪い知らせ（仮説にとって）：
彼らが探していた「文法警察」スイッチは、期待したような形で存在しないようです。

一振目はしばしば通過しました： スイッチをオフにすると、AI にとって悪い文が「それほど間違っていない」と聞こえるようになるスイッチが見つかりました。これは、AI には誤りに対する何らかの内部信号が存在することを意味します。
しかし、二振目と三振目は失敗しました： 問題は、これらのスイッチが特定されていなかったことです。誤りに反応するスイッチをオフにすると、完璧な文に対する AI の理解も乱されてしまったのです。
- 比喩： トーストを焦がしたときに作動する煙探知機を見つけるようなものです。素晴らしい！しかし、それをコンセントから抜くと、家全体の暖房が失われ、電気も消えてしまいます。その「検知器」は単なる煙探知機ではなく、暖房システム全体の一部だったのです。AI の「誤り信号」は、文がどの程度流暢に聞こえるかという一般的な感覚と絡み合っています。

結論

この論文は、AI モデルが文法違反を確かに知っている一方で、その知識をミスが発生したときだけ作動する、整然と隔離された「違反検知器」の中に格納しているわけではないと結論付けています。

代わりに、その知識は絡み合っています。AI が誤りを発見する能力は、文の流れを理解する一般的な能力と混ざり合っています。すべての種類の誤りに共通する、単一の統合された「文法警察」特徴のセットは存在しません。AI には専用の「誤りボタン」はなく、「誤り」の部分を「意味」の部分から分離するのが難しい、複雑で入り組んだ信号の網を持っています。

要約すれば： AI は自分が間違っていることを知っていますが、特定の隔離された「間違っている」というスイッチは持っていません。どちらかといえば、全体的な味の感覚と混同されてしまう、直感的な感覚のようなものです。

技術的サマリー：言語モデルは言語的制約違反の知識を符号化しているか？

問題定義
大規模言語モデル（LLM）は言語ベンチマークで高い性能を発揮し、生テキストから文法的な規則性を一般化しますが、整った文と不整った文を区別することを可能にする内部メカニズムは依然として不明です。具体的には、特にトランスフォーマーベースのアーキテクチャを持つ LLM が、文の対数尤度を罰するために文法的違反に遭遇した際に活性化される特定の「検出器特徴」を符号化しているかどうかは、未解決の課題です。本研究は、LLM が言語的制約違反の潜在表現（Hu ら 2026 の枠組みにおける変数 $G$ と表記）を有し、不文法的な入力の処理中に選択的に活性化されるという仮説を検証します。

手法
本研究は、スパースオートエンコーダ（SAE）を用いて LLM の多義的な活性化をスパースで単義的な特徴に分解する、機械的解釈可能性アプローチを採用します。

データセット: 著者は 13 の言語現象を提供する BLiMP ベンチマーク（Warstadt ら 2020）を利用します。各現象は、整った文（ $x_{good}$ ）と不整った文（ $x_{bad}$ ）がちょうど 1 語のみ異なる最小対で構成されています。この設計により、意味メッセージ（ $m$ ）を一定に保ちながら、文法的制約（ $G$ ）を変化させています。
モデル: 実験は 3 つのファミリーに属する 6 つのモデル（GPT-2（small）、Gemma-3（270M、1B、4B）、Qwen3.5（2B、9B））で行われました。
特徴分解: 事前学習済みの SAE（SAELens、Qwen Scope、Gemma Scope 2 から提供）を、特定の層（モデル深度の 25%、50%、65%、85%）の残差ストリームに適用しました。
感度スコア（ $\Phi$ ）: 制約違反入力に対する優先的な活性化に基づいて SAE 特徴をランク付けするための感度スコアを導入しました。高い正の $\Phi$ スコアを持つ特徴を、候補となる違反検出器として選択しました。
連合的反証フレームワーク: 候補特徴が真に違反検出器を符号化しているか検証するため、本研究はターゲットとした特徴除去を通じて、3 つの基準を共同で評価するフレームワークを提案します。
1. F1（違反への因果効果）: 候補特徴を除去することは、ランダムな対照群と比較して、不文法的な文の対数尤度を有意に増加させなければなりません。
2. F2（非違反の安定性）: 除去は、整った文の対数尤度を有意に低下させてはなりません（安定性閾値 $|\bar{M}_{good}| < 0.05$ ）。
3. F3（優先的効果）: 除去によって引き起こされる選好マージン（整った文対不整った文）の変化は、厳密に正で、かつランダムな対照群よりも有意に大きくなければなりません。これにより、効果が違反に特異的であることを保証します。

主要な貢献

感度スコア（ $\Phi$ ）: 制約違反入力によって優先的に活性化される特徴を特定するための教師なし指標。これにより、ラベル付き教師なしなしで候補となる違反特徴をターゲットに選択することが可能になります。
連合的反証フレームワーク: 単なる一般的な流暢さや文の尤度と相関する特徴から、真の違反特異的検出器を区別するために設計された、厳格な 3 基準テスト（F1、F2、F3）。
実証分析: 13 の言語現象と 6 つのモデルにわたる包括的な評価。その結果、モデルには違反に関連する情報が含まれているものの、現在の介入フレームワーク下では、この情報が統合された選択的な検出器に明確に分離できないことが明らかになりました。

結果
統合された選択的な違反検出器という仮説に関する実証結果は、概ね否定的です。

F1 パフォーマンス: 因果効果基準（F1）は、モデルや現象の広範にわたって通過しました。高- $\Phi$ 特徴は制約違反入力と相関しており、それらを除去すると不文法的な文の尤度が増加します。
F2 および F3 の失敗: 安定性（F2）および優先的効果（F3）の基準は、ほとんどのケースで失敗しました。違反に対して敏感であると特定された特徴は、しばしば整った文にも因果的に影響を与え（F2 の違反）、あるいは文法的な文と不文法的な文に同程度の大きさで影響を与え（F3 の違反）ます。
連合的充足: 連合基準（F1 $\cap$ F2 $\cap$ F3）は、すべてのモデルにおいて 1 つの現象（GPT-2 における不規則形式）のみで満たされました。
特徴の絡み合い: 結果は、違反関連特徴が孤立していないことを示唆しています。むしろ、それらは一般的な流暢さ情報を符号化しているか、一般的なメッセージ（ $m$ ）を表す特徴と絡み合っており、アブレーションを通じて純粋な「文法性」変数 $G$ を分離することが困難です。

意義と主張
本論文は、現在の LLM は、選択的に活性化され、一般的な文表現とは因果的に区別される、統合された文法違反検出器のセットを符号化しているようには見えないと結論付けています。モデルは文法的違反に関連する情報を有していますが、現在の介入フレームワーク下では、この情報はより広範な文レベルの表現から明確に分離できません。

著者は、否定的な結果が以下のことに起因する可能性があると仮説立てています。

感度スコアが F2 および F3 を満たす特徴を明らかにできていないこと。
SAE が F2 および F3 に対応する特徴を回復できておらず、それらが他の特徴に吸収されている可能性。
関連する特徴が単一の層に局在するのではなく、複数の層に分散していること。

本研究は、文法表現の存在を完全に否定するものではなく、むしろこれらの特定の潜在変数を分離する際の、現在の機械的解釈可能性ツール（特に SAE とアブレーション）の限界を浮き彫りにするものです。この研究は主張において控えめであり、主な発見が否定的であること、そして驚異や意味的異常をターゲットとする代替フレームワークが補完的な視点を提供し得ることを指摘しています。

調査：「誤り警報」を探す

検証：「三振ルール」

結果：探索は空しく終わった

結論

関連論文