Implicit Representations of Grammaticality in Language Models
本論文は、事前学習済み言語モデルがその隠れ層内に文法性の明確な表現を暗黙的に獲得しており、これを線形プローブを通じて抽出することで、複数の言語にわたって文法文と非文法文を区別する際に文字列確率に基づく判断を上回ることを実証する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
非常に賢いロボットが、インターネット上のほぼすべての書籍、ウェブサイト、記事を読み込んだと想像してください。このロボットは「言語モデル（LM）」と呼ばれ、文の中で次の単語が何であるかを予測することに驚くほど優れています。物語の続きを頼めば、見事にこなします。
しかし、ここが難しい点です：ロボットにとって文が「ありそう」だとしても、それが文法の規則に従っているとは限りません。
「ありそう」対「正しい」の問題
このロボットを、多くの人の話し声を聞いてきたものの、学校で文法の規則を教わったことがない人物だと考えてみましょう。
- ロボットの視点（確からしさ）: あなたが「The key to the cabinets are on the table（キャビネットの鍵はテーブルの上にあります）」と言ったとします。ロボットは、「ああ、以前に人々が'cabinets'という言葉に混乱してこの間違いを犯しているのを聞いたことがある。これは実際に人間が言うようなものだ」と考えるかもしれません。そのため、この文に高いスコアを与えます。
- 文法の規則（文法性）: 人間の文法学者はこれが間違いだと知っています。主語は「key（単数）」なので、動詞は「are」ではなく「is」であるべきです。この文は、よくある間違いであっても文法的に誤りです。
研究者たちが問いかけた大きな疑問は、**「最終的なスコアに現れていなくても、このロボットは『人間が頻繁に言うこと』と『実際に文法的に正しいこと』の違いを秘密に知っているのではないか？」**というものでした。
実験：「文法探偵」
これを明らかにするため、研究者たちはロボットに直接「この文は正しいか？」と問いかけませんでした（ロボットはそれに直接答えるのが苦手です）。代わりに、彼らはロボットの脳の中を覗き込みました。
トレーニングジムの作成: 彼らは大量の通常のテキストを集め、それをいじくり回し始めました。単語をランダムに追加したり、削除したり、並べ替えたりしました（例えば、文を「She bursts into tears and walks away（彼女は泣き出し、立ち去る）」から「She bursts into tears fringe and walks away（彼女は泣き出し、フリンジして立ち去る）」のように変えるなど）。
- 元の文は「良い」文でした。
- いじくり回された文は「悪い」文でした。
探偵の訓練: 彼らは、ロボットの内部思考（隠れ層）を見て、「これは良い文か、悪い文か？」を推測する小さな単純な「探偵」（線形プローブ）を訓練しました。
テスト: この探偵を、実際に人間が作成した文法テストに適用してテストしました。
驚くべき結果
1. ロボットには秘密の文法感覚がある
この探偵は、ロボット自身の「確からしさスコア」よりもはるかに優れた性能で文法ミスを発見しました。
- 比喩: ロボットをスープを味見するシェフだと想像してください。シェフの「確からしさスコア」は、いつも何にでも塩を入れるため、塩の味がするのを「期待する」度合いです。しかし、「探偵」はスープの化学構造を見て、「待て、これは塩じゃない。砂糖だ」と言っています。
- ロボットの内部脳には、「この文がどのくらい一般的か」とは別に、「文法的正しさ」を示す明確なシグナルが実際に存在します。
2. 探偵は意味の専門家ではなく、文法の専門家である
研究者たちが、文法的には完璧だが意味をなさない文（例：「The colorless green ideas sleep furiously（無色の緑のアイデアが激しく眠る）」対「The furiously green ideas sleep colorless（激しい緑のアイデアが無色に眠る）」）で探偵をテストしたところ、探偵は混乱しました。
- しかし、ロボット元の「確からしさスコア」は、これらの無意味な文を見分けるのに優れていました。
- 教訓: ロボットの脳には二つの異なるシステムがあります。一つは「これは意味が通じるか？」（確からしさ）を知り、もう一つの隠れたシステムは「これは規則に従っているか？」（文法）を知っています。探偵はこの隠れたシステムにアクセスしました。
3. 探偵は他の言語でも機能する
ここが最も驚くべき点です：彼らは探偵を英語のデータのみを使って訓練しました。その後、スウェーデン語、オランダ語、イタリア語、ロシア語、日本語、中国語でテストしました。
- 探偵はそれらの言語を一度も見たことがなかったにもかかわらず、ロボットの生確率スコアよりも文法ミスを発見する能力が優れていました。
- 比喩: 英語でボールを拾うように犬を訓練し、それをフランスの公園に連れて行くようなものです。犬がフランス語を話せなくても、「ボールを拾う」という概念を理解しており、ゲームが正しく行われているかどうかを認識できます。
結論
この論文は、これらのAIモデルが次の単語を予測するよう訓練されたにもかかわらず、文法の規則を暗黙的に学習していると結論付けています。それらは、次の単語を推測する能力とは別に、ニューラルネットワークの中に「文法検出器」を隠して構築しています。
それらは単に人間の話し方のパターンを模倣しているのではなく、文が構造的に有効であるかどうかを決定づけるものの内部表現を、その文が現実の生活に現れる確率とは別に発展させています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。