Linear representations of grammaticality in neural language models

あなたは、ロボットに人間の言語を理解させる方法を教えようとしていると想像してください。あなたは、何百万冊もの本、映画、ツイートをロボットに読み込ませ、文の次の単語を驚異的な正確さで予測することを学習させました。しかし、ここで科学者たちを長年悩ませ続けている大きな謎があります。このロボットは、本当に文法のルールを「知って」いるのでしょうか？それとも、単に優れた「推測屋」に過ぎないのでしょうか？

言語学とコンピュータサイエンスの世界には、有名な論争があります。一方の側は、これらのロボット（ニューラル言語モデルと呼ばれます）は、物事がどれくらいの頻度で見られるかに基づいて次に何が来るかを予測するように訓練されているため、単に「尤度（ゆうど：もっともらしさ）」を計算しているだけだと主張しています。彼らは、ある文が「良い」と感じるのは、それが抽象的なルールに従っているからではなく、単に聞き慣れた響きだからだと考えているのかもしれません。もう一方の側は、もしロボットが正しい文と壊れた文の違いを一貫して判別できるのであれば、たとえそれを説明できなくても、ロボットはルールを学習したはずだと信じています。問題は、長い間、これをテストする唯一の方法が、ロボットに「この文はどの程度尤もらしいですか？」と尋ねることだった点です。もしロボットが、文法的には間違っているものの、たまたま一般的な単語を並べているだけの文に対して「非常に尤もらしいです！」と答えたとしたら、私たちはそのロボットが文法を知っているのか、それとも単に統計を知っているだけなのかを判断することができません。

「Neural Representations of Grammaticality in Neural Language Models（ニューラル言語モデルにおける文法性の線形表現）」と題されたこの論文は、まさにこの紛糾した論争に切り込んでいます。著者であるジェーン・リーとナジョング・キムは、ロボットに文の尤度を尋ねるのをやめることにしました。代わりに、彼らはロボットの「脳」の中を覗き見ることにしたのです。彼らは、ロボットの内部的な「思考」（文の数学的な表現）の中に、「文法的であるもの」と「非文法的であるもの」が別々の近隣地域に住んでいるような、特別で整理された空間が存在するかどうかを確認したいと考えました。もし、ロボットの心の中にこれら二つのグループを分かつ明確な境界線を見つけることができれば、それはロボットが単に「何が一般的か」という概念ではなく、文法という概念を真に学習したという強力な証拠になります。

探偵の仕事：脳の中を覗き見る

この謎を解明するために、研究者たちは「線形プロービング（linear probing）」と呼ばれる巧妙なトリックを用いました。ロボットの脳を、巨大で多次元的な地図だと想像してみてください。ロボットが読むすべての文は、この地図上の特定の「点」へと変換されます。もしロボットが単に単語のありふれた度合いだけに注目しているなら、すべての点はランダムに散らばっているか、あるいは文に含まれる単語数によってグループ化されているでしょう。しかし、もしロボットが実際に文法を理解しているなら、この地図上には、「正しい文」がある側と「悪い文」がある側という、明確な方向性が存在するはずです。

研究者たちは、25種類の異なる言語モデル（パラメータ数が1,400万の極小のものから140億の巨大なものまで）を取り上げ、テストを行いました。彼らはモデルに何千もの文を入力しました。中には、完璧に文法的なものもあれば、「This dog like to jump（この犬はジャンプするのが好きだ ※正しくはlikes）」のように、意図的に作られた小さなエラーを含むものもありました。その後、彼らはロボットの内部地図の中に、正しい文と間違った文を分離できる単一の単純な直線を描けるかどうかを試みました。

大発見：文法は実在する（そして線形である）

結果はエキサイティングなものでした。彼らがテストしたほぼすべてのモデルにおいて、明確な「線」が存在することが判明したのです。非常に単純で複雑性の低い分類器であっても、ロボットの内部表現を見て、「ああ、これは文法的だ」あるいは「いや、これは壊れている」と判断することができました。このことは、文法性がこれらのモデルにとって単なる「なんとなくの感覚」ではなく、内部空間における明確で組織化された次元であることを示唆しています。

しかし、研究者たちはそこで止まりませんでした。ロボットが文を分離できるからといって、それが「文法に基づいて」分離しているとは限りません。もしかしたら、単にその文が発生する確率が低いから、あるいは響きが変だから、あるいは単語数が少ないから分離しているだけかもしれません。それが本当に文法によるものであることを証明するために、彼らはいくつかの「デコンファウンディング（交絡除去）」のゲームを行いました。

確率の罠：
まず、「ロボットは単に文の尤度を見ているだけではないか？」と問いかけました。彼らは、文法的には正しいが「非常に起こりにくい文（稀だが正しい）」と、非文法的だが「非常にありふれた文（一般的だが間違い）」を組み合わせた、トリッキーなシナリオを作成しました。もしロボットが単なる確率計算機であれば、混乱して失敗するはずです。しかし、ロボットは失敗しませんでした。ロボットは依然として、稀な正しい文を文法的であると特定し、一般的な間違いの文を非文法的であると特定しました。このことは、ロボットの「文法検出器」が、現実世界でその文がどれほど出現しやすいかという確率とは独立していることを示唆しています。

「おかしな文」テスト：
次に、ロボットが文の「妥当性」や「もっともらしさ」を判断しているだけではないかと考えました。彼らは、文法的には完璧だが意味が通じない文（例：「岩がサンドイッチを食べた」）と、文法的には壊れているが意味は通じる文（例：「サンドイッチが岩を食べた」）をテストしました。その結果、ロボットは「おかしさ」に気づいてはいたものの、文法に関する別個の強固なシグナルを依然として持っていることがわかりました。「文法の線」は、ロボットの脳内における「おかしさの線」とは明確に区別されていました。

ユニバーサル・トランスレーター（普遍的な翻訳者）：
最後に、この文法の知識が英語特有のものか、それとも普遍的なスキルであるかを確認しました。彼らはロシア語、フランス語、ドイツ語、ヘブライ語、中国語などの言語を用いてモデルをテストしました。その結果、より大規模で強力なモデルにおいては、文法を検知する能力は単なる英語のトリックではないことがわかりました。同じ種類の「文法の線」が異なる言語間でも存在しており、これらのモデルが、言語に依存しない構造理解の一般的な方法を発達させていることを示唆していました。

これが未来に意味すること

この論文は、ニューラルネットワークが、確かに頑健で内部的な文法性の表現を保持していると結論づけています。それは、単に次の単語を予測するのが上手いことによる副作用ではなく、情報の整理における根本的な部分なのです。

しかし、著者たちはこれがすべてに対する最終回答であるとは述べていません。彼らは、「文法の線」は存在するものの、それが常に完璧であるわけではないと指摘しています。小さなモデルは巨大なモデルよりも苦戦することがあり、特定の種類の文法エラーは検出が難しいこともあります。また、モデルがこのような内部知識を持っていても、それが必ずしも人間の文の判断と完全に一致するわけではないことも指摘しています。

究極的には、この研究は議論の次元を変えます。私たちはもう、これらのモデルが文法を知っているかどうかについて議論する必要はありません。証拠は、彼らが知っていることを示しています。新たな問いは、「どのように」それを学んだのか、その知識がどこまで深いのか、そしてそれが学習の本質について何を教えてくれるのか、ということです。統計的なシステムが、抽象的なルールの明確で線形な理解を発達させられることを示すことで、この論文は、文法を把握する能力には特別な「ルールブック」を脳内に持つ必要はなく、データのパターンを学習する圧倒的な力から自然に創発し得るものであることを示唆しています。これは機械の精神に対する魅力的な洞察であり、教師がいなくても、ロボットが「機能する文」と「機能しない文」の違いを判別できることを示しています。