A Unified Assessment of the Poverty of the Stimulus Argument for Neural Language Models
本論文は、ニューラル言語モデルは、先天的な統語的バイアスがなくとも限られたデータから構造依存的な汎化を獲得できる一方で、子供と比較すると依然として効率性に欠け、人間のような学習に完全に一致するためには、認知的に動機付けられた追加の帰納的バイアスを必要とすることを実証する統一的なベンチマークである\poshbench を導入するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
何十年もの間、人間がいかにして言語を学ぶかという研究において、中心的な謎が人々を悩ませてきました。子供たちは、混沌としており、しばしば不完全な音声の流れに囲まれているにもかかわらず、5歳になる頃には複雑で目に見えない文法の規則を習得してしまいます。彼らは、ある種の文章が不可能であることを理解しますが、それは大人が「それは間違いです」と言ったり、禁止されたフレーズのリストを見せたりしたことは一度もないにもかかわらずです。子供が受け取る限定的で乱雑なデータと、彼らが獲得する洗練された知識との間のこの隔たりは、「刺激の貧困（poverty of the stimulus）」として知られています。言語学者たちが世代を超えて支持してきた伝統的な説明は、人間は文法のための特別な先天的設計図、つまり、どの規則が可能でどれがそうでないかを脳に教える組み込みのガイドを持って生まれてくるというものです。この生物学的な先行優位がなければ、入力される情報はあまりに乏しく、子供に話し方を教えるには不十分であるというのが、この議論の主張です。
近年、人工知能は、この考えを検証するための新しい方法を提示しています。科学者たちは、膨大な量のテキストを読み取ることで学習するニューラルネットワークと呼ばれるコンピュータプログラムを構築してきました。これらの機械は、次に続く単語を予測することに驚くほど長けており、明示的にルールを教えられることなく、しばしば人間の文法を模倣します。この成功は、一つの論争を巻き起こしました。もし機械が単に読むだけで複雑な文法を学習できるのであれば、おそらく「刺激の貧困」は錯覚であり、入力された情報は強力な学習者であれば解明できるほど十分に豊かであるのではないか、という議論です。しかし、この比較には決定的な欠陥が残っていました。コンピュータは数十億もの言葉を読み込んでいるのに対し、人間の子供はそれよりもはるかに少ない量しか耳にしないということです。この問題を解決するために、研究者たちは、機械が子供と同じように難しい規則を、同じ限られた量のデータだけで学習できるかどうかを確認する必要がありました。
ジョージタウン大学とフローニンゲン大学の研究チームは、POSH-BENCHと呼ばれる新しいテスト環境を構築することで、この問いに答えるべく着手しました。彼らは、先天的な知識の最も強力な証拠として長年考えられてきた、4つの特定の文法的なパズルに焦点を当てました。これらには、最初の助動詞ではなく主要な助動詞を移動させることで疑問文を作る方法、特定の文構造が単語の移動を阻止することを知っていること、複雑な文における代名詞が誰を指すかを理解すること、そして「want to」というフレーズがいつ「wanna」に縮小するかを支配する微妙な規則が含まれます。研究者たちは、1,000万語から5,000万語の範囲で、子供の言語環境を模した膨大なテキストライブラリを作成しました。これは、5歳までの子供が接する言語量であり、現代のコンピュータモデルが通常消費する量よりも数百、数千万倍も小さい規模です。
チームは、この子供サイズのデータを用いて、3種類の異なるタイプのコンピュータモデルを訓練しました。一つは、多くの現代的なAIツールを動かしている標準的なニューラルネットワークです。もう一つは、より古いスタイルのネットワークであり、三つ目は、単に単語の直前の履歴のみを見る単純な統計モデルです。「貧困」の議論をさらに検証するため、彼らは、テスト対象となる特定の文法規則の例を意図的にすべて削除したバージョンの訓練データを作成しました。これは、特定の規則の直接的な例を一度も聞いたことがない子供をシミュレートしており、学習者が言語の他の部分からの間接的な手がかりのみに頼ることを強いるものです。
結果は驚くべきものであり、かつ微細な差異を含んでいました。研究者たちは、高度なニューラルネットワークが、直接的な例が欠落している場合でも、これら難しい文法規則を限られた子供サイズのデータから学習できることを見出しました。それらはランダムな確率よりも有意に優れた性能を示しており、入力はかつて考えられていたほど貧弱ではなく、強力な学習機械は事前プログラムされた文法ガイドを必要とせずに、深い構造的パターンを抽出できることを示唆しています。しかし、物語はそこで終わりませんでした。機械は規則を学習できましたが、人間の子供よりもはるかに効率が悪い状態で行いました。データの量が増えるにつれて機械の性能は向上しましたが、6歳児の速度や正確さに追いつくことは決してありませんでした。機械の学習曲線と子供の間の隔たりは依然として頑固に広く、入力が学習可能であったとしても、人間をこれほど速く学習させているのは別の何かであることを示していました。
研究者たちは次に、人間の脳の働きに触発された「バイアス（精神的なショートカット）」を加えることで、機械がこの差を埋めることができるかどうかをテストしました。彼らは、形式論理のパズルでモデルを訓練したり、人間のように文構造に注意を向けるよう強制したり、あるいは子供の発達中のワーキングメモリを模してメモリを制限したりすることで、モデルに先行優位を与えようとしました。これらの変更は、モデルの一般的な言語理解能力を向上させ、より堅牢で正確なものにしました。しかし、極めて重要なことに、これらのバイアスは、今回の研究の核心である特定の難しい規則を学習する上で、一貫して役立つことはありませんでした。一般的な文法には役立つバイアスが、子供たちがこれほど容易に習得する特定のパズルを解決するとは限らなかったのです。
この研究は、結論として、単純な「イエス」か「ノー」かでは決着がつかないことを示唆しています。研究結果は、入力された内容が、複雑な文法を獲得するための強力な学習者にとって十分であることを示唆しており、先天的な規則こそが唯一の道であるという考えに異を唱えています。しかし、機械が依然として人間の効率性に追いつけないという事実は、人間の学習が単なる統計的なパターンマッチング以上のものを含んでいることを示唆しています。これは、子供たちが、今回テストされた構造的なバイアスを超える学習メカニズムや制約を備えていることを意味しています。人間の脳は、単に受け取ったデータから学ぶのではありません。そのデータから、現在の人工知能がまだ完全には再現できていない、独自の効率性を持った方法で学んでいるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。