Anything Goes? A Crosslinguistic Study of (Im)possible Language Learning in LMs

非常に賢く、非常に高速で、何百万冊もの本を読んで言葉を学ぶロボットを想像してみてください。科学者たちは、このロボットが人間と同じように言語を本当に「理解」しているのか、それとも単に、目にするものなら何でも模倣できる統計的なオウムに過ぎないのかについて、議論を戦わせてきました。

批判的な人々は、このロボットは柔軟すぎる、と主張しています。「このロボットは、本物の英語と同じくらい簡単にデタラメな言葉も学習できてしまう。だから、人間の脳がどのように機能しているかを証明するものではない」と。

この論文は、その考えを検証します。研究者たちはこう問いかけました：「このロボットは、本物の言語と、作られた、あり得ない言語の違いを見分けることができるだろうか？」

以下に、彼らの実験の内容と結果を、日常的な例えを用いて解説します。

設定：「言語のジム」

研究者たちは、ロボットのために「ジム」を作りました（GPT-2と呼ばれる小さなAIモデルです）。結果が特定の言語による偶然の産物ではないことを確認するために、英語だけでなく、世界中の12種類の言語（トルコ語、中国語、ドイツ語、アラビア語など）を使用しました。

彼らは、ロボットに2種類の「トレーニング」を行わせました。

1. 実在する言語： 人間によって話される通常の文章。
2. あり得ない言語： これらは、実際の文章をバラバラにしたものです。例えば、「The cat sat on the mat（猫がマットの上に座った）」という文章を、単語が「mat on the sat cat the」となるまでシャッフルしたものを想像してください。あるいは、すべての単語を逆転させたものです。これらは、人間の脳が自然に学習したり話したりすることのない「あり得ない」形です。

また、「未検証（Unattested）」の言語についてもテストを行いました。これらは、論理的には存在し得るものの、人類によって一度も使われたことがない言語のことです。それは、パズルのピース自体は絵にぴったり合うものの、誰もそれを枠にはめ込んだことがないような状態です。

実験1：「スクランブル・エッグ」テスト

問い： もしロボットに言語をバラバラにしたものを与えた場合、ロボットはそれが壊れていると気づくでしょうか？

例え： あなたが犬にボールを取ってくる練習をしていると想像してください。ボールを投げれば、犬は取ってきます。もし石を投げたら、犬はまだ取ってくるかもしれませんが、おそらく以前ほど熱心ではないでしょう。研究者たちは、ロボットが「ボール（本物の言語）」を「石（バラバラの言語）」よりも好むかどうかを確認したかったのです。

結果：

• ほとんどの場合「はい」： ほぼすべての言語において、ロボットはバラバラの文章よりも、実際の文章をるべく速く、より正確に学習しました。単語の順番が間違っていると、ロボットは「混乱（パープレキシティと呼ばれるスコアで測定）」しました。
• ただし注意点： ロボットは完璧ではありませんでした。例えば、バラバラにする程度がわずかな場合（単語を2つ入れ替えただけなど）、ロボットは人間ほど明確に違いに気づかないことがありました。それは、曲の調子が少し外れていることに気づくことはできるけれど、一音だけ外れた程度では気づけない人がいる、という状態に似ています。

実験2：「グローバルな比較」

問い： もし、すべての実在する言語と、すべてのバラバラにされた言語を混ぜ合わせたとき、ロボットはそれらを2つのきれいなグループに仕分けることができるでしょうか？

例え： 図書館員が、本物の本の山と、ページが引き裂かれてランダムに貼り付け直された本の山を仕分けようとしていると想像してください。図書館員は、本を見るだけでどちらの山かを見分けることができるでしょうか？

結果：

• 完璧ではない： ロボットは、ほとんどの場合において違いを見分けることができましたが、100%ではありませんでした。バラバラにされた言語の中には、あまりにも本物の言語に似ているものがあり、ロボットがそれらを混同してしまうことがありました。
• 教訓： ロボットは実在する言語に対して「ソフトな」好みを持っていますが、人間が持っているような厳格で固定されたルールは持っていません。それは、音楽ファンがノイズよりも実際の曲を好むものの、キャッチーであれば変なリミックスであっても楽しんでしまう、といった感覚に似ています。

実験3：「文法のパズル」

例： 人間には特定の語順に対する自然なバイアスがあります。例えば、英語では「The red car（形容詞-名詞）」と言います。しかし、他の言語では「Car red（名詞-形容詞）」と言うものもあります。一方で、「Red car the」のように、人間が決して使わない組み合わせもあります。ロボットは、こうした人間が決して使わない奇妙なパターンを、通常のパターンと同じくらい上手く学習できてしまうのでしょうか？

例え： 子供にブロックを積み上げる方法を教えていると想像してください。人間は自然に、安定した方法（大きなブロックを下に、小さなブロックを上に）で積み上げることを好みます。もし、逆さまに積もうとすれば、彼らは苦労します。研究者たちは、ロボットがこの「逆さまの」積み方を学習する際に苦戦するのか、それとも不満を漏らすことなくそのままやってしまうのかを知りたかったのです。

結果：

• 混乱を招く部分： ロボットがどれくらいの速さで学習するか（パープレキシティ）だけを見た場合、ロボブルは使われない奇妙な語順も、通常の語順と同じくらい容易に学習しているように見えました。まるで、ロボットは「安定性」というルールに全くこだわっていないかのようでした。
• 明らかになったこと： しかし、ロボットの「汎化（学んだことを新しい状況に応用する能力）」の能力をテストしたところ、異なる姿が見えてきました。ロボットは、人間が自然に使用する語順において、より優れたパフォーマンスを示したのです。ロボットは、微かな、人間のようなバイアスを示しましたが、それは実際の人間に見られるものよりもずっと弱いものでした。

最終的な判定：「何でもありなのか？」

論文は、このロボットは、何でも等しく学習できる「白紙の状態（Blank Slate）」ではない、と結論付けています。

• 「何でもあり」という神話： ロボットが、本物の言語と同じくらい簡単にデタラメな言葉を学習できるという考えは、間違いです。ロボットはある種の「人間のような」本能を示しており、実在する言語を好み、あり得ないものに対してはわずかに苦戦します。
• 現実： しかし、これらの本能は弱いものです。それらは、人間の脳の中にあるルールほど強力でも、厳格でもありません。ロボットは、文法のルールを勉強した非常に優秀な学生のようなものですが、人間が生まれ持っているような、言語に対する深い直感までは備えていないのです。

要約すると： ロボットは魔法の存在ではなく、人間の心の完璧なコピーでもありません。それは、その中間地点に位置しています。ロボットは人間の言語の「ルール」をいくらか学習していますが、人間の学習を唯一無二のものにしている、あの深い直感的な理解にはまだ至っていないのです。