Measuring Form and Function in Language Models
本論文は、英語の冠詞の形式的な構文および機能的談話特性を定量的に評価するための文脈的代替選択（CAC）指標を導入し、一部の非常に大規模なモデルは両方のベンチマークにおいて人間の児童の性能に匹敵し得るものの、同様のデータで訓練された現在のモデルはこれを同時に達成していないことを明らかにする。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットに人間のように話させることを想像してみてください。それがうまくいっているか確認する方法は 2 つあります：
- 文法テスト：「Cat the」ではなく「The cat」と言えるか？（正しい形式）
- 会話テスト：相手が直前に何を言ったかによって、「The cat」と「A cat」のどちらを使うべきかを知っているか？（正しい機能）
この論文は、実際の子どもがどのように話せるようになるかを調べることで、言語モデル（LLM）のためのより優れたテストを構築することについて述べています。ペンシルベニア大学の研究者である著者たちは、AI のテストがあまりにも文法クイズのように行われ、実際の会話のように行われていないと主張しています。
以下に、彼らの研究を簡単な比喩を用いて解説します。
1. 問題：「多肢選択」の罠
現在の AI テストのほとんどは、多肢選択試験のようなものです。AI に 2 つの文を見せて、
- 「The dog barked.」
- 「Dog the barked.」
どちらが正しいかを尋ねます。
AI は通常これを正解します。しかし著者たちは、これは子どもに犬の絵と猫の絵を指差させるようにテストしているようなもので、実際の物語の中でその単語を「どのように」使うかを理解していることを証明していないと指摘します。実際の子どもは多肢選択試験を受けません。ただ話します。AI が人間のように「学習」しているかどうかを真に知るには、実際の会話の messy（ごちゃごちゃした）行き来をどのように処理するかを見る必要があります。
2. 新しいツール：「文脈的代替選択（CAC）」
著者たちは、CACと呼ばれる AI をテストする新しい方法を考案しました。これは「穴埋め」ゲームのようなものですが、ひねりがあります。
- 設定：2 歳の子どもに話す母親の実際の録音を使用します。
- ゲーム：子どもが使った単語（通常は「the」や「a」のような小さな単語）を隠し、AI に「直前に母親が何を言ったかを踏まえて、ここにはどの単語が入るべきか？」と尋ねます。
- 目的：単に「正しい」単語を選んでもらいたいわけではありません。AI の選択の「パターン」が、子どものパターンと一致するかどうかを見たいのです。
3. 2 つのベンチマーク（スコアカード）
著者たちは、AI が人間の子どものように振る舞っているかを確認するための 2 つの具体的なスコアカードを作成しました。
スコアカード A：「ミックス＆マッチ」テスト（形式的生産性）
- 概念：賢い子どもは、「the」と「a」がほぼ「どの」名詞とも組み合わせられることを知っています。「the dog」や「a cat」を単に暗記しているのではありません。ルールを知っています。
- テスト：研究者たちは、AI が「the」と「a」と組み合わせて使用する名詞がどれだけ多いかを確認します。AI が「the」を暗記した特定の単語としか使わない場合、不合格です。多くの異なる単語と自由に組み合わせて使う場合、合格です。
- 結果：多くの AI モデルがこのテストに合格しました。彼らは「ミックス＆マッチ」のルールを学習しました。
スコアカード B：「会話の流れ」テスト（談話機能）
- 概念：ここが難しい部分です。実際の会話では、母親が「the dog を見て」と言うと、子どもは通常「The dog は大きい」と答えます。しかし、母親が「a dog が見える」と言うと、子どもは「A dog が走っている」と言うかもしれません。
- 時には同じ単語を維持します（「the」→「the」）。
- 時には切り替えます（「a」→「the」）。
- この切り替えは、物語の文脈に完全に依存します。
- テスト：研究者たちは、AI が単語を切り替える頻度と、実際の人間が単語を切り替える頻度を比較して測定しました。
- 結果：ここがほとんどの AI が失敗した部分です。大きくて賢いモデルでさえ、コイン投げのようにランダムに単語を切り替える傾向がありました。彼らは単語の背後にある「物語」を理解しているようには見えませんでした。文法は知っていましたが、会話の社会的ルールは理解していませんでした。
4. 大きな驚き
著者たちは 45 の異なる AI モデルをテストしました。
- 「小規模」モデル：2 歳の子どもと同程度のデータ量（1000 万〜2000 万語）で学習したモデルは、一般的に両方のテストに不合格でした。学習が不十分でした。
- 「大規模」モデル：数十億語（インターネット全体ほどの規模）で学習した巨大なモデルは、はるかに良い成績を収めました。
- 2 つのモデルが両方のテストに合格しました。文法と会話の流れの両方で人間のように聞こえました。
- 1 つのモデルが会話テストに合格しましたが、文法テストに不合格でした。
- 多くの他のモデルが文法テストに合格しましたが、会話テストに不合格でした。
5. 結論
この論文は、規模は重要だが、すべてではないと結論付けています。
AI が文法クイズを正解できるからといって、それが人間と同じように言語を理解しているわけではありません。単にパターンを暗記しているだけかもしれません。人間の学習の真の「認知モデル」になるためには、AI は「会話の流れ」テストに合格し、私たちが語る物語に基づいて、なぜ特定の単語を選ぶのかを理解していることを示す必要があります。
現在、非常に大規模なモデルだけが、この人間のような理解を示し始めていますが、それらでさえも一様ではありません。著者たちは、より良い AI を構築したいのであれば、彼らをテストを受ける学生のように扱うのをやめ、会話中の幼児のように扱い始めるべきだと提案しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。