Rethinking the Evaluating Framework for Natural Language Understanding in AI Systems: Language Acquisition as a Core for Future Metrics

以下は、学術的な専門用語を創造的な比喩を用いて日常言語に翻訳した論文の説明です。

大前提：「私たちを騙せるか？」と問うのをやめ、「学べるか？」と問うようになろう

料理のコンテストの審査員をしていると想像してください。過去70年間、ゴールドスタンダードはチューリングテストでした。このテストでは、審査員がチャットウィンドウを通じて人間と機械の両方と会話します。審査員がどちらがどちらなのか区別できない場合、その機械は「合格」となります。

この論文の著者たちは、これはシェフの審査を、偽のプラスチック製フルーツが目を覆われた味見人を騙すほどリアルに見えるかどうかだけで判断するのと同じだと主張しています。これは模倣の問題であり、実際のスキルではありません。ロボットが人間の会話を模倣できるからといって、それが実際に何を言っているかを理解しているわけではありません。単に非常に上手なオウムかもしれません。

著者たちは、AIを評価する新しい方法を提案しています。「この機械は人間を装うことができるか？」と問う代わりに、「この機械は幼児のように、ゼロから言語を学べるか？」と問うべきだと主張します。

核心的な比喩：幼児対図書館

ChatGPTのような現在の大型言語モデル（LLM）を巨大な図書館だと考えてください。それらはこれまで書かれたほぼすべての本を読んでいます。質問をすると、それらは必ずしも答えを「理解」しているわけではなく、図書館にあるすべての情報に基づいて、あなたが言った言葉の後に統計的にどの単語が続くかを予測しているだけです。

著者たちは、AIを言葉を学び始める幼児のようにテストしたいと考えています。

• 古い方法（チューリングテスト）： 幼児に台本を手渡して、説得力を持って暗唱できるかどうかを見る。
• 新しい方法（言語習得）： 幼児を教師がいる部屋に入れる。本もインターネットも、事前にロードされたデータも与えない。教師はコップを指さして「コップ」と言う。子供は世界を見て、質問をし、間違いを犯すことで、「コップ」が何を意味するかを自分で突き止めなければならない。

この論文は、真の知能とは、すべての答えを事前にロードしていることではなく、経験から理解を習得する能力にあると主張しています。

「小規模データ」が重要な理由

この論文は、「小規模データ」と呼ばれる概念を強調しています。

• 大規模データ（現在のAI）： 他人が自転車に乗っている動画の1,000万時間を視聴することで、自転車に乗る方法を学ぶことを想像してください。理論は知っていても、バランス感覚を実際に感じたことはありません。
• 小規模データ（人間のようなAI）： 実際に自転車に乗って、転んで、再び挑戦することで、自転車に乗る方法を学ぶことを想像してください。少数の特定の、意味のある経験から学びます。

著者たちは、人間の子供たちは現実世界に根ざしているため、比較的少ない例（「小規模データ」）から言語を学習すると主張しています。彼らは物体を見、質感を感じ、社会的な合図を見ます。現在のAIは脆く、大規模なトレーニングデータで見たことのないものに出会うと簡単に壊れます。真に知能の高いシステムは、人間のように、非常に少ない情報で新しい状況に素早く適応できるはずです。

提案される「新しいテスト」

著者たちは、この新しいテストのための特定の枠組みを概説しています。実際には以下のようになります。

1. 白紙の状態： AIは、言語や環境に関する事前ロードされた知識なしで開始します。
2. 教師： 人間（または別のエージェント）がAIと対話し、口頭での指示を与えます。
3. タスク： AIは、リアルタイムで学んでいる言語のみを使用して、周囲の環境を説明し、物事を明確にするために質問し、目標（物体を見つけることやパズルを解くことなど）を達成しなければなりません。
4. 第二言語の課題： AIが最初の言語を習得した後、パターンを単に記憶しているのではなく、言語の概念を実際に理解していることを証明するために、第二の、全く異なる言語（まれな言語や記録されていない言語など）を学ぶ必要があります。
5. 厳格な条件： テストは制御された環境（外部信号を遮断するための「ファーデージケージ」のようなもの）で行われ、AIがオンラインで答えを調べてチートしていないことを保証します。

テストの主要要件

このテストが公平で科学的であることを確実にするために、著者たちはいくつかのルールをリストしています。

• 再現性： 他の科学者が同じテストを実行し、類似した結果を得られること。
• 透明性： すべての対話、間違い、成功が記録されること。
• 「賢いハンス」のトリックなし： 歴史において、賢いハンスという名前の馬は数学ができるように見えたが、実際には飼い主の微妙なボディランゲージの合図を読んでいたに過ぎなかった。テストは、AIが偶然のヒントを読み取っているのではなく、実際に理解していることを保証しなければならない。
• 健全性： テストは、AIが単に生き延びているだけでなく、「繁栄」しているか、うまく適応しているかも測定すべきである。

より大きな視点：生存のためのツールとしての言語

この論文は、生物学と哲学に基づいて、言語が単なるコードではなく、生存のためのツールであると主張しています。人間は協力し、生存するために言語を発達させました。したがって、真に言語を習得できるAIは、より深い形態の知能を示しています。それは環境とつながり、社会的相互作用が可能で、変化に適応できるものです。

まとめ

要約すると、著者たちは以下を述べています。
AIが人工的な性質をいかにうまく隠せるかをテストするのをやめ、子供のように、周囲の世界をいかにうまく学び、適応し、理解できるかをテストし始めましょう。

彼らは、模倣（人間のように見えること）から習得（人間のように学ぶこと）へと焦点を移せば、機械が真に知能を持つことが何を意味するのかを、はるかに良く、正直に、そして有用に測定できると信じています。