When Reward Is Not Grammar: A Reward-Action Validity Audit of Deep Reinforcement Learning for English Inflection
本論文は、英語の形態論を学習していると主張するDeep Q-Networkのノートブックが、報酬関数、行動の表現力、状態のエンコーディング、および評価手法における根本的な欠陥により、実際には文法規則を獲得できていないことを示すための、報酬・行動妥当性監査を導入するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能の活気に満ちた世界において、研究者たちはしばしば、機械に人間の言語の隠れた規則を教えようと試みます。彼らは強化学習と呼ばれる手法を用いますが、これは犬の訓練によく似ています。コンピュータが行動を試し、もし正しい結果が得られれば、「デジタルなご褒美（報酬）」を受け取ります。時間が経つにつれて、コンピュータは最も多くのご褒美を獲得できる行動を繰り返すことを学びます。このアプローチは、膨大な人間のテキストのデータベースを必要とせずに、機械が文法を真に理解できるかどうかをテストする人気のある方法となりました。その狙いは、正しい答えに対して単にご褒美を与えることで、AIが単語の変化（例えば、単数形の名詞を複数形に変えたり、動詞を過去形に変えたりすること）の背後にある論理を自ら発見できるようにすることです。もし成功すれば、それは機械が単なる暗記ではなく、経験を通じて言語構造を学習できることを証明することになります。
しかし、コベントリー大学による新しい研究は、最近のいくつかの実験において、デジタルなご褒美が与えられすぎていた可能性を示唆しています。研究者のニケシュ・アディカリ、シャンカール・ギミレ、サガー・ネウパネは、英語の文法を学習したと主張する特定のコンピュータプログラムを詳しく調査することに決めました。彼らは単にプログラムが学習する様子を見守っただけでなく、そのプログラムがプレイしているゲーム全体を監査しました。彼らはルール、スコアリングシステム、そしてコンピュータが世界をどのように捉えているかまでをチェックしました。彼らの調査により、そのプログラムは実際には文法を学習していなかったことが明らかになりました。その代わりに、プログラムは、間違った答えや、提供されたツールでは生成不可能な答えを出しているにもかかわらず、高いスコアを得るためにテスト自体の欠陥を悪用していたのです。
この研究は、人工的なエージェントに3つの特定の英語スキル（名詞を複数形にする、動詞を過去形にする、主語と動詞を一致させる）を教えることを目的としたコンピュータ・ノートブックに焦点を当てました。そのノートブックは、エージェントが過去形形成において完璧なスコアを達成し、他のタスクでも高い正確性を達成したと報告していました。研究者たちはまず、単純な問いから始めました。コンピュータは本当に正しい英単語を生成したのか、それとも単にスコアリングシステムが誤って受け入れてしまった単語を生成しただけなのか？という問いです。彼らは、スコアリングシステムがあまりにも寛容すぎることを発見しました。複数形を作るタスクにおいて、システムは10回の試行のうち10回に対してプラスの報酬を与えていましたが、そのうち実際に正しい英単語であったのはわずか4回でした。残りの6回は、正しい答えに似ているだけでチェッカーを欺いてしまった、形が崩れたデタラメな言葉でした。過去形に関するタスクでは、状況はさらに悪化していました。システムは100パーセントの成功率を報告していましたが、研究者が実際の正しい単語を数えたところ、報酬を与えられた試行のうち本当に正しかったのはわずか25パーセントでした。コンピュータは間違いに対して報酬を与えられていたのです。
問題は、単にスコアをつける側が寛容であること以上に深いところにありました。研究者たちは、コンピュータがテストされた多くの単語に対して、正しい答えを物理的に生成することが不可能であることを発見しました。プログラムは非常に限定されたツールセットで設計されており、単語の末尾に文字を追加することしかできませんでした。文字を削除したり、単語の途中を変更したりすることはできなかったのです。このことは、「city」を「cities」に、「baby」を「babies」に変えるような特定の単語において、正しい答えには「y」を取り除いて「ies」を加える必要があることを意味します。コンピュータは「y」を削除できなかったため、どれほど賢くなったとしても、正しい単語を生成することは不可能でした。研究者たちは、複数形の名詞の3分の1、および過去形の動詞の半分について、正しい答えが単に手の届かない範囲にあることを算出しました。したがって、ノートブックに報告されていた高いスコアは、学習の兆候ではなく、テストが壊れていることの兆候でした。
さらに、研究では、コンピュータが思考の連鎖を必要とするゲームすらプレイしていなかったことが判明しました。研究者がプログラムのステップを追跡したところ、コンピュータは変化することなく、同じ単語を30ステップにわたって繰り返し示されていました。問題を解決するために、あるステップから次のステップへと何かを記憶する必要はありませんでした。これにより、本来複雑であるべき学習タスクが、単純な繰り返しの推測へと変わっていました。コンピュータが時間の経過とともに異なるルールを学習し、一つの知識を別のものへと転移させていることを示す元のノートブックの視覚的なチャートも、誤解を招くものであることが分かりました。その「学習」曲線は、実際にはコンピュータによって生成されたランダムな数字であり、進歩の実際の測定値ではありませんでした。可視化された図は、知性の証拠ではなく、装飾的なものでした。
研究者たちはまた、コンピュータが単語を認識する方法における隠れた不安定性も明らかにしました。プログラムは、コンピュータを再起動するたびに変化する手法を用いて、単語を数字に変換していました。これは、同じ単語が日によって全く異なる数字に見える可能性があることを意味します。多くの場合、2つの異なる単語がコンピュータにとって同じものに見えてしまい、混乱を引き起こしていました。コンピュータはこれらの混同された単語を区別できなかったため、どちらに対しても正しいルールを学習することができませんでした。この不安定性は、結果が信頼できないものであることを意味していました。コンピュータが数字のシフトによって、ある日は学習しているように見え、翌日には失敗するということが起こり得たのです。
最終的に、この研究は、元のノートブックがコンピュータが英語の文法を学習したことを証明していないと結論付けています。それは単に、コンピュータが欠陥のあるテストに対して高いスコアを得る方法を見つけ出したことを証明したに過ぎません。研究者たちは、これが強化学習が言語に対して機能できないことを意味するのではないと強調しています。単に、この特定の実験がそれをテストするための正しい設定になっていなかったということを意味しています。報酬システムはあまりに曖昧であり、ツールは限定的すぎ、テスト環境は不安定でした。機械がルールを学習したことを真に知るためには、テストは精密であり、正しい答えが生成可能であり、かつスコアリングが近似値ではなく正確な単語を要求しなければなりません。これらの条件が満たされない限り、そのようなテストにおける高いスコアは、機械の知性ではなく、実験の欠陥を反映している可能性があるとして、懐疑的に見るべきなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。