You Can Learn Tokenization End-to-End with Reinforcement Learning
本論文は、スコア関数推定と時間割引を用いて分散を低減させることで、強化学習を用いたエンドツーエンドのトークン化学習を提案しており、この手法が1億パラメータのスケールにおいて従来のストレートスルー手法を凌駕することを実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代のコンピュータは、自然に人間の言語を理解するわけではなく、数字しか理解できません。この溝を埋めるために、テキストを処理する人工知能システムは、まず言葉や文章を、自身が消化できる数字のストリームへと変換しなければなりません。長年、これを行うための標準的な手法は、「トークナイゼーション」と呼ばれる、固定された事前プログラム済みのステップでした。このプロセスを、本が機械に読まれる前に、司書が固定されたルールブックに基づいて、ページを特定の、あらかじめ決められた塊に切り分けなければならない様子に例えて考えてみてください。このルールブックは、どこで一つの単語が終わり、次の単語が始まるかを決定し、しばしば共通の文字の組み合わせを一つにまとめます。これはうまく機能しますが、人工知能の「脳」の外側に位置する、学習プロセスそのものとは切り離された、手動の静的なステップです。これらのデジタルな精神がより大きく、より有能になるにつれ、科学者たちは、この硬直した、あらかじめ切り分けられたアプローチが彼らの足を引っ張っているのではないか、そして、機械が自身の内部ロジックにとってより意味のある方法で、テキスト自体を切り分ける方法を学べるのではないか、と考え始めています。
ETHチューリッヒの研究チームは、事前のルールなしに、ゼロから自らテキストを切り分ける方法を人工知能に教えることで、その問いに答えるための重要な一歩を踏み出しました。彼らの新しい研究において、コンピュータモデルは、学習中にミスを最小限に抑えようと試みるだけで、テキストの境界をどこに配置するかを正確に決定するように訓練できることを実証しました。固定されたマニュアルに従ったり、スペースや句読点に基づいた巧妙な推測を用いたりする代わりに、モデルは迷路を進む動物が学ぶのと似た、試行錯誤のアプローチを用います。モデルは、どこに切り込みを入れるべきかを確率的に推測し、それが次のテキスト部分をどれだけうまく予測できるかを確認し、それから戦略を調整します。もし推測が良い予測につながれば、モデルはその決定を強化し、もし混乱を招くようであれば、別の方法を試します。時間をかけて、モデルは言語を学ぶ過程で、言語のルール自体を自ら教え込みながら、テキストを分解するための最適な方法を見出していくのです。
研究者たちは、このようにモデルに学習させた場合、誰に指示されることもなく、単語間のスペースや文末といった、人間が行う場所と同じ場所に自然と切り込みを入れるようになることを発見しました。これは、文法や言語の構造に関する具体的な指示をモデルに与えることなく行われました。1億個以上のパラメータを持つデータセットを用いたテストにおいて、この自己学習型のアプローチは、異なる、より直接的ではない数学的手法を用いて境界を学ぼうとする従来のメソッドよりも効果的であることが証明されました。この新しい手法は、より良い結果を生み出しただけでなく、事前の知識が全くないにもかかわらず、手作業で作られた従来のルールブックに依存するシステムの性能とも一致しました。
この発見の最も驚くべき側面の一つは、モデルが効率的であることを学んだ点です。モデルは、一般的なテキストを読む場合であれ、コンピュータコードを理解する場合であれ、特定のタスクにとって意味のある形でバイトデータを塊へとグループ化する方法を見つけ出しました。研究者がPythonコードでモデルをテストした際、モデルは関数名の始まりで新しい塊を開始し、特定の共通フレーツをまとめて保持することを学び、読み取っているコードの構造に対する直感的な把握を示しました。これは、モデルが単にパターンを暗記しているのではなく、処理するテキストの意味に沿った戦略を積極的に展開していることを示唆しています。
この研究は、このような学習を困難にしていた大きな障害、すなわち学習信号における「ノイズ」の問題にも対処しました。テキストを切り分ける決定は、バイナリ（二値）の選択、つまり「ここで切るか、切らないか」であるため、モデルにどのように改善すべきかを正確に伝えることは数学的に困難です。研究者たちは、エージェントが報酬と罰を通じて学習する分野である「強化学習」の技術を借りることで、これを解決しました。彼らは、ノイズを平滑化する手法を導入し、モデルが長いテキストの区間において、どの特定の決定が成功や失敗の原因となったのかを把握できるようにしました。これにより、モデルは膨大な計算能力を必要とすることなく、効果的に学習することが可能になりました。
現在の実験は特定のサイズのモデルで行われましたが、その結果は人工知能の未来に対する説得力のあるビジョンを提示しています。テキストを準備するための、別途プログラムされたステップを取り除くことで、研究者たちは、言語処理が完全に統合されたエンドツーエンドの学習プロセスになり得ることを示しました。モデルは単に話すことを学ぶだけでなく、どのように聞き、どのように周囲の世界を最も効率的な方法で解析するかを学ぶのです。このアプローチは、最終的には、人間が設計したルールブックが存在しない言語やデータタイプを扱うシステムへとつながる可能性があります。これにより、人工知能はより適応性が高く、包括的なものになるでしょう。この研究は、機械にデータを供給する方法としての、硬直した職人芸的な設計が、まもなく、より流動的で自己発見的な方法、つまり、機械が自分自身の言葉で世界を読み解く最善の方法を自ら学ぶ方法へと置き換わる可能性を示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。