CoBit: Language Modeling with Bitstream Diffusion
CoBitは、単一のTransformerパッチ内で固定幅のバイナリ・トークン・コードを共同でデノイジングすることでテキストを生成する連続拡散言語モデルであり、標準的なベンチマークにおいて競争力のあるパープレキシティを実現し、SudokuやGSM8Kといったタスクにおいて強力な推論性能を発揮すると同時に、高密度なトークン出力ベースラインと比較してメモリ効率とスループットを向上させている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代のコンピュータは、文章の次の単語を予測することにおいて驚くほど優れた能力を持つようになりました。オートコンプリートから洗練されたチャットボットに至るまで、あらゆるものに活用されているこの能力は、「自己回帰（オートリグレッション）」と呼ばれる手法に基づいています。このアプローチでは、モデルが一連の単語を読み取り、次の単語を推測し、その新しい単語を読み取ってから次の単語を推測するというプロセスを繰り返すことで、一歩ずつ物語を構築していきます。これは効果的な手法ではありますが、コンピュータが次の言葉を発する前に一つ一つの推測を待たなければならないため、本を音読しながら次の言葉を考える人が立ち止まる様子のように、本質的に低速です。長年、研究者たちは、単語を一つずつ構築するのではなく、文章全体を同時に洗練させることができる、より高速なテキスト生成の方法を模索してきました。画像生成において、静止画のノイズから絵が徐々に明らかになっていく概念を借りた「連続拡散（コンティニュアス・ディフュージョン）」と呼ばれる新しいアプローチは、この約束を果たしています。しかし、拡散モデルは滑らかで連続的なデータに対して最もよく機能するため、離散的で独立した記号で構成される言語にこの技術を適用することは困難でした。
研究チームは、単語全体を推測するのではなく、バイナリコード（二進数）のストリームを洗練させることでテキストを生成できる「CoBit」と呼ばれるシステムを導入し、この溝を埋めることに成功しました。膨大な辞書から次の単어를予測しようとする代わりに、このモデルはすべての単語を固定長の「1」と「0」の文字列として扱います。単語を、特定のスイッチのパターンが入った小さな密閉された箱だと想像してみてください。コンピュータは、ランダムでノイズの多いスイッチが詰まった箱からスタートし、周囲の単語の文脈に基づいて各スイッチの位置を調整しながら、徐々にそれらを整理していきます。各単語のスイッチを一つのユニットとしてグループ化することで、システムはシーケンスの長さを管理可能な状態に保ちつつ、数千もの単語から選ぶという複雑なタスクを、数十個のスイッチの状態を決定するというより単純なタスクへと置き換えています。この手法により、モデルは文章のすべての部分に対して同時に作業を行うことができ、速度と柔軟性への異なる道筋を提供しています。
研究者たちは、このシステムをうまく機能させる鍵は、単に単語をどのように表現するかではなく、どのようにノイズを取り除くかにあることを見出しました。彼らは、コンピュータがノイズを取り除くために厳格で計算された経路に従う「決定論的」なアプローチのみでは、生成されるテキストが安全ではあるものの、単調で多様性に欠ける傾向があることを発見しました。これを解決するために、彼らはプロセスの中に、制御された量のランダネス（無作為性）、すなわち「チャーン（撹拌）」を導入しました。このランダネスは、モデルが予測可能な選択肢のループに陥るのを防ぐための、穏やかな「揺さぶり」のように作用します。この揺さぶりを、モデルがビットの意味について最も不確実なタイミングで行われるよう慎重に調整することで、速度を落とすことなくテキストの品質を向上させることができました。その結果、自然な一貫性と多様性のバランスを備えたテキストを生み出し、根本的に異なるメカニズムを用いながらも、既存の最高水準のモデルに匹敵する流暢さを実現しました。
実験において、チームはCoBitを、ニュース記事を含むものとオープンウェブからのものという、2つの大規模なテキストコレクションでテストしました。彼らは、生成されたテキストが実際の人間による文章のパターンにどれだけ一致しているかをチェックすることで、テキストの品質を測定しました。1億3,000万個のパラメータを持つモデルにおいて、彼らはその分野のトップクラスに位置するスコアを獲得し、システムを4億6,200万個のパラメータへとスケールアップさせた際には、性能がさらに向上し、確立された大規模モデルの性能に近づきました。一般的な文章作成以外にも、彼らは数独のパズルを解いたり数学の文章題に答えたりといった、厳格な論理を必要とするタスクでもシステムをテストしました。難易度の高い数独において、システムは65パーセント以上の確率で正解を導き出し、数学の問題においては、研究者が自身の確信度を解釈する方法を調整した結果、35パーセントを超える精度に達しました。これらの結果は、モデルが単に言語パターンを模倣しているだけでなく、論理的な制約に従う能力を持っていることを示唆しています。
この研究はまた、システムにおけるコンピュータメモリの使用方法に関する重要な利点も明らかにしました。モデルは膨大な辞書から単語全体を予測するのではなく、個々のビットの状態を予測するため、特に長いテキストを生成する際に、はるかに少ないメモリで動作することができます。この効率性により、システムは同じハードウェア上で、より高速に動作し、より大きなバッチのデータを処理することが可能になります。研究者たちは、システムはまだ完璧ではなく、依然として反復的であったり意味不明な文章を生成したりすることがあると指摘していますが、並列処理の速度、論理的タスクへの対応能力、そして削減されたメモリ使用量の組み合わせは、大きな前進であると述べています。彼らは、表現方法とサンプリングプロセスをテキスト特有の性質に合わせて注意深く調整すれば、連続拡散が言語に対しても効果的に機能することを、このアプローチが証明していると主張しています。この研究は、テキスト生成の未来が、必ずしも伝統的な単語ごとの予測だけに依存するのではなく、意味を一度に洗練させる手法を取り入れる可能性があることを示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。