You Do Not Fully Utilize Transformer's Representation Capacity

現代の人工知能は、多くの場合、「トランスフォーマー」と呼ばれる特定の種類のコンピュータプログラムに依存しています。これらのプログラムは、膨大な量のテキストを読み取り、人間のような応答を生成できる、今日の最も高度な言語ツールの背後にあるエンジンです。その仕組みを理解するために、長い物語を処理する読者を想像してみてください。読者が最初の文章から最後の文章へと進むにつれ、物語全体を理解するために、あらゆる詳細、あらゆる登場人物、そしてあらゆる論理的なつながりを把握しておく必要があります。標準的なトランスフォーマーでは、このメモリ（記憶）は、プログラムの次の層へと情報を運ぶ、単一の狭いチャネルによって処理されます。各層はテキストの理解を洗練させ、その洗練されたバージョンを次へと渡していきます。しかし、一つの廊下にあまりにも多くの人が一度に押し寄せると、混雑して詳細が失われてしまうのと同様に、この狭いチャネルは、テキストが長くなったりプログラムが深くなったりするにつれて、異なる単語や概念の間の重要な区別を曖昧にしてしまうことがあります。この現象は「表現崩壊（representation collapse）」として知られており、これはトークン（テキストの基本単位）間の微妙だが極めて重要な違いが失われることを意味し、モデルが複雑な問題を推論したり、長いシーケンスを正確に記憶したりすることを困難にします。

T-Techの研究者たちは、このボトルネックを解決するための新しい方法を提案し、「レイヤー・インテグレーテッド・メモリー（Layer-Integrated Memory）」、略して「LIMe」と呼ぶ手法を導入しました。すべての情報を単一の直前の層へと押し込める代わりに、この新しい設計では、プログラムの各部分が、すでに処理した過去のどの層からも直接情報を引き出すことができます。読者が読書の過程の各段階に付箋を置いている様子を想像してみてください。難しい概念に遭遇したとき、彼らは現在手に持っているノートだけに限定されるのではありません。彼らは最初、中間、あるいはその間のどこかに置かれたノートを振り返り、現在の文章を理解するのに最も関連のある詳細を選択することができます。このアプローチは、より広い廊下を建設したり、より多くのメモリ容量を追加したりする必要はありません。代わりに、既存のメモリへのアクセス方法を再編成することで、プログラムが自身の思考プロセスにおける初期段階から特定の機能を取り出せるようにするのです。

チームはこのアイデアをテストするために、情報を動的にルーティングすることを学習できるモデルを構築しました。彼らは、各アテンション・ヘッド（プログラムの中でどの単語に注目するかを決定する部分）が、直前の層からの情報をどの程度信頼するか、あるいは最初の層やその間のどの層からの情報を信頼するかを決定する、一連の重みを学習するシステムを作成しました。この学習プロセスは、トレーニング中に自動的に行われます。研究者たちは、この柔軟性がモデルの複雑なタスク処理能力を大幅に向上させることを発見しました。数学的推論や論理パズルを含むテストにおいて、新しいモデルは標準的なバージョンを大きく上回る成績を収めました。例えば、多くのステップを伴う算術問題を解くよう求められた際、標準的なモデルはステップ数が増えるにつれて失敗することがよくあり、これはおそらく中間的な数値を追跡できなくなったためです。しかし、新しいモデルは問題が難しくなっても精度を維持しており、これは必要な数値的な区別を明確に保つことに優れていることを示唆しています。

単にテストのスコアが向上しただけでなく、研究者たちはモデルの内部を調査し、何が起きているのかを確認しました。彼らは、標準的なモデルは層が深くなるにつれて、異なる単語をほぼ同一の表現へと圧縮し、実質的にそれらの間の境界を曖昧にする傾向があることを発見しました。対照的に、新しいモデルははるかに豊かで多様な表現を保持していました。単語の核となる意味を運ぶ内部の「値（value）」ベクトルは、ネットワークの最も深い部分においても、依然として明確で多様なままでした。この詳細の保持により、モデルは異なる推論パスを分離して保持することができ、これは複数の可能性を探索したり、論理の連鎖を追ったりする必要があるタスクにおいて極めて重要です。この研究は、プログラムが自身の履歴により自由にアクセスできるようにすることで、情報の過度な単純化という罠を回避できることを示しました。

結果は、モデルのサイズや深さに関わらず一貫していました。最大128層の非常に深いネットワークを構築した実験において、新しい手法を用いることで、64層のモデルが128層の標準的なモデルと同等、あるいはそれ以上の性能を発揮できました。これは、単に層を積み重ねることよりも、情報の流れの質が重要であることを示唆しています。研究者たちはまた、モデルが学習した「ルーティング重み」を分析し、プログラムが長期的なコンテキストのために初期の層からの特徴を系統的に再利用しつつ、短期的な詳細については隣接する層に依存していることを見出しました。このパターンは、モデルがメモリの負担を単一のストリームに溜め込むのではなく、ネットワーク全体に分散させることを学んだことを示しています。

この新しい手法は、これらの接続を計算するためにわずかな追加時間を必要としますが、そのトレードオフは、得られるパフォーマンスと効率性の向上と比較すれば最小限です。このアプローチは既存のハードウェアで動作し、メモリの大幅な増加を必要としないため、現在のシステムにとって実用的なアップグレードとなります。本研究は、標準的なトランスフォーマーの限界は容量の不足ではなく、その容量がどのように使用されるかというボトルネックにあると結論付けています。層間の情報の流れを開放することで、この新しい手法はより高いレベルの推論と表現を実現し、時には前へ進む最善の方法は、自分がすでにどこにいたかを思い出すことであると証明しています。