技術要約: MultiHashFormer

問題提起

標準的な言語モデル（LM）は、語彙サイズに対して線形にスケールする学習済み埋め込み行列に依存しており、これが「語彙のボトルネック」を生み出しています。この線形スケーリングは、モデルを固定されたトークン容量に縛り付け、大幅なパラメータ増加なしには新しいドメインや言語に適応することを困難にします。先行研究では、パラメータのフットプリントを抑制するためにトークンハッシングを探索してきましたが、既存のハッシュベースのモデル（ProformerやHashFormerなど）は多対一のマッピングを利用しています。これらのシステムでは、複数のトークンが単一のハッシュインデックスを共有します。これはパラメータ効率には優れていますが、トークンの衝突を引き起こし、自己回帰的な生成における決定論的なトークン復元を妨げます。その結果、従来のハッシュベースの手法は、エンコーダーのみのアーキテクチャと識別的学習に限定されており、因果的（デコーダーのみ）な生成言語モデルには適用できない状態にありました。

手法

著者らは、マルチ識別子シグネチャ方式によってトークンの衝突を排除し、ハッシュベースの自己回帰を可能にするフレームワークであるMultiHashFormerを提案しています。このアーキテクチャは、主に3つのモジュールで構成されています。

1. ハッシュエンコーダー (Hash Encoder):

   • マルチハッシュ・インデキシング (Multi-Hash Indexing): トークンを単一のハッシュIDにマッピングする代わりに、各トークンを、$H$個の独立したハッシュ関数（MurmurHash3アルゴリズムを使用）によって生成される一連の短い離散ハッシュIDからなるユニークな「ハッシュシグネチャ」へと変換します。例えば、あるトークンは $[12, 40, 56]$ のように表現されます。このマルチIDマッピングは、厳密に劣線形なパラメータフットプリントを維持しながら、膨大な語彙容量（例：$B^H$ 個のユニークなシグネチャ）を理論的にサポートします。
   • ゲート付き組成埋め込み (Gated Compositional Embedding): ハッシュバケットはグローバルに共有されるため（意味的に無関係なトークン間での衝突の可能性があるため）、モデルはコンテキスト依存の組成ゲートを採用しています。このモジュールは、個々のハッシュ埋め込みを統一された高密度な潜在ベクトルへと圧縮します。これは、各バケットの寄与度を決定するためのソフトマックス正規化を用いたフィードフォワード・ボトルネックネットワークを使用し、続いてリニアアダプターを用いて、結合された表現をバックボーンの潜在空間へと投影します。

2. シーケンス処理バックボーン (Sequence Processing Backbone):

   • 圧縮された潜在ベクトルは、標準的なTransformerデコーラー層のスタック（Qwen3アーキテクチャに基づく）を通過し、文脈化された表現を生成します。

3. ハッシュデコーダー (Hash Decoder):

   • カスケード予測器 (Cascaded Predictor): 次のトークンを再構成するために、モデルは単一のトークンIDを予測するのではなく、次のトークンのマルチIDシグネチャを自己回帰的に再構成します。これは、構造化された反復的な誤り訂正システムを介して行われます。
   • デコーダーは、バックボーンの最終隠れ状態を用いて予測ループを初期化します。その後、ハッシュシグネチャの各座標（$H_1, H_2, \dots, H_H$）を逐次的に予測していきます。
   • ソフト埋め込み検索 (Soft Embedding Retrieval): カスケード中の微分可能性を維持するため、モデルは中間ステップにおいてハードな離散インデックスではなく、「ソフトバケット埋め込み」（ログット確率によって重み付けされた埋め込み行列の期待値）を計算します。
   • 状態更新 (State Update): 再帰的なカスケードミキサーは、現在の状態を検索されたソフト埋め込みと結合し、ジョイント表現をボトルネック層に通すことで、後続のハッシュ座標の予測に情報を与えながら、内部状態を更新します。

4. 確率モデリング (Probability Modeling):

   • 学習: モデルは独立した座標確率の積（$\prod P(H_i(w) | \cdot)$）を最適化します。これにより、最適化を簡素化するために、実際の語彙エントリにマッピングされない座標の組み合わせに対しても予測を行うことが可能になります。
   • 推論: 有効な生成を保証するために、モデルは推論時に未割り当てのシグネチャを明示的に除外し、真のトークン語彙（$V_{actl}$）に対して厳密に確率分布を再正規化します。

主な貢献

• 初のハッシュベース因果的LM: MultiHashFormerは、マルチIDシグネチャ生成を通じてトークンの衝突を防ぐことにより、因果的言語モデリングをサポートする初のフレームワークです。
• パラメータ効率とパフォーマンス: 本モデルは、100M、1B、3Bのパラメータスケールにおいて、10のベンチマークで標準的なTransformer LMを一貫して上回っています。これは、語彙をパラメータ行列から切り離すことが、単に標準的なモデルに層を追加することよりも効果的であることを示しています。
• パラメータなしでの語彙拡張: このフレームワークは、パラメータ数や構造的変更を増やすことなく、シームレスな語彙拡張（例：32Kから48Kへの拡張）を可能にします。モデルは、新しいユニークな仮想シグネチャを登録することで、多言語拡張を処理します。
• 希少語表現の向上: 共有バケットメカニズムは、Card-660データセットにおける人間によるアノテーションとの高い相関によって証明されているように、希少語の表現を改善します。

結果

• コア能力: 1Bおよび3Bスケールにおいて、MultiHashFormer（特にH4B16K構成）は、LAMBADA（言語モデリング）やHellaSwag（物語的論理）における大幅な向上を含む、11のタスクのうち9つのタスクで標準的なベースラインを上回りました。
• パラメータの一致: 同等のパラメータ数を持つベースライン（あるいは、総パラメータ数を合わせるために層を追加したベースライン）と比較した場合でも、MultiHashFormerのバリアントは、大部分のタスクで優れた性能を達成しました。
• 語彙拡張: 語彙を32Kから48Kへ拡張する継続事前学習実験において、MultiHashFormerは、標準的なベースラインが必要とする約3,100万の追加パラメータを必要とすることなく、多言語タスクにおける性能を維持または向上させました。
• 希少語: MultiHashFormerは、特に第2次デコーラー層の隠れ状態を分析した際、標準的なモデルと比較して、希少語ペアに対する人間による類似度スコアとの高いピアソンおよびスピアマン相関を示しました。

意義と主張

論文は、MultiHashFormerがデコーダーベースのLMにおける従来の語彙のボトルネックを正常に回避したと主張しています。線形埋め込み行列をモジュール式のハッシングインターフェースに置き換えることで、モデルは理論的な限界（例：数千兆のシグネチャ）まで語彙容量をスケールさせつつ、厳密に劣線形なパラメータフットプリントを実現しています。著者らは、このアプローチが、以前はハッシュをエンコーダーのみのモデルに限定させていた制限であった、生成設定におけるトークン衝突の曖昧さを解決すると主張しています。さらに、このフレームワークは実用的な多言語適応のソリューションを提供し、埋め込み行列の拡張に伴う計算コストやメモリコストなしに、新しい言語やトークンを統合することを可能にします。結果は、ハッシュエンコーダーとデコーダーによって提供される帰納バイアスが堅牢であり、それがランダムサンプリングの分散ではなく、アーキテクチャ自体に由来することを示唆しています。