技術要約: ReconSpan: 再構成ガイド型適応的潜在トークン化

問題提起

従来の言語モデルは、実行前にコーパス全体の出現頻度統計に基づいてサブワードの境界を決定する固定されたサブワードトークナイザー（例：BPE、WordPiece）に依存しています。この固定された粒度は、入力の内容や難易度に適応できないため、微細な情報の表現が非効率になったり、不必要なシーケンス長を招いたりする可能性があります。バイト単位や文字単位の入力は微細な詳細を保持しますが、結果としてシーケンスが大幅に長くなり、計算コストが増大します。適応的な潜在トークン化（Adaptive latent tokenization）は、隣接するユニットを入力依存のスパンスパン（区間）にグループ化し、各スパンを単一の連続的な潜在トークンで表現することを目指しています。しかし、既存の手法によるスパン境界の決定は、固定された位置、予測エントロピー、あるいは言語モデルの目的関数の一部として学習されたルーターに依存することが多く、結果として得られる潜在表現が元のテキストを再構成するのに十分であることを保証する直接的なメカニズムを欠いています。

手法

本論文では、再構成の忠実度（reconstruction fidelity）に基づいてテキストをチャンクに分割する適応的潜在トークン化手法であるReconSpanを導入します。その核心となる前提は、チャンクは、後方デコーダが単一の文脈的プレフィックスコードから正常に再構成できる長さであるべきだという点です。

アーキテクチャ

ReconSpanは、以下の2つの学習されたコンポーネントを利用します：

1. プレフィックス・エンコーダ ($E$): 任意のトークンシーケンス $x_{1:t}$ を単一の連続的なコード $c_t$ にマッピングする因果的モデル（例：Transformer）。
2. 後方デコーダ ($D$): コード $c_t$ を受け取り、直前のトークンを逆順（$x_t, x_{t-1}, \dots$）に再構成しようとするモデル。

後方デコーダの使用は極めて重要です。デコーダが正しいトークンの予測に最初に失敗する地点が、その単一のコードがどれだけ「遡れるか」を測る直接的な指標となります。

チャンキング・アルゴリズム

トークン化プロセスは、推論時に貪欲な教師強制（teacher-forced）アルゴリズムを用いて行われます：

1. エンコーダは、入力シーケンス全体に対して単一のパスでプレフィックスコードを生成します。
2. 最終位置から開始して、後方デコーダはトークンを逆順に再構成することを試みます。
3. プロセスは、停止ルールがトリガーされるまで継続されます。論文では2種類の停止ルールを定義しています：
   • Failure($m$): $m$ 番目のトークンが誤って再構成されたときに停止する。
   • Logit-gap($\tau$): 正解のトークンの予測ロジットと最大ロジットとの累積ギャップが閾値 $\tau$ を超えたときに停止する。
4. 正常に再構成されたサフィックス（接尾辞）がチャンクとなります。そのチャンクの終端境界に対応するプレフィックスコードが、そのチャンクの潜在トークンとして保持されます。
5. プロセスは、未再構成の最初の位置から再び開始され、テキスト全体がカバーされるまで繰り返されます。

学習

モデルは、オートエンコーダ再構成目的関数のみを用いて学習されます。エンコーダとデコーダは共同で学習されます（凍結されたエンコーダの事前学習を含む2段階のプロセスを経ます）。スパンの割り当ては、長さの目的関数によって明示的にターゲットにされるのではなく、デコーダの再構成能力から創発します。これにより、モデルの再学習を行うことなく、停止ルールの閾値を調整するだけで、事後的に粒度の制御が可能になります。

主な貢献

1. 割り当て基準としての再構成の忠実度: 本論文は、固定された位置、エントロピー、または意味的類似性とは異なり、後方再構成の到達範囲を適応的なトークン境界を決定するための主要な信号として用いることを提案しています。
2. 事後的な粒度制御: 著者は、学習済みの単一のオートエンコーダが、停止基準を緩和することで、平均チャンク長（6.5から12.2トークンの範囲）を変化させられることを示しており、シーケンス長と再構成品質の間の柔軟なトレードオフを提供しています。
3. 潜在情報の特性評価: 直接的な読み出し実験を通じて、論文はオートエンコーダによって保持される情報と、ダウンストリームのリーダー（読者）がアクセス可能な情報とを分離しています。

結果

トークン化の特性

• 再構成の質: ReconSpanの境界は、ネイティブな再構成タスクにおいて、長さが一致するランダムな境界よりも優れた性能を示しました。例えば、WikiTextにおいて、平均チャンク長6.5のReconSpanは、ランダムな境界を用いた場合のパープレキシティ20.03に対し、15.95を達成しました。
• 適応的なスパン割り当て: この手法は可変的なチャンク長を生み出し、困難なスパンには短いチャンクを、容易なスパンには長いチャンクを割り当てます。ただし、厳格なルール（Failure(1)）の下では、チャンクの相当部分が単一トークンであり（チャンクの28.1%がこれに該当し、テキストの4.3%しかカバーしていない）、これは著者が後方デコーディング・プロセスの機械的なアーティファクトであると指摘している点です。
• 意味的幾何学: 生の潜在コードは強い意味的クラスタリングを示さず（SONARと比較してMTEBベンチマークでの性能が低い）、これらのコードは意味的類似性ではなく再構成のために最適化されていることを示唆しています。

ダウンストリームの読み出し

• トピック vs 詳細: 潜在トークンからテキストを直接予測するように訓練されたダウンストリーム言語モデル（リーダー）は、トピック情報（例：生のテキストに匹敵するAG Newsの分類精度）を確実に回復できますが、正確な語彙の詳細（例：LAMBADAの単語予測がラウンドトリップ再構成のベースラインを大きく下回る）を抽出することには苦戦します。
• タスクへの適応: 特定のタスクに対してリーダーを教師あり微調整（SFT）すると、直接的な読み出しとネイティブな再構成との間のギャップが縮まり、特にHotpotQAのような検索タスクにおいて顕著になります。ただし、正確な詳細の抽出という制限は依然として残ります。
• 堅牢性: ある粒度（例：Failure(1)）で訓練されたリーダーは、再学習なしに、より粗い粒度（例：Failure(2)）で評価した場合でも機能し続けます。

重要性と主張

本論文は、ReconSpanが、適応的な潜在トークン化のための実行可能かつ制御可能な基準として、再構成の忠実度を確立したと主張しています。その主な意義は以下の通りです：

• 単一のオートエンコーダが、一致するシーケンス長において、ランダムな境界よりも多くのテキストを保持する可変長の潜在トークンを生成できることを示したこと。
• オートエンコーダによって保持される情報（高品質な再構成に十分な情報）と、ダウンストリームのリーダーがアクセス可能な情報（意味については強いが、正確な詳細については弱い情報）との間のギャップを浮き彫りにしたこと。
• コアモデルを再学習することなく、入力依存の割り当てと、トークンの粒度の事後的な制御を実現するメカニズムを提供したこと。

著者は現在の限界についても謙虚に述べており、「正確な詳細の読み出し」が現在のシステムの中心的な制限であること、また、境界がさらなる調査なしには言語構造（統語論や談話）と必ずしも一致しないことを認めています。この研究は、入力内容の難易度に基づいて表現容量を動的に割り当てる方法を理解するためのステップとして提示されています。