技術的サマリー：ロバストな長さ制御のための進行度埋め込み

1. 問題定義

現代のニューラル言語モデル（LM）はテキスト生成において高い精度を達成しているが、生成長さの精密な制御は未発達なままとなっている。現在の大規模言語モデル（LLM）は、確率的な停止基準（<EOS> トークンのサンプリング）に依存しており、これには透明性と明示的な制御の面で限界がある。指示追従型の LLM はプロンプトを通じて長さの好みを表現できるが、このアプローチは広範な汎用データで訓練された非常に大規模なモデルに限定される。

制限されたドメイン固有データセットで訓練された小規模言語モデル（SML）の場合、長さ制御はアーキテクチャ設計を通じて達成されなければならない。Reverse Positional Embeddings（RPE）などの最近の手法は、デコーダーに残りのトークン数を表す離散的なカウントダウン信号を供給することでこの問題に対処しようとしている。しかし、著者らは RPE が決定的な欠陥を抱えていることを実証している。すなわち、絶対的な残りのトークン数に紐付いた離散的なカウントに依存しているため、要求された目標長が訓練分布外（out-of-distribution）の長さとなった際に不安定となり、汎化性能が低下するという点である。

2. 手法：進行度埋め込み（PRE）

離散信号の限界を克服するため、著者らは三角関数に基づく「焦り（impatience）」シグナルに紐付いた連続的な埋め込み戦略である**進行度埋め込み（Progress Ratio Embeddings: PRE）**を導入する。

中核概念

残りのトークンに離散インデックスを使用する RPE と異なり、PRE は進行度比率 $r \in [0, 1]$ を定義する。ここで $r = t/l$ であり、$t$ は現在のステップ、$l$ は目標長である。この比率はデコーディングプロセスの進捗を定量化する。

三角関数による焦りシグナル

著者らは、メッセージの終わりを待ち望む聴衆に例えた「焦りシグナル」として生成の進捗をモデル化する。デジタル信号処理およびナイキスト・シャノンの定理に基づき、比率が 1 に近づくにつれて周波数が増加する正弦波成分を用いて進捗を符号化する埋め込み関数 $\xi(r)$ を設計する。

埋め込みは以下のように構成される：
$$\xi(r)_j = \begin{cases} \sin(\omega_r \cdot x_j) & \text{if } j \text{ is even} \\ \cos(\omega_r \cdot x_j) & \text{if } j \text{ is odd} \end{cases}$$
ここで：

• $\omega_r = r \times M$ は振動数（周波数）であり、進行度比率 $r$ に比例して線形にスケーリングされる。
• $M$ はハイパーパラメータ（実際には $d_{model}/2$ に設定される）であり、周波数の増加をスケーリングする。
• $x_j$ は次元インデックスから導出された独立変数である。

この設計により、埋め込み空間は連続かつ滑らかとなり、モデルは訓練中に観測された比率と推論時に遭遇する比率の間で補間を行うことが可能になる。

統合と訓練

• アーキテクチャ: PRE は、トークン埋め込みおよび位置埋め込み alongside 標準的な Transformer デコーダー入力に注入される：$X_t = E_t + P_t + \xi(r_t)$。
• 訓練目的: モデルは標準的な交差エントロピー損失を用いた最尤推定（MLE）でファインチューニングされる。
• 正則化: 汎化性能を向上させるため、訓練中に進行度比率 $r$ にガウスノイズが注入される（$r = \text{Clip}(r + \delta; 0, 1)$）。これにより、モデルは離散的な目標ではなく、連続的な値のスペクトルに曝される。
• 飽和: 生成されたシーケンスが目標長に達するかそれを超えると、比率は 1 でクリップされ、焦りシグナルが飽和してさらなる生成を抑制する。

3. 主要な貢献

本論文は以下の 3 つの主要な貢献を提示する：

1. 新規戦略: 完了の進捗に応じてデコーディングを調節する連続的な「焦り」シグナルに基づく長さ制御メカニズムである進行度埋め込み（PRE）の提案。
2. RPE の分析: 古典的なエンコーダー - デコーダーアーキテクチャにおける Reverse Positional Embeddings（RPE）手法の再現と適応、およびその強み（訓練分布内では効果的）と弱み（分布外の長さへの汎化に失敗）の詳細な分析。
3. 実証的検証: 要約および質問生成タスク全体で検証された、テキスト品質を低下させることなく未見の目標長に対する長さ制御の PRE による汎化の実証。

4. 実験結果

著者らは、CNN/DailyMail、XSum（ニュース要約）、SQuAD（質問生成）の 3 つのデータセットにおいて、BART-L（4 億パラメータ）エンコーダー - デコーダーモデル上で PRE を評価した。

長さ制御性能

• 平均絶対誤差（MAE）: PRE は、ベースライン（制御なし）および RPE 手法の両方を大幅に上回る。
  • CNN/DailyMailにおいて、PRE は MAE 0.5 ± 0.3 を達成し、RPE の 1.6、ベースラインの 19.2 と比較して優れていた。
  • XSumにおいて、PRE は MAE 0.1 ± 0.2 を達成し、RPE の 0.7 と比較して優れていた。
  • SQuADにおいて、PRE は MAE 0.0 ± 0.1 を達成し、RPE の 0.8 と比較して優れていた。
• 分布外汎化: 目標長が 300 トークンを超えると RPE の性能は著しく低下し（550-600 トークンの長さで外れ値率が 50% 超に上昇する）、PRE はロバストな制御を維持する。例えば、CNN/DailyMail の 550-600 トークンバケットにおいて、RPE の外れ値率は 50.1% であったのに対し、PRE はわずか 5.4% であった。

テキスト品質

• ROUGE および BERTScore: PRE はベースラインと比較してテキスト品質指標を維持、あるいはわずかに向上させる。
  • CNN/DailyMailにおいて、PRE は ROUGE-1 45.3 および BERTScore 69.8 を達成し、RPE（44.5、69.4）およびベースライン（44.2、69.7）を上回った。
  • SQuADにおいて、PRE は BLEU スコア 18.6 を達成し、RPE（16.4）およびベースライン（16.7）を上回った。

5. 意義と主張

本論文は、PRE がニューラルテキスト生成における制御のためのロバストで長さ不変なメカニズムを提供すると主張している。その主な意義は以下の点にある：

• 訓練を超えた汎化: 訓練長さの離散分布に紐付いた RPE と異なり、PRE の連続的な表現により、任意の未見の目標長を効果的に処理できる。
• 品質の維持: 生成されたテキストの関連性、情報量、流暢さを犠牲にすることなく、精密な長さ制御を達成する。
• 適用性: 標準的なエンコーダー - デコーダーアーキテクチャを用いて、抽象的要約および質問生成タスクの両方で効果的に機能することが実証された。

著者らは、PRE が生成プロセスに対する微細な制御への新たな方向性を開き、より漸進的な要約を可能にし、説明可能性を向上させる可能性があると結論づけている。同時に、将来の研究では、デコーダーのみのモデルや思考連鎖（chain-of-thought）推論におけるその応用を探求できることに言及している。