技術要約：Don't Repeat Yourself (DRY)

1. 問題提起

大規模言語モデル（LLM）は、**逐語的なループ（verbatim looping）**として知られる、文脈内に既に存在するテキストの断片を繰り返し生成し始めるという、十分に文書化された失敗モードに苦しんでいます。この問題は、ロングコンテキストのチャット、小規模なローカルデプロイモデル、および量子化推論の設定において特に顕限于あります。一度ループが始まると、モデルの自己回帰的な性質によって反復が強化され、数十から数百の冗長なトークンが生成されることがよくあります。

標準的な推論時の防御策には、乗算的な反復ペナルティ、加算的な存在（presence）および頻度（frequency）ペナルティ、そしてハードな no-repeat n-gram ブロッキングが含まれます。しかし、これらの手法はループの逐次的構造ではなく、トークンの再帰性に基づいて動作します。その結果、それらはトークンが以前に出現したという理由だけでペナルティを課してしまい、その再利用が構造的に必要な場合（例：チャットテンプレートにおける改行、話者ラベル、またはフォーマットマーカー）でも同様です。これにより、ペナルティを強めればループは抑制されるもののフォーマットや流暢さが損なわれ、弱めれば流暢さは維持されるもののループの制御に失敗するというトレードオフが生じます。

2. 手法：Don't Repeat Yourself (DRY)

本論文では、反復制御をトークンの再帰性からサフィックス（接尾辞）の継続へと再定義する、サンプリング時のロジット調整であるDRYを提案しています。

コアメカニズム

DRYは、候補となるトークン $v$ が、現在のコンテキストのサフィックスを、コンテキスト内の他の場所ですでに発生しているシーケンスへと拡張することになる場合にのみ、そのトークンにペナルティを課します。

• 選択的な介入: アルゴリズムは、現在のコンテキストの最長サフィックスのうち、以前の範囲と一致するものを特定します。もし候補となるトークン $v$ がこの一致を拡張する場合、ペナルティが適用されます。
• 指数関数的ペナルティ: ペナルティは、設定可能な閾値 ($L$) を超えて、一致するスパンの長さ ($n$) に対して指数関数的に増加します。ロジット調整は次のように定義されます：
  $$z'(v) = z(v) - \lambda \beta^{n-L}$$
  ここで、$\lambda$ は乗数、$\beta$ は底です。閾値付近の短い一致には緩やかな押し下げが行われますが、長い一致はハードブロッキングを行うことなく効果的に抑制されます。
• シーケンスブレーカー（区切りトークン）: 「ブレーカー」となるトークンのセット（例：改行、コロン、引用符）は、構造的な境界でマッチングプロセスを停止させます。これにより、DRYが設計通りに繰り返されるフォーマットトークンに対してペナルティを課すことを防ぎ、チャットテンプレートや構造化された出力を維持します。

主な特性

• 選択性: ほとんどのデコーディングステップにおいて、大多数の候補トークンは以前に見られたサフィックスを拡張しないため、確率分布は変化しません。
• 構造の保持: シーケンスブレーカーを使用することで、DRYは出力の多様性を平坦化してしまう標準的なペナルティに伴う副作用を回避します。
• 結合可能性: DRYは、標準的なデコーディング制御（温度、核サンプリング、反復ペナルティ）と安全にスタックするように設計されています。

3. 実験設計

評価は、1.5Bから120Bパラメータの範囲のモデル（Qwen 2.5およびLlama 3ファミリーを含む）に及び、ループ抑制、構造保持、および偽陽性制御をストレステストするために設計された9つの異なるプロンプトファミリーをカバーしています。

• ベースライン: 本研究では、DRYを、反復ペナルティ、存在ペナルティ、頻度ペナルティ、no-repeat n-gram ブロッキング、コントラスティブ・デコーディング、および介入一致型プラセボ（DRYと同じ割合で汎用的なロジットノイズを適用するが、サフィックスへの意識を持たないもの）を含む6つのベースラインと比較しています。
• 指標:
  • ループ指標: スパン長4におけるサフィックス拡張率（SER@4）、最大一致サフィックス長（MMSL）、およびループフリー生成長（LFL）。
  • 品質指標: Distinct-4（語彙の多様性）、MAUVE（人間によるテキストとの分布的類似性）、および能力スコア（MT-Bench、MMLU、GSM8k）。
• 人間による評価: Amazon Mechanical Turk でのブラインドA/Bテスト（600ペア）を行い、流暢さ、ループ回避、およびフォーマット保持を評価しました。

4. 主な結果

ループ抑制と多様性

• ループの減少: 16,566件の生成において、DRYは制御されていないベースラインと比較して SER@4 を 47% 減少させました。この減少は、ソフトなベースライン（例：反復ペナルティ）よりも大幅に大きく、品質の低下を伴わないハードな n-gram ブロッキングと同等です。
• 多様性の向上: 多様性を平坦化しがちな標準的なペナルティとは異なり、DRYは Distinct-4 を 0.958 から 0.975 へと向上させました。
• プラセボ制御: 介入一致型プラセボはループの有意な減少を生じさせず、サフィックス・マッチングが、汎用的なロジット摂動ではなく、作用しているメカニズムであることを確認しました。

構造と能力の保持

• フォーマット: 構造化されたフォーマットのプロンプトにおいて、DRYはフォーマットトークンを維持しながら、ループを強力に抑制します。シーケンスブレーカーを無効にすると、構造的トークンに対する偽陽性ペナルティ率が 23倍 に急増し、ブレーカーの必要性が検証されました。
• 推論ベンチマーク: フロンティア規模のモデル（Llama-3-70B-Instruct および GPT-OSS-120B）において、DRYはループ率を半減させつつ、MT-Bench、MMLU、および GSM8k のスコアを実行間の分散内で維持しました。対照的に、反復ペナルティや n-gram ブロッキングは、これらの能力スコアに測定可能な低下を引き起こしました。
• 人間の好み: MTurk の研究において、アノテーターはループ回避において制御されていないベースラインよりも DRY を（勝率 48%）、フォーマット保持において反復ペナルティよりも DRY を（勝率 64%）強く好みました。流暢さの有意な損失はありませんでした。

効率性

• オーバーヘッド: DRYは、128K コンテキスト長においても 3% 未満のレイテンシオーバーヘッドしか追加しません。そのリバースサーチアルゴリズムは、乗算的な反復ペナルティに必要なフル語彙パスよりも計算コストが低いです。

5. 意義と主張

本論文は、DRYが反復制御におけるパラダイムシフト、すなわちトークンレベルのペナルティからシーケンス認識型のサフィックス・マッチングへの移行を提示していると主張しています。その主な貢献は以下の通りです：

1. メカニズムの特定性: サフィックス・マッチングがループ抑制の決定的な要因であることを特定し、それを汎用的なノイズやトークンの再帰性と区別しました。
2. パレート最適性: DRYは、ループ抑制と出力の多様性の間のパレート境界に位置しており、ハードブロッキングや強力なペナルティ手法で見られる「副作用」（フォーマットや推論の劣化）なしに、高い抑制を実現しています。
3. スケーラビリティと堅牢性: この手法は、幅広いモデルサイズ（1.5Bから120B）、量子化レベル（4-bit AWQ）、およびトークナイザーファミリーにおいて有効です。
4. 実用的な採用: 本論文は、DRYがすでに主要なオープンソース推論フレームワーク（llama.cpp, ExLlamaV2, text-generation-webui）に統合されていることを強調しており、一般的な用途のチャットデプロイメントにおいて、デフォルトで有効にしておくことが安全であるという経験的な根拠を提供しています。

著者らは、DRYが、ハードな制約による抑制のメリットを捉えつつ、適切な場合にはトークンの繰り返しを許容する、段階的かつ選択的な代替手段を提供すると結論付けています。