💬 NLP

Sequence Repetition Enhances Token Embeddings and Improves Sequence Labeling with Decoder-only Language Models

本論文は、シーケンスの反復が、因果マスク除去に代わるより侵襲性の低い選択肢として、デコーダーのみの言語モデルがシーケンスラベル付けタスクにおいて双方向のコンテキストを活用することを効果的に可能にし、中間層の表現を用いることで効率性を維持しつつ、エンコーダーのみのモデルやマスク解除されていないデコーダーの両方と比較して優れたトークン埋め込みと性能をもたらすことを実証するものである。

原著者： Matija Luka Kukić, Marko Čuljak, David Dukić, Martin Tutek, Jan Šnajder

公開日 2026-01-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Matija Luka Kukić, Marko Čuljak, David Dukić, Martin Tutek, Jan Šnajder

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文の解説を、簡単な言葉と日常的な比喩を用いて説明します。

大きな問題：「一方通行」対「双方向」

文章を理解しようとしている場面を想像してください。

エンコーダーのみのモデル（BERTなど）は、本を読んでいる人が前にも後ろにも視線を送れる状態に似ています。特定の単語の意味を理解するために、その単語の前の単語と後の単語の両方を見ることができます。これは、すべての単語にラベルを付ける必要があるタスク（人名や地名を見つけるなど）において非常に優れています。
デコーダーのみのモデル（チャットボットを動かしているものなど）は、本を読んでいる人が前方のみを見ることが許されている状態に似ています。彼らは現在の単語の「後」にあるものしか見ることができません。これらは次の単語を予測するために作られており、文章全体を一度に分析するためのものではありません。

この「一方通行」という制限があるため、デコーダーのみのモデルは、歴史的に、文章内のすべての単語にラベルを付けるという作業において、「双方向」モデルよりも劣っていました。

旧来の解決策：ルールを壊す

これを修正するために、研究者たちは「大型ハンマー」のような力技を試みました。それは、モデルが後ろを見るのを防いでいるルールを、物理的に取り除くという方法です。彼らはモデルの内部構造を変更することで、「一方通行」を「双方向」へと作り変えました。

デメリット： これは、車をバックさせるために、エンジンの設計自体を作り直すようなものです。非常に複雑で侵入的であり、多大な再設計を必要とします。

新しい解決策：「シーケンス反復」（エコーチェンバー）

この論文の著者たちは、もっとシンプルで「道具を必要としない」トリックを発見しました。モデルのエンジンを作り変える代わりに、モデルに投入する前に文章を繰り返すだけなのです。

比喩：
あなたが次のような文章の中の「Bank」という単語を理解しようとしているとします。"I went to the river bank."（私は川の堤防へ行った）

通常のデコーダー： 「I went to the river...」までを見て、それより前にある情報に基づいて「bank」を推測しなければなりません。そのため、「銀行（money bank）」と勘違いしてしまうかもしれません。
シーケンス反復： あなたはモデルにこう入力します。"I went to the river bank. I went to the river bank. I went to the river bank."

モデルが文章の「2回目」または「3回目」のコピーを処理しているとき、モデルは前のコピーですでに「river」という単語を「見て」います。たとえモデルが技術的には依然として「前方のみ」を見ることしか許されていなくても、この反復によって、モデルは文脈全体を把握できるのです。これは、文章の終わりを読んでいる間に、エコー（残響）によって文章の始まりを聞き取ることができるようなものです。

彼らが発見したこと

1. 反復が多いほど、理解が深まる
これまでの研究では、文章を一度繰り返すだけで十分であり、それ以上繰り返しても効果はないと示唆されていました。しかし、著者たちは単語レベルのタスクにおいてはその逆であることを発見しました。

発見： 文章を2回、4回、あるいは8回と繰り返すことで、実際にモデルの単語ラベル付け能力は向上しました。
理由： 反復ごとに、モデルには情報を処理するための「もう一つのチャンス」が与えられます。これは、難しい段落を3回読み返すようなものです。3回目を読むとき、あなたは細かなニュアンスをより深く理解できているはずです。

2. 「双方向」モデルを凌駕する
驚くべきことに、この反復トリックをデコーダーのみのモデルに使用したところ、従来の「双方向」モデル（エンコーダー）よりも、さらには「後ろを見るルール」を手動で削除したモデルよりも、高い性能を発揮しました。

結果： テキストを繰り返すというシンプルなトリックが、複雑なアーキテクチャの変更よりも優れた結果を出したのです。

3. 「早期終了（Early Exit）」のトリック（時間とコストの節約）
テキストを繰り返すと入力が長くなるため、コンピュータの動作が遅くなり、実行コストも高くなります。

解決策： 著者たちは、モデルが優れた回答を得るために、繰り返されたテキストの「すべて」を最後まで読み切る必要はないことを発見しました。モデルの層（レイヤー）の途中で処理を止める（「早期終了」）ことで、高い品質を維持できることが分かりました。
比喩： これは、あるプロット（展開）を理解するために本を読むようなものです。必ずしも最終ページまで読む必要はありません。中盤まで読めば、大まかな内容は十分に理解できることがあります。そうすることで、時間も節約できます。
メリット： フルモデルと同じ高いパフォーマンスを維持しながら、早期終了を用いることで、計算を1.4倍速く（場合によっては4倍速く）行うことができました。

まとめとしての教訓

この論文は、デコーダーのみの言語モデルを、単語のラベル付けが得意なモデルにするために、モデルを再構築する必要はないということを証明しています。ただ、入力テキストを繰り返すだけでよいのです。

シンプル： モデルの「脳」のコードを変更する必要はありません。
効果的： 実在の双方向モデルよりも優れた、「擬似的な」双方向の道を創り出します。
効率的： 早期終了を利用することで、高速かつ低コストに保つことができます。

著者たちは、「反復」というこのシンプルな手法が、複雑なエンジニアリングを必要とせずに、現代のAIモデルをより多才にする強力で実用的なツールであると結論付けています。

技術要約：シーケンス反復によるトークン埋め込みの強化とデコーダーのみの言語モデルにおけるシーケンスラベル付けの向上

問題提起
現代のデコーダーのみの（decoder-only）大規模言語モデル（LLM）は、因果的マスク（causal mask）を介してシーケンスの接頭辞（prefix）のみを条件として、自己回帰的に学習されます。この単方向アーキテクチャは、個々のトークンにラベルを割り当てるために双方向のコンテキストを本質的に必要とするシーケンスラベル付け（SL）タスク（例：命名エンティティ認識、スロットラベル付け）とは対照的です。歴史的に、SLは双方向のアテンションをネイティブにサポートするエンコーダーのみのモデル（例：BERT、RoBERTa）に依存してきました。デコーダーのみのモデルは優れたスケーリング能力を示していますが、それらをSLに適応させるには、因果的マスク（CM）を完全に、あるいは選択的に除去するといった、侵襲的なアーキテクチャ変更を必要とするのが一般的です。これらの修正はベースモデルの機能を変化させ、大幅な再設計を強いることになります。さらに、入力シーケンスの反復（SR）はシーケンスレベルの表現を向上させるために探索されてきましたが、トークンレベルの埋め込みやSLの性能に対するその有効性は、未だ十分に解明されていません。

手法
著者らは、デコーダーのみのモデルのコアアーキテクチャを変更することなく、双方向性を実現するための非侵襲的な代替案として、**シーケンス反復（Sequence Repetition: SR）**を提案しています。

メカニズム: 入力シーケンス $s$ を $r$ 回繰り返して、長さ $k \cdot n$ の新しいシーケンス $s_k$ を形成します（ここで $k = r+1$ ）。因果的マスクにより、後の反復のトークンは、前の反復のすべてのトークンにアテンションを向けることができます。アテンション重み行列の理論的分析によれば、 $k$ が増加するにつれて、完全な双方向アテンションブロックの割合が1に近づき、モデルがフルコンテキストでトークンを処理することを実質的に可能にします。
実験設定: 本研究では、7つのデコーダーのみのモデル（Gemma-7B, Gemma2-2B/9B, Qwen3-1.7B/4B/8B, Mistral-7B）と4つのSLデータセット（CoNLU03, SemEval-2014 Rest14, NLU++, ACE05）にわたってSRを評価しています。
ベースライン: 性能は以下のものと比較されます：
1. マスクド・デコーダー（Masked Decoder）: 反復なし（ $r=0$ ）での標準的なファインチューニング。
2. フル・アンマスキング（Full Unmasking）: 因果的マスクを完全に除去。
3. ミドル・アンマスキング（Middle Unmasking）: 中間の $N/3$ レイヤーからのみ因果的マスクを除去（パラメータ効率の高い適応戦略）。
4. エンコーダーのみのモデル: RoBERTaおよびModernBERT。
効率化戦略: シーケンス長の増加に伴う計算コストを軽減するため、著者らは**早期終了（Early Exiting）**を採用し、最終レイヤーではなく中間レイヤー（ $L \in \{9, 14, 19, 24\}$ ）から埋め込みを抽出しています。

主な貢献

トークンレベルのタスクにおけるSRの有効性: 本論文は、SRがデコーダーのみのモデルにおいて双方向性を本質的に可能にする、シンプルかつ実用的な戦略であることを示しています。SRは、複数のSLベンチマークにおいて、強力なエンコーダーのみのモデルやアンマスキングされたデコーダーを凌駕するトークンレベルの埋め込みを実現します。
複数回の反復による恩恵: シーケンスレベルのタスクにおいて、追加の反復が収穫逓減や性能低下をもたらすという従来の知見に反し、本研究では、反復回数（ $r > 1$ ）を増やすことが一貫してSLの性能を向上させることを発見しました。著者らは、追加の反復が各トークンに対するモデルの実効的な処理容量を増加させると仮定しています。
早期終了による効率化: 中間レイヤー（具体的には32層モデルにおけるレイヤー19および24）から埋め込みを抽出する手法を組み合わせることで、最終レイヤーの埋め込みと同等の性能を達成しつつ、計算オーバーヘッドを大幅に削減（最大 $1.39\times$ の効率化）できることを示しています。

結果

性能向上: SRモデルは一貫して最高のMicro F1スコアを達成しています。例えば、Mistral-7BのSR（ $r=4$ ）は平均スコア83.79%を達成し、ミドル・アンマスキング（83.35%）およびフル・アンマスキング（83.34%）を上回りました。また、SRはエンコーダーのみのベースライン（RoBERTa: 78.53%, ModernBERT: 76.08%）をも上回りました。
反復回数: 性能は一般に、 $r$ が0から4または8に増加するにつれて向上します。小規模なモデル（例：Gemma2-2B）は $r=2$ または $r=4$ の後に性能の飽和やわずかな低下を示しましたが、大規模なモデル（例：Mistral-7B, Qwen3-8B）は高い反復回数の恩恵を受け続けました。
安定性: SRは平均性能を向上させただけでなく、アンマスキング戦略と比較して結果の分散（標準偏差）を減少させました。
早期終了: レイヤー $L=14$ 以上の埋め込みは、いくつかのケースで最終レイヤー（ $L=32$ ）の性能に匹敵するか、それを上回っており、品質を損なうことなく効率化のために中間レイヤーを使用できることを検証しました。
モデルサイズ: SRを用いて訓練された小型のデコーダーのみのモデル（例：早期終了を用いたQwen3-0.34B）であっても、0.35BパラメータのRoBERTaと同等かそれ以上の性能を発揮しており、SRが小型のデコーダーを特化したエンコーダーと競わせることを可能にしていることを示唆しています。

意義と主張
本論文は、シーケンス反復がデコーダーのみのモデルの構造的な制限を緩和し、アーキテクチャの変更なしに、本質的に双方向的なトークンレベルのタスクにおいて効果的に機能させることを主張しています。著者らは、SRを因果的マスク除去よりも効率的で適応性の高い代替案として位置づけ、これまでエンコーダーが支配してきたタスクへのデコーダーのみのLMの適用範囲を広げています。これらの知見は、中間レイヤーがダウンストリームタスクにおいて極めて重要であること、および反復回数を増やすことが性能を低下させるのではなく処理容量を高める可能性があることを強調しており、LMにおける反復に関する従来の仮説に異を唱えるものです。本研究は、特に早期終了戦略と組み合わせた場合、SRが良好な品質・効率のトレードオフを提供することを示唆しています。