AlignAtt4LLM: Fast AlignAtt for Decoder-Only LLMs at IWSLT 2026 Simultaneous Speech Translation Task

技術要約: AlignAtt4LLM

問題提起
本論文は、オフラインのデコーダーのみの（decoder-only）大規模言語モデル（LLM）を、同時音声翻訳（SST）へと適応させる際の課題に対処している。従来のAlignAtt（Papi et al., 2023, 2024）のような同時実行ポリシーは、ソースの接頭辞（prefix）がターゲットのトークンを生成するのに十分であるかどうかを判断するために、エンコーダー・デコーダー間のクロスアテンションに依存している。しかし、デコーダーのみのLLMは、ソースとターゲットのテキストを単一の因果的自己アテンション（causal self-attention）ストリーム内で処理するため、このような明示的なクロスアテンション機構を欠いている。その結果、標準的なAlignAttをデコーダーのみのモデルに直接適用することは不可能である。さらに、LocalAgreementのようなデコーダーのみのモデル向けの既存の同時実行ポリシーは、しば-しば高いレイテンシを導入し、モデル内部のアテンション信号を活用できていない。著者らは、高品質なオフラインのデコーダーのみのLLMを、特定の言語方向のために再学習することなく、低レイテンシの同時実行モードで動作させることで、このギャップを埋めることを目的としている。

手法
提案されているシステムであるAlignAtt4LLMは、以下の2つの主要コンポーネントからなる同期カスケードである：

1. ASRコンポーネント: Qwen3-ASR (1.7B) を用いて文字起こしを行い、Qwen3-ForcedAligner (0.6B) を用いて単語レベルの開始時刻と終了時刻を割り当てる。システムはチャンクベースで動作し、仮説を安定させるために、各チャンク境界でライブオーディオの末尾（tail）を再文字起こしする。

2. MTコンポーネント: vLLMを介して提供されるGemma-4 E4B-itを使用する。核心となる革新は、4つの具体的な技術的メカニズムを通じて、AlignAttポリシーをこのデコーダーのみのアーキテクチャに適応させた点にある：

   • プロンプト内での明示的なソーススパン: デコーダーのみのモデルにはクロスアテンションがないため、著者らは因果的プロンプトを構造化し、ソースのトランスクリプトとターゲットの履歴を明示的に分離している。プロンプトは、システムプロンプト、ライブ・ソース・トランスクリプト ($s^{(k)}$)、翻訳指示、受理されたターゲット接頭辞 ($y_{1:m_k}$)、および現在のドラフト ($\hat{y}^{(k)}$) を連結する。これにより、ポリシーは自己アテンション行列内のソーススパンを特定することが可能になる。
   • 翻訳特化型ヘッドのオフライン選択: すべての自己アテンション・ヘッドが翻訳のアライメントに寄与するわけではない。Liu et al. (2026) に従い、著者らは保持された並列テキストとGPT-5-miniのアライメントを用いて、Translation Score (TS) を通じてヘッドをスコアリングするオフライン・キャリブレーションを行う。これにより、バックボーンの後続レイヤーに集中している上位8つのヘッドを保持する。
   • 選択的な $qk$-fast リプレイ: デプロイされたvLLMランタイムはアテンション・カーネルを融合（fuse）しており、完全な $n \times n$ アテンション行列を隠蔽している。必要なアライメント信号にアクセスするために、著者らは正規化と回転位置エンコーディング（RoPE）の後にアテンションモジュールによって消費される正確なクエリ（$Q$）およびキー（$K$）テンソルを捕捉するランタイム・オブザーバーを実装した。フルアテンション行列を再構築する代わりに、システムはドラフト・トークンとソーススパンの間の特定のアテンション・スコアのブロック ($\hat{A}_{D, S^{(k)}}$) のみを再計算する「選択的 $qk$-fast」リプレイを実行する。これにより、パッチ適用前のモデルとビット単位で同一の出力を保証しつつ、フルアテンション再構成の計算コストを回避できる。
   • ランタイムにおけるクエリ/キーの捕捉: オブザーバーがグラフ最適化（例：デッドコード削除）を生き残るように、アテンション出力にゼロ値のセンチネル依存関係を追加している。これにより、数値的な出力を変更することなく、捕捉パスをグラフのライブ・ファンイン（live fan-in）内に維持している。

受理ポリシー
ポリシーは、ドラフトされたトークンを左から右へとスキャンし、アライメント信号が「アクセス可能なソース・フロンティア（accessible source frontier）」内に留まっている限り、接頭辞を受理する。決定は以下に基づく：

1. ソース・フロンティア・チェック: 再構成されたアテンション行のargmaxが、アクセス可能なソース単語数にマージン ($b=1$) を加えた値を超えないこと。
2. プロベナンス・マス（Provenance Mass）: アクセス可能なソース・トークンに向けられたアテンション・マスの総和 ($\pi^{acc}_t$) を計算する。
3. 安定化: システムはオンライン・プレフィックス統計（Welford）とメディアン・フィルタを適用し、決定を下す前にアライメントのピークを安定させる。

主な貢献

1. デコーダーのみのLLMへのAlignAttの初の適用: 本論文は、自己アテンションからアライメント信号を回収することにより、AlignAttがデコーダーのみのアーキテクチャに正常に適応できることを実証している。
2. ランタイム互換の実装: 著者らは、モデルの重みを変更したり、フルアテンション行列を実体化させたりすることなく、プロダクショングレードの融合カーネル環境（vLLM）において、アテンション信号を捕捉しリプレイする方法を提案している。
3. 効率的なヘッド選択: 選択された疎なアテンション・ヘッドのセットが同時実行ポリシーを駆動するのに十分であることを示し、全ヘッドを使用する場合と比較して、リプレイ・プロセスの計算オーバーヘッドを大幅に削減できることを示した。

結果
IWSLT 2026 同時音声翻訳タスク（英語からドイツ語、イタリア語、中国語）で評価：

• パフォーマンス: AlignAtt4LLMは、英語からドイツ語および英語からイタリア語において、低レイテンシ（~2s CU-LongYAAL）および高レイテンシ（<4s）の両方のレジームで、提供されたコンテキストなしのベースラインを上回っている。
• 中国語翻訳: 英語から中国語の結果は混合している。chrFスコアは競争力があるものの、BLEUおよびXCOMET-XLスコアはベースラインがわずかに優勢である。著者らは、これを部分的にポリシー自体の問題ではなく、Gemma-4バックボーンの中国語に対する性能の弱さに起因すると考えている。
• レイテンシ vs 品質: システムは、大幅に改善された翻訳品質を提供する高レイテンシ・レジームを提供しつつ、安定した低レイテンシ動作点を実現している。
• 効率性: 8つのヘッドのみを用いた選択的リプレイは、エージェントな実装（63.7 ms/token）と比較して、最小限のオーバーヘッド（中央値 25.4 ms/token）しか発生せず、本アプローチの実用性を裏付けている。

意義と主張
本論文は、AlignAtt4LLMがAlignAttポリシーをデコーダーのみのLLMに適用することに成功した最初のシステムであると主張している。手法は特定のGemma-4モデルに縛られていない。なぜなら、ポリシーは決定的なプロンプト・レイアウト、キャリブレーションされたアテンション・ヘッド、およびクエリ/キーの捕捉のみに依存しているため、より強力な翻訳特化型のデコーダーのみのバックボーン（例：HY-MT-1.5, MiLMMT-46）に移植して、非欧州言語の性能を向上させる可能性がある。本研究は、アライメント信号を自己アテンションの基質から正しく抽出できれば、専用のトレーニングなしでも、高品質なオフラインモデルを効果的に同時翻訳用に転用できることを示している。