技術要約：シーケンス・ラベリングのための近似構造化拡散モデル

問題提起

シーケンス・ラベリングは、入力文に対して各トークンにラベルを割り当てる（例：品詞タグ付け、命名エンティティ認識）という、自然言語処理（NLP）における基本的なタスクである。現代的なアプローチの多くは、ニューラルネットワークによってパラメータ化された線形鎖条件付き確率場（Linear-Chain CRF）を利用しているが、これらのモデルには固有の限界が存在する。標準的なCRFは、計算の実行可能性を確保するために相互作用を隣接するラベル（バイグラム）に制限することが一般的であり、これは長距離依存性のモデリングにおける表現力を制限する。一方で、拡散モデルは、無制限のコンテキストに基づいて生成を条件付けることで言語モデリングにおいて有望な成果を示しているが、シーケンス・ラベリングのような構造化予測タスクへの適用には課題がある。具体的には、CRFにおける厳密な推論（Viterbi法やForward-Backwardアルゴリズムなど）は計算コストが高く、並列化が困難であるため、拡散モデルに必要とされる反復的なサンプリングを行うには、時間がかかりすぎるという問題がある。

手法

著者らは、構造化予測と離散拡散を橋渡しする新しいフレームワークを提案し、ラベルシーケンス全体（具体的には、そのノイズ版のシーケンス）によって条件付けられたCRFを学習させる。

1. 離散拡散フレームワーク

本モデルは、シーケンス・ラベリングを、クリーンなラベルシーケンス $y_0$ が $T$ ステップにわたるフォワード拡散プロセス $q$ によってノイズを含むシーケンス $y_T$ へと変化していく生成タスクとして扱う。目標は、ノイズを含む入力 $s$ とノイズを含むシーケンス $y_t$ から、クリーンなシーケンス $y_0$（またはその期待値 $\hat{y}_0$）を予測するデノイザー $p_\theta$ を学習することである。

• フォワードプロセス: 各ステップ $t$ において、ラベルにノザ比 $\beta_t$ に従ってノイズが加えられ、最終的にすべての可能なラベルシーケンスに対する一様分布へと至る。
• デノイジングプロセス: モデルは、ノイズを含むシーケンス $y_t$ と入力文 $s$ が与えられたとき、クリーンなシーケンス $y_0$（またはその期待値 $\hat{y}_0$）を予測するように学習する。

2. CRFを用いた構造化デノイジング

本手法は、トークンを独立して予測する標準的な拡散モデルとは異なり、デノイザー $p_\theta$ をCRFを用いて実装している。

• 条件付け: CRFは入力文だけでなく、ノイズを含むラベルシーケンスにも条件付けられる。これにより、モデルは隣接するラベルへの嗜好性を維持しつつ、無制限のラベル間の相互作用を考慮することが可能になる。
• 近似推論: CRF分布からの厳密なサンプリングは計算コストが高く（ステップあたりの複雑度が $O(n)$）、並列化を妨げるため、著者らは**平均場（Mean-Field）**推論を用いてCRF分布を近似する。これにより、位置ごとの独立した計算が可能となり、構造的な利点を保持しながらユニグラムモデルの効率性を回収できる。
• 学習目的: モデルは、対数尤度の変分下限を最大化することによって学習される。損失関数には、真の事後分布（ゴールドシーケンスに条件付けられたもの）とモデルの事後分布（デノイズされたシーケンスに条件付けられたもの）の間のカルバック・ライブラー（KL）ダイバージェンスの最小化が含まれる。また、安定性を向上させるためにデノイジング損失（負の対数尤度）も追加される。

3. ニューラルアーキテクチャ

アーキテクチャは、デノイジングステップにDiffusion Transformer (Peebles and Xie, 2022) を採用している。

• 入力: ノイズを含むラベル埋め込み（学習可能なルックアップテーブルから取得）と、文脈的単語埋め込み（TransformerエンコーダまたはCharLSTMから取得）。
• コンテキスト: タイムステップ $t$ は埋め込まれ、正規化をガイドするために単語埋め込みと結合される。
• 出力: Transformerブロックはベクトルを出力し、それらはMLPを介してユニグラム・スコアおよび、構造化モデルの場合はペアワイズ遷移スコア（バイグラム）へと変換される。
• デコーディング: デコーディングプロセスでは、ステップ $t$ から $\lfloor t/2 \rfloor$ へと反復的にジャンプするハルビング（半減）戦略を用い、デノイザーの呼び出し回数を $T$ に対して対数オーダーに削減する。

主な貢献

1. 拡散とCRFの統合: 拡散のグローバルなコンテキスト能力とCRFの構造的制約を効果的に組み合わせ、ノイズを含むラベルシーケンスに条件付けられたCRFを学習させる手法を導入した。
2. 近似構造化推論: 拡散ループ内での計算のボトルネックに対処するため、平均場近似を利用している。これにより、効率的かつ並列可能な学習とデコーディングを実現しつつ、長距離依存性のモデリング能力を維持している。
3. スケーラビリティ: 提案手法は、ベースラインとなるCRFと比較して優れたスケーリング特性を示している。従来のCRFはパラメータ数が増加するとプラトーに達したり過学習したりすることが多いが、拡散ベースのモデルは、より大きなアーキテクチャとともに改善し続ける。

実験結果

著者らは、Universal Dependencies v2.15（英語、ドイツ語、フランス語、オランダ語）の4つのデータセットを用いて、品詞（POS）タグ付けの評価を行った。

• 性能: 平均場近似を用いた構造化拡散モデル（Diffusion-MF）は、すべてのデータセットにおいて最良の結果を達成した。最高の非拡散ベースライン（標準的なCRF）と比較して、提案手法は平均で16.54%の誤差減少を達成した。
• 比較:
  • Diffusion-MFは、Diffusion-Uni（非構造化拡散）よりも高い性能を示し、追加されたCRF構造が単純な拡散よりも性能を向上させることを示した。
  • 両方の拡散バリアントは、3つのベースライン（Unigram、Mean-Field、および標準的なCRF）を上回った。
• スケーリング: モデルサイズ（XSからXLまで）を変化させた実験では、拡散モデルはパラメータ数の増加とともに効果的にスケールするのに対し、ベースラインモデルは一定の地点で収穫逓減または性能低下を示すことが示された。
• 効率性: 構造化アプローチ（Diffusion-MF）は、反復的なデノイジングプロセスにより、非構造化拡散よりも評価時の速度は遅くなるが、標準的なCRFと同等の学習速度を維持している。著者らは、厳密な構造化拡散（近似なしのDiff-CRF）は極めて低速であることを指摘しており、平均場近似の必要性を裏付けている。

意義と主張

本論文は、このアプローチが、長距離の証拠と局所的な制約の必要性を両立させる、シーケンス・ラベリングの新しいパラダイムを提供すると主張している。CRFを拡散デノイザーのループ内に配置することで、モデルは以下の事項を実現している：

1. 正規化の保証: 有効な確率分布を確実に保証する。
2. グローバルなコンテキスト: 進化するノイズを含むシーケンスを利用して予測に情報を与える。
3. 並列化可能性: 平均場更新を通じて効率性を達成する。

著者らは、この手法が単純なモデルと比較して高い計算コスト（メモリおよびエネルギー）を要することを認めつつも、複雑なラベル間の相互作用を必要とするタスクに対して堅牢なソリューションを提供すると結論付けている。また、このアプローチは、命名エンティティ認識（NER）や単語セグメンテーションなどの他のNLPタギングタスクにも適用可能であると示唆している。最後に、性能向上に伴うエネルギー消費と計算時間の増大を謙虚に認め、並列平均場近似の収束は理論的に保証されていないものの、経験的には良好に機能したと述べている。