技術要約：DeBERTaを用いた全種型MWE同定のためのバイナリ・トークンレベル分類

問題提起

多語表現（MWE: Multiword Expressions）は、その統語的な柔軟性と意味の非構成性により、自然言語処理（NLP）システムにとって大きな課題となっています。主要な困難は、構成要素が間に介在する材料によって隔てられている（例：「look the information up」における「look...up」）非連続的MWEの検出にあります。従来の多くのアプローチは、MWE同定をマルチクラスのシーケンス・ラベル付けタスク（例：BIOまたはBILOUタグセット）として定式化し、各トークンに単一のラベルを割り当てます。しかし、既存の最先端手法は、数十億のパラメータを持つ大規模言語モデル（LLM）に依存することが多く、言語学的知識の体系的な統合に欠けています。さらに、スパンベースの命名エンティティ認識（NER）ではバイナリ分類が成功していますが、全種型のMWE同定への適用については未開拓のままです。

手法

著者らは、言語的特徴とデータ拡張を統合し、MWE同定をバイナリ・トークンレベル分類タスクとして再定式化した、軽量かつ包括的なアプローチを提案しています。

1. バイナリ・トークンレベル分類フレームワーク

モデルは、マルチクラスのタグセットから単一のラベルを割り当てる代わりに、すべてのトークン $x_i$ に対して3つの独立したバイナリ予測を行います。

• START: このトークンはMWEの開始点か？
• END: このトークンはMWEの終了点か？
• INSIDE: このトークンはMWEの開始と終了の間に位置しているか？

このアプローチは、複雑さを二次的なスパン列挙（$O(n^2)$）から線形なトークン処理（$O(n)$）へと転換させます。推論時、候補となるスパンは、$p_{start} \geq \tau_{start}$ かつ $p_{end} \geq \tau_{end}$ であり、かつ中間トークンが $p_{inside} \geq \tau_{inside}$ を満たすトークンのペアリングによって再構成されます。再構成されたスパンがデータセットの分布（例：メンバー数2〜6、最大13トークン）と一致するように制約が適用されます。

2. 言語的特徴の統合

DeBERTa-v3-largeモデルは、名詞的および非連続的なパターンを検出するのを助けるために、2つの形態の統語的知識で強化されています。

• NPチャンク特徴: トークンはspaCyを用いて名詞句（NP）の内部または外部としてタグ付けされます。これらのバイナリタグは学習可能な埋め込みにマッピングされ、文脈化されたトークンの状態と結合されることで、名詞的MWE（例：「stock market」）の再現率（Recall）を向上させます。
• 依存関係特徴: トークンペア間の最短依存パスの長さが計算されます（上限5）。これらは2つの目的を果たします。
  1. エンコーディング: 平均依存距離は32次元の埋め込みにマッピングされます。
  2. ハード制約: 再構成中、連続するメンバー間の依存距離が4を超える候補は拒絶され、不適切な非連続的組み合わせを排除します。

3. データ拡張

訓練データの深刻なクラス不均衡に対処するため、2つの戦略が評価されました。

• オーバーサンプリング: MWEを含む訓練文を複製する。
• 語彙置換: 非MWEトークンを意味的に類似した単語に置き換える。
  最適な戦略はデータセットの規模に依存します。小規模なCoAMデータセットにはオーバーサンプリングが優れていることが示され、大規模なSTREUSLEデータセットには語彙置換がより効果的でした。

4. データセット

• CoAM: すべてのMWEタイプ（NOUN, VERB, MOD/CONN, CLAUSE, OTHER）をカバーし、11.3%の非連続パターンを含む、精選された1,301の英語文からなるデータセット。
• STREUSLE: 一般化テストに使用される大規模なデータセットであり、カテゴリはCoAM互換のタイプにマッピングされています。

主な貢献

1. タスクの再定式化: バイナリ・トークンレベル分類（START/END/INSIDE）を全種型MWE同定に初めて適用し、従来のシーケンス・ラベル付けに対する有効性を実証した。
2. 効率性と性能: DeBERTa-v3-largeモデル（約4億パラメータ）が、Qwen-72B（720億パラメータ）を12ポイント上回るF1スコアを達成し、165倍少ないパラメータ数でこれを実現した。
3. 言語的強化: NPチャンキングと依存関係特徴の統合が、特に非連続的および名詞的MWEにおいて性能を大幅に向上させることを示した。
4. 一般化: STREUSLEデータセットでアプローチを検証し、78.9%のF1を達成。この手法がデータセット固有のアーティファクトではなく、根本的なMWE構造を捉えていることを確認した。

実験結果

著者らは、15のモデル構成を用いた系統的なアブレーション研究を実施しました。

• CoAMの性能:

  • 最良のモデル（DLT+lo: DeBERTa-large + 言語的特徴 + オーバーサンプリング）は 69.8% F1 を達成した。
  • これは、以前の最高値であるQwen-72B（57.8% F1）を12ポイント上回っている。
  • 非連続的MWE: このアプローチは、非連続的パターンにおけるベースラインの性能を倍増させ、Qwen-72Bの17.1%に対し29.7% F1を達成した。
  • タイプ別再現率: すべてのタイプで顕著な改善が見られ、特にCLAUSE（Qwenの28.6%に対し85.7%の再現率）およびMOD/CONN（84.7%の再現率）において顕著であった。

• STREUSLEの性能:

  • 最良のモデル（DBT+la: DeBERTa-base + 言語的特徴 + 語彙置換）は 78.9% F1 を達成した。
  • バイナリ・トークンレベル分類のアプローチは、スパンベースのベースライン（19.8% F1）に対して、53.5ポイントの大幅な改善を提供した。

• アブレーションによる洞察:

  • バイナリ・トークンレベル分類単体でも、スパンベースの予測に対して+5.2 F1のブーストをもたらした。
  • 分離アテンション（Disentangled Attention, DeBERTa）は、標準的なBERTアーキテクチャよりもMWE検出において優れていた。
  • データ拡張戦略はデータセットに依存していた：オーバーサンプリングは小規模で高品質なデータセット（CoAM）に最適であり、語彙置換は大規模なデータセット（STREUSLE）に最適であった。

意義と主張

本論文は、注意深く設計された小型モデルが、構造化されたNLPタスクにおいてLLMを大幅に凌駕し得ることを主張しています。問題をバイナリ・トークンレベル分類として再定式化し、明示的な言語的知識を統合することで、著者らは、リソース制約のある環境下でも、巨大なモデルの計算コストをかけることなく高い性能を達成できることを示しました。

著者らは、彼らの手法がMWEの「全種型」の性質を扱うことに成功していることを強調しています。これは、従来のフレームワークが主に動詞的MWEや二項的な慣用性の解析に焦点を当ててきたタスクです。また、言語的特徴のためにアップストリームのNLPツール（spaCy）に依存していること、長距離の非連続的依存関係の扱いの難しさ、およびバイナリ定式化（境界は予測するがタイプは予測しない）のためにタイプ別の適合率（Precision）を算出できないことなどの限界も認めています。しかし、結果は、このアプローチがMWE構造の根本的な側面を捉えており、現在の最先端のLLMベースのソリューションに対する実用的かつ効率的な代替案を提供することを示唆しています。