DOREMI: Optimizing Long Tail Predictions in Document-Level Relation Extraction

テクニカルサマリー：DOREMI – 文書レベルの関係抽出におけるロングテール予測の最適化

問題提起
文書レベルの関係抽出（DocRE）は、関係を特定するために文を跨いだコンテキストが必要であること、および関係タイプの深刻なロングテール分布という2つの主要な課題に直面している。DocREDやRe-DocREDのような標準的なデータセットでは、少数の頻出する関係が訓練データを支配している一方で、大多数の関係（ロングテール）は訓練例が極めて少ない（多くの場合100インスタンス未満）。このクラス不均衡は、モデルを頻出する関係へと偏らせ、希少な関係を正確に特定する能力を低下させる。さらに、UGDREのような、遠隔教師あり学習（Distantly Supervised: DS）データセットのノイズを軽減する既存のアプローチは、ロングテール関係を特異的に扱うことに失敗したり、バイアスを悪化させる大規模なノイズを含むデータに依存したりすることが多い。大規模言語モデル（LLM）は有望ではあるものの、この特定のタスクにおいては、現在のところ最先端のシーケンスベースのモデルと比較して性能が劣る。

手法：DOREMIフレームワーク
著者らは、最小限かつ標的を絞った手動アノテーションを通じて、過小評価されている関係を強化するために設計された、反復的なヒューマン・イン・ザ・ループ・フレームワークであるDOREMI（DOcument-level Relation Extraction optiMizing the long taIl）を提案する。ヘウリスティックなフィルタリングや大規模なDSデータに依存する従来のデノイジング戦略とは異なり、DOREMIは訓練効率と堅牢性を高めるために、最も情報量の多い例を能動的に選択する。

本フレームワークは、以下の計算ブロックを通じて動作する：

1. コアモデル・アンサンブル： DOREMIは、$n$個の多様なDocREコアモデル（具体的にはCNN、LSTM、BiLSTM、ContextAware、およびBERTベースのモデル）からなるプール（$\Gamma$）を維持する。これらのモデルは、利用可能な人間によるアノテーション済み（HA）データを用いて初期訓練される。
2. 不一致の計算： モデルは、ノイズを含むDSデータセットに対して関係を予測する。各エンティティペア $(s, o)$ に対して、システムはモデル間の不一致（$\phi_\Gamma$）を算出する。不一致は、モデルがすべて関係を予測するか、あるいはすべて「関係なし」と予測するかの確率に基づいて計算される。DocREのマルチラベル特性を扱うため、全体的な不一致は、関係ごとの不一致の積から導出される。小さな差異を増幅し解釈性を高めるために、対数変換が適用される。
3. 反復的なサンプリングとアノテーション： システムは、最も高い不一致スコアを持つ上位$k$個のエンティティペアを選択することで、「分類困難な（Hard-To-Classify）」例を特定する。極めて重要な点として、このサンプリングは、特定の性能ボトルネックを標的にするために、候補となるロングテール・トリプル（少なくとも一つのモデルがロングテール関係を予測しているもの）に限定される。
4. ラベル集約： 停止条件（平均不一致が閾値$\epsilon$を下回るか、アノテーション予算$b$を使い果たす）が満たされると、予測が集約され、デノイズされた遠隔教師あり学習（DDS）データセットが構築される。精度重視のフィルタが適用される：少なくとも一つのモデルが閾値$\tau$以上の高い信頼度でその関係を予測した場合にのみ、その関係が最終的なDDSに保持される。
5. 反復訓練： 選択されたサンプルは手動でアノテーションされ、訓練プールに追加され、拡張されたデータセットを用いてコアモデルがファインチューニングされる。このサイクルは、停止条件に達するまで繰り返される。

主な貢献

1. DOREMIフレームワーク： 不一致駆動型のアノテーションを通じて、遠隔教師あり学習データセットを強化する、ロングテール関係に特化した新しい反復的システムの導入。
2. プロキシとしての不一致： 複数のモデル間の不一致を測定することが、DocREに特化した「分類困難な」例を特定するための効果的なプロキシとなり、最小限の人間の労力で大幅な性能向上をもたらすことを実証した。
3. 新しいデータセット： DocREDおよびRe-DocREDに基づく2つの新しいデノイズ済み遠隔教師あり学習データセット（DDS）の公開。これらはロングテール関係に対して明示的に最適化されており、任意のダウンストリームDocREモデルが改善されたロングテール・カバレッジの恩沢を受けられるよう、モデルに依存しない（model-agnostic）設計となっている。

実験結果
著者らは、DocREDの開発セットおよびRe-DocREDのテストセットの両方において、最先端のベースライン（ATLOPおよびDREEAM）を用いてDOREMIを評価した。

• DocRED： DSデータセットのわずか0.001%（400トリプル）をアノテーションするだけで、モデルの性能が大幅に向上した。主要なデノイジング技術であるUGDREと比較して、DOREMIは全体の適合率（precision）を最大+8.2%、F1スコアを+0.7%向上させた。ロングテール・トリプル（100例未満）については、適合率が+76.0%、F1が+5.0%上昇した。特筆すべきは、訓練時に見られなかったエンティティペアを含むロングテール・トリプルにおいて、DOREMIはUGDREと比較して、無視されたF1（ignF1）を最大28.7%、無視された適合率（ignPrecision）を137.6%向上させた。
• Re-DocRED： より大規模なRe-DocREDデータセットにおいて、0.003%（1,200トリプル）のアノテーションにより、ロングテールの適合率が+16.2%、ignPrecisionが+19.2%向上した。「極端なロングテール」のトリプル（100例未満）については、DOREMIはUGDREと比較して、適合率で+83.2%、ignPrecisionで+207.9%の向上を達成し、ignF1は+33.5%の利得を示した。
• ハイブリッド・アプローチ： ロングテール関係にはDOREMIを、頻出関係にはUGDREを組み合わせるハイブリッド設定により、DOREMIが既存のデノイジング手法を効果的に補完し、さらなる改善をもたらすことが示された。

意義と主張
本論文は、DOREMIがDocREにおけるロングテール・バイアスの問題に対する、スケーラブルで効率的なソリューションを提供すると主張している。設計において再現率（recall）よりも適合率（precision）を優先することで、DOREMIは抽出される関係の信頼性を確保しており、これは下流の知識ベース構築（KBC）タスクにおいて極めて重要である。著者らは、彼らのアプローチが最小限の人間のアノテーションコスト（Re-DocREDの実験で約20アノテーター時間）で大幅な性能向上を実現することを強調している。本研究は、不一致ベースのアクティブラーニングが、希少な関係に対する汎化性能を向上させるためにデータセットをカスタマイズするための、有効かつ効果的な戦略であることを確立しており、このようなアプローチをDocREに特化して適用した最初の試みである。得られたデータセットと手法は、ロングテール分布の処理能力を高めた、任意のDocREモデルを訓練するための基盤を提供する。