Leveraging Human Reading Behavior for Keyphrase Extraction: A Webcam-based Eye-tracking Corpus

技術要約：人間の読解行動を活用したキーワード抽出

問題提起
キーワード抽出（KPE）は情報検索における基本的なタスクであるが、既存の手法は主に、単語の出現頻度、構文パターン、および文脈的意味論といったテキスト内部の手がかりに依存している。これらのアプローチは、キーワードと人間の読解行動、具体的には読者が理解の過程でどのように注意を配分するかという点との関連性を、ほとんど見落としている。アイトラッキング（視線計測）研究によって、注視パターンが認知処理と相関することが確立されているものの、これをKPEに適用する際には2つの主要な要因が障壁となっている。一つは、中国語の学術テキストに関するアイトラッキングデータの不足であり、もう一つは、従来のラボグレードのアイトラッキング機器の高コストさである。さらに、既存のオープンソースコーパス（例：ZuCo、GECO）は主にニュースや小説などの一般的なコンテンツに基づいており、図書館情報学（LIS）のようなドメイン固有の専門用語や構造的慣習を欠いている。

手法
これらのギャップに対処するため、著者らはデータ収集、コーパス構築、およびモデル統合を含む包括的なフレームワークを開発した。

1. 軽量データ収集プラットフォーム: 本研究では、オープンソースのSearchGazer JavaScriptライブラリをFlaskベースのバックエンドと統合した、コスト効率の高いウェブカメラベースのアプローチを利用した。このプラットフォームにより、専用ハードウェアを必要とせず、コンシューマー向けのウェブカメラを用いたリアルタイムの視線推論が可能となる。
2. コーパス構築 (CLIS-ET): 著者らは中国語LISアイトラッキングコーパス (CLIS-ET) を構築した。データは、中国の主要なLISジャーナルの320個の抄録を読解した10名のLIS大学院生および学部生から収集された。実験では、各抄録の前に9点のキャリブレーションを行い、読解後に理解度チェックを実施した。
3. 特徴量抽出: 単語分割の問題を回避するため、本研究では文字レベルのアイトラッキング指標に焦点を当てた。3つの主要な特徴量を抽出し、参加者間で平均化した：
   • 初回注視時間 (FFD): ある文字に対する最初の注視の持続時間。
   • 注視回数 (FN): ある文字に対する注視の総回数。
   • 総注視時間 (TFD): ある文字を注視した累積時間。
     データは有効な注視（16.7msから1500ms）を保持するようにフィルタリングされ、無効な文字データ（参加者の50%以上で有効なデータが得られなかったもの）は破棄された。
4. モデル統合: アイトラッキングの特徴量を、以下の2つのカテゴリのKPEモデルに組み込んだ：
   • リカレントニューラルネットワーク: BiLSTM、BiLSTM+CRF、AttentionベースのBiLSTM (Att-BiLSTM)、およびAtt-BiLSTM+CRF。特徴量は外部入力またはアテンションの指標として使用された。
   • 事前学習済み言語モデル: BERT、RoBERTa、MacBERT、およびRandeng-T5-784M。
5. 評価: 実験は、小規模なアイトラッキングデータセット (Abstract-320) と、同じジャーナルソースから派生した大規模な一般的なKPEデータセット (Abstract-5190) の2つのデータセットを用いて実施された。性能は、トップ3、トップ5、およびトップ10のキーワード抽出におけるF1スコアを用いて評価された。

主な貢献

1. アクセシブルなデータ収集手法: 本論文は、標準的なウェブカメラを使用してアイトラッキングデータを収集するための、軽量でスケーラブルなプラットフォームを導入しており、ドメイン固有の読解行動研究への障壁を大幅に下げている。
2. CLIS-ET コーパス: 中国のLIS学術抄録のための初のドメイン特化型アイトラッキングコーパスを公開し、認知的なKPE研究のための文字レベルの指標（FFD、FN、TFD）を提供している。
3. 認知的信号の実証的検証: 本研究は、個々の、あるいは組み合わせられたアイトラッキングの特徴量が、様々なモデルアーキテクチャにおいてどのようにKPEの性能に影響を与えるかを体系的に評価し、人間の読解行動がテキストの特徴を補完する信号を提供することを実証している。

結果

• 特徴量の有効性: アイトラッキングの特徴量を統合することで、両方のデータセットおよびモデルタイプにおいて、KPEの性能が一貫して向上した。
  • Abstract-320 データセットでは、FFD 特徴量がBERTベースのモデルにおいて最も顕著な向上（最大+2.83%）をもたらした。
  • より大規模な Abstract-5190 データセットでは、FN 特徴量とRoBERTaの組み合わせが最高の性能（44.51% F1@5）を達成した。
• 特徴量の組み合わせ: 注視回数と総注視時間の組み合わせ (FN+TFD) が、Att-BiLSTM+CRF モデルにおいて最高の性能を達成した。一般的に、FFD+FNおよびFN+TFDの組み合わせは、単一の特徴量やフルセット（FFD+FN+TFD）を使用する場合よりも安定した向上を示した。
• 統計的有意性: Abstract-320データセットに対する対応のあるt検定により、アイトラッキングの特徴量が複数のアーキテクチャにおいて統計的に有意な効果を及ぼすことが確認された。特に、FN+TFDおよびFFD+TFDは一貫した有意性を示しており、注視の頻度と持続時間が読解行動の相補的な側面を捉えていることを示唆している。
• データスケールの影響: 本研究では、データが限られている場合は初期処理の特徴量（FFDなど）がより大きな情報利得を提供し、データセットが大きくなると累積的処理の特徴量（TFDなど）が深い意味モデリングをより良くサポートするという観察結果が得られた。

意義と主張
本論文は、人間の読解行動を計算モデルに組み込むことで、統計的なヒューリスティックと認知プロセスとの間の溝を埋めることができると主張している。軽量なウェブカメラベースのアイトラッキングが効果的にKPEを強化できることを示すことで、著者らは、NLPのための認知データを収集するための、よりアクセシブルでコスト効率の高いアプローチを提唱している。研究結果は、アイトラッキングの特徴量が、意味処理の深さや語彙項目の重要性を反映する貴重な補助信号として機能し、それによってキーワード抽出システムの解釈可能性と性能を向上させることを示唆している。本研究は、実際の読者の注意パターンにより密接に適合する、人間中心の情報検索ツールを構築するためのステップとして位置づけられる。