技術要約：アイトラッキングに基づく自動可読性評価手法の認知的評価

問題提起

自動可読性評価（Automatic Readability Assessment: ARA）は、教育、医療、メディアなどの分野で広く利用されており、1世紀以上にわたる研究領域である。歴史的に、ARA手法の開発と評価は、主に2つのオフライン行動データソース、すなわち読解テストのパフォーマンスと、テキストの可読性レベルに対する人間の評価に依存してきた。しかし、これらのアプローチは、可読性の根本的な側面である「リアルタイムの読解の容易さ（reading ease）」を直接測定するものではない。読解の容易さは早い時期に重要な概念として提案されていたものの（例：Dale and Chall 1949; Kintsch and Vipond 1979）、読解プロセスに関する行動データの不足により、ARAにおいてはこれまで十分に研究されてこなかった。さらに、既存の評価方法では、トピックの変化に由来するテキストの難易度と、言語的な複雑さが混同されているという問題がある。

手法

著者らは、コンテンツの変動を制御した上で、可読性スコアリング手法が読解の容易さをどの程度説明できるかを定量化するために、アイトラッキング・データを利用した認知的評価フレームワークを導入している。

データ収集

本研究では、638名の成人参加者（英語ネイティブL1話者360名、多様な母国語背景を持つL2話者278名）から得られた370万語以上のトークンを含む結合データセット「OneStopL1&L2」を使用している。

• テキスト教材: データセットには、OneStopQAデータセットから派生した、Guardian紙のニュース記事30本からなるパラレルコーパスが含まれる。各記事には、経験豊富な言語教師による直感的な簡略化手法を用いて作成された、オリジナルの「高度（Advanced）」バージョンと、人間によって簡略化された「初級（Elementary）」バージョンの両方が存在する。
• 実験デザイン: 参加者は、情報探索型または理解型のレジームでパラグラフを読み取る。このデザインにより、各参加者が同じ内容のオリジナル版と簡略化版の両方を読むことになり、簡略化の効果を分離することが可能となる。
• アイトラッキング: EyeLink 1000 Plusを用い、1000 Hzでデータを収集した。

評価フレームワーク

中核となる指標は、オリジナル版と簡略化版の間の読解容易さの指標の変化として定義される**読解促進（reading facilitation）**である。

• ターゲット変数（読解の容易さ）: 本研究では、処理の難易度を示すことが知られている3つのオンライン・アイムーブメント指標を測定している。
  1. 総注視時間 (Total Fixation Duration: TF): 単語における注視時間の合計。
  2. スキップ率 (Skip Rate: SR): スキップされた単語の割合。
  3. 回帰率 (Regression Rate: RR): 単語あたりの逆方向へのサッカード（眼球運動）の数。
• 評価指標: 可読性スコアリング手法（$M$）の質は、手法によって予測されたオリジナル版と簡略化版のスコアの差（$\Delta Score_M$）と、同一のテキストペアに対してアイトラッキング・データから観察された読解容易さの差（$\Delta ReadingEase$）との間のピアソン相関係数（$r$）によって評価される。
  $$Eval_M = \text{Pearson\_corr}(\Delta Score_{M,T}, \Delta ReadingEase_{E,T})$$

評価対象システム

本フレームワークは、理論的に裏付けられた心理言語学的指標に対して、20の著名な可読性スコアリング手法をベンチマークしている。

1. 伝統的な公式: Flesch Reading Ease, Dale-Chall, Gunning Fog, ARI, Coleman-Liau, Flesch-Kincaid。
2. 現代のNLP手法: 教師あり学習モデル（CML2RI, CAREC, CARES, Sentence-BERT）および教師なし測定法（Perplexity, Syntactic Log-Odds Ratio）。
3. 商用システム: Lexile Text Analyzer および TextEvaluator (ETS)。
4. 大規模言語モデル (LLMs): グレードレベルまたはスコアベースの注釈をプロンプトとして与えられた6つの最先端モデル（Llama 3.3, GPT-4o, GPT-5, Gemini 2.0/2.5, Claude Sonnet 4）。
5. 心理言語学的ベースライン: メモリ関連の指標（Idea Density, Integration Cost, Embedding Depth）および情報理論的指標（Surprisal, Entropy, Uniform Information Density, Pseudo Log Likelihood）、ならびに標準的な単語特性（Word Length, Word Frequency）。

主な結果

評価の結果、現在のARA手法と、読解の容易さという認知的な現実との間には、顕著な乖離があることが明らかになった。

1. ARA手法の低い性能: 伝統的な公式、現代のNLPシステム、商用ツール、および最先端のLLMはすべて、リアルタイムの読解容易さの指標に対して低、あるいは有意ではない相関を示した。注目すべきは、LLMの高度化にもかかわらず、性能の向上が観察されなかったことである。商用システム（Lexile, TextEvaluator）は、特に低い予測能を示した。
2. 心理言語学的単語特性の優位性: 心理言語学において読解時間を予測することが知られている標準的な単語特性は、すべてのARA手法を上回った。「ビッグ3」の予測因子である**単語長（Word Length）、単語頻度（Word Frequency）、およびサプライザル（Surprisal）**は、一貫して強い相関を示した。
3. 最高の予測因子としてのサプライザル: サプライザル（文脈における単語の負の対数確率）は、全体として最も予測力の高い指標として浮上した。これは、メモリ関連の予測因子（Idea Density, Integration Cost）や他の情報理論的指標を上回った。
4. 堅牢性: これらの知見は、以下の条件下でも維持された。
   • 読者グループ（L1およびL2話者）。
   • 読解レジーム（理解 vs 情報探索）。
   • テキスト単位（文およびパッセージ）。
   • 様々なアイトラッキング指標（初回注視、注視時間、読解速度を含む）。
5. コンテンツ制御: 従来の評価（読解時間の直接予測）におけるコンテンツ制御の欠如が、多くのARA手法の表面的な性能を膨張させていることが本研究で示された。これらは言語的な複雑さではなく、トピックの難易度を捉えていることが多い。コンテンツ制御を用いたアプローチにより、Surprisal、Entropy、Word Lengthなどは安定している一方で、他の手法はトピックが制御されると大幅に低下することが明らかになった。

意義と主張

本論文は、約1世紀にわたるARA手法が、人間がいかにリアルタイムでテキストを体験しているかを説明する能力が限定的であることを示す、初の包括的な概観を提供すると主張している。

• 現行手法の限界: 結果は、広く使用されている可読性スコアリング手法の決定的な限界を浮き彫りにしており、それらが成人の読解の容易さを予測する上で、単純な心理言語学的単語特性よりも劣っていることを示唆している。
• 適用における注意: 著者らは、既存のARA手法やLLMを可読性スコアリングに使用する際、特にハイステークス（高リスク）なシナリオにおいては、それらが読解の認知負荷を正確に反映していない可能性があるため、より慎重な扱いを求めている。
• 新しいアプローチの必要性: これらの知見は、リアルタイムの読解体験をより良く説明できる、認知に基づいた新しい可読性スコアリング手法の開発を推奨している。
• アイトラッキングの有用性: 本研究は、可読性研究におけるリアルタイムの行動ベンチマーク（アイトラッキング）の有用性を強調しており、オフラインの理解テストや離散的な人間による評価に代わる、連続的で解釈可能な選択肢を提示している。
• サプライザルの役割: 本論文は、利用可能な言語モデルを通じて計算可能なサプライザルが、堅牢でシンプルかつ汎用的な可読性の指標であり、より広く採用されるべきであることを示唆している。

著者らは、本研究の一般化に関する点については、英語に限定されていること、成人参加者を対象としていること、および「直感的」な人間による簡略化手法を用いていることを挙げ、謙虚な姿勢を保っている。また、子供、高齢者、他の言語、および自動化された簡略化コンテキストへと評価を拡張する必要性を今後の課題として挙げている。