💬 NLP

Eyettention II: A Dual-Sequence Architecture for Modeling Fixation Location, Within-Word Landing Position, and Fixation Duration in Reading

アイトラッキングデータの不足に対処するため、本論文では、認知理論に適合させ、人間の眼球運動行動の予測において最先端のモデルを凌駕する、現実的かつ多属性な読解スキャンパスを生成する軽量なエンドツーエンドのディープラーニングモデルであるEyettention IIを導入する。

原著者： Shuwen Deng, Cui Ding, David R. Reich, Paul Prasse, Lena A. Jäger

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shuwen Deng, Cui Ding, David R. Reich, Paul Prasse, Lena A. Jäger

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

本を読んでいる場面を想像してみてください。あなたの目は、高速道路を走る車のようになめらかにページを滑るわけではありません。代わりに、「注視（fixations）」と呼ばれる小さなバースト状に飛び跳ね、特定の単語に止まり、時には先へと進み、時には読み返すために後ろへと戻ります。このジャンプのパターンを**スキャンパス（scanpath）**と呼びます。

何十年もの間、科学者たちは、あなたの目が正確にどこに降り立ち、そこにどれくらいの時間留まるのかを予測できるコンピュータモデルを構築しようと試みてきました。問題は、実際のアイトラッキング・データを収集するにはコストがかかり、時間がかかることです。それは、すべての俳優が頭に特殊なカメラを装着しなければならない映画を撮影するようなものです。「リアル」な映像が十分にないため、コンピュータにこれらのジャンプを予測する能力を学習させることが困難なのです。

そこで登場したのが、Eyettention IIです。この新しいモデルを、高度なスキルを持つシミュレーター、あるいは仮想アイトラッカーと考えてください。これは、任意のテキストに対して、目がどこに降り、その単語のどの位置に止まり、どれくらいの時間ポーズをとるのかを、リアルな「偽の」眼球運動データを生成できるソフトウェアです。

以下に、簡単な比喩を用いて、その仕組みと論文の発見内容を解説します。

1. 「デュアル・シーケンス（二重配列）」のパズル

ほとんどのコンピュータモデルは、読書を「単語1、単語2、単語3」という単純なリストとして扱います。しかし、人間の読書はもっと複雑です。私たちは単語を飛ばしたり、戻ったり、長い単語には長く視線を留めたりします。

著者らは、Eyettention IIをデュアル・シーケンスの設計者と表現しています。想像してみてください、2つのベルトコンベアが並んで走っています。

ベルトA（テキスト）： 文章の中に現れる順序の単語。
ベルトB（時間）： あなたの目が実際に見た順序。

あなたの目は必ずしもテキスト通りには進まないため（例えば、最初に戻ってしまうなど）、これら2つのベルトは同期がずれが生じます。Eyettention IIは、この「交通管制官（クロスアテンション・メカニズム）」を備えており、両方のベルトを同時に監視しています。テキスト上で次にくるのが「単語5」であっても、あなたの目が実際には「単語2」にジャンプしている可能性があることを、この管制官は理解しています。これにより、人間が実際に読む際の非線形で混沌とした動きを模倣できるのです。

2. 何を予測するのか？

古いモデルは、自分が「どの都市」にいるかだけを教えるGPSのようなものでした。Eyettention IIは、高精細なGPSであり、以下のことを伝えます。

都市（単語インデックス）： どの単語を見ているか？
住所（着地位置）： その単語の正確にどの位置に目が降りるのか？（例：始まり、中間、あるいは終わり）
滞留時間（持続時間）： そこにどれくらいの時間留まるのか？

モデルは、人間がリアルタイムで読書をするのと同じように、これら3つの要素を一つずつ順番に生成していきます。

3. 「パーソナルトレーナー」モード

論文では、Eyettention IIreaderと呼ばれる特別なバージョンも紹介しています。
想像してみてください、平均的なランナーの走りを知っている一般的なフィットネスコーチがいるとします。しかし、もし「あなた」独自のランニングスタイルを知りたい場合はどうでしょうか？このバージョンのモデルは、特定の人物（または特定のグループ）に合わせて「調整」することができます。特定の読者のデータを入力すると、モデルはその人の独特な習慣を学習します（例えば、短い単語をより頻繁にスキップしたり、難しい単語をより長く凝視したりするなど）。そして、その特定の人物の眼球運動をシミュレートできるのです。

4. 性能はどの程度か？

研究者たちは、英語と中国語のテキスト（これらは非常に異なる言語です）を用いてこのモデルをテストしました。彼らは以下のものと比較しました。

古いAIモデル： 新しいモデルは、眼球運動の予測においてより正確であり、勝利しました。
古典的な「認知」モデル： これらは心理学者が人間の思考を模倣するために構築した、古いルールベースのモデルです。Eyettention IIはこれらにも打ち勝ち、データ駆動型のアプローチが、単純なルールでは捉えきれない複雑なパターンを捉えられることを示しました。
実際の人間： 興味深いことに、モデルが生成した「偽の」眼球運動は、実際の人間同士の差異よりも、互いに似通っていることがありました。これは、人間はバラバラで多様であるのに対し、モデルは「平均的な」人間のパターンを見つけ出すからです。

5. なぜ「偽のアイトラッカー」が必要なのか？

論文では、このシミュレーターを使用すべき主な理由を3つ挙げています。これらはすべて、時間とコストの節約に関連しています。

「パイロットテスト」（実験計画）： 科学者が50人を対象とした実際の実験を行う前に、シミュレーターを使って仮想的に実験を1,000回「実行」することができます。これにより、実験材料が適切かどうか、また実際に何人の被験者を募集する必要があるかを判断できます。これは研究者のためのフライトシミュレーターのようなものです。
「データ拡張」（AIのトレーニング）： 読解を理解するAIを構築したい場合、膨大なアイトラッキング・データが必要です。本物のデータは希少であるため、Eyettention IIを使用して、何百万もの「偽の」アイトラッキング記録を生成し、何千人もの人々にカメラを装着させることなく、AIをより賢く学習させることができます。
「もしも（What-If）」ツール： 研究者は、高価な実験機器をセットアップすることなく、異なるテキストのレイアウトや言語が読書にどのように影響するかを確認できます。

6. 驚きの発見：「大きいことは良いことではない」

研究者たちは、テキストを理解するための「脳（言語モデル）」のサイズを変えてテストを行い、逆説的な結果を得ました。小さいモデルの方が優れた結果を出したのです。

彼らは、高度なチャットボットを動かしているような、巨大で複雑なAIモデルを使用しました。
同時に、より小さくシンプルなモデルも試しました。
結果： 小さいモデルの方が、実際には人間の眼球運動をより正確に予測できました。読解においては、深い哲学を理解するような超複雑な脳は必要ではなく、文の即時的かつ表層的な構造を理解するモデルが必要であるようです。

まとめ

Eyettention IIは、「仮想の目」として機能する、軽量で効率的なコンピュータプログラムです。単に次にどの単語を読むかを推測するだけでなく、その単語のどこに目が降り、どれくらい凝視するかを予測し、高い精度で人間の行動を模倣します。これは、リアルなアイトラッキング・データの不足という問題を、高品質な「偽の」データを生成することで解決し、科学者がより良い実験を計画し、よりスマートなAIシステムを訓練することを可能にします。

技術要約：Eyettention II

問題提起
読解中の視線計測データは、認知プロセスやテキストの特性に関する重要な洞察を提供し、言語モデル（LM）の強化や読者の特性の推論といった自然言語処理（NLP）への応用を推進するものである。しかし、この分野は重大なボトルネックに直面している。それはデータの希少性である。大規模なアイトラッキング・データセットの収集には多大なリソースを要するため、データ駆動型モデルの訓練が制限され、心理言語学的実験の再現を妨げている。既存の計算モデルは、解釈可能性を確保するために少数のパラメータを用いたヒューリスティックなルールベースの手法に依存することが多く、これが複雑なパターンの捕捉や、異なる集団、言語、実験設定への汎用性を制約している。さらに、従来の機械学習アプローチは、空間的側面（注視位置）または時間的側面（集約された注視時間）のいずれかにのみ焦点を当てることが多く、人間の読解の全ダイナミクスを捉える完全な逐次的スキャンパスを生成するには至っていない。

手法
著者らは、完全な一連の注視属性を時系列順に構成する、現実的なスキャンパスを生成するために設計された、エンドツーエンドで訓練可能な軽量ディープラーニングモデルであるEyettention IIを提案する。

二重シーケンス・アーキテクチャ： コアとなる革新は、読解データの「二重シーケンス」的な性質（文法に従って並べられた単語の言語的シーケンスと、時間に従って並べられた注視のテンポラル・シーケンス）に対処することである。標準的なシーケンスモデルやエンコーダー・デコーダー構造とは異なり、Eyettention IIは二重シーケンス・バイエンコーダ構造を採用している。これは、刺激テキストを処理する単語シーケンス・エンコーダーと、注視の履歴を処理する注視シーケンス・エンコーダーを利用する。
クロスシーケンス・アテンション： モデルは、ローカルウィンドウを用いたクロスアテンション機構によってこれら二つのシーケンスを整合させる。これは、現在注視している単語の周囲にある単語のみに注意を向けることで、人間の視野をシミュレートしており、テンポラルな次元における自己回帰性を維持しつつ、豊かな言語的コンテキストを活用している。
予測モジュール： モデルは各注視に対して、以下の3つの属性を逐次的に予測する。
1. 単語インデックス ( $k$ ): 次にどの単語が注視されるかを予測する多クラス分類タスク。
2. ランディング・ポジション ( $l$ ): 単語内の正規化された水平オフセット（0から1）を予測する回帰タスク。
3. 注視時間 ( $d$ ): その注視に費やされる時間を予測する回帰タスク。
読者特異的バリアント： 著者らは、訓練可能な読者識別子埋め込みを組み込んだEyettention II $_{reader}$ を導入している。これにより、モデルは特定の個人やグループの特徴的な読解パターンを学習し、再現することが可能になる。
訓練： モデルは、単語インデックスに対する負の対数尤度（NLL）と、ランディング・ポジションおよび注視時間に対する平均二乗誤差（MSE）からなる結合損失関数を用いて最適化される。また、単語シーケンス・エンコーダーの核として、BERTやRoBERTaなどの事前学習済み大規模言語モデル（LLM）を利用し、これらは訓練中は凍結され、その後にBiLSTM層が続く。

主な貢献

包括的なスキャンパス生成： Eyettention IIは、注視位置、単語内のランディング・ポジション、および注視時間を単一のエンドツーエンドのフレームワーク内で同時に予測する初めてのモデルであり、注視位置のみや集約された時間のみを予測するという限界を超えている。
最先端の性能： 本モデルは、単一データセット内およびクロスデータセットの評価の両方において、既存の認知モデル（E-Z Reader、SWIFT）や機械学習のベースラインと比較して優れた性能を達成している。
心理言語学的妥当性： モデルは、語彙頻度、単語長、サプライザル（驚き）の影響といった主要な心理言語学的現象を、注視時間や回帰（リグレッション）において正確に再現し、人間のような注視行動を模倣することに成功している。
読者の適応性： 読者特異的バリアントの導入は、モデルが個々の読解スタイルを効果的にシミュレートできることを示しており、これはパーソナライズされたアプリケーションにおける重要な能力である。
実験計画への有用性： 著者らは、シミュレートされたデータが、特に小規模なデータセットに対して事前学習とファインチューニング戦略を組み合わせた場合に、現実的な効果量の推定値を提供できることを示し、統計的検定力分析や心理言語学的実験のパイロット運用におけるモデルの有用性を実証している。

結果

定量的性能： 英語（CELER）および中国語（BSC）の両方のデータセットにおいて、Eyettention IIは、単語インデックス予測（NLL）、ランディング・ポジション（MAE）、注視時間（MAE）、および全体的なスキャンパスの類似性（MultiMatch）のすべての指標において、参照モデル（E-Z Reader、SWIFT、および以前のEyettentionバージョンを含む）を上回った。
汎用性： クロスデータセット評価（CELERで訓練し、ZuCoでテスト）において、ターゲットデータからスクラッチで訓練した場合、モデルは大幅な性能低下を示した。しかし、事前学習およびファインチューニング戦略（大規模なソースデータセットで事前学習し、小規模なターゲットデータセットでファインチューニングする）を用いることで、性能を効果的に回復させ、限られたターゲットデータであっても正確なモデリングを可能にした。
心理言語学的整合性： ベイズ混合効果分析により、Eyettention IIは単語長、頻度、サプライザルの影響の方向と大きさを人間の読者と同様に捉えており、多くの尺度において従来の認知モデルを凌駕していることが確認された。
モデル・アーキテクチャの知見：
- LMのサイズ： 一般的なスケーリング則とは異逆に、より小さなLM（例：BERT/RoBERTa 110M）の方が、より大きなモデル（最大7Bパラメータ）よりも、スキャンパス予測のための優れた言語的特徴を提供した。
- 層の深さ： BERTの下位層は空間的側面（単語インデックス、ランディング・ポジション）の予測により適しており、上位層は時間的側面（注視時間）により大きな影響を与えていた。
デコーディング戦略： デコーディング戦略（Greedy、Temperature Sampling、Nucleus Sampling）の選択により、「平均的な」高確率のスキャンパスを生成するか、より多様で変化に富んだスキャンパスを生成するかというトレードオフが可能になる。Nucleus sampling ( $p=0.7$ ) および低温度サンプリング ( $t=0.04$ ) が、異なるデータセットに対してそれぞれ最良の結果をもたらした。

意義と主張
本論文は、Eyettention IIが認知理論とデータ駆動型のディープラーニングの間の溝を埋めることにより、人間の読解行動のモデリングにおける重要な進展を象徴していると主張している。その主な意義は、限られたデータ要件で現実的かつ完全なスキャンパスを生成できる能力にあり、以下の用途において多才なツールとなる：

NLPアプリケーション： 視線が拡張された言語モデルの事前学習またはファインチューニング、および、あらゆる入力に対してリアルタイムのアイトラッキングを必要とせずに読者の特性を推論すること。
心理言語学研究： 実験材料のパイロット運用や、小規模なサンプルサイズに起因する再現性の危機を軽減するための統計的検定力分析の促進。
理論的洞察： 人間の読解行動を導く言語的・視覚的特徴がどのようなものであるかを調査するためのデータ駆動型のツールを提供し、理論的な認知モデルには明示的にエンコードされていないパターンを明らかにすること。

著者らは、モデルが主要な現象を捉えてはいるものの、ルールベースの認知モデルほど完全に解釈可能ではないことを認め、控えめな立場をとっている。彼らは、バイナリ的な指標（回帰確率など）における人間の変動性をより良く一致させることや、英語と比較して中国語のデータセットに対する性能を向上させるために、さらなる洗練が必要であると述べている。本研究は、このモデルが人間による実験の完全な代替物ではなく、仮説を生成しデータをシミュレートするためのツールであることを強調している。