技術要約：ユーザーからの暗黙的フィードバックを用いたLLMのアライメント

問題提起

大規模言語モデル（LLM）を人間の好みに適合させる現在の手法は、明示的なフィードバック（例：高評価／低評価のボタン）に大きく依存しています。このアプローチには、2つの決定的な限界があります。

1. 希少性とコスト： 明示的なフィードバックを提供するユーザーはわずか1〜3%であり、高品質な嗜好アノテーションは高コストでスケーリングが困難です。
2. 暗黙的シグナルの未活用： クリック率などの暗黙的フィードバックは、検索エンジンやレコメンダーシステムでは極めて重要ですが、LLMにおいては未だ十分に探索されていません。既存のシステムには、他のドメインに見られるような「クリック」信号が欠けていることが多く、ユーザーのインタラクション（読解行動など）をどのように信頼できる学習シグナルとして解釈すべきかが不明確です。

本論文は、ユーザーのLLMの応答に対する自然なインタラクション、具体的にはマウスの動きと視線移動のパターンには、現在は無視されている豊かでスケーラブルな嗜好のシグナルが含まれていると主張しています。

手法

1. データ収集：IFLLMデータセット

著者らは、現実的なマルチターン対話の設定において、マウスおよび視線の軌跡と明示的な嗜好を併せて捉えた初のデータセットであるIFLLM（Implicit Feedback for Large Language Models）を構築しました。

• 参加者： 59名のユニークなAmazon Mechanical Turk (MTurk) ワーカー。
• タスク： ユーザーは、1,336のトピック（Wikipedia由来）を用いたマルチターンQ&Aセッションに従事しました。ユーザーは4つのLLM（DeepSeek V3, GPT-4o Mini, Claude Sonnet 4.5, Llama 3.3 70B）と対話しました。
• 設定：
  • ペアワイズ（Pairwise）： 2つの回答を並べて比較。
  • ポイントワイズ（Pointwise）： 単一の回答を5段階のリッカート尺度でスコアリング。
• 計装： 標準的なウェブカメラを使用して視線を追跡するWebGazer.jsを用いたカスタムウェブベースのクラウドソーシングプラットフォームを使用し（特殊なラボ機器を不要にするため）、マウスの座標を10Hz（0.1秒ごと）で記録しました。
• キャリブレーション： データ収集前に、視線追跡の精度を確保するため（70%の閾値）、ユーザーはキャリブレーションプロセスを行いました。

2. ユーザー行動分析

著者らは収集された軌跡を分析し、読解パターンを理解しました。

• 応答長への依存性： 短い応答の場合、マウスと視線の軌跡の相関は弱くなります。中程度の長さや長い応答の場合、ユーザーはスクロールする必要があるため、マウスの動きが読解の進行を追跡せざるを得なくなり、両者の相関は強くなります。
• 注意の分布： ユーザーは応答の冒頭に集中する傾向がありますが、注意はレイアウト（例：ペアワイズ設定における左列対右列）に基づいて変化します。
• 個人の多様性： 読解行動は非常に多様であり、線形な読解から、広範囲にわたる行き来を伴うレビューまで多岐にわたります。

3. 報酬モデルの訓練

著者らは、暗黙的フィードバックから抽出された特徴量を用いて、ユーザーの嗜好を予測する**ランダムフォレスト（RF）**報酬モデルを訓練しました。

• 特徴量抽出： 特徴量には、テキストの特性（クエリ／応答の長さ）と、軌跡の指標（読解時間、閲覧された最大文字インデックス、レビュー時間、および視線とマウスの動きの比率）が含まれます。
• 特徴量選択： モデルは、暗黙的フィードバックの特徴量（特にマウスの動き）が、テキストベースの特徴量や生成されたLLMの識別情報よりも予測能力が高いことを特定しました。
• 比較： 暗黙的フィードバックを用いたモデルを、標準的なテキストのみのモデル（ModernBERT）およびゼロショットLLMジャッジと比較しました。

4. LLMのアライメント（DPO）

訓練された報酬モデルは、8種類の異なるベースLLM（1Bから4Bパラメータの範囲）を、Direct Preference Optimization (DPO) および rDPO（負の対数尤度を用いた正則化DPO）を用いてアライメントするために使用されました。

• プロセス： モデルはまず応答に対して教師あり微調整（SFT）が行われ、その後、報酬モデルによって予測された嗜好を用いて最適化されました。
• 評価： アライメントされたLLMの品質は、GPT-4.1-miniによって評価され、ワーカーが事実関係の検証を行う小規模な人間による実験を通じて検証されました。

主な結果

1. 嗜好予測の精度

• ベースライン： 標準的なテキストベースの報酬モデル（ModernBERT）の精度は約**55%**でした。
• 暗黙的フィードバック： 暗黙的フィードバック（マウスと視線）をランダムフォレストモデルに組み込むことで、精度は**64%**に向上しました。
• シグナルの重要性： マウスのデータを削除すると性能が大幅に低下しましたが、視線のデータを削除した場合の影響は限定的でした。これは、特にスクロールが必要となる長い応答において、マウスの動きがより強力なシグナルであることを示唆しています。

2. LLMアライメントの改善

• 応答の品質： 暗黙的フィードバック報酬モデルを用いたDPOを適用することで、SFT単独と比較して応答の品質が大幅に向上しました。
• 勝率（Win Rates）： 「DPO vs SFT」の勝率は、テキストのみの報酬を用いた場合の0.12から、暗黙的フィードバック報酬を用いた場合の0.35へと上昇しました。
• 効率性： 暗黙的フィードバックを用いたアプローチは、より高品質な応答を、有意に短い平均長（SFTの228.6トークンに対し202.5トークン）で生成しました。これは、より簡潔で関連性の高い内容を示唆しています。
• モデル非依存性： 改善は、最新のQwenシリーズを含む様々なベースモデルにおいて一貫して見られました。

意義と貢献

本論文は、主に3つの貢献を主張しています。

1. IFLLMデータセット： ウェブカメラによる視線およびマウスの軌跡を、マルチターン対話の文脈における明示的な嗜好と組み合わせた初のデータセットを作成・公開しました。著者らは、今後の研究を促進するためにデータ収集サイトのソースコードも公開しています。
2. 体系的な分析： 多様な読解行動（視線とマウス）に関する詳細な分析と、報酬モデルの訓練におけるそれらの有効性の比較評価を初めて行いました。本研究は、マウスの軌跡が、長文コンテンツにおいて極めて重要かつ、これまで活用されてこなかったシグナルであることを明らかにしています。
3. スケーラブルなアライメント： 暗黙的フィードバックが報酬モデルの精度を大幅に向上させ、その結果としてアライメントされたLLMの品質を向上させることができることを実証しました。著者らは、これがスケーラブルなパーソナライズド・アライメントの基礎を築き、高価な明示的ラベル付けを必要とせずに、通常のユーザーインタラクションが継続的にシステム性能を向上させる「自己強化型のデータフライホイール」を創出する可能性を秘めていると論じています。

著者らは、制約事項についても控えめなトーンを維持しています。具体的には、報酬モデルのデータ収集にはユーザーが応答を閲覧することが前提であること（これはRLHFにおいても前提条件である）、および本研究ではマルチターン文脈をシングルターンセッションに簡略化したことを述べています。また、プライバシーに関する倫理的懸念や、データフライホイールが支配的になった場合にLLMの選択肢の多様性が減少する可能性についても認めています。