技術要約：非教師あり検索のための時間的選好最適化 (TPOUR)

1. 問題提起

Contrieverのような既存の非教師あり高密度リトリーバー（dense retrievers）は、コントラスティブ学習を通じてラベルのない文書から意味的な類似性を学習することに長けている。しかし、これらは**時間的な不整合（temporal misalignment）**という課題を抱えている。文書コレクションが複数の時期にわたる場合、これらのモデルは意味的には関連しているものの、時間的に不適切な文書を検索してしまうことが多い。例えば、「2019年の大統領は誰ですか？」や「現在の大統領は誰ですか？」といった暗黙的なクエリに対し、モデルが意味的な類似性のみに依存していると、2025年や2015年の文書を検索してしまう可能性がある。

この問題に対する既存の解決策は、通常、明示的なタイムスタンプやラベル付きのクエリ・文書ペアを用いた教師あり学習に依存している。しかし、大規模なラベルなしコーパスにおいて高品質なラベル付きデータの確保は困難であり、明示的な時間注釈を取得することも難しいため、このアプローチは大規模なスケールでは実用的ではないことが多い。さらに、純粋な非教師あり手法は一般に時間信号を無視しており、意味的な関連性のみを最適化している。

2. 手法

著者らは、文書レベルのタイムスタンプやラベル付きのクエリペアを必要とせずに、時間的選好を非教師あり検索に統合するフレームワークであるTPOUR（Temporal Preference Optimization for Unsupervised Retriever）を提案する。TPOURの中核は、**時間的検索選好最適化（TRPO: Temporal Retrieval Preference Optimization）**と呼ばれる新しい学習手法である。

2.1. 時間的検索選好最適化 (TRPO)

TRPOは、選好学習を時間軸の中で再解釈するものである。LLMにおけるDirect Preference Optimization（DPO）のように人間によるラベル付きの選好に頼るのではなく、TRPOは異なる時期に収集された文書コーパスから選好ペアを構築する。

• 入力: クエリ $Q_i$、時間的に整合した文書 $D^t_i$（ターゲットとなる期間の文書）、および時間的に不整合な文書 $D^{t'}_i$（異なる期間の文書）。
• メカニズム: モデルは、クエリと整合した文書との類似性を最大化し、不整合な文書との類似性を最小化するように学習される。
• 損失関数: 全体の学習目的関数は、標準的なコントラスティブ損失 ($L_{CE}$) と TRPO 損失 ($L_{TRPO}$) を組み合わせたものである：
  $$L_{total} = \lambda L_{CE} + (1 - \lambda) L_{TRPO}$$
  ここで、$L_{TRPO}$ はブラッドリー・テリー（Bradley-Terry）モデルに基づいて定義され、現在のモデルと（モーメンタムによって維持される）参照モデルとのスコア差を調整することで、モデルが不整合な文書よりも整合した文書を好むように促す。
• データソース: この手法は、時間的に区別された文書コレクション（例：2018年と2021年のWikipediaダンプ）を利用する。極めて重要な点として、学習データには明示的な時間マーカーがほとんど含まれていない（ターゲットとなる年が含まれる文書は2.5%未満である）ため、モデルはコンテンツ自体の意味的な変化から時間的選好を学習することを強制される。

2.2. 補間による連続的な時間表現

離散的な期間という制限に対処し、再学習なしで未知の中間期間への検索を可能にするために、TPOURは**時間ベクトル補間（time vector interpolation）**を採用している。

• 時間ベクトル: 特定の期間にファインチューニングされたモデルの重み ($\theta_t$) と、ベースとなる事前学習済みモデルの重み ($\theta_{base}$) の差として定義される：$\tau_t = \theta_t - \theta_{base}$。
• 補間: 中間時刻 $t_{mid}$ 用のリトリーバーを作成するために、隣接する期間（$t_{start}$ と $t_{end}$）の時間ベクトルを係数 $\alpha \in [0, 1]$ を用いて補間する：
  $$\theta_{tmid} = \theta_{base} + (1 - \alpha)\tau_{tstart} + \alpha\tau_{tend}$$
  これにより、2018年と2021年のデータで学習されたモデルの重みを補間するだけで、中間的な期間（例：2019年や2020年）へと汎化させることが可能になる。

2.3. タイムスタンプの推論と外挿

• 推論: TPOURは、「mixture-of-TPOUR」アプローチを用いて、複数の時間特異的なリトリーバーからの埋め込みを結合し、線形分類器に渡すことで、文書のタイムスタンプを推論することができる。
• 外挿: 著者らは、異なる過去の期間のベクトルを組み合わせて「未来指向」の時間ベクトルを近似することにより、時間ベクトルを将来の期間へと外挿できることを示しており、特定のデータで学習することなく、最新のデータに対する検索性能を向上させている。

3. 主な貢献

1. 時間的不整合の特定: 既存の時間認識を持たないリトリーバーが、混合タイムスタンプのコレクションにおいて、意味的には類似しているが時間的に不整合な文書を区別できないことを示した。
2. TPOURフレームワーク: 明示的なタイムスタップの教師信号なしに、ラベルなしコーパスから時間的関連性を学習することを可能にする、選好ベースの学習手法（TRPO）を導入した。
3. 連続的な汎化: 時間ベクトルの補間により、追加の学習なしに中間期間や将来の期間へと汎化できることを検証し、連続的な時間的整合能力を実現した。
4. 一般的な検索における時間的感度: 時間的QAタスクだけでなく、最適性能がデータセットの作成年と相関する一般的な検索ベンチマーク（BEIR）においても、時間的認識が性能を向上させることを示した。

4. 実験結果

著者らは、SituatedQA（年次時間的QA）、RealTimeQA（月次時間的QA）、およびBEIRベンチマークを用いてTPOURを評価した。

• 時間的QAにおける性能: TPOURは、非教師ありベースライン（例：Contriever）および教師ありベースライン（例：DPR）の両方を大幅に上回った。
  • SituatedQA（2018年、暗黙的クエリ）において、TPOURは nDCG@5 で 44.11 を達成し、Contriever（29.89）を大幅に上回った。
  • TPOURは、暗黙的な時間情報を持つクエリに対しても、すべての年（2018年〜2021年）および月において強力な性能を維持した。
• 大規模モデルとの比較: TPOUR（Contrieverベース）は、Qwen-Embedding-8Bモデルと比較して約 72.7倍小さいにもかかわらず、明示的および暗黙的クエリの両方において、Qwen-Embedding-8Bのバリアント（クエリ書き換えや時間認識指示を含むもの）を凌駕した。
  • TPOURは、Qwen-Embedding-8Bと比較して、明示的クエリで平均 nDCG@5 を +4.04 (+12.15%)、暗黙的クエリで +4.98 (+15.21%) 向上させた。
• 補間の有効性: 補間されたモデルは、中間年に対して直接ファインチューニングされたモデルと同等、あるいはそれ以上の性能を達成した。例えば、2018年と2021年のモデルを補間すると、SituatedQAにおいて開始年リトリーバーよりも平均 +13.4 nDCG@5 向上した。
• タイムスタンプ予測: Mixture-of-TPOUR 予測器は、文書の年を予測する上で 76.56% の精度を達成し、Contrieverを用いたベースライン予測器（50.18%）や、より大規模な Nomic-Embed v2 MoE モデル（53.03%）を上回った。
• BEIR ベンチマーク: BEIR データセットにおける最適な補間重み ($\alpha$) は、データセットの作成年と相関していることが分析により示された（例：MS MARCOのような古いデータセットは $\alpha=0.0$ で最高の性能を示し、TREC-COVIDのような新しいデータセットは $\alpha=1.0$ で最高の性能を示した）。これは、時間的モデリングが一般的な検索タスクにも利益をもたらすことを示唆している。

5. 意義と主張

論文は、TPOURが非教師あり選好最適化を活用することで、時間的不整合に対するスケーラブルな解決策を提供すると主張している。その意義は以下の点にある：

• ラベル付きデータの必要性の排除: ラベル付きの時間データが利用できない大規模な展開においても、異なる時期に収集されたラベルなしの文書コーパスのみを使用して時間的認識を実現できる。
• 連続的な適応性: 時間ベクトルの補間能力により、再学習なしで任意の時点（過去、現在、未来）に適応できるため、従来の静的なリトリーバーの問題を解決できる。
• 効率性: TPOURは、適切な時間的選好学習を備えていれば、比較的小さなモデル（パラメータ数 110M）が、時間的検索タスクにおいて巨大な埋め込みモデル（8B パラメータ）を凌駕できることを実証した。

著者らは、時間的モデリングは単なる時間的QAのためのニッチな要件ではなく、一般的なドメインにおける検索品質を向上させる根本的な構成要素であり、将来のリトリーバーは本質的に時間的コンテキストを考慮すべきであると結論付けている。