SciClaimSeekers at CheckThat! 2026: Retrieving Scientific Sources for Social Media Claims with LLM Reranking

技術要約: CheckThat! 2026 における SciClaimSeekers

問題提起
科学的な主張は、検証されるよりも早くソーシャルメディア上で拡散されることが多いが、ソーシャルメディアの投稿が元の学術的ソースへのリンクを含んでいることは稀である。これは、自動ファクトチェックシステムにとって大きな課題となっている。この困難さは、「確証バイアス（ユーザーが自身の既成概念に合致する情報を好む傾向）」や、非公式で専門用語の多いソーシャルメディアの言説と、形式的な科学文献との間の構造的なミスマッチによってさらに増幅される。さらに、ユーザー生成コンテンツは、研究結果をパラフレーズ（言い換え）したり、標準的な引用なしに緩やかに参照したりすることが多いため、元の科学的ソースを特定することを困難にしている。CheckThat! 2026 Task 1 は、ソーシャルメディアの主張に対して科学的ソースを検索することを目的としており、システムに対し、10,000本の固定された論文プールから正しい出版物をマッピングすることを要求している。

手法
著者らは、ノイズの多いソーシャルメディアの投稿と形式的な科学抄録との間の溝を埋めるために設計された、3段階の「検索・再ランク付け（retrieve-then-rerank）」パイプラインである SciClaimSeekers を提案している。システムは以下のように動作する：

1. 第1段階：検索（ハイブリッド）: 索引化されたコーパス（タイトルと抄録を連結したもの、計10,000本）に対して、2つの補完的なリトリーバーが並行して動作する：

   • 疎な検索（Sparse Retrieval）: BM25 (Okapi) を使用して、固有名詞や数値などの語彙的信号を捉える。入力は、ノイズ（URL、メンション、句読点）を除去し、正規化される。
   • 密な検索（Dense Retrieval）: multilingual-e5-large-instruct モデル（XLM-RoBERTaベース）を使用する。このモデルは、クエリとドキュメントを区別するために指示プレフィックスを採用しており、ソーシャルメディアの投稿を、対応する科学論文を検索するためのクエリとして扱う。FAISSインデックスを介したコサイン類似度マッチングのために、最終的な隠れ状態の平均プーリングとL2正規化を利用する。
   • 融合（Fusion）: 両方のリトリーバーは上位100個の候補を返し、これらのリストは平滑化定数 $k=60$ の Reciprocal Rank Fusion (RRF) を用いて統合され、統一された上位50個の候補セットが生成される。

2. 第2段階：再ランク付け（LLM）: 融合された上位50個の候補は、オープンソースの大規模言語モデル（LLM）である Qwen2.5-14B-Instruct を用いて再ランク付けされる。

   • アプローチ: このモデルは、**ゼロショット・ポイントワイズ・クロスエンコーダー（zero-shot pointwise cross-encoder）**として使用される。リストワイズのアプローチとは異なり、各（ソーシャルメディアの投稿、候補論文）のペアは独立してスコアリングされる。
   • プロンプティング: システムは、LLMに対し、科学的ソース識別者として振る舞い、投稿が特定の論文を参照している可能性に基づいて、0から10までの整数による関連性スコアを出力するように指示する。
   • 出力: 候補はLLMのスコアによってソートされ（タイの場合は第2段階のRRFスコアで判定）、上位5件が最終的な予測として返される。

主な貢献

1. ハイブリッド・パイプラインの性能: 著者らは、CheckThat! 2026 Task 1 の英語テストセットにおいて、37チーム中11位を獲得したハイブリッドな「検索・再ランク付け」パイプラインを提示している。システムは、公式テストセットにおいて MRR@5 = 64.39% を達成した。
2. 再ランク付けにおけるLLMの優位性: 本研究では各段階の貢献を分離して特定しており、LLMクロスエンコーダーが性能の主要な推進力であることを明らかにしている。Qwen2.5-14B リランカーは、BM25の候補のみに適用した場合でも、ハイブリッドに融合された候補に適用した場合でも、約 +10 MRR@5 ポイントの向上をもたらした。これは、BM25ベースラインからの総 +13.67 ポイントの改善のうち、約4分の3を占めている。
3. 汎用性: システムは強力な汎用性を示しており、開発セットのスコアとテストセットのスコアの差はわずか 0.03 パーセントポイントであり、チューニングの決定が保持されたデータに対してもクリーンに転移することを示唆している。

結果と分析
平均逆順位（MRR@5）、Hit@1、およびHit@5に基づく評価は、以下を示している：

• ベースライン: BM25単体では約50%のMRR@5であった。密なE5リトリーバーはこれを約2ポイント向上させ、ハイブリッドRRF融合はさらに約1.5ポイント加えた。
• 再ランク付けの比較: 従来のクロスエンコーダー（bge-reranker-v2-m3）は、開発セットでは緩やかな改善を示したが、過学習の影響を受け、テストセットではハイブリッド・ベースラインよりも低い性能となった。対照的に、生成型LLMリランカー（Qwen2.5-14B）は、大幅かつ一貫した利点をもたらした。
• 効率性と性能: LLMリランカーは計算上のボトルネックとなるが（2基のA40 GPUを使用してテストセットに約11時間かかる）、著者らはパイプラインがモジュール式であり、単一のノードでエンドツーエンドで動作するため、オフラインまたはプライバシーに配慮したデプロイメントにおいて実用的であると述べている。

意義と主張
本論文は、大規模な事前学習済みモデルを注意深いパイプラインに統合することで、科学的ソースの検索においてファインチューニングされた手法に匹敵する性能を発揮できると主張している。具体的には、強力なオープンウェイトLLMを用いたポイントワイズ・スコアリングが、タスク特化型のリランカーを訓練する代わりとなる信頼できる代替手段になることを著者らは論じている。本研究は、ハイブリッド検索（疎な信号と密な信号の組み合わせ）がリコール（再現率）のための必要な基礎を提供する一方で、ランキング品質の劇的な飛躍は、再ランク付け段階におけるLLMのセマンティック理解能力によって駆動されることを強調している。本システムは、ソーシャルメディアの主張を科学的根拠に結びつける際に固有の言語的・構造的なミスマッチを効果的に解決する、オープンソースでモジュール化されたソリューションとして提示されている。