Ranked (In)direct Citation Searching in Systematic Reviews: A methodological case study

この方法論的ケーススタディは、システマティックレビューにおいてランク付き間接引用検索（RICS）をランクなし直接引用検索（UDCS）と比較するための枠組みとオープンソースツールを導入し、RICS が追加の関連文献を特定しつつ同等または向上した精度を提供することを示す。

要約

あなたが複雑な事件（システマティックレビュー）を解決しようとする探偵だと想像してください。最初のステップは、特定のキーワードを用いて膨大な書籍や論文の図書館（データベース）を捜索し、事件解決に役立つ手がかり（研究）を見つけることです。あなたは有望に見える「種」となる手がかりのリストを見つけます。

しかし、キーワードによる検索だけでは、見逃されている隠れた宝石があることをあなたは知っています。そこで、あなたは第二の戦略を決意します：引用検索です。これは、「この本を書いたのは誰か？」（過去を振り返る）と「この本を読み、参照した人は誰か？」（未来を向く）と尋ねるようなものです。

この論文は、この探偵作業を行う新しい、より賢い方法を導入し、従来の標準的な方法と新しいランキング方式を比較しています。

2 つの探偵手法

1. 従来の方法：「ランク付けなし直接引用検索（UDCS）」
これは、あなたの種となる手がかりに尋ねるようなものです。「あなたを書いたのは誰か、そしてあなたを読んだのは誰か？」

• あなたは、あなたの種となる手がかりを直接引用したすべての人のリストを得ます。
• これは単純で、鈍いリストです。直接的なつながりを持つ全員が得られますが、どの手がかりが最も重要かはわかりません。
• 問題点： 少し散漫になる可能性があります。同じ棚に偶然置かれていただけの、無関係な書籍を多く得るかもしれません。

2. 新しい方法：「ランク付けあり（直接・間接）引用検索（RICS）」
これがこの論文の主な革新です。あなたの種となる手がかりに尋ねるようなものです。「あなたを書いたのは誰か？あなたを読んだのは誰か？そして、あなたたちが両方とも読んだ他の人は誰か？あなたたちが両方とも書いた他の本は誰か？」

• 直接リンク： 従来の方法と同じ（引用されたもの/引用したもの）。
• 間接リンク（秘密の武器）： さらに、「共引用」（あなたの種と同じ人々によって読まれた本）と「共引用者」（あなたの種と同じ情報源を読んだ本）も見つけます。
• ランキング： この方法は、直接的なものだけでなく、何千もの潜在的なつながりを見つけるため、著者たちはCo*Citation Networkと呼ばれるツールを作成しました。このツールは、賢いフィルターとして機能します。それは、種となる手がかりとどの程度の多様な方法でつながっているかに基づいて、各本にスコアを付けます。
• カットオフ： その後、「わかった、作業量を管理可能にするために、つながりの最も多い上位 100 冊の本だけを見ればよい」と言います。これにより、新しい方法が探偵をあまりにも多くの書類で圧倒しないように保証されます。

実験：テストへの投入

研究者たちは、このプロセスを自動化するための無料のオープンソースツール（Co*Citation Network）を構築しました。彼らは、「賢いフィルター（RICS）」が「鈍いリスト（UDCS）」よりも優れているかどうかを確認したかったのです。

彼らはこれを 2 つの方法でテストしました：

1. 過去を振り返る（回顧的）： 彼らはすでに解決済みの 3 つの過去の探偵事件を取り上げ、両方の方法をそれらに適用して、何が見つかるかを確認しました。
2. 未来を向く（前向きなケーススタディ）： 彼らは「若年性認知症」に関する新しい調査を立ち上げ、どちらの方法がより良い手がかりを見つけるかを確認するために、両方の方法を同時に使用しました。

彼らが発見したもの

• 「良いもの」とのより大きな重複： 過去の事件において、「賢いフィルター（RICS）」は、探偵たちが主要な図書館検索ですでに見つけていた高品質の書籍と非常に似ている書籍のリストを見つけました。これは、RICS が特定の事件に適合する関連資料を見つけるのに優れていることを示唆しています。
• 「読む必要がある」スコア： 新しい認知症のケースでは、勝者を見つけるためにタイトルと抄録を読み通す必要がありました。
  • 従来の方法（UDCS）では、1人の勝者を見つけるために約57件の論文を読む必要がありました。
  • 新しい方法（RICS）では、1人の勝者を見つけるために約48件の論文を読む必要がありました。
  • 訳： 新しい方法はわずかに効率的でした。無関係な論文を読む時間を無駄にするのが減りました。
• 驚き： 興味深いことに、従来の方法（UDCS）は、新しい方法（RICS）が見逃した1 つの最終的な勝者を見つけました。なぜでしょうか？その特定の勝者は、新しい方法の上位 100 位リストに入るほど種となる手がかりと「つながり」が十分ではなかったからです。もしそれを含まれるようにカットオフを下げたなら、1 万件以上の論文を読む必要があり、それは不可能です。

結論

この論文は、この新しい**ランク付けあり（直接・間接）引用検索（RICS）**手法が有望なツールであると主張しています。それは、特定の事件に関連する手がかりを見つけ、勝者を見つけるために必要な読書量がわずかに少ないように見えます。

しかし、著者たちは慎重に述べています：「これが完璧な方法かどうかは、まだ確実にはわかりません。」

• 彼らのテストでは、従来の方法が、新しい方法が見逃した 1 つの独自の勝者を見つけました。
• 彼らは RICS が常に優れているとは証明していません。

目標： この論文の主な点は、今日勝者を宣言することではありません。世界中の探偵チームがこれらを一緒に使用できるように、ツール（Co*Citation Network）とワークフローを構築することです。彼らはデータを共有することで、最終的に「賢いフィルターは鈍いリストよりも優れているか？」という問いに答えるために、大規模なグローバル比較を実行することを望んでいます。

要約： 彼らは研究の手がかりを見つけるための新しい、より賢い拡大鏡を構築しました。初期のテストは良好ですが、それが新しい標準であると宣言する前に、より多くの探偵がそれを使用する必要があります。

技術概要

技術的概要：システマティックレビューにおけるランク付けされた（間）接引用検索

問題定義
システマティックレビュー（SR）の著者は、包括的なエビデンス収集を確保するため、主要なデータベース検索を補完する手法として、頻繁に引用検索（CS）を採用している。現在の標準的なワークフローであるランク付けなし直接引用検索（UDCS）は、「シード参照」（主要検索で見つかった対象記録）を直接引用する文献、またはシード参照によって直接引用されている文献を特定する。量としては管理可能であるが、UDCS は関連する文献を見逃す可能性がある。研究者らは、共引用および共引用文献（間接引用）を含めるように検索範囲を拡大し、関連性ランキングとカットオフ手順を適用する、ランク付けされた（間）接引用検索（RICS）を提案している。しかし、RICS ワークフローは標準化されておらず、手動での実行は煩雑であり、補完的検索の文脈における UDCS に対する比較的な有効性と効率性は不明である。自動間接 CS のための既存ツールは希少か、あるいはサポートされていないのが実情であり、RICS を UDCS とともに補完的手法として評価した大規模な比較研究は存在しない。

方法論
著者は、UDCS と RICS の並行実行および比較を促進するための方法論的フレームワークと、ソフトウェアツール「Co*Citation Network」を開発した。

• ツールの開発: Co*Citation Network は、OpenAlex 引用インデックスに基づいて構築されたオープンソースアプリケーションである。フロントエンドは、UDCS 用の既存の「Local Citation Network」と統合されている。間接引用（共引用/共引用文献）の大量のデータを処理するため、バックエンドは直接 API 呼び出しではなく、OpenAlex スナップショットのローカル処理を利用する。これは、候補論文とシード参照間の引用関係（引用、被引用、共引用、共引用文献）を合計する、Belter の方法に基づく関連性ランキングアルゴリズムを実装している。
• ランキングカットオフ戦略: RICS が SR のスクリーニング負荷に対して実行可能であることを保証するため、システムは自動的に関連性ランキングのカットオフを決定する。このカットオフは、UDCS 結果の量とほぼ等しいが、わずかに多い数の RICS 結果を返すように設定される。この経験的アプローチは、関連する間接引用の収集と、スクリーニングの実践的制約とのバランスを取ることを目的としている。
• 研究デザイン: 本研究は混合アプローチを採用した。
  1. 回顧的分析: 以前に完了した 3 つの SR（Neuhaus ら、Baroutsou ら、Reid ら）において、含まれた記録をシード参照として使用し、UDCS と RICS の並行検索を実施した。結果は、元の主要データベース検索に対して重複除去を行った。
  2. 前向きケーススタディ: 若年性認知症に対する非薬物介入に関する新しい SR を実施した。シード参照（含まれた記録 11 件＋関連プロトコル/レビュー 6 件）を用いて、UDCS と RICS の並行結果を生成した。これらは 2 人のレビューアによる独立したタイトル/抄録および全文スクリーニングに付された。

主要な貢献

• Co*Citation Network アプリケーション: OpenAlex インデックスに基づいて、UDCS と RICS の並行検索を自動化できる初のオープンソースツールの導入。これは、経験的に決定された柔軟な関連性ランキングカットオフを提供する。
• 標準化されたワークフロー: 主要検索結果に対する重複除去や適合性スクリーニングを含む、補完的 UDCS と RICS を比較するための再現可能なワークフローの確立。
• 研究インフラ: RICS と UDCS の有効性を統計的に評価するために、複数の SR チームからデータを収集する国際的研究コンソーシアム（「RICS クラウドスタディ」）の枠組みの構築。

結果

• 回顧的分析: 3 つのすべての回顧的 SR において、RICS 結果は UDCS に比べて主要データベース検索結果との重複率が高かった（例：Neuhaus 研究では 40.9% 対 22.6%）。その結果、重複除去後、スクリーニングを要する固有の記録数は、3 つのケースのうち 2 つで RICS の方が少なかった。
• 前向きケーススタディ:
  • 量: UDCS は 917 件の結果をもたらした。RICS（自動ランキングカットオフ 10）は 1,151 件の結果をもたらした。
  • 重複: RICS は UDCS（7.5%）よりも主要検索との重複率が高かった（12.9%）。
  • スクリーニング効率: タイトル/抄録段階において、RICS は UDCS の精度 1.8% と NNR（読む必要がある数）57 に比べ、わずかに高い精度 2.1% と NNR 48 を示した。
  • 含め: 補完的検索を通じて、2 件の追加的な対象記事が特定された。1 件は UDCS と RICS の両方で発見され、もう 1 件は UDCS のみで発見された。注目すべきは、UDCS 専有の記事は RICS 順位 6 位であり、自動カットオフ 10 位を下回っていたことである。この記事を含めるためにカットオフを下げると、結果が 10,000 件を超え、ワークフローは実行不可能となっていた。

意義と主張
本論文は、補完的 UDCS と RICS の前向きな国際比較のための初のフレームワークを提供すると主張している。結果は、RICS 結果は UDCS 結果よりも関連性が高い（すなわち、シード参照および主要検索結果とより類似している）可能性があり、潜在的に高い精度を提供する可能性を示唆している。しかし、著者は明示的に、現在のケーススタディは RICS が UDCS より優れているかを決定的に判断するための統計的検出力を欠いていると述べている。本研究は、潜在的なトレードオフを特定している。すなわち、RICS はより高い精度を提供する可能性がある一方で、実行可能性に必要な厳格なランキングカットオフは、UDCS が捉える関連文献を見逃す可能性があることである。著者は、提案されたワークフローとオープンソースツールが、システマティックレビューにおける標準的な補完的検索手法として RICS を採用すべきかどうかについて決定的なエビデンスを生成するための研究コンソーシアムの形成を可能にすると結論づけている。