Development of a System of Indicators for Assessing the Quality of Search Strategies in Systematic Reviews: A Methodological Document Review

科学研究の世界において、システマティック・レビューは強力なツールです。ある特定の医学的治療や社会問題について真実を知りたいと考えている科学者のチームを想像してみてください。彼らは新しい実験を単発で行う代わりに、そのトピックに関してこれまでに行われたあらゆる研究を集めます。彼らはそれらをすべて読み、その質を確認し、それらの知見を組み合わせて、一つの明確で信頼できる答えを導き出します。このプロセスは、個々の研究のノイズを切り抜け、より大きな全体像を明らかにするため、医学や公衆衛生などの分野における意思決定のゴールドスタンダード（最高基準）となっています。しかし、このプロセス全体は、たった一つの脆弱な基盤、すなわち「検索戦略」の上に成り立っています。これは、研究者がそれらの研究を見つけ出すために使用する具体的な一連の指示のことです。検索が狭すぎれば、重要な証拠を見逃してしまいます。検索が乱雑であったり、記述が不適切であったりすると、無関係なゴミを見つけたり、正しい論文を見つけられなかったりする可能性があります。検索が失敗すると、レビューの最終的な結論は欠陥のあるものとなり、医師や政策立案者が不完全または偏った情報に基づいて意思決定を下す原因となる可能性があります。

このステップがいかに重要であるにもかかわらず、これらの検索戦略の質はしばしいつの間も見過ごされてきました。研究者たちは、徹底的である必要があることを古くから知っていましたが、検索が実際にうまく行われたかどうかを測定する標準的な方法はありませんでした。テヘラン大学のアリレザ・ジャハニとキーバン・サレヒによる新しい研究は、このギャップを埋めることを目的としています。研究者たちは、システマティック・レビューにおける検索戦略の質を判断するために、誰でも使用できる具体的で測定可能な兆候（チェックリスト）である「指標の体系」を構築することを目指しました。彼らの目標は、漠然とした助言を超えて、研究者、査読者、そしてジャーナルの編集者が、これらの研究が強固な基盤の上に築かれていることを確実にするために使用できる、具体的な枠組みを提供することでした。

このシステムを作成するために、著者らは二段階の調査を行いました。まず、既存の知識への深い掘り下げを行いました。彼らは、検索戦略の書き方や評価の仕方について論じている書籍、国際的なガイドライン、過去の研究を含む35の異なる文書を収集し、読み込みました。この膨大なテキストのコレクションから、彼らは何が良い検索であるかについての初期のアイデアを128個抽出しました。その後、彼らはこれらのアイデアを注意深く整理し、同じ意味を持つものを統合し、重複を削除しました。この洗練のプロセスを通じて、彼らは128個のアイデアを、7つの主要なカテゴリーに分類された最終的な39個の具体的な指標へと凝縮しました。これらのカテゴリーは、初期の計画から最終的な報告に至るまで、検索のライフサイクル全体をカバーしています。

第一のカテゴリーである「選択の包括性（Selection Comprehensiveness）」は、検索がどこで行われるかに焦点を当てています。研究によれば、質の高い検索は、主要な専門データベースや多角的なコレクションを含む、多くの異なる場所で行われなければなりません。研究者たちは、単一の一般的な検索エンジンに頼ることは不十分であると明示的に述べています。一つのソースのみを使用したり、一般的なウェブ検索に過度に依存したりすることは、重要な研究を見逃すリスクを高め、バイアスを導入することを彼らは指摘しました。優れた検索戦略は、単一の簡単なツールを唯一の真実の源として使う誘惑を避けつつ、多様な科学的ソースから関連する証拠を捉えることができるほど広範でなければなりません。

第二のカテゴリーは「検索戦略の構造設計（Search Strategy Structure Design）」に関するものです。これは検索の背後にある論理についてです。研究は、強力な検索は、対象となる集団や測定されるアウトカムといった特定の要素に基づいて構成された、明確で定義された問いから始まることを強調しています。研究者たちは、効果的な戦略は主要な概念をグループ化し、技術的な医学用語と日常的な言葉の両方を用いて、それらの概念を表すあらゆる方法を見つけ出すものであることを見出しました。また、彼らはこのプロセスが「反復的」であるべきであることも強調しました。つまり、研究者は検索をテストし、どのような結果が返ってくるかを確認し、得られた結果に基づいて質問や用語を洗練させる必要があるということです。このテストと改善のサイクルにより、検索が狭すぎたり、同じアイデアを別の言葉で表現している研究を見逃したりすることを防ぎます。

第三のカテゴリーである「構文の定式化（Syntactic Formulation）」は、検索の技術的なルールを扱います。文章が意味を成すために文法規則に従わなければならないのと同様に、コンピュータによる検索も正しく機能するために特定の構文ルールに従わなければなりません。研究は、すべてのデータベースが、単語を組み合わせたり、「AND」や「OR」のための記号を使用したり、特殊文字を扱ったりするための独自のルールセットを持っていることを指摘しています。研究者たちは、これらの技術的な詳細におけるエラーが一般的であり、それが関連文書を見逃したり、数千もの無関係な文書を返したりする原因となることを明らかにしました。これを避けるために、高品質な検索では正しい記号を使用し、多くの場合、検索を別のデータベースへと翻訳するツールを用いることで、異なるプラットフォーム間でも論理が一貫していることを確実にします。

通常の検索を超えた第四のカテゴリーである「補完的な検索（Supplementary Searching）」は、影に隠れているかもしれない証拠を探します。研究によれば、特に劇的な効果を示さなかったものを含む多くの重要な知見は、標準的なジャーナルには掲載されないことがあります。これらを見つけるためには、高品質なレビューは単にデータベースを検索する以上のことを行う必要があります。それは、既に見つかった記事のリファレンスリスト（引用文献リスト）をチェックしたり、会議論文を調べたり、未発表の臨床試験を検索したり、さらにはその分野の専門家に連絡を取ったりすることを含みます。著者らは、これらの追加ステップをスキップすることは、レビューが「出版バイアス」に対して脆弱になることを意味すると主張しています。つまり、最終的な結果が、証拠の全容を反映しているのではなく、運良く出版された研究のみを反映してしまう状態です。

第五のカテゴリーは「検証（Validation）」です。これは、作業を完了する前にチェックを行うステップです。研究によれば、最善の慣行は、情報の専門家（情報を探す訓練を受けたプロフェッショナル）に検索戦略をレビューさせることです。この専門家は、元の研究者が気づかないかもしれないエラーを見つけることができます。さらに、検索が既知の重要な論文リストに対してテストされ、それらを正常に発見できるかどうかを確認する必要があります。もし検索がこれらの既知の主要な研究を見つけることができなければ、それは感度が不十分であり、調整が必要です。この検証プロセスはセーフティネットとして機能し、検索がレビューに必要な重要な証拠を確実に取得できることを保証します。

第六のカテゴリーである「報告の透明性（Reporting Transparency）」は、検索がどのように文書化されているかに焦点を当てています。研究が信頼できるものであるためには、著者たちが自分たちが何をしたかを正確に書き記さなければならないと、研究は強調しています。これには、使用したすべてのデータベース、検索を実行した正確な日付、および検索用語の全リストが含まれます。また、なぜ特定の研究を含めたり除外したりしたのか、そしてどのように重複した結果を取り除いたのかについても説明しなければなりません。このレベルの詳細がなければ、他の科学者が結果を検証するために検索を再現することはできません。研究者たちは、確立された報告用チェックリストに従うことが、重要なステップが漏れていないことを確実にし、プロセスを読み手全員に対して明確にすることに役立つことを明らかにしました。

最後に、第七のカテゴリーである「プロセスの更新（Process Updating）」は、レビューが公開されるまで最新の状態であることを保証します。新しい研究は毎日発表されているため、1年前には完璧だった検索が、レビューがリリースされる頃には古くなっている可能性があります。研究は、新しい証拠を捉えるために、出版直前に検索を再度実行することを推奨しています。また、研究の選択プロセスは、個人のエラーを減らすために少なくとも2人の研究者によって独立して行われるべきであること、そしてチームは大量の記事を管理するためにソフトウェアを使用すべきであることも示唆しています。

これら39の指標を含むシステムを開発した後、研究者たちはそれをテストしました。彼らは、科学ジャーナルに発表された20のシステマティック・レビューに、この新しいチェックリストを適用しました。各レビューを評価したところ、いくつかのレビューは強力でしたが、多くには、特に構文という技術的な領域や、専門家に検索を検証させるという極めて重要なステップにおいて、重大な欠落があることが分かりました。著者らは、彼らの新しいシステムが、システマティック・レビューの質を向上させるための実用的かつ必要なツールを提供すると結論付けました。これらの指標を使用することで、研究者はバイアスを減らし、知見の再現性を高め、収集された証拠が真に現実の世界を反映していることを確実にできます。本研究は、ジャーナルが著者に対し、このシステムをレビュー・プロセスの標準的な一部として使用することを義務付けるべきであると示唆しており、それによって、これらの重要な科学的要約の基盤が、彼らが導き出す結論と同じくらい強固であることを保証できるとしています。