Removing animal and nonhuman records in Ovid Embase: A comparison of 11 filters

本論文は、Ovid Embase における動物および非ヒト記録を除去する 11 種類のフィルタの性能を 3,000 件のレコードで評価し、感度と特異性のトレードオフや誤って除外されるレコードの特性を明らかにするとともに、フィルタ選択における文脈の重要性を指摘している。

要約

この論文は、医学や健康に関する研究を探すときに使われる「巨大な図書館（データベース）」の中で、「人間以外の動物を使った実験」をいかに上手に排除するかという、とても実用的な問題を研究したものです。

まるで、「人間のためのレシピ集」を作るために、図書館から「犬や猫の食事のレシピ」をすべて取り除こうとしているような状況だと想像してください。

以下に、この研究のポイントを、わかりやすい比喩を使って解説します。

1. 問題：「動物のレシピ」をどうやって見分ける？

医学の研究（システマティックレビュー）をする際、人間への効果を知りたいのに、ネズミや犬を使った実験の結果が混ざっていると、分析がめちゃくちゃになります。

そこで、図書館の司書（情報専門家）たちは、**「フィルター（選別機）」**という道具を使います。これは、検索結果から「動物の話」を自動的に消し去るためのルール集です。

しかし、問題があるんです。

• 「どれが一番いいフィルターなのか」が誰もわかっていない。
• 11 種類の違うフィルターが世の中にあり、それぞれ「動物を排除するルール」が微妙に違う。
• 中には「人間の話なのに、間違って動物の話と一緒に消しちゃった！」という悲劇が起きている可能性があります。

2. 実験：11 人の「選別係」をテストした

研究者たちは、この 11 種類のフィルターをテストするために、**3,000 冊の「本（論文）」**を用意しました。

• グループ A（人間の話）： 人間に関する本。
• グループ B（動物の話）： 動物に関する本。

そして、11 種類のフィルターをそれぞれにかけました。「どのフィルターが、人間の本を一番多く残せて（見逃さず）、かつ動物の本を一番多く消せる（正確に排除できる）か？」を競わせたのです。

3. 結果：「完璧なフィルター」は存在しない

結果は、「万能な魔法のフィルター」は存在しないというものでした。代わりに、**「目的によって使い分ける必要がある」**ことがわかりました。

• 「見逃し防止」重視のフィルター（メソッド 11）：

  • 特徴： 人間の本を90% 以上残すことに成功しました。
  • 欠点： 代わりに、動物の本を「人間の話だ」と勘違いして、間違って残してしまうことが多かったです。
  • 例え： 「絶対に人間の本を捨ててはいけない！」という厳格なルール。だから、犬のレシピが混じっていても、「もしかしたら人間にも役立つかも？」と取っておいてしまいます。
  • 誰に向いている？ 「人間の話を見逃すのは許せない！」という人向け。

• 「正確排除」重視のフィルター（メソッド 3）：

  • 特徴： 動物の本を90% 以上正確に消すことに成功しました。
  • 欠点： その代わり、人間の本を**「動物の話だ」と勘違いして、間違って消してしまう**ことが多かったです。
  • 例え： 「動物の匂いが少しでもしたら、即座に捨てる！」という厳格なルール。だから、人間の本でも「動物のことが少し書かれている」というだけで、大切なレシピをゴミ箱に捨ててしまいます。
  • 誰に向いている？ 「動物の話が混じっているのは絶対に嫌だ！」という人向け。

4. 意外な発見：なぜ間違うのか？

研究では、フィルターが間違って人間の本を消してしまった理由も分析しました。

• 理由： 本の「タイトル」や「要約（目次）」に「動物」という言葉が書かれているだけで、フィルターが「これは動物の話だ！」と判断して消してしまったのです。
• 例え： 「犬の散歩中に人間が転んだ」という記事があったとします。フィルターは「犬」という言葉を見て「動物の話だ！」と判断し、消してしまいました。でも実際は「人間の転倒事故」についての重要な話だったのです。

また、**「会議で発表された短い論文（抄録）」や「まだ出版前の原稿」**は、図書館の司書（インデクサー）が手動でチェックしていないため、フィルターに引っかかりやすく、間違って消されやすいこともわかりました。

5. 結論：どうすればいいの？

この研究から学べる教訓はシンプルです。

1. 「正解」は一つではない： 研究の目的によって、どのフィルターを使うべきかが変わります。
2. チームで話し合う： 「動物の話は全部消したいのか？」「それとも、動物が関与している人間の話（例：犬の介助療法）も残したいのか？」を、研究チームと情報担当者がよく話し合う必要があります。
3. メソッド 11 がおすすめ： 一般的には、**「人間の本を見逃さないこと」を優先する「メソッド 11」**を使うのが安全だと言えそうです。もし動物の話が混じっても、後で人間が選べばいいですが、人間の本を消してしまったら二度と戻せませんからね。

まとめ

この論文は、「図書館から不要な本を捨てる作業」は、ただ機械的にルールを適用するだけでは失敗すると教えてくれています。

「人間の本」を一番多く守りながら、「動物の本」をいかに減らすか。それは、「守りたいもの」と「排除したいもの」のバランスを、その研究ごとに慎重に考える必要がある、というメッセージです。

「完璧なフィルター」を探すのではなく、「その研究に合ったフィルター」を選ぶことが、良い研究への第一歩なのです。

技術概要

以下は、Helen Fulbright 氏と Connor Evans 氏による論文「Removing animal and nonhuman records in Ovid Embase: A comparison of 11 filters（Ovid Embase における動物および非ヒト記録の除去：11 のフィルターの比較）」の技術的な要約です。

1. 問題背景 (Problem)

システマティックレビューやエビデンス統合において、ヒトを対象とした研究のみを抽出する際、動物実験や非ヒトの記録を除外するフィルターが頻繁に使用されています。しかし、Ovid Embase データベースで使用されている多くのフィルターには、その性能（感度や特異度）を実証するデータが存在しません。

• 現状の課題: 既存のフィルターは、Cochrane の RCT 検索戦略などで MEDLINE 用に設計された手法を模倣したものや、作者不明のものが多く、その設計思想や除外対象の範囲が統一されていません。
• リスク: 不適切なフィルターの使用により、ヒトに関連する重要な記録（例：動物介在療法、疾患検出犬など、ヒトと動物の両方が関わる研究）が誤って除外される（偽陰性）リスクや、逆に動物実験が混入するリスクがあります。また、Embase のインデックス付け（Emtree 用語）の特性上、単純な「human/」制限だけでは不十分なケースが多発しています。

2. 研究方法 (Methodology)

本研究は、Ovid Embase における 11 種類の動物・非ヒト記録除去フィルターの性能を比較評価する探索的研究です。

• データセットの作成:
  • 3 つの検索戦略（「動物/非ヒトのみ」「ヒトのみ」「動物/非ヒトとヒトの両方」）を用いて、計 3,000 件のレコードを抽出しました。
  • これらのレコードを 2 名のレビュアーがタイトルと抄録に基づき、「除去すべき（Should be removed）」または「保持すべき（Should be retained）」に分類しました（最終的に重複除去などにより 2,689 件を分析対象としました）。
• 評価対象フィルター:
  • 文献レビューや既存のリソースから収集した 11 種類のフィルター（Method 1〜11）を比較しました。これらは、Emtree 主題語のみを使用するもの、タイトル/抄録の自由テキストも使用するもの、など設計が異なります。
• 評価指標:
  • 感度 (Sensitivity): 「保持すべき」レコードを正しく保持した割合。
  • 特異度 (Specificity): 「除去すべき」レコードを正しく除去した割合。
  • 全体精度 (Overall Accuracy): 正しく処理されたレコードの総割合。
• 誤って除外されたレコードの分析:
  • 正しく保持すべきだったレコードが誤って除外された場合、その内容（ヒト参加者/データの使用、レビュー記事、診断・治療関連など）を 7 つのカテゴリーに分類し、どのフィルターがどのタイプを誤って除外したかを分析しました。

3. 主要な貢献と知見 (Key Contributions & Results)

A. フィルター性能の比較

• 感度 (Sensitivity) の観点:
  • Method 11 が最も高い感度（全データセットで 90.6%）を示しました。これは「動物実験/」という主題語のみを使用し、非ヒト（植物や菌類など）を除外しない設計によるものです。
  • Method 10 も高い感度（88.3%）を示しましたが、Method 11 よりもわずかに低く、特異度は高い傾向にありました。
  • 他のフィルター（Method 1〜9）は、感度が 75%〜79% の範囲で同程度でした。
• 特異度 (Specificity) の観点:
  • Method 3 が最も高い特異度（全データセットで 71.5%）を示しました。このフィルターはタイトルと抄録の自由テキストも使用しており、動物関連の記述を厳密に検出する傾向があります。
  • 感度の高い Method 10 と 11 は、特異度が低く（それぞれ 49.9%、41.2%）、多くの動物記録を保持してしまう傾向がありました。
• 全体精度:
  • データセットの構成比によって異なりますが、Method 3 は全データセットで最も高い全体精度（73%）を達成しました。

B. 誤って除外されたレコードの特性

• 誤って除外されたレコードの中で最も多かったカテゴリーは**「1. ヒト参加者またはデータを使用している（uses human participants or data）」**であり、平均で 44.9% を占めました。
• 次いで「2. ヒトに影響する状態や介入に関するレビュー」が 23.6% でした。
• 設計の影響: 感度の高いフィルター（Method 10, 11）は、動物実験のみの記録を除外する際、ヒトと動物の両方が関わる研究（特に「ヒトデータを使用している」カテゴリー）を誤って除外するリスクが低いことが示されました。一方、特異度の高いフィルター（Method 3）は、自由テキスト検索を含むため、動物実験と明記されていないが動物のみを対象とした研究をより厳密に除外できる反面、ヒト関連の重要な記録を誤って除外する可能性が高まりました。

C. インデックス付けの課題

• 誤って除外されたレコードの多くは、Emtree 用語「human/」が適切に付与されていないケースでした。
• 会議抄録、プレプリント、非英語文献、特定の疾患・薬剤用語がない記録などは、自動インデックス付けに依存しており、手動インデックス付けの対象外であるため、フィルターの性能が低下しやすいことが示唆されました。

4. 結論と意義 (Significance & Conclusion)

• フィルター選択の指針:
  • 感度を最優先する（見落としを減らしたい）場合、Method 11 の使用が推奨されます。
  • 特異度（不要な動物記録を確実に除外したい）と感度のバランスを重視する場合、Method 10 や Method 3 が候補となりますが、研究の目的（ヒトと動物の両方が関わる研究を除外すべきか否か）に応じて慎重に選択する必要があります。
• 実践的な提言:
  • 情報スペシャリストとレビューチームは、特定のレビューにおいて「動物や非ヒトが関与する可能性があるか」を事前に議論すべきです。
  • 単一のフィルターに依存するのではなく、会議抄録やプレプリントなど、自動インデックス付けに依存するレコードを別途検索し、OR 演算子で結合するなどの戦略が、見落としを防ぐために有効です。
• 学術的意義:
  • 多くの研究で「ブラックボックス」として扱われてきた動物除外フィルターの性能を定量的に比較し、その設計（主題語のみの使用か、自由テキストの併用か）が性能にどう影響するかを明らかにしました。
  • Emtree 用語の付与ルールやインデックス付けの限界がフィルターの精度に与える影響を浮き彫りにし、将来的なフィルター改良や検索戦略の最適化に向けた基礎データを提供しました。

この研究は、エビデンス統合の質を高め、重要なヒト関連研究を見落とさないための、Ovid Embase 検索戦略の設計において重要なエビデンスを提供するものです。