Protocol for the development of a tool (INSPECT-IPD) to identify problematic randomised controlled trials when individual participant data are available
本論文は、実証的なテストと国際的な専門家によるコンセンサスの組み合わせを通じて、個々の参加者データに対するフォレンジック・チェックを評価および実施することにより、問題のあるランダム化比較試験を特定するために設計された新しいツールであるINSPECT-IPDの開発プロトコルを概説するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
あなたは、世界最高のスープを作ろうとしているシェフだと想像してください。そのために、何百人もの料理人（これはランダム化比較試験、すなわちRCTです）からレシピを集めます。そして、そのスープが本当に機能するかどうかを確認するために、それぞれのレシピを少しずつ試食します。通常は、料理人が書き留めたレシピカードを読むだけです。
しかし、もしその料理人の何人かが嘘をついていたらどうでしょう？ もし彼らが材料リストを捏造したり、そもそもスープを作っていないふりをしていたとしたら？ レシピカードを読むだけでは、嘘を見抜けないことがあります。
この論文は、INSPECT-IPDという、新しい強力な拡大鏡を作る方法について書かれています。その仕組みを、簡単なステップに分けて説明します。
問題点：「レシピカード」だけでは不十分
著者たちは、レシピカードのレッドフラグ（警告サイン）をチェックするINSPECT-SRというツールをすでに開発しました。しかし、料理人が本当に真実を語っているかどうかを確実に知るためには、実際の「スープの鍋」、つまり生の個々の材料を見る必要があることに気づきました。
科学の世界では、この「スープの鍋」は**個別参加者データ（IPD）**と呼ばれます。これは、研究に参加した一人ひとりの生データのことです。論文によれば、科学者がこの生データを見ることができる場合、偽造されたり壊れたりした研究をより高い頻度で見つけることができます（レシピカードだけを見た場合の2%に対し、生データを見た場合は44%の偽造研究が見つかる、といった具合です）。
目標： 「鑑識キッチン」ツールの構築
チームは、科学者がこの生データをチェックするための新しいツール、INSQL-IPDを構築したいと考えています。しかし、どのチェック方法を使うべきかを勘で決めることはできません。実際に機能する「チェック方法のメニュー」を作る必要があります。
そのために、彼らは5つのステップからなるプロジェクトを進めています。
ステップ1：道具を集める
まず、生データをチェックするためのあらゆる方法の巨大なリストを作成します。これは、あらゆるキッチングッズ（秤、温度計、顕微鏡、さらにはAI検出器など）を集めるようなものです。彼らは専門家や過去の研究からこのリストを得ました。
ステップ2：「本物 vs 偽物」テスト
次に、これらの道具をテストします。
- 15のリアルなデータセット（本物のスープレシピ）を用意します。
- AI（ChatGPTのようなもの）を使用して、嘘つきがどのようにデータを捏造するかをシミュレートした15の偽のデータセットを作成します。
- 30人の異なる専門家に、これらのデータセットに対して道具を使ってもらいます。
- 目標： どの道具が実際に「偽物のスープ」を見つけ出し、どの道具が混乱を招いたり役に立たなかったりするかを確認することです。彼らは、「このチェックは理解しやすいか？」「実際に悪いデータを見つけられるか？」を知りたいのです。
ステップ3：専門家の投票（デルファイ法による調査）
どの道具が機能するかを把握した後、国際的な専門家グループ（統計学者、医師、編集者、そして患者）に投票を依頼します。
- 彼らは各チェック項目を、「どれくらい有用か」と「どれくらい理解しやすいか」に基づいて1から9のスケールで評価します。
- ほぼ全員が、有用かつ使いやすいと同意したものだけを残すようにします。
ステップ4：最終的なメニュー
専門家たちが（バーチャルで）集まり、最終的なリストを決定します。
- もし、あるチェックが嘘を見つけるのには非常に優れているが、理解するのが非常に難しい場合は、「スペシャリスト用セクション」に移動させるか、より良い取扱説明書を作成することにします。
- その結果として、INSPECT-IPDツールのドラフト（下書き）ができあがります。これは、生データをチェックするためのステップ・バイ・ステップのガイドです。
ステップ5：「試運転」
最後に、実際のユーザーにツールを使ってもらいます。
- 系統的レビューを行う人々（スープのシェフ）や、ジャーナル編集者（レストランの衛生検査官）に、実際の研究に対してツールを使ってもらいます。
- 彼らに、「使いやすかったか？」「その研究が信頼できるかどうかを判断する助けになったか？」と尋ねます。
- 彼らのフィードバックに基づき、一般に公開する前に、最後にもう一度ツールを微調整します。
このゲームの重要なルール
この論文は、このツールが何ではないかについても明確に述べています。
- それは嘘発見器ではありません： 「この人は犯罪者だ」と断定するものではありません。「このデータは怪しいので、注意してください」と伝えるだけです。
- 誰にでも使えるわけではありません： 生データ（IPD）へのアクセス権がある場合にのみ使用できます。公開された論文しか持っていない場合は、古いツール（INSPECT-SR）を使用する必要があります。
- 魔法の杖ではありません： 著者たちは、AIがデータを捏造する技術が向上するにつれ、ウイルス対策ソフトのアップデートと同様に、このツールも更新していく必要があると認めています。
大きな展望
著者たちは、生データをチェックするための優れた使いやすいツールがあれば、ジャーナル（学術誌）が科学者に対して、生データをより頻繁に共有することを要求し始めるだろうと考えています。もし、誰かが自分の「スープの鍋」を拡大鏡でチェックしようとしていると分かっていれば、データを捏造する可能性は低くなるため、これにより科学はより誠実なものになるはずです。
要約すると： この論文は、レシピカードだけでなく、生の材料を見ることで偽造データを捉えるために設計された、科学的研究のためのハイテクな品質管理キットを作るための設計図なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。