Inverted validity arguments in the evaluation of India’s national professionalism curriculum: a systematic review
この系統的レビューは、インドの国家AETCOMプロフェッショナリズム・カリキュラムを評価している文献が方法論的に欠陥があり、「逆転」していることを明らかにしており、弱い設計とスピンに基づいた効果に関する大きく自信に満ちた主張を提供している一方で、そのカリキュラムが実際の医療現場における実践を実際に改善するかどうかを判断するために必要な証拠を提供できていない。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、政府が義務付けた「完璧なスープ」の新しいレシピが、本当に人々を健康にしているのかどうかを見極めようとしているシェフだと想像してください。医学教育の世界では、このレシピは「AETCOM」と呼ばれています。これは、将来の医師に対し、親切で倫理的であり、患者と上手に対話する方法を教えるためのインドの国家プログラムです。しかし、ここで厄介な問題があります。そのスープが本当に効果があるかどうか、どうすればわかるのでしょうか？単にシェフに「味はどうですか？」と聞いたり、材料リストを確認したりするだけでは不十分です。レストランで実際の客にスープを提供したときに何が起きるかを観察しなければなりません。ここに「評価（エバリュエーション）」という科学が登場します。それは、レッスンが教室の中だけでなく、現実の世界で実際に行動を変えているかどうかを確認するプロセスです。これを適切に行うために、科学者たちはいくつかの大きな概念を用います。「妥当性（バリディティ）」は、定規が長さではなく温度を測っていないかを確認することのようなものです。「学習の転移（トランスファー・オブ・トレーニング）」は、キッチンで学んだことが、レストランが忙しくなったときに実際に料理を上手く作るのに役立つかどうかを問うものです。そして「スピン」とは、誰かが小さな成功を巨大な勝利のように見せかけて報告を書くことです。
さて、探偵チームである研究者のシッダリンガイアとマサリが、「完璧なスープ」のレシピについて書かれた報告書の山を調査することに決めたと想像してください。彼らは単に「スープは機能するか？」と聞いたのではありません。彼らはもっと奇妙な問いを投げかけました。「私たちが持っている報告書は、そもそもその問いに答える能力があるのだろうか？」と。彼らは、AETCOカリキュラムをテストしようとした2015年以降の数十の研究を調査しました。彼らが見つけたのは、まるで、誰もが「このスープは素晴らしい」と叫んでいる部屋に足を踏み入れたような感覚でした。しかし、実際には誰もレストランでスープを味わってはいないのです。代わりに、彼らはキッチンの生材料を味わっているか、あるいは単にシェフにレシピの感想を聞いているだけなのです。
探偵たちは、報告された成功の「大きさ」が、スープ自体の良し悪しではなく、テストがどのように設定されたかに完全に依存していることを見出しました。教師が授業の直後に自分の生徒を採点した場合、結果は非常に大きく輝かしいものでした。例えば、1がすでに素晴らしい状態であるとするスケールにおいて、3.49というスコアが出るようなものです。しかし、研究者たちが、トレーニングを受けた学生と受けていない学生を実際に比較したわずか2つの研究を調べたとき、その魔法は消え去りました。スコアはわずか0.12まで落ち込んだのです。それはまるで、最初のテスターたちはすべてを大きく見せる拡大鏡を使っていた一方で、第二のグループはありのままを映す正直な鏡を使っていたかのようです。論文は、テストのルールが「寛容（パーミッシブ）」であればあるほど、報告される成功はより大きく見えることを示しています。
さらに興味深いことに、研究者たちは「スピン」の奇妙なパターンに気づきました。彼らは、報告書の75%において、著者が実際に測定したものよりも遥かに範囲を広げた主張をしていることを見つけました。それは、スペリングテストで「A」を取った学生が、報告書に「これにより、私は文学界のノーベル賞を受賞することが証明された」と書くようなものです。研究は「学生がどう感じたか」や「テストで何を知っていたか」といったことを測定していましたが、報告書は、これらの研究が「医師が今や患者をより良く治療している」ことや「訴訟が消滅すること」を証明したと主張していました。実際には、89%の報告書が、自らの証拠がサポートできる範囲を超えた主張をしていました。彼らは、証拠が最も乏しい箇所において、最も自信満々に結果を語っていたのです。
また、この論文は、ほとんど誰も「職場環境」をチェックしていないことを指摘しています。これを次のように考えてみてください。あなたは空いている駐車場で完璧に駐車する方法をドライバーに教えることができますが、もし実際の街路が塞がれ、混雑し、上司が「速く走れ」と命じていたら、結局クラッシュしてしまうかもしれません。研究者たちは、医師の指導者が新しい行動を支持しているかどうかをチェックした研究はわずか5%であり、医師が学んだことを実践する機会があるかどうかをチェックしたのはわずか12%であったことを発見しました。駐車場が開いているかどうかを知らずに、ドライバーに駐車が下手だと責めることはできませんし、自動車学校のせいにもできません。
では、結論はどうでしょうか？この論文は、AETCOカリキュラムが悪いとか、機能していないと言っているのではありません。現在の「テストの方法」が壊れていると言っているのです。証拠の基盤は「逆転」しています。つまり、最も証拠が弱い場所において、最も声が大きく、自信に満ちているのです。著者たちは、医師が実際の病院で実際の患者を相手にしているときに、レッスンが定着しているかどうかを見ることができるテストを構築できていない限り、そのカリキュラムが成功か失敗かを判断することはできないと結論づけています。彼らは、拡大鏡を使ったテストを使うのをやめ、現実の世界で何が起きているかを観察し、新しいスキルを使うための環境が整っているかどうかを確認するシステムを構築すべきだと提案しています。それを行うまで、命を救い関係を修復するという大きな主張は、単なる主張であり、証明された事実ではないのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。