Obvious Objectivity of Quantification and the Replication Crisis: the exemple of Human Resource Management Research

ビジネス管理の世界には、数字が真実を語るという強い信念があります。企業が従業員を理解しようとする際、人々が自分の感情を1から5の尺度、あるいは「強く反対」から「強く同意」までの段階で評価する調査に頼ることがよくあります。これらの評価は、コンピュータプログラムに投入され、プログラムは数字を計算してパターンを見つけ、アイデアを検証し、人々がどのように働くかについて何が真実であるかを宣言します。クオンティタティブ（定量的）研究として知られるこのアプローチは、人間資源（HR）を研究するための標準的な方法となりました。それは、温度や物体の重さを測定するのと同様に、科学的な客観性と精密さのレベルを約束しているように感じられます。しかし、こうした数字への信頼が誤っている可能性があると懸察する科学者が増えています。彼らは、人間の思考や行動を測定するために用いられるツールは、温度や重さのような物理的なものを測定しているかのように扱われがちであるが、感情や態度は温度や重さのように振る舞うわけではない、と主張しています。この緊張感は、論文上では堅実に見える研究が、他の人がそれを再現しようとした際に同じ結果を出せないという、「信頼の危機」へとつながっています。

ケベック大学リ務スキ校の2人の研究者は、この危機が人間資源管理の分野内で起きているのかどうかを調査することに決めました。彼らは、シンプルながらも深遠な問いを投げかけました。「研究者が従業員を研究するために用いる手法は、実際には見かけ通りに厳密なものなのか、それとも単に確実性の錯覚を生み出す一連の習慣に従っているだけなのか？」という問いです。これを知るために、彼らは新しい実験を行ったり、単一の企業から新しいデータを収集したりしたわけではありません。代わりに、彼らは既存の研究に関する大規模なレビューを行いました。彼らは、人間資源管理に特化した世界トップ10の国際ジャーナルに掲載された398本の論文を集めました。この膨大な山の中から、人々がどのように管理され、どのようにリーダーシップを発揮し、組織内でどのように行動するかについての疑問に答えるために、数字と統計を用いた82の研究を絞り込みました。彼らの目的は、これらの研究が3つの特定の共通の実践、すなわち「調査による評価の扱い方」「アイデアの検証方法」「回答者の選定」をどのように扱っているかを確認することでした。

研究者たちは、この分野が実際のメソッドの健全性よりも、厳密さの「外見」を優先するシステムに深く根深く依存していることを発見しました。第一に、彼らは研究者が調査による評価をどのように扱っているかを調べました。これらの研究では、人々はしばら「強く反対」「反対」「中立」「同意」「強く同意」といった選択肢のリストから選ぶよう求められます。これらは順序を示すものであるため「順序尺度」と呼ばれますが、「反対」と「中立」の距離は、必ずしも「中立」と「同意」の距離と同じではありません。それにもかかわらず、大多数の研究は、これらの評価をインチやキログラムのような精密な測定値であるかのように扱っていました。彼らは平均値を算出し、選択肢の間に等間隔の距離があると仮定する複雑な統計公式を使用しました。研究者たちは、66パーセントの定量的研究がこれを行っており、主観的な意見を、数学的な基礎を欠いたまま精密に見える「偽の数字」へと変えてしまっていることを明らかにしました。

次に、チームはこれらの研究がどのようにアイデアを検証しているかを調査しました。ほとんどの研究は、「帰無仮説有意性検定」と呼ばれる標準的な手順に依存していました。簡単に言えば、これは研究者が、結果が単なる偶然の産物ではないことを証明しようとする手法です。もし数学的にその結果が偶然起こる可能性が低いと示されれば、彼らは成功であると宣言します。研究者たちは、93パーセントの研究が、何が真実であるかを決定するための主要な方法としてこの手法を使用していることを発見しました。彼らは、これが熟考された選択というよりも、ルーチン化した習慣になっていると指摘しました。研究は、その手法が特定の問いに対して適切であるかどうかを疑問視することはほとんどありませんでした。むしろ、特定の統計的結果の存在が、たとえ基礎となるデータがそのような強い結論を支持していなくても、その研究が科学的であるという信号になっていたのです。

研究者が明らかにした第3の問題は、実際に誰が調査対象となっているかという点でした。ある集団全体について有効な主張を行うには、理想的には、名前を帽子から取り出すように、参加者をランダムに選ぶ必要があります。これにより、全員が対象に含まれる平等な機会を持ち、結果をより広い母集団に適用できるようになります。しかし、レビューの結果、98パーセントの研究が非ランダムなサンプルを使用していることが分かりました。これは、研究者が、例えば参加に同意した特定の企業の従業員や、オンラインで調査に回答したボランティアの人々など、利用可能な人々を単に募ったことを意味します。これらのグループは非ランダムであるため、結果を歪める特定の特性を共有していることがよくあります。例えば、仕事の満足度に関する調査にボランティアとして回答する人々は、平均的な労働者よりも幸福であったり、意欲的であったりする可能性があります。研究者たちは、ほとんどの研究がこれを重大な問題として認めていないことを発見しました。その代わりに、彼らは自分たちのデータが非常に特定の非ランダムなグループから得られたものであることを無視して、その知見がすべての労働者に当てはまるかのように提示していました。

おそらく最も衝撃的な発見は、これらの慣行が一般的であることだけでなく、それらが問題として議論されることがほとんどなかったことです。研究者が論文を書く際、通常、研究の弱点や限界をリストアップするセクションを最後に設けます。レビューの著者たちは、研究者が非ランダムなサンプルを使用していることや、評価を精密な数値として扱っていること、あるいは標準的な統計テストに過度に依存していることを認めているかどうかを、これらのセクションを確認しました。その結果、ほとんどの論文がそれを認めていないことが分かりました。統計テストの過剰使用を限界として挙げたのは、82論文のうちわずか1論文でした。他の2つの主要な問題は、ほぼ完全に無視されていました。この沈黙は、これらの手法があまりにも常態化しており、研究者たちがもはやそれらを正当化が必要な「選択」として見ていないことを示唆しています。それらは単に「行われるべきやり方」となっているのです。

研究者たちは、この状況が自己強化的なサイクルを生み出していると主張しています。誰もがこれらの手法を用いるため、それらは正当に見えます。正当に見えるため、ジャーナルはそれらを掲載し、学生はそのように教え込まれます。これは、たとえルール自体が不安定な基盤の上に築かれていたとしても、共通のルールに従っていることで、その分野が強固で科学的であると感じさせる「ヘゲモニック・ロバストネス（覇権的な堅牢性）」という形態を生み出しています。その結果、精密に見えるものの、信頼性は高くない知識体系が生み出されます。他の科学者が異なるグループの人々や、わずかに異なる手法を用いてこれらの研究を再現しようとすると、結果が一致しないことがよくあります。これが、かつては確実と考えられていた知見を再現できない「再現性の危機」の本質です。

論文は、解決策は数字の使用をやめることでも、人間資源の研究を放棄することでもないと結論づけています。代わりに、研究者たちはより誠実で内省的なアプローチを求めています。彼らは、科学者が自らのツールの限界について透明である必要があると示唆しています。もし調査による評価が精密な測定値でないならば、そう伝えるべきです。もしサンプルがランダムでないならば、それが何を主張できる範囲を制限するのかを説明すべきです。彼らは、統計公式を真実を保証する魔法の呪文として扱うことから脱却し、データが実際に何を表しているのかをより深く理解することを強く求めています。手法の不完全さを認めることで、研究者たちは、自らの欠陥を隠しながら確実性の外見だけを生み出すシステムに頼るのではなく、人々がどのように働くかを理解するための、より誠実で永続的な基礎を築くことができるのです。