Recovering Pre-Deletion Measurement Quality from Published Statistics: An Inverse Meta-Analysis of the Technology Readiness Index 2.0

社会科学の世界において、研究者は複雑な人間の感情、例えば新しいテクノロジーを受け入れる準備がどの程度できているかといったことを測定するために、しばしば調査（サーベイ）に頼ります。これを行うために、彼らは自信、恐怖、そして習慣に関する記述に対して、人々が同意するか反対するかを問う長い質問のリスト、すなわち「項目（アイテム）」を使用します。これらの調査を設計する際の目標は、バランスの取れた全体像を作り出すことです。つまり、高揚感やイノベーションへの欲求といったポジティブな感情を測る質問と、不安やコントロールを失うことへの恐怖といったネガティブな感情を測る質問の両方を備えることです。調査が信頼に足ると見なされるためには、特定の感情を測定する各質問が密接に結びついていなければなりません。つまり、あるトピックについてある感情を抱いている人は、そのトピックに関する他の質問に対しても概して同様の感情を抱く必要があるのです。もし質問同士がうまく適合しない場合、その調査には「妥当性（validity）」が欠けていると言われ、そこから得られる結果は信頼できないものとなります。

長年にわたり、「テクノロジー・レディネス・インデックス（Technology Readiness Index）」と呼ばれる広く普及した調査が、このテクノロジーへの準備性を測定するための標準的なツールとして用いられてきました。しかし、最近の調査は、この調査の成功に関する公表された記録が誤解を招くものである可能性を示唆しています。研究者が調査データを分析する際、特定の質問がパターンにうまく適合しないことが時としてあります。標準的な慣行は、それらの弱い質問を単に削除し、残ったより強力な質問のみに基づいて結果を報告することです。これはデータを整理するための合理的な方法のように思えるかもしれませんが、新たな研究は、この日常的な削除行為が重大な問題を隠蔽していると主張しています。すなわち、テクノロジーに対する準備性の「負の側面」が体系的に弱められており、その結果、調査が実際よりも堅牢であるかのように見せかけているというのです。

ある研究者が、この調査の真の状態を明らかにするために、過去の公表された文献を遡って調査を行いました。彼らが焦点を当てたのは、元の調査を短縮したバージョンである「テクノロジー・レディネス・インデックス 2.0」です。これは16の質問で構成され、4つのカテゴリーに分かれています。2つのポジティブなカテゴリーは「楽観主義（optimism）」と「革新性（innovativeness）」であり、2つのネガティブなカテゴリーは「違和感（discomfort）」と「不安（insecurity）」です。この調査のオリジナルの妥当性検証において、ネガティブなカテゴリーはすでに「弱い環（weak link）」として知られていました。つまり、質問同士の適合性がポジティブなものほど密接ではなかったのです。しかし、その後出版された数千の研究において、ネガティブなカテゴリーもポジティブなものと同じ高い品質基準を満たしていることがしばしば示されてきました。研究者は、この改善は、最も弱い質問を選択的に削除することによって生じた錯覚ではないかと疑いました。

これを検証するため、研究者は「逆メタ分析（inverse meta-analysis）」と呼ぶ手法を開発しました。多くの研究の結果を単に平均化するのではなく、著者たちがすでに公表した統計量から逆算して作業を進める手法です。彼らは、著者によって削除された「欠落した質問」を、弱いことが判明している「隠されたデータポイント」として扱いました。報告された残りの質問の数値と、著者が項目を削除する際に用いた既知のルールを用いることで、研究者は、もし質問が一つも捨てられなかった場合に、調査結果がどのようなものになっていたかを数学的に再構築することができました。これにより、編集が行われる前の、調査の真の強さを推定することが可能になったのです。

この調査は、分析に十分な詳細を提供している94の公表済み研究を対象としました。その結果、ネガティブなカテゴリー、特に「不安」を測定するカテゴリーが、選択的な削除の犠牲になっていることが判明しました。著者は、ポジティブなカテゴリーよりもネガティブなカテゴリーから質問を削除する傾向が有意に高かったのです。実際、ネガティブなカテゴリーは、少なくとも1つの質問を失う確率が12パーセント高くなっていました。研究者がこれらの削除された質問をデータに戻すと、状況は劇的に変化しました。品質が低下し、ネガilmiştirなカテゴリーは、公表された報告が示唆していたよりもはるかに脆弱であることが明らかになったのです。

具体的には、公表された報告では小さく見えていたポジティブなカテゴリーとネガティブなカテゴリーの格差が、削除された項目を考慮に入れると、ほぼ倍増しました。公表された文献では、ネガティブなカテゴリーは品質に関する標準的なテストに合格しているように見えていました。しかし、再構築後には、「不安」を測定している研究の5分の1以上が、その同じテストに失敗していました。最も頻繁に削除された質問は、「オンライン上にのみ存在する企業とビジネスを行うことへの自信」に関するものでした。この質問は、社会のテクノロジーへの依存に関する別の質問とともに、あまりにも頻繁に削除されていたため、公表された記録における調査全体の傾向を歪めていたのです。

手法の妥当性を確保するため、研究者は、答えが既知である「偽の調査」を作成するコンピュータ・シミュレーションを実施しました。彼らは、現実の著者が行うのと同様に弱い質問を削除するように偽の著者をプログラムし、その後、彼らの再構築手法を適用しました。シミュレーションの結果、彼らの手法は正確かつ保守的であることが確認されました。つまり、問題が存在しない場所に問題を作り出すことはなく、削除によって隠されていた、ネガティブなカテゴリーの真の、より低い品質を、見事に復元できたのです。削除ルールが厳格な場合でもこの手法は機能し、公表された数値と真の数値との間の乖否が実在するものであることを証明しました。

最後に、研究者は質問が一切削除されていない2つの生のデータセットを用いて、自身の理論を検証しました。これらの未編集のデータセットにおいて、ネガティブなカテゴリーは単独では品質基準を満たしておらず、この弱さが一部の研究における不運によるものではなく、調査設計自体に内在するものであることが裏付けられました。研究者がこれらの生のデータセットに典型的な削除ルールを適用すると、報告される品質スコアは上昇し、成功の閾値を超えました。これは、項目の削除という日常的な慣行が、いかにして「失敗している調査」を「合格している調査」へと変貌させ得るかを、まさに実証したものです。単に失敗の証拠を取り除くことによって。

本研究は、テクノロジーへの準備性に関する公表された文献が、データの現実よりも、著者の選択によって形作られてきたと結論付けています。最も弱い質問を取り除くことで、研究者たちは、バランスが取れ信頼できるバージョンの調査を作り上げましたが、その根底にあるツールは、テクノロジーに対する恐怖や不安を測定する能力において依然として欠陥を抱えています。研究者は、これはこの特定の調査だけの問題ではなく、分野全体への警告であると述べています。彼らは、たとえ後に削除される質問であっても、尋ねたすべての質問を報告することを科学者に強く求めています。そのような透明性がなければ、科学的記録は、テクノロジーへの準備性が完璧に測定されている一方で、実際に使用されているツールは不完全なままであるという、歪んだ世界を描き続けることになるでしょう。