Recovering Pre-Deletion Measurement Quality from Published Statistics: An Inverse Meta-Analysis of the Technology Readiness Index 2.0

사회과학의 세계에서 연구자들은 복잡한 인간의 감정, 예를 들어 사람이 새로운 기술을 수용할 준비가 얼마나 되어 있는지를 측정하기 위해 설문조사에 의존하곤 합니다. 이를 위해 그들은 자신감, 두려움, 그리고 기술에 대한 습관에 관한 진술에 대해 사람들이 동의하는지 혹은 반대하는지를 묻는 긴 질문 목록, 즉 "문항(items)"을 사용합니다. 이러한 설문조사를 설계할 때 목표는 균형 잡힌 그림을 만드는 것입니다. 어떤 질문들은 흥분과 혁신에 대한 욕구와 같은 긍정적인 감정을 측정하는 반면, 다른 질문들은 불안과 통제력을 잃는 것에 대한 두려움과 같은 부정적인 감정을 측정합니다. 설문조사가 신뢰할 수 있는 것으로 간격되려면, 각각의 구체적인 감정을 측정하는 질문들이 서로 긴밀하게 결합되어야 합니다. 즉, 어떤 주제에 대해 한 방식으로 느끼는 사람들은 일반적으로 그 주제에 관한 다른 질문들에 대해서도 유사한 방식으로 느껴야 한다는 뜻입니다. 만약 질문들이 잘 어우러지지 않는다면, 그 설문조사는 "타당도(validity)"가 부족하다고 하며, 그 결과는 신뢰할 수 없게 됩니다.

수년 동안, 기술 수용도 지수(Technology Readiness Index)라고 불리는 널리 사용되는 설문조사가 이 수용도를 측정하는 표준적인 도구로 사용되어 왔습니다. 그러나 최근의 한 조사는 이 설문조사의 성공에 관한 출판된 기록이 오해의 소지가 있을 수 있음을 시사합니다. 연구자들이 설문 데이터를 분석할 때, 때때로 특정 질문들이 패턴에 잘 맞지 않는다는 것을 발견하곤 합니다. 표준적인 관행은 단순히 그 약한 질문들을 제거하고 남은 더 강한 질문들만을 바탕으로 결과를 보고하는 것입니다. 이것이 데이터를 정제하는 합리적인 방법처럼 보일 수도 있지만, 새로운 연구는 이러한 일상적인 삭제 행위가 심각한 문제를 숨기고 있다고 주장합니다. 즉, 기술 수용도의 부정적인 측면이 문헌에서 체계적으로 약화되었으며, 이로 인해 설문조사가 실제보다 더 견고해 보이게 되었다는 것입니다.

한 연구자는 이 설문조사의 참된 상태를 밝혀내기 위해 출판된 문헌을 거슬러 올라가는 작업을 수행했습니다. 그는 원래의 설문조사를 축약한 버전인 '기술 수용도 지수 2.0'에 집중했습니다. 이 버전은 네 가지 범주로 나뉜 16개의 질문을 담고 있습니다. 두 가지 긍정적 범주는 "낙관주의(optimism)"와 "혁신성(innovativeness)"이며, 두 가지 부정적 범주는 "불편함(discomfort)"과 "불안함(insecurity)"입니다. 이 설문조사의 원래 타당도 검증 당시에도, 부정적 범주들은 이미 긍정적 범주들에 비해 질문들이 긴밀하게 결합되지 않는다는 점에서 더 약한 고리로 알려져 있었습니다. 그러나 그 이후 발표된 수천 건의 연구에서, 부정적 범주들은 종종 긍정적 범주들과 동일한 높은 품질 기준을 충족하는 것처럼 나타납니다. 연구자는 이러한 개선이 약한 항목들을 선택적으로 제거함으로써 만들어진 환상이라고 의심했습니다.

이를 테스트하기 위해, 연구자는 "역 메타 분석(inverse meta-analysis)"이라 부르는 방법을 개발했습니다. 단순히 많은 연구의 결과를 평균 내는 대신, 저자들이 이미 발표한 통계치로부터 역으로 추적하는 방식입니다. 연구자는 저자들이 삭제한 질문들, 즉 약한 것으로 알려진 질문들을 마치 숨겨진 데이터 포인트인 것처럼 취급했습니다. 저자들이 사용한 삭제 규칙과 남은 질문들에 대한 보고된 수치를 사용하여, 연구자는 아무런 질문도 버리지 않았을 때의 설문 결과가 어떤 모습이었을지를 수학적으로 재구성할 수 있었습니다. 이를 통해 연구자는 편집이 이루어지기 전의 실제 설문 강도를 추정할 수 있었습니다.

이 조사는 분석할 수 있는 충분한 세부 정보를 제공한 94개의 출판된 연구를 대상으로 했습니다. 연구 결과, 부정적 범주, 특히 "불안함"을 측정하는 범주가 선택적 삭제의 희생자였음이 드러났습니다. 저자들은 긍정적 범주보다 부정적 범주에서 질문을 제거할 가능성이 현저히 높았습니다. 실제로 부정적 범주가 적어도 하나 이상의 질문을 잃을 확률이 약 12% 더 높았습니다. 연구자가 이러한 삭제된 질문들을 데이터에 복원했을 때, 그림은 극적으로 변했습니다. 품질이 하락하여, 부정적 범주들이 출판된 보고서에서 제시된 것보다 훨씬 더 약하다는 사실이 드러났습니다.

구체적으로, 연구자는 출판된 보고서에서는 차이가 작아 보였던 긍정적 범주와 부정적 범주 사이의 격차가, 삭제된 항목들을 반영했을 때 거의 두 배로 벌어진다는 것을 발견했습니다. 출판된 문헌에서는 부정적 범주들이 품질에 대한 표준 테스트를 통과하는 것처럼 보였습니다. 그러나 재구성을 거친 후에는 "불안함"을 측정하는 연구 중 5개 중 1개 이상이 동일한 테스트를 통과하지 못했습니다. 가장 빈번하게 삭제된 질문은 온라인에만 존재하는 기업과 거래하는 것에 대한 자신감에 관한 것이었습니다. 이 질문은 또 다른 질문인 기술에 대한 사회적 의존성에 관한 질문과 함께 너무 자주 제거되어, 출판된 기록 전체의 결과를 왜곡했습니다.

방법론의 건전성을 확보하기 위해, 연구자는 정답이 알려진 가짜 연구들을 생성하는 컴퓨터 시뮬레이션을 실행했습니다. 연구자는 가짜 저자들이 실제 저자들처럼 약한 질문을 삭제하도록 프로그래밍했고, 그 후 재구성 방법을 적용했습니다. 시뮬레이션은 연구자의 기법이 정확하고 보수적임을 확인해주었습니다. 즉, 존재하지 않는 문제를 만들어낸 것이 아니라, 삭제에 의해 숨겨졌던 부정적 범주의 실제적인 약한 품질을 성공적으로 회복해냈습니다. 이 방법은 삭제 규칙이 엄격할 때도 작동하여, 출판된 수치와 실제 수치 사이의 격차가 실재함을 증명했습니다.

마지막으로, 연구자는 질문이 전혀 삭제되지 않은 두 개의 원시 데이터셋(raw datasets)을 대상으로 자신의 이론을 테스트했습니다. 이 편집되지 않은 데이터셋들에서, 부정적 범주들은 스스로의 품질 기준을 충족하지 못했으며, 이는 부정적인 면의 약함이 단지 몇몇 연구의 운이 나빴던 결과가 아니라 설문 설계 자체에 내재된 문제임을 확인시켜 주었습니다. 연구자가 이 원시 데이터셋들에 일반적인 삭제 규칙을 적용하자, 보고된 품질 점수가 급격히 상승하며 성공 임계치를 넘어서는 것을 볼 수 있었습니다. 이는 일상적인 항목 삭제 관행이 어떻게 실패한 설문을 성공한 것처럼 보이게 만들 수 있는지, 즉 실패의 증거를 제거함으로써 성공적인 설문으로 탈선시킬 수 있는지를 명확히 보여주었습니다.

연구는 기술 수용도에 관한 출판된 문헌이 데이터의 실제 모습보다는 저자들의 선택에 의해 형성되어 왔다고 결론짓습니다. 가장 약한 질문들을 제거함으로써, 연구자들은 균형 잡히고 신뢰할 수 있는 버전의 설문을 만들어냈지만, 그 근저에 있는 도구는 기술에 대한 공포와 불안을 측정하는 데 있어 여전히 결함이 있는 상태로 남아 있습니다. 연구자는 이것이 단지 이 특정 설문조사만의 문제가 아니라, 학계 전체에 주는 경고라고 주장합니다. 연구자는 과학자들이 나중에 삭제할 질문을 포함하여 자신이 던진 모든 질문을 보고할 것을 촉구합니다. 이러한 투명성이 없다면, 과학적 기록은 기술 수용도가 완벽하게 측정되는 세상을 보여주는 동시에, 실제로 사용되는 도구는 불완전한 상태로 남겨두는 상황을 계속 반복하게 될 것입니다.