Obvious Objectivity of Quantification and the Replication Crisis: the exemple of Human Resource Management Research

경영학의 세계에는 숫자가 진실을 말한다는 강력한 믿음이 존재합니다. 기업이 직원을 이해하고자 할 때, 사람들은 흔히 1점에서 5점 사이의 척도나 "매우 그렇지 않다"에서 "매우 그렇다"까지의 점수를 매기는 설문조사에 의존하곤 합니다. 이러한 등급은 컴퓨터 프로그램에 입력되어 패턴을 찾고, 아이디어를 테스트하며, 사람들이 어떻게 일하는지에 대해 무엇이 진실인지 선언하기 위해 숫자를 계산합니다. 양적 연구라고 알려진 이 접근 방식은 인적 자원 관리를 연구하는 표준적인 방법이 되었습니다. 이는 온도나 물체의 무게를 측정하는 것과 매우 유사하게, 객관성과 정밀함의 수준을 약속합니다. 그러나 점점 더 많은 과학자들은 숫자에 대한 이러한 신뢰가 잘못되었을 수도 있다고 우려합니다. 그들은 인간의 생각과 행동을 측정하는 도구가 마치 물리적인 사물을 측정하는 것처럼 취급되는 경우가 많지만, 감정과 태도는 온도나 무게처럼 작동하지 않는다는 점을 지적합니다. 이러한 긴장은 연구들이 서류상으로는 견고해 보임에도 불구하고 다른 이들이 이를 재현하려고 할 때 동일한 결과를 만들어내지 못하는 신뢰의 위기로 이어졌습니다.

퀘벡 대학교 리무스키키(Université du Québec à Rimouski)의 두 연구자는 이러한 위기가 인적 자원 관리 분야 내부에서도 일어나고 있는지 조사하기로 했습니다. 그들은 단순하지만 심오한 질문을 던졌습니다. 연구자들이 직원을 연구하기 위해 사용하는 방법들이 실제로 보이는 것만큼 엄격한가, 아니면 단지 확실성의 환상을 만들어내는 일련의 습관을 따르고 있는 것인가? 이를 알아내기 위해 그들은 새로운 실험을 수행하거나 단일 기업에서 새로운 데이터를 수집하지 않았습니다. 대신, 그들은 기존 연구에 대한 대규모 검토를 수행했습니다. 그들은 인적 자원 관리에 특화된 상위 10개 국제 학술지에 발표된 398개의 논문을 수집했습니다. 이 방대한 더미에서 그들은 숫와 통계를 사용하여 사람들이 어떻게 관리되고, 어떻게 이끌리며, 조직 내에서 어떻게 행동하는지에 대한 질문에 답하는 82개의 연구를 걸러냈습니다. 그들의 목표는 이 연구들이 세 가지 구체적이고 흔한 관행, 즉 설문 등급을 어떻게 다루는지, 아이디어를 어떻게 테스트하는지, 그리고 누구에게 답변을 요청하는지를 살펴보는 것이었습니다.

연구진은 이 분야가 실제적인 방법론적 건전성보다 엄격함의 외양을 우선시하는 체계에 깊이 뿌리박혀 있다는 것을 발견했습니다. 첫째, 그들은 연구자들이 설문 등급을 어떻게 다루는지 살펴보았습니다. 이러한 연구에서 사람들은 종종 "매우 그렇지 않다", "그렇지 않다", "중립", "그렇다", "매우 그렇다"와 같은 옵션 목록 중에서 선택하도록 요청받습니다. 이것들은 순서가 있는 '서열 척도(ordinal scales)'라고 불리지만, "그렇지 않다"와 "중립" 사이의 거리가 "중립"과 "그렇다" 사이의 거리와 반드시 같지는 않습니다. 그럼에도 불구하고 대다수의 연구는 이러한 등급을 인치나 킬로그램과 같은 정밀한 측정값처럼 취급했습니다. 그들은 평균을 계산하고 등간격을 가정하는 복잡한 통계 공식을 사용했습니다. 연구진은 66%의 양적 연구가 이와 같이 수행했으며, 이는 주관적인 의견을 정밀해 보이지만 실제 수학적 근거가 결여된 가짜 숫자로 변질시키는 결과를 초래했습니다.

다음으로, 연구팀은 이러한 연구들이 아이디어를 어떻게 테스트하는지 조사했습니다. 대부분의 연구는 '영가설 유의성 검정(null hypothesis significance testing)'이라는 표준 절차에 의존했습니다. 간단히 말해, 이것은 연구자가 결과가 단순히 무작위적인 우연이 아님을 증명하려고 시도하는 방법입니다. 만약 수학적으로 그 결과가 우연히 발생할 가능성이 낮다고 나타나면, 그들은 성공이라고 선언합니다. 연구진은 93%의 연구가 이를 진실을 결정하는 주요 방법으로 사용했음을 발견했습니다. 그들은 이것이 사려 깊은 선택이라기보다는 일상적인 습양(routine habit)이 되었다고 지적했습니다. 연구들은 이 방법이 질문된 특정 질문에 적절한지 의문을 제기하는 경우가 드물었습니다. 대신, 특정 통계적 결과의 존재 자체가 그 작업이 과학적이라는 신호가 되었으며, 근본적인 데이터가 그러한 강력한 결론을 뒷받침하는지 여부는 중요하지 않았습니다.

연구진이 밝혀낸 세 번째 문제는 실제로 누가 연구 대상이 되었는가에 관한 것이었습니다. 전체 집단에 대해 유효한 주장을 하려면, 연구자는 이상적으로는 제비뽑기처럼 모든 사람이 포함될 동등한 기회를 갖도록 무작위로 참가자를 선정해야 합니다. 이는 결과가 더 넓은 인구 집단에 적용될 수 있도록 보장합니다. 그러나 검토 결과, 98%의 연구가 비무작위 표본을 사용했습니다. 이는 연구자들이 참여에 동의한 특정 회사의 직원이나 온라인 설문에 응답한 자원봉사자처럼 접근 가능한 사람들을 단순히 요청했음을 의미합니다. 이러한 그룹은 무작위가 아니기 때문에 결과를 왜곡하는 특정 특성을 공유할 수 있습니다. 예를 들어, 직무 만족도에 관한 설문에 응답하는 자원봉사자들은 평균적인 노동자보다 더 행복하거나 더 몰입해 있을 수 있습니다. 연구진은 거의 모든 연구가 이것을 중대한 문제로 인정하지 않는다는 것을 발견했습니다. 대신, 그들은 자신들의 데이터가 매우 특정한 비무작위 그룹에서 왔다는 사실을 무시한 채, 그 결과가 모든 노동자에게 적용되는 것처럼 제시했습니다.

아마도 가장 놀라운 발견은 이러한 관행이 흔하다는 사실 자체가 아니라, 이것들이 거의 논의되지 않았다는 점일 것입니다. 연구자들이 논문을 쓸 때, 보통 마지막 부분에 연구의 약점이나 한계를 나열하는 섹션을 포함합니다. 검토 저자들은 연구자들이 비무작위 표본을 사용했는지, 등급을 정밀한 숫자로 취급했는지, 또는 표준 통계 테스트에 과도하게 의존했는지를 인정했는지 확인하기 위해 이 섹션들을 점검했습니다. 그들은 거의 아무도 그렇게 하지 않았음을 발견했습니다. 82개의 논문 중 단 한 편만이 통계 테스트의 과도한 사용을 한계점으로 언급했습니다. 나머지 두 가지 주요 이슈는 거의 완전히 무시되었습니다. 이러한 침묵은 이러한 방법들이 더 이상 정당화가 필요한 선택이 아니라, 당연히 해야 할 방식으로 간주될 만큼 정상화되었음을 시사합니다.

연구진은 이러한 상황이 자기 강화적인 순환을 만든다고 주장합니다. 모두가 이 방법을 사용하기 때문에 그것들은 정당해 보입니다. 그것들이 정당해 보이기 때문에 학술지는 이를 게재하고, 학생들은 이를 사용하도록 배웁러 됩니다. 이는 분야가 공유된 규칙을 따르고 있기 때문에 강력하고 과학적으로 느껴지지만, 실제로는 그 규칙들이 취약한 기반 위에 세워져 있는 "패권적 견고함(hegemonic robustness)"을 형성합니다. 그 결과, 정밀해 보이지만 신뢰할 수 없을지도 모르는 지식 체계가 만들어집니다. 다른 과학자들이 다른 집단의 사람들 혹은 약간 다른 방법으로 이 연구들을 재현하려고 할 때, 결과가 일치하지 않는 경우가 빈번합니다. 이것이 바로 한때 견고하다고 여겨졌던 발견들을 재현하지 못하는 현상인 '재현성 위기'의 핵심입니다.

논문은 해결책이 숫자를 사용하지 않거나 인적 자원 연구를 포기하는 것이 아니라고 결론짓습니다. 대신, 연구진은 더 정직하고 성찰적인 접근을 요구합니다. 그들은 과학자들이 자신들이 사용하는 도구의 한계를 투명하게 밝혀야 한다고 제안합니다. 만약 설문 등급이 정밀한 측정이 아니라면, 그렇게 말해야 합니다. 만약 표본이 무작위가 아니라면, 그것이 자신의 주장에 어떤 제한을 주는지 설명해야 합니다. 그들은 통계 공식이 진리를 보장하는 마법 주문처럼 취급되는 것에서 벗어나, 데이터가 실제로 무엇을 나타내는지에 대한 더 깊은 이해로 나아가야 한다고 촉구합니다. 연구자들이 자신들의 방법론적 불완전함을 인정함으로써, 그들은 자신의 결함을 숨긴 채 확실성의 외양만을 만들어내는 시스템에 의존하는 대신, 사람들이 어떻게 일하는지를 이해하기 위한 더 정직하고 지속 가능한 토대를 구축할 수 있을 것입니다.