🔬 physics

The Fragility of Global Comparisons of Perceived Scientist Trustworthiness: Evidence from Measurement Alignment across 68 Countries/Regions

본 연구는 관찰 점수 평균에 기반한 과학자 신뢰도에 대한 국가 간 비교가 측정 불변성의 결여로 인해 오해의 소지가 있다는 점을 입증하며, 잠재 변수에 측정 정렬을 적용하는 것이 원래의 결과와 비교하여 상당히 다른 국가 순위와 실질적 연관성을 드러낸다는 것을 보여준다.

원저자: Yuke Yang, Zhihao Ma

게시일 2026-01-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuke Yang, Zhihao Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신과 67명의 친구가 지역 과학자들을 얼마나 신뢰하는지 점수를 매기려 한다고 상상해 보세요. 여러분 모두는 동일한 12개 문항의 설문지에 답합니다. 원래의 연구(Cologna et al., 2025)는 이 모든 답변을 수집하여 국가별로 평균을 냈고, 거대한 "과학자에 대한 신뢰" 순위표를 만들었습니다. 그 후 그들은 이 순위표를 사용하여 무엇이 사람들의 과학자 신뢰도를 높이거나 낮추는지 확인했습니다.

문제점: 자가 부서져 있었다
새로운 논문의 저자들(Yang and Ma)은 그 연구를 살펴보고 이렇게 말했습니다. "잠깐만요." 그들은 설문 문항이 모든 국가에서 동일하게 작동하지 않는다고 주장했습니다.

이렇게 생각해 보세요. 만약 당신이 A국가에 있는 사람에게 "과학자들은 정직합니까?"라고 묻는다면, 그 사람은 데이터에 대해 진실을 말하는 과학자를 떠올릴 수도 있습니다. 하지만 B국가에서는 똑같은 질문이 친절하고 도움이 되는 과학자를 떠올리게 할 수도 있습니다. 비록 "정직"이라는 단어는 같지만, 답변 뒤에 숨겨진 의미는 다른 것입니다.

원래의 연구는 마치 모든 사람이 정확히 같은 자를 사용하고 있는 것처럼 평균 점수를 비교하려고 했습니다. 하지만 만약 어떤 사람은 인치로 측정하고 다른 사람은 센티미터로 측정하고 있다면, 단순히 숫자를 더해서 "이 나라가 저 나라보다 더 크다"라고 말할 수는 없습니다. 원래의 연구는 "자"가 완벽하지 않다는 점을 인정했지만, 그럼에도 불구하고 평균치를 비교하는 작업을 강행했습니다.

해결책: "정렬(Alignment)" 도구
새로운 저자들은 **측정 정렬(Measurement Alignment)**이라는 정교한 통계적 도구를 사용했습니다.

당신에게 동일한 도시를 그린 68개의 서로 다른 지도가 있다고 상상해 보세요. 그런데 이 지도들은 모두 규모(scale)가 다르고 약간씩 회전되어 있습니다.

옛날 방식: 그냥 지도들을 겹쳐 놓고 랜드마크가 어디쯤 있는지 짐작하는 것입니다. 이는 무질서하고 부정확합니다.
새로운 방식 (정렬): 특수한 알고리즘을 사용하여 지도 A의 "정직"이라는 랜드마크가 지도 B의 "정직" 랜드마크와 완벽하게 일치하도록 지도를 회전시키고, 늘리고, 줄입니다. 지도들이 약간씩 다르다는 점은 인정하되, 공정한 비교를 위해 그것들을 정렬시키는 것입니다.

수식을 다시 계산했을 때 어떤 일이 벌어졌나?
저자들이 이 "정렬" 도구를 데이터에 적용했을 때, 결과는 극적으로 변했습니다:

순위표가 뒤집혔습니다: 원래 연구에서는 일부 국가가 상위에 있고 일부가 하위에 있었습니다. 정렬을 거친 후, 68개국 중 62개국이 순위표에서 위아로나 아래로 이동했습니다. 어떤 곳은 크게 움직였습니다! 예를 들어, 우루과이는 15계단 떨어졌고, 콩고민주공화국은 12계단 상승했습니다. 과학자를 가장 신뢰하는 "최고"의 국가와 가장 적게 신뢰하는 "최악"의 국가는 더 이상 이전과 같지 않았습니다.
"이유"가 바뀌었습니다: 원래 연구는 "포퓰리즘"(엘리트 불신) 성향을 가졌거나 "사회적 지배"(엄격한 위계질서 선호)를 믿는 사람들이 과학자를 훨씬 덜 신뢰한다고 주장했습니다.
- 새로운 발견: 정렬된 점수를 사용했을 때, 그러한 연결 고리는 사실상 사라졌습니다. 이러한 정치적 견해와 과학자 신뢰 사이의 연관성은 거의 제로(0)에 가까웠습니다.
- 여전히 유효했던 것: 과학에 대한 긍정적인 태도(예: "과학은 유익하다", "나는 과학적 방법을 신뢰한다")만이 여전히 신뢰도를 강력하게 예측하는 유일한 요소였습니다.

핵 요점
이 논문은 서로 다른 국가를 비교할 때, 설문 답변의 단순 평균을 내서는 안 된다고 주장합니다. 만약 질문이 모든 곳에서 똑같은 의미를 갖지 않는다면, 당신의 "순위표"는 오해의 소지가 있습니다.

부서진 자를 고치기 위해 "정렬" 방식을 사용함으로써, 저자들은 다음과 같은 사실을 발견했습니다:

과학자를 가장 많이 신뢰하는 국가의 순위는 이전에 보고되었던 것과는 매우 다릅니다.
정치적 이데올로기(포퓰리즘과 같은)가 과학자에 대한 불신을 강력하게 몰고 간다는 생각은 잘못된 측정에 의한 환상이었을 수 있습니다.

요약하자면: 둘 다 과일이라고 해서 사과와 오렌지를 그냥 비교할 수는 없습니다. 당신은 동일한 종류의 과일을 비교하고 있는지 확인해야 하며, 그렇지 않으면 무엇이 더 "좋은지"에 대한 당신의 결론은 틀릴 것입니다.

기술 요약: 인지된 과학자 신뢰도에 대한 글로벌 비교의 취약성

문제 제기
본 연구는 "인지된 과학자 신뢰도" 측정에 관한 교차 국가 설문 조사 연구의 결정적인 방법론적 결함을 다룬다. 본 연구는 68개 국가/지역( $N = 69,534$ )의 데이터를 분석한 Cologna 등(2025)의 연구 결과를 재평가한다. Cologna 등은 자신들의 4요인 신뢰도 척도가 측정 불변성(metric, scalar, strict measurement invariance)을 충족하지 못했음을 인정했음에도 불구하고, 관찰된 문항 점수의 가중 평균을 사용하여 교차 국가 비교 및 회귀 분석을 진행했다. 본 논문의 저자들은 이러한 비교가 관찰된 점수 수준에서 국가 간 비교 가능성을 암묵적으로 가정하고 있다고 주장하며, 이는 스칼라 불변성(scalar invariance)이 부재할 때 충족되지 않는 조건이다. 측정 동일성을 확립하지 않은 채 잠재 평균이나 연관성을 비교하는 것은 오해의 소지가 있거나 실질적으로 모호한 결과를 초래할 위험이 있다.

연구 방법론
저자들은 측정 비불변성을 수용하기 위해 엄격한 측정 정렬(measurement alignment) 프레임워크를 사용하여 공개된 데이터셋을 재분석하였다. 분석은 가중치 전략과 모델 사양에 대한 결과의 강건성을 테스트하기 위해 네 가지 별도의 분석 경로를 따랐다:

풀링(Pooled) vs. 국가별 CFA: 모든 국가를 동시에 분석하는 풀링 샘플 확인적 요인 분석(CFA)과 68개의 개별 국가별 CFA를 비교하였다.
가중치 전략: 각 CFA 경로는 가중치 지정에 대한 민감도를 평가하기 위해 설문 가중치를 적용한 경우와 적용하지 않은 경우 모두에서 추정되었다.
측정 정렬: Asparouhov와 Muthén(2014) 및 Han(2023)의 접근 방식을 따라, 저자들은 4요인 모델(역량, 성실성, 자애성, 개방성)에 측정 정렬을 적용하였다. 이 방법은 그룹 간 측정 파라미터(적재량 및 절편)의 비동등성을 어느 정도 허용하면서도 비교 가능한 잠재 요인 점수를 생성할 수 있게 한다.
실질적 모델의 재추정: 정렬이 성공적으로 수렴된(정렬된 잠재 점수를 사용하는) 경우, 저자들은 인지된 과학자 신뢰도와 인구통계학적, 이데올로기적, 태도적, 국가 수준 예측 변수 간의 연관성을 평가하기 위해 다층 선형 회귀 모델을 다시 실행하였다.

주요 결과

측정 불변성: 네 가지 모든 분석 사양에서 데이터는 형태 불변성(configural)과 측정(metric) 불변성은 지지하였으나, 스칼라(scalar) 또는 엄격(strict) 불변성은 일관되게 확보하는 데 실패하였다. 부분 불변성을 확립하려는 시도는 모델의 비수렴을 초래하였다.
정렬 성공 여부: 측정 정렬은 **역량(competence)**과 개방성(openness) 차원에서만 허용 가능한 해를 산출하였다. **성실성(integrity)**과 자애성(benevolence) 요인은 사회적 맥락에서의 구성 개념이 원래의 조직적 신뢰 이론 맥락과 달라 발생하는 문화적/맥락적 복잡성으로 인해, 일관되게 정렬에 실패하였다(불안정한 해 또는 음의 $R^2$ 값 생성).
순위 불안정성: 관찰된 가중 평균 대신 정렬된 잠재 점수(특히 역량 및 개방성 차원)를 사용하여 국가/지역 순위를 재계산했을 때, 68개 국가/지역 중 62개의 순위가 변경되었다. 주목할 만한 변화로는 우루과이가 15계단 하락, 한국이 11계단 하락, 콩고민주공화국이 12계단 상승한 사례 등이 있다.
실질적 연관성: 재분석은 핵심 예측 변수에 대한 결론을 근본적으로 바꾸어 놓았다:
- 과학 관련 포퓰리즘 태도: 원 연구에서는 신뢰도와 유의미한 음의 상관관계를 보고했다. 정렬된 점수를 사용한 재분석에서는 이 연관성이 거의 0에 가까웠으며 유의하지 않았다 ( $\beta \approx 0.003, p = 0.775$ ).
- 사회 지배 지향성(SDO): 마찬가지로, 원 연구에서 보고된 유의미한 음의 상관관계는 재분석된 모델에서 유의하지 않게 되었다.
- 과학에 대한 태도: 과학의 이점에 대한 인식, 과학에 대한 취약성 노출 의지, 과학적 방법에 대한 신뢰와 같은 변수들은 원래의 연구 결과와 일치하게 신뢰도와 강력하고 정적인 상관관계를 유지했다.

의의 및 주장
본 논문은 측정 동일성이 확립되지 않았을 때 관찰된 점수 평균에 기반한 교차 국가 비교는 오해의 소지가 있다고 주장한다. 저자들은 "리그 테이블" 방식의 국가 순위와 이데올데적 변수(포퓰리즘 및 SDO와 같은)와 과학자에 대한 신뢰 사이의 추론된 관계가 측정 비불변성을 어떻게 처리하느냐에 따라 매우 민감하게 변한다는 것을 입증하였다.

본 연구는 잠재 변수 접근법, 특히 측정 정렬이 단순한 관찰 점수 집계보다 국제적 추론을 위한 더 방어 가능한 근거를 제공한다고 결론짓는다. 이는 측정 비교 가능성을 확립하거나 적절히 근사하는 것이 단순한 기술적 세부 사항이 아니라, 수준(levels)과 효과 크기(effect sizes)의 국가 간 차이를 해석하기 위한 전제 조건임을 강조한다. 또한, 성실성 요인의 정렬 실패는 "신뢰"라는 개념이 다양한 문화적 및 제도적 환경에서 동등하지 않을 수 있음을 시사하며, 향후 연구에서 더 광범적인 교차 문화적 개념 명료화와 잠재적인 척도 항목의 질적 검증이 필요함을 시사한다.

유사한 논문