Does the Measure Make the Effect? A Specification-Curve Analysis of Social-Media Use and Mental Health in Indian Adolescents

기술적 요약: "측정치가 효과를 만드는가? 인도 청소년의 소셜 미디어 사용과 정신 건강에 대한 명세 곡선 분석(Specification-Curve Analysis)"

문제 제기
소셜 미디어 사용과 청소년 정신 건강 사이의 관계는 발달 과학 분야에서 여전히 논쟁적인 주제이다. 대중적 담론은 종종 소셜 미디어와 심리적 해악 사이에 강력한 인과 관계가 있다고 상정하지만, 실증적 증거는 작고, 일관되지 않으며, 이질적인 연관성을 특징으로 한다. 기존의 대규모 명세 곡선 분석(SCA)은 주로 고소득 국가 및 영어권 국가에서만 수행되었으며, 이는 독특한 플랫폼 생태계와 문화적 규범을 가진 저·중소득 국가(LMIC)로 해당 연구 결과가 어떻게 일반화될 수 있는지에 대한 이해의 공백을 남겼다. 더욱이, 선행 연구들은 "소셜 미디어 사용"을 단일 구성 개념(주로 자기 보고식 시간)으로 통합하는 경향이 있는데, 이는 사용이 다차원적이라는 사실을 은폐할 가능성이 있다. 본 연구는 관찰된 연관성이 사용에 대한 다양한 조작적 정의에 걸쳐 견고하게 나타나는지, 아니면 인도 청소년 집단 내에서의 측정 방식 선택에 따른 인위적 결과인지를 다룬다.

연구 방법론
본 연구는 인도 찬디가르 트리시티(Chandigarh tricity) 지역 중등 학교의 청소년 393명(14~17세)을 대상으로 횡단적, 관찰적 설계를 채택하였다. 연구는 "제한된 멀티버스(bounded multiverse)"의 분석적 선택지를 탐색하기 위해 명세 곡선 접근법을 활용한다.

• 설계: 연구진은 8가지 소셜 미디어 사용 조작 정의를 8가지 정신 건강 및 웰빙 결과, 그리고 3가지 중첩된 공변량 세트(미조정; 연령/성별 조정; 연령/성별/사회경제적 지위 완전 조정)와 교차시켰다. 이를 통해 192개의 표준화된 회귀 명세를 도출하였다.
• 측정 도구:
  • 소셜 미디어 사용: 양(스크린 타임, 일일 소셜 미디어 시간), 강도(SMIS 태도 하위 척도 및 태도적 복합 척도), 빈도(방문 빈도), 네트워크 크기(계정 수, 팔로워 수, 친구 수)를 포함하였다.
  • 결과 변수: 우울, 불안, 스트레스 및 총 고통(DASS-21); 웰빙(PWI-SC); 자아존중감(RSES); 인지된 사회적 지지(MSPSS); 수면 문제(BEARS).
  • 공변량: 연령, 성별, 사회경제적 지위 지수(Kuppuswamy 척도).
• 분석:
  • 이분산성을 고려한 일치적(HC3) 강건 표준 오차를 사용하여 표준화된 회귀 계수를 추정하였다.
  • 결합 추론(Joint Inference): 분석적 유연성과 신호(signal)를 구분하기 위해, 사용 측정치를 결과 및 공변량과 섞어 5,000회의 순열 검정(permutation)을 수행함으로써 중앙값 효과 크기와 유의한 결과의 비율에 대한 귀무 분포를 생성하였다.
  • 곡선 관계(Curvilinearity): "골디락스(Goldilocks)" 가설(역 U자형 관계)을 테스트하기 위해 64개 모델(연령/성별 조정 모델)에 이차항을 추가하였으며, 허위 발견율(FDR)을 보정하였다.
  • 강건성: 파이프라인 독립성을 검증하기 위해 부분 상관관계와 확장된 공변량 세트를 사용하여 Python으로 전체 분석을 독립적으로 재구현하였다.

주요 결과

1. 측정 의존성: 연관성의 탐지 가능성은 소셜 미디어 사용을 어떻게 측정하느냐에 따라 크게 좌우되었다.

   • 유의한 신호: 태도, 강도 및 시간 기반 측정치(예: SMIS 태도 하위 척도, 스크린 타임, 방문 빈도)는 대부분의 명세에서 유의한 연관성을 나타냈다(예: 태도 하위 척도의 경우 24개 중 21개).
   • 무효한 측정치: 네트워크 수 측정치(팔로워, 친구, 계정 수)는 거의 무효하였으며, 각각 24개의 명세 중 0~4개에서만 유의한 결과를 생성했다.
   • 구성 타당도: 8가지 조작 정의 간의 상관관계는 완만하였으며(중앙값 $r = .23$), 이는 각 측정치가 단일한 "사용" 변수가 아닌 서로 다른 구성 개념을 지표화하고 있음을 나타낸다.

2. 연관성의 크기:

   • 중앙값 절대 연관성은 작았으며($|\beta| = .095$), 분산의 약 0.9%를 설명하였다.
   • 중앙값 부호 정렬 효과(양의 값은 해로움을 의미)는 $\beta = .035$였으며, 통계적으로 0과 구별되지 않았다($p = .141$).
   • 그러나 결합 추론 결과, 유의한 해로운 방향의 연관성 수(35.9%의 명세)가 우연한 기대치(~2%, $p < .001$)를 훨씬 초과하였다. 이는 특정 측정치에서 나타나는 신뢰할 수 있지만 작은 규모의 해로운 연관성이 존재함을 시사하며, 이는 보호적 연관성(특히 사용과 인지된 사회적 지지 사이의 연결)에 의해 일부 상쇄된다.

3. 함수 형태:

   • "골디락스" 가설(적절한 사용이 최적인 역 U자형 곡선 관계)은 지지되지 않았다.
   • 스크린 타임에 대한 웰빙의 전형적인 테스트는 곡선 관계를 보여주지 않았다.
   • FDR 보정을 통과한 극소수의 이차항은 모두 볼록(convex)한 형태(높은 정서적 애착 수준에서 고통이 가속화됨)였으며, 오목(concave)한 형태가 아니었다. 이는 위험이 낮은 수준의 애착이 아니라 높은 수준의 애착에서 증가함을 나타낸다.

4. 강건성:

   • 결과는 공변량 조정에 대해 불변하였다. 즉, 미조정, 인구통계학적 조정, 완전 조정 모델 전반에 걸쳐 유의한 명세의 수가 일관되게 유지되었다.
   • Python을 이용한 독립적 재구현 결과 모든 주요 결과를 재현하였으며, 이는 결론이 특정 분석 파이프라인의 인위적 산물이 아님을 확인해 준다.

의의 및 주장
본 논문은 결정적인 효과 크기의 추정치를 제시하기보다는, 표본 크기(N=393)가 이 분야의 매우 작은 효과를 탐지하기에는 검정력이 부족할 수 있음을 인정하며 "원리 증명(proof-of-principle)"으로서의 성격을 띤다.

• 결정 요인으로서의 측정: 핵심 주장은 "측정이 효과를 만든다"는 것이다. 소셜 미디어가 정신 건강과 연관되어 보이는지 여부는 어떤 측면의 사용을 측정하느냐에 따라 실질적으로 달라진다. 단일 조작 정의(예: 팔로워 수)로부터 도출된 결론은 강도나 태도 측정치로부터 도출된 결론에 비해 오해의 소지가 있을 수 있다.
• LMIC 일반화 가능성: 본 연구는 LMIC 환경에서 수행된 최초의 SCA이다. 이는 고소득 국가에서 관찰된 측정 의존적이고 작은 효과의 양상이 인도 청소년에게도 일반화됨을 보여주며, 이 현상이 고소득 맥락에 국한된 것이 아님을 시사한다.
• 미묘한 해악 서사: 본 연구는 "강한 해악" 서사를 완화하면서도 "효과 없음"이라는 결론을 지지하지는 않는다. 연구는 연관성이 실재하지만 매우 작고, 선형적이며, 이질적이라고 결론 내린다. 평균적인 효과는 미미하지만, 특정 측정치(태도, 강도)와 결과(우울, 불안)에 집중된 신뢰할 만한 해로운 신호가 존재한다.
• 방법론적 시사점: 저자들은 미래 연구가 단일 측정치 추정을 넘어설 것을 주장한다. 명세 곡선이나 다양한 조작 정의를 따라 결과를 보고하는 것이 강건성을 평가하는 데 필요하며, 주요 연구들은 자신들의 구체적인 조작적 정의를 사전 등록해야 한다.
• 정책 및 임상적 관련성: 본 연구 결과는 정신 건강 위험 스크리닝이 단순한 스크린 타임이나 팔로워 수와 같은 조잡한 지표보다는 사용의 정서적 중심성과 강도에 초점을 맞춰야 함을 시사한다. 또한, 단순한 노출 지표에 기반한 정책 개입은 정신 건강 결과와 관련된 신호가 거의 없는 사용의 측면을 목표로 할 위험이 있다.