Building Resilience to Misinformation: A Cross-National Development of the Digital Media and Information Literacy Scale (DMILS)

기술적 요약: 디지털 미디어 및 정보 리터러시 척도 (DMILS) 를 통한 허위 정보에 대한 회복탄력성 구축

문제 제기
허위 정보 완화와 민주적 심의 지원에 있어 미디어 리터러시의 역할이 중요함에도 불구하고, 이 분야는 개념적 단편화와 경험적 불일치로 고통받고 있습니다. 기존 측정 도구들은 종종 단편적이거나 시대에 뒤떨어졌으며, 빠르게 진화하는 디지털 생태계에서 요구되는 역량의 전체 스펙트럼을 포착하지 못합니다. 일반적인 한계점은 다음과 같습니다:

• 개념적 실리 (Silo): 디지털, 뉴스, 알고리즘, AI 등 서로 다른 리터러시들이 통합된 프레임워크로서가 아니라 병렬적으로 작동하는 경우가 많습니다.
• 차원적 격차: 많은 척도가 기술 (skill) 이나 지식 (knowledge) 중 하나만 측정하여 두 요소 간의 상호작용을 간과합니다.
• 측정 방식: 주관적인 자기 보고식 평가에 대한 과도한 의존은 인지된 역량과 실제 능력을 구분하지 못하며, 이는 과신과 리터러시 격차를 식별하는 데 결정적인 차이입니다.
• 맥락적 한계: 주요 척도들은 10 년 이상 전에 개발되었으며, 주로 서구 맥락에서 이루어져 현대 기술 (예: 생성형 AI) 과 비서구 문화적 환경에 대한 관련성이 제한적입니다.

다양한 국가적 맥락에서 이러한 역량을 추적하고 개입을 평가하며 회복탄력적인 정보 생태계를 구축할 수 있는 간결하고 포괄적이며 심리측정적으로 타당한 도구가 부재합니다.

방법론
저자들은 미국과 싱가포르의 3 개 국가 매칭 표본 ($N = 1,498$) 을 포함한 2 단계 연구를 통해 디지털 미디어 및 정보 리터러시 척도 (DMILS) 를 개발하고 검증했습니다. 개발 과정은 엄격한 척도 구성 지침 (예: Boateng et al., 2018; Carpenter, 2018) 을 따랐습니다.

1. 개념적 프레임워크: 저자들은 다음과 같이 구분하는 다차원적 프레임워크를 제안했습니다:

   • 영역: 디지털 미디어 (기술적/절차적) 대 정보/뉴스 (저널리즘/검증).
   • 역량 유형: 지식 (개념 이해) 대 기술 (작업 수행 능력).
   • 측정 방식: 주관적 (자기 보고) 대 객관적 (성과 기반).

2. 연구 1 (문항 개발 및 축소):

   • 과정: 26 개 저널에 대한 문헌 검색을 통해 74 개의 경험적 연구가 도출되었습니다. 문항들을 프레임워크에 매핑하여 초기에 56 개의 주관식 문항과 30 개의 객관식 문항 풀을 구성했습니다.
   • 표본: Prolific 을 통해 모집된 미국 참가자 499 명.
   • 분석: 탐색적 요인 분석 (EFA) 과 문항 축소 기준 (부하량, 교차 부하량, 공통성) 을 통해 주관식 척도를 18 개 문항으로 정제했습니다. 객관식 문항은 난이도 ($P$-값) 와 변별도에 따라 수정되었습니다.

3. 연구 2 (검증 및 일반화):

   • 표본: 미국 참가자 501 명과 싱가포르 참가자 498 명.
   • 분석:
     • 구성 타당도: 요인 구조와 문항 적합도를 검증하기 위해 확인적 요인 분석 (CFA) 과 라쉬 모델링 (문항 반응 이론) 을 사용했습니다.
     • 측정 불변성: 미국과 싱가포르 맥락에서 척도가 동등하게 기능하는지 확인하기 위해 측정 불변성 (구성, 척도, 척도 간 불변성) 을 검증했습니다.
     • 수렴 타당도: 소셜 미디어 사용 및 뉴스 소비와 상관관계를 분석했습니다.
     • 예측 타당도: 두 가지 행동 결과에 대한 회귀 분석을 수행했습니다: 판단력 (진짜와 가짜 뉴스 헤드라인 및 이미지를 구분하는 능력) 과 정보 검색 정확도 (온라인에서 사실적 답변을 찾는 능력).

주요 기여

• DMILS 도구: 18 개 문항의 주관식 배터리와 16 개 문항의 객관식 지식 테스트로 구성된 검증된 다차원 척도입니다. 또한 단축형 버전 (주관식 8 개, 객관식 8 개 문항) 도 제공됩니다.
• 통합 프레임워크: 이 척도는 디지털 및 정보 영역, 지식과 기술, 주관적 및 객관적 측정 방식을 동시에 포착하는 통합된 프레임워크를 구현합니다.
• 국가 간 견고성: 이 척도는 미국과 싱가포르 간 측정 불변성을 입증하여, 글로벌 허위 정보 연구에서 문화적으로 적용 가능한 도구의 필요성을 충족시킵니다.
• 진단적 유용성: 주관적 및 객관적 요소를 통합함으로써, 이 척도는 인지된 리터러시와 실제 리터러시 사이의 '격차'를 정량화할 수 있게 합니다.

결과

• 구조적 타당도: EFA 와 CFA 모두 4 요인 구조 (디지털 지식, 디지털 기술, 정보 지식, 정보 기술) 를 지지했습니다. 고차원 모델은 이러한 요인들이 합산 점수를 위한 단일 차원 구성으로 간주될 수도 있음을 확인했습니다.
• 신뢰도: 주관식 척도는 탁월한 내적 일관성 ($\alpha = 0.93$) 을 보였습니다.
• 측정 불변성: 이 척도는 미국 및 싱가포르 표본 간에 구성, 척도, 척도 간 불변성을 나타내어 두 맥락 모두에서의 적용 가능성을 확인했습니다.
• 예측 타당도:
  • 판단력: 주관식 및 객관식 DMILS 점수 모두 진짜와 가짜 뉴스를 구분하는 능력을 유의하게 예측했습니다. 특히, 객관적 측정이 주관적 자기 보고보다 더 강력한 예측 변수였습니다. 하위 차원 중에서는 정보 기술이 가장 강력한 주관적 예측 변수였으며, 객관적 디지털 지식과 정보 지식 모두 강력한 예측 변수였습니다.
  • 정보 검색: 합산 DMILS 점수는 검색 정확도를 예측했습니다. 그러나 분해하여 분석할 때 개별 하위 차원의 예측력은 낮았으며, 이는 합산 점수가 검색 작업에 대한 더 넓은 유용성을 포착함을 시사합니다.
  • 수렴 타당도: 주관식 DMILS 는 소셜 미디어 사용과 양의 상관관계를 보인 반면, 객관식 DMILS 는 음의 상관관계를 보였습니다. 이는 많은 사용자가 자신의 역량을 더 유능하다고 느끼지만 실제 지식은 부족한 잠재적 불일치를 강조합니다.

의의 및 주장
본 논문은 DMILS 가 해당 분야를 위한 "간결하면서도 다차원적인 자"를 제공한다고 주장합니다. 그 주요 의의는 다음과 같습니다:

1. 표준화: 국가 간 연구에 대한 공통 척도를 제공하여, 다양한 문화적 및 정치적 환경에서 미디어 리터러시 개입 및 결과를 비교할 수 있게 합니다.
2. 개입 설계: 교육자 및 정책 입안자가 특정 역량 격차 (예: 높은 디지털 기술이지만 낮은 정보 지식) 를 진단하여 일반적인 '비판적 사고' 접근법을 적용하는 대신 맞춤형 개입을 설계할 수 있게 합니다.
3. 과신 해소: 인지된 역량과 실제 역량을 구분함으로써, 허위 정보에 취약한 요인과 연결된 과신을 보일 수 있는 집단 (예: 소셜 미디어 중독 사용자) 을 식별하는 데 도움을 줍니다.
4. 이론적 발전: 디지털 리터러시와 정보 리터러시 사이의 이론적 구분, 그리고 지식과 기술 사이의 구분을 지지하며, 미디어 리터러시를 단일 구성체로 취급하는 것에 반대합니다.

저자들은 겸손한 입장을 견지하며, 척도가 견고함에도 불구하고 향후 버전은 고도화된 리터러시를 가진 집단 사이를 더 잘 변별하기 위해 더 까다로운 문항이 필요할 수 있으며, 정량화하기 어려운 측면을 포착하기 위해서는 여전히 질적 방법이 필요할 수 있음을 지적합니다.