Leveraging Machine Learning Techniques to Investigate Media and Information Literacy Competence in Tackling Disinformation

본 연구는 교육 및 커뮤니케이션 전공 학생 723 명을 대상으로 한 설문 데이터를 활용하여 기계 학습 모델을 개발하고, 학년 및 이전 교육 경험 등 주요 요인을 분석함으로써 디스인포메이션에 대응하는 미디어 및 정보 리터러시 역량을 예측하고 맞춤형 교육 개입 전략을 수립하는 방안을 제시합니다.

핵심

🍳 1. 연구의 배경: 가짜 뉴스라는 '독버섯'과 요리사들

세상에는 가짜 뉴스라는 **'독버섯'**이 넘쳐납니다. 이 독버섯을 구별하지 못하면 우리 사회는 혼란에 빠집니다. 이 연구는 미래의 요리사들 (선생님과 언론인) 이 이 독버섯을 잘 구별할 수 있는지, 그리고 그들이 얼마나 **'정보 요리 능력 (미디어 리터러시)'**을 갖췄는지 확인하려 했습니다.

하지만 단순히 "너는 가짜 뉴스를 잘 구별하니?"라고 물어보는 것만으로는 부족합니다. 그래서 연구자들은 **AI(머신러닝)**라는 **'초능력을 가진 감별사'**를 불러와 학생들의 능력을 예측해 보았습니다.

🔍 2. 실험 과정: 723 명의 학생들과 30 가지 재료

연구진은 스페인 북부의 대학에서 교육학과와 언론학과 학생 723 명을 모았습니다.

• 재료 (데이터): 학생들의 성별, 나이, 학년, 전공, 그리고 "가짜 뉴스 교육 경험" 등 30 가지 정보.
• 요리 (모델링): 이 정보를 바탕으로 AI 가 학생들의 능력을 예측하는 '레시피'를 개발했습니다.

연구자들은 세 가지 주요 질문을 던졌습니다:

1. 분류 (Classification): 교육학과 학생과 언론학과 학생을 AI 가 구분할 수 있을까? (두 전공의 생각 방식이 다를까?)
2. 재료 선별 (Feature Selection): 어떤 정보가 가장 중요한 '핵심 재료'일까?
3. 점수 예측 (Regression): 학생들의 가짜 뉴스 구별 능력 점수를 얼마나 정확히 맞출 수 있을까?

🏆 3. 주요 발견: AI 의 놀라운 능력

① 복잡한 AI 가 더 잘한다 (분류 결과)

단순한 규칙만 따르는 AI(의사결정 나무) 보다는, **여러 가지 상황을 종합적으로 판단하는 복잡한 AI(SVM, 랜덤 포레스트 등)**가 학생들의 전공을 훨씬 더 정확하게 맞췄습니다.

비유: 가짜 뉴스를 구별하는 것은 단순히 "사진이 이상하면 가짜"라고 외우는 게 아니라, 문맥, 출처, 작성자, 감정 등 수많은 단서를 종합적으로 읽는 능력이 필요하다는 뜻입니다. 복잡한 AI 가 이 '종합 판단'을 잘 해냈습니다.

② 가장 중요한 재료는 '교육 경험' (재료 선별 결과)

AI 가 분석한 결과, 학생들의 능력을 예측하는 데 가장 큰 영향을 미친 변수는 **성별이나 나이가 아니라 '가짜 뉴스에 대한 사전 교육 경험'**이었습니다.

비유: 가짜 뉴스 구별 실력은 타고난 재능이 아니라, '독버섯 구별 수업'을 얼마나 들었느냐에 따라 결정된다는 뜻입니다. 교육을 받은 학생들은 독버섯을 훨씬 잘 찾아냈습니다.

③ 능력은 종류마다 다른 '요리법'이 필요하다 (회귀 분석 결과)

학생들의 능력을 점수로 예측할 때, 모든 능력에 같은 AI 모델을 쓰는 것은 좋지 않았습니다.

• 지식 (Knowledge): 간단한 선형 회귀 (단순한 공식) 로도 잘 예측됨.
• 기술 (Skills) & 책임감 (Responsibility): 복잡한 랜덤 포레스트 (여러 나무를 합친 모델) 가 더 정확함.
• 태도 (Attitudes): 릿지 회귀 (규칙을 엄격히 적용하는 모델) 가 가장 잘 예측함.

  비유: 가짜 뉴스를 아는 '지식'은 교과서로 쉽게 가르치지만, 실제로 구별하는 '기술'이나 '책임감'은 훨씬 복잡하고 다채로운 경험들이 얽혀 있어, 이를 예측하려면 더 정교한 AI 도구가 필요하다는 뜻입니다.

💡 4. 결론: 무엇을 배울 수 있을까?

이 연구는 우리에게 두 가지 중요한 메시지를 줍니다.

1. 교육이 답이다: 가짜 뉴스에 대한 교육은 선택이 아니라 필수입니다. 교육을 받은 학생들은 가짜 뉴스를 훨씬 잘 구별합니다.
2. 맞춤형 교육의 필요성: 모든 학생에게 똑같은 교육을 하는 것보다, AI 가 학생들의 특성과 배경을 분석하여 "누가 무엇을 더 필요로 하는지" 미리 예측하고 맞춤형으로 가르치는 것이 효과적입니다.

🚀 요약

이 논문은 **"AI 를 이용해 미래의 선생님들과 언론인들이 가짜 뉴스를 얼마나 잘 구별하는지 분석했더니, 복잡한 AI 가 잘 예측했고, 가장 중요한 건 '교육'이었다"**는 결론을 내립니다.

앞으로 학교에서는 AI 가 학생들의 능력을 미리 진단해 주고, 그에 맞춰 **가짜 뉴스에 강한 '정보 요리사'**를 키우는 데 집중해야 합니다.

기술 요약

논문 요약: 허위 정보 대응을 위한 미디어 및 정보 리터러시 역량 분석을 위한 머신러닝 기법 활용

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 디지털 혁명으로 정보 접근성이 확대되었으나, 동시에 허위 정보 (Disinformation) 와 오보의 확산이 가속화되고 있습니다. 특히 젊은 세대는 디지털 플랫폼에 노출되지만 미디어 및 정보 리터러시 (MIL) 에 대한 체계적인 훈련이 부족하여 허위 정보에 취약합니다.
• 문제: 기존 MIL 연구는 주로 설문 조사나 전통적인 통계 분석에 의존해 왔으며, 미래 교육자 및 커뮤니케이터의 MIL 역량을 예측하고 핵심 영향 요인을 규명하기 위한 머신러닝 (ML) 기반의 예측 모델링 연구는 상대적으로 부족합니다.
• 목표: 본 연구는 ML 알고리즘을 활용하여 교육 및 커뮤니케이션 전공 학생들의 MIL 역량 (지식, 기술, 태도, 책임감) 을 예측하고, 이를 통해 허위 정보 대응 능력을 향상시키기 위한 맞춤형 교육 전략을 도출하는 것을 목표로 합니다.

2. 연구 방법론 (Methodology)

2.1. 데이터 수집 및 참여자

• 표본: 스페인 북부 지역의 교육학 (435 명) 과 커뮤니케이션학 (288 명) 전공 대학생 총 723 명.
• 도구: '허위 정보에 대한 미래 교육 - 커뮤니케이터의 인식 (Perception of Future Edu-Communicators on Disinformation)'이라는 명칭의 설문지.
  • 구성: 25 개의 항목 (4 점 리커트 척도).
  • 차원: 인구통계학적 변수 (성별, 나이, 학년, 전공, 전수 교육 여부) 및 MIL 의 4 가지 핵심 차원 (지식, 기술, 태도, 책임감).
• 전처리: SPSS 와 Python 을 활용하여 데이터를 정제, 정규화 및 One-Hot Encoding 수행. 최종적으로 30 개의 특성 (Feature) 을 가진 데이터셋 구성.

2.2. 실험 설계 (3 단계)

1. 지식 분야 분류 (Classification): 학생의 전공 (교육 vs. 커뮤니케이션) 을 MIL 프로필을 기반으로 분류하여 학문적 차이를 규명.
2. 특성 선택 (Feature Selection): 분류 성능에 가장 기여하는 핵심 변수를 식별.
3. 역량 회귀 분석 (Regression): 인구통계학적 및 학술적 요인을 기반으로 MIL 4 가지 차원 (지식, 기술, 태도, 책임감) 의 점수를 예측.

2.3. 사용된 알고리즘

• 분류 모델: SVM, 결정 트리 (DT), 랜덤 포레스트 (RF), LightGBM, K-최근접 이웃 (KNN).
• 특성 선택 기법: SelectKBest (SKB), Forward Feature Selector (FFS), Recursive Feature Elimination (RFE), DT 기반 중요도.
• 회귀 모델: 선형 회귀 (LR), 릿지 회귀 (RR), DT 회귀, RF 회귀.
• 평가 지표: 클래스 불균형 (교육 435 명 vs 커뮤니케이션 288 명) 을 고려하여 F1-score를 주 평가 지표로 사용 (정확도, RMSE 등 보조).

3. 주요 결과 (Key Results)

3.1. 측정 도구 타당성

• 탐색적 요인 분석 (EFA) 을 통해 3 요인 구조 (지식, 기술/행동, 태도/책임) 를 확인 (총 분산 설명력 66.86%).
• 신뢰도 (Cronbach's alpha) 는 0.77~0.86 으로 양호함.

3.2. 분류 성능 (전공 예측)

• 최고 성능 모델: **SVM (Support Vector Machine)**이 테스트 세트에서 F1-score 0.815, 정확도 0.814 로 가장 우수한 성능을 보임.
• 기타 모델: LightGBM (F1: 0.792), RF (F1: 0.744) 가 그 뒤를 이었으며, 단일 트리 기반인 DT 는 성능이 가장 낮았음 (F1: 0.679).
• 결론: 복잡한 비선형 모델 (SVM, Ensemble) 이 단순 모델보다 MIL 프로필의 학문적 차이를 더 잘 포착함.

3.3. 핵심 특성 (Feature) 식별

• 가장 중요한 변수: **'허위 정보 교육 이수 여부 (Disinfo Training)'**가 모든 특성 선택 방법에서 가장 빈번하게 선정됨.
• 기타 중요 변수: 학년 (Academic Year), 지식 관련 항목 (K1, K2, K3), 태도 및 책임감 관련 항목 (A3, R5).
• 최적 선택 방법: **FFS (Forward Feature Selector)**가 가장 높은 일반화 성능 (F1: 0.756) 을 보였으며, 이는 개별 변수의 통계적 유의성뿐만 아니라 변수 간의 상호작용을 고려하는 것이 중요함을 시사.

3.4. 회귀 분석 (역량 점수 예측)

• 지식 (Knowledge): 선형 회귀 (LR) 가 가장 잘 예측 (RMSE: 2.287) → 지식은 비교적 선형적인 관계로 설명 가능.
• 기술 (Skills) 및 책임감 (Responsibility): 랜덤 포레스트 (RF) 가 가장 우수 (RMSE: 1.835, 2.064) → 복잡한 비선형 상호작용이 존재함.
• 태도 (Attitudes): 릿지 회귀 (RR) 가 가장 우수 (RMSE: 1.598) → 정규화를 통한 모델 복잡도 제어가 효과적.

4. 주요 기여 (Key Contributions)

1. 방법론적 혁신: MIL 연구 분야에 머신러닝을 적용하여, 전통적인 통계 분석을 넘어선 예측적 모델링을 가능하게 함.
2. 핵심 영향 요인 규명: 단순한 인구통계학적 요인보다 **'이전 교육 이수 여부'**와 **'학년'**이 MIL 역량 예측에 결정적인 역할을 함을 실증적으로 입증.
3. 모델 최적화 가이드: MIL 의 각 차원 (지식, 기술, 태도, 책임) 에 따라 최적의 ML 알고리즘이 다르다는 것을 보여줌 (예: 지식은 선형 모델, 기술/책임은 앙상블 모델 선호).
4. 교육적 시사점: 미래 교육자 및 커뮤니케이터를 위한 MIL 교육 프로그램 설계 시, 단순한 지식 전달이 아닌 비판적 사고와 윤리적 태도를 통합한 맞춤형 전략의 필요성을 제시.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 허위 정보 대응을 위한 MIL 역량 평가에 데이터 기반의 과학적 접근법을 도입하여 정책 및 교육 전략 수립에 기여.
  • UN, UNESCO 등 국제 기구의 MIL 권고안을 ML 기술을 통해 구체화하고 실행 가능한 방안을 모색.
  • 미래 전문가들의 디지털 리터러시 격차를 줄이기 위한 표적 개입 (Targeted Intervention) 의 기초 자료 제공.
• 한계:
  • 자기 보고식 데이터: 사회적 바람직성 편향 (Social Desirability Bias) 가능성.
  • 표본 제한: 특정 지역 (스페인 북부) 의 교육/커뮤니케이션 전공 학생만 대상으로 하여 결과의 일반화 (Generalizability) 에 제약이 있음.
  • 데이터 양: ML 모델의 정확도를 높이기 위해서는 더 방대하고 다양한 데이터가 필요함.

결론적으로, 본 연구는 머신러닝이 미디어 리터러시 역량을 평가하고 예측하는 강력한 도구임을 입증하였으며, 특히 허위 정보 교육의 필요성과 학년별 차이를 고려한 맞춤형 교육 프로그램 개발의 중요성을 강조합니다.