Using machine learning to build public policy agenda from social media conversations

기술 요약: 머신러닝을 통한 소셜 미디어 기반 공공 정책 의제 구축

문제 제기
이슈를 식별하고 그에 따른 공공 정책 의제를 설정하는 것은 정책 결정 과정에서 매우 중요하지만, 자원 집약적인 단계입니다. 이 단계의 전통적인 방법론은 수동 데이터 수집(예: 여론 조사, 워크숍)과 질적 분석에 크게 의존합니다. 이러한 접근 방식은 노동 집약적이며, 광범형 지역에 걸쳐 규모를 확장하기에 비용이 많이 들고, 데이터 수집, 분석 및 검증에 소요되는 긴 주기 때문에 구식화되기 쉽습니다. 또한, 특히 저소득 국가의 경우 희소한 인간 전문가를 필요로 합니다. 트위터와 같은 소셜 미디어 플랫폼은 대중의 의견을 담은 방대한 실시간 저장소 역할을 하지만, 특히 사하라 이남 아프리카 내에서 소셜 미디어 대화로부터 공공 정책 의제를 체계적으로 도출하기 위해 머신러닝(ML) 방법을 사용하는 적합성을 조사하는 연구는 부족한 실정입니다.

방법론
저자들은 가공되지 않은 소셜 미디어 데이터를 검증된 공공 정책 의제 항목으로 변환하기 위해 설계된 5단계의 인간 증강 머신러러닝 파이프라인을 제안합니다. 이 방법론은 2020/2021년 우간다 총선 기간 동안 수집된 56,737개의 트윗 데이터셋을 사용하여 구현되었습니다.

1. 데이터 정제 및 전처리: 원본 트윗에서 리트윗, URL, 사용자 핸들, 문장 부호, 비영어 단어, 불용어(stop words)를 포함한 노이즈를 제거하여 정제했습니다. 데이터는 언어 모델링을 준비하기 위해 토큰화, 어간 추출(stemming), 벡터화 과정을 거쳤습니다.
2. 키워드 추출 및 이슈 식별: 잠재적 주제를 추출하기 위해 두 가지 토픽 모델링(TM) 기법이 사용되었습니다.
   • 잠재 디리클레 할당(LDA): 일관성 점수(coherence scores)를 극대화하여 최적의 토픽 수를 결정하는 전통적인 Bag-of-words 방식입니다.
   • Top2Vec: 불용어 목록이나 수동 전처리를 요구하지 않고 자동으로 토픽 수를 결정하는 분산 표현 방식입니다.
   • 결과 도출된 토픽으로부터 공공 정책과 관련된 75개의 "이슈 특정 키워드"(예: 부패, 의료, 보안, 교육)를 수동으로 선별했습니다.
3. 내러티브 생성 (텍ext 생성): 선정된 키워드와 연관된 6,000개의 고유한 트윗 데이터셋을 바탕으로 GPT-2(124M 파라미터) 모델을 미세 조정(fine-tuning)했습니다. 모델은 특정 키워드 프롬프트를 기반으로 짧고 일관된 내러티브(약 50개 토큰)를 생성하도록 구성되었습니다.
4. 내러티브 검증: 생성된 텍스트의 품질은 영어 전공 학생들로 구성된 평가단에 의해 가독성과 일관성을 측정하는 4점 리커트 척도(Likert scale)를 사용하여 평가되었습니다. 평가자 간 일치도는 플리스 카파(Fleiss' Kappa)를 사용하여 계산되었습니다.
5. 의제 검증: 도출된 의제 항목은 두 가지 방법을 통해 검증되었습니다.
   • 유사도 분석: GPT-2 생성 텍스트와 우간다의 두 주요 정당(NRM 및 NUP)의 공약집에서 추출한 참조 텍스트 간의 코사인 유사도를 계산했습니다.
   • 인간 평가: 크라우드 소싱 설문 조사를 통해 생성된 항목이 공공 정책적 관심을 위한 유효한 사회적 관심사를 나타내는지 평가했습니다.

주요 기여

1. 제안된 프레임워크: 본 논문은 소셜 미디어 데이터로부터 공공 정책 의제를 구축하기 위한 반자동화된 인간 증강 ML 파이프라인을 소개하며, ML이 전통적인 방식에서 도출된 의제를 보완하거나 검증할 수 있음을 입증합니다.
2. 엔드 투 엔드(End-to-End) 파이프라인: 저자들은 데이터 정제, 키워드 추출, 내러티브 생성, 내러티브 검증, 의제 검증의 다섯 가지 뚜렷한 단계로 구성된 완전한 워크플로우를 상세히 설명합니다.
3. 개념 증명 구현: 우간다 2020/2021 선거의 트위터 데이터를 사용하여 기능적인 ML 모델을 개발하고 테스트했습니다. 이 연구는 해당 기간 동안 대중이 제기한 사회적 이슈에 대한 경험적 통찰을 제공하며, 특히 저소득 국가에서의 ML 적용에 관한 지식 격차를 다룹니다.

결과

• 텍스트 생성 품질: GPT-2 생성 내러티브에 대한 인간 평가 결과, 가독성(Kappa = 0.78)에 대해서는 "매우 좋은" 평가자 간 일치도(IRA)를, 일관성(Kappa = 0.60)에 대해서는 "좋은" 일치도를 보였습니다.
• 의제 검증:
  • 유사도 분석: 모델은 5개의 참조 테마 중 최소 3개에 대해 평균 이상의 코사인 유사도 점수(임계값 > 0.5)를 달取得했습니다. 구체적으로, 보안(vs. NRM 공약)과 민주주의/거버넌스 및 교육(vs. NUP 공약)에 관한 참조 텍스트와 강한 정렬을 보였습니다. 경제 및 의료 테마에 대해서는 평균 이하의 성능을 보였습니다.
  • 인간 평가: 의제 항목에 대한 크라우드 소싱 검증 결과 "좋은" 평가자 간 일치도(Kappa = 0.45)를 기록했습니다.
• 관찰된 한계점: 저자들은 모델이 많은 경우 일관된 텍스트를 생성했지만, 일부 출력물은 비일관적이거나 의미론 및 맥락에 대한 깊은 설명력이 부족하다고 언급했습니다. 이는 원시 소셜 미디어 데이터셋의 본질적인 노이즈와 주제 조직의 결여 때문인 것으로 분석되었습니다.

의의 및 주장
본 논문은 제안된 ML 접근 방식이 소셜 미디어 대화로부터 공공의 관심사를 식별하기 위한 "유망한 방법론"이라고 주장합니다. 이 방식이 대량의 정책 관련 입력 데이터를 처리하는 데 있어 전통적인 수동 조사보다 더 효율적인 대안을 제공한다고 주장합니다. 그러나 저자들은 현재의 구현이 개념 증명 단계임을 인정하며 신중한 태도를 유지합니다. 그들은 텍스트 품질에 대한 기대치를 완전히 충족하지 못했음을 명시적으로 밝혔으며, 이러한 접근 방식이 실제 정책 결정의 근거로 사용되기 전에는 데이터 편향, 공정성 및 책임성 문제가 반드시 고려되어야 한다고 강조합니다. 이 연구는 인간의 전문성을 대체하는 것이 아니라 이를 보완하는 것을 목표로 하며, 텍est 생성 품질을 개선하고 검증 단계의 자동화를 탐구하기 위한 추가 연구가 필요함을 시사합니다.