기술 요약: 자연어 처리를 이용한 네트워크 클러스터링 알고리즘 테스트

문제 정의

온라인 소셜 네트워크에 대한 연구는 상호작용 그래프(예: 리트윗, 팔로워)로부터 사회적 구조를 추론하기 위해 커뮤니티 탐지 알고리즘(Community Detection Algorithms, CDA)에 크게 의존하고 있다. 그러나 이러한 알고리즘의 검증에는 중대한 한계가 존재한다. 현재의 CDA 검증은 일반적으로 알려진 "그라운드 트루스(ground truth)" 커뮤니티나 인위적인 그래프 생성에 의존하며, 이는 해당 커뮤니티 내 개인들의 **문화적 생산(cultural production)**을 반영하지 못하는 경우가 많다.

저자들은 사회적 구조와 문화적 생산(텍스트 출력물)이 서로 얽혀 있다고 주장한다. 결과적으로, 강력한 커뮤니티 탐지 방법은 네트워크 토폴로지 지표(예: 모듈성)를 최적화할 뿐만 아니라, 결과로 도출된 커뮤니티가 사용자들의 실제 콘텐츠 및 의견 측면에서도 일관성을 유지하도록 보장해야 한다. 본 논문은 CDA의 스코어링 함수가 고유한 네트워크 속성에 의존하는 대신, 사용자 교류의 의미론적 일관성에 기반해야 한다는 점을 다룬다.

방법론

저자들은 CDA와 자연어 처리 분류 알고리즘(Natural Language Processing Classification Algorithms, NLPCA)을 결합하여 새로운 스코어링 지표를 만드는 하이브리드 방법론을 제안한다. 본 연구는 2022년 7월부터 10월 사이에 수집된 기후 변화 논쟁에 관한 트위터(현 X) 데이터에서 추출된 리트윗 네트워크를 활용한다.

데이터 준비

• 데이터셋: 기후 변화 논쟁에 초점을 맞춘 약 29,000개의 노드(계정)와 361,000개의 엣지(리트윗)로 구성된 가중치 부여된 무방향 네트워크(영어 사용자 대상).
• 전처리: 연결성이 낮은 노드(차수 < 3)를 제거하고, 주로 친기후 및 기후 부정론적 관점을 나타내는 가장 큰 영어권 클러스터로 네트워크를 필터링하였다.

알고리즘 프레임워크

방법론은 네 가지 단계로 진행된다:

1. CDA 할당: 세 가지 특정 CDA를 테스트하였다:

   • Louvain: 해상도를 조절하기 위해 재조정된 파라미터 $c$를 사용하여 모듈성($Q$)을 최적화한다.
   • BEC (Bisecting Edge Clustering): 엣지 분류의 F-score(정밀도/재현율 트레이드오프)를 최적화하며, 스케일 파라미터 $s$를 사용한다.
   • Infomap: 튜너블 스케일 파라미터 없이 정보 흐름의 기술 길이(Map Equation)를 최소화한다.
   • 제약 조건: 학습 가능성을 보장하기 위해 상위 $N_{cut}-1$개의 가장 큰 커뮤니티를 유지하며, 나머지 모든 사용자는 "캐치올(catch-all)" 카테고리($N_{cut}$)로 할당하고, 이들은 정확도 평가에서 제외한다.

2. 사용자 분할 (학습 vs. 테스트):

   • 앵커 (학습 세트): 높은 고유 중심성(eigencentrality, 상위 25%, >0.75 분위수)을 가진 사용자들을 "앵커"로 선택한다. 이러한 영향력 있는 사용자들(예: 활동가, 정치인, 미디어)은 NLPCA 학습을 위한 그라운드 트루스를 제공한다.
   • 테스트 세트: 나머지 사용자들은 분류 정확도를 테스트하는 데 사용된다.
   • 근거: 영향력 있는 사용자들은 커뮤니티의 서사를 정의하는 대표적인 의견을 가지고 있다고 가정된다.

3. NLPCA 학습:

   • 네 가지 분류기(Linear SGD, SVC, MLPC, Random Forest)의 가중치 앙상블이 앵커 사용자의 트윗을 바탕으로 학습된다.
   • 임베딩: 문맥, 해시태그, 이모티콘을 포착하기 위해 트윗에 특화된 BERT 변형 모델인 BERTweet를 사용하여 텍스트의 벡터 표현을 생성한다.
   • 학습 데이터: 편향되지 않은 학습을 보장하기 위해 카테고리당 고정된 수의 트윗(예: 25,000개)을 선택한다.

4. 평가 지표:

   • CDA의 성능은 테스트 세트에 있는 동일한 사용자에 대해 CDA가 할당한 커뮤니티와 NLPCA가 예측한 카테고리 간의 **일치도(agreement)**를 기준으로 점수가 매겨진다.
   • 사용자의 최종 카테고리는 테스트 트윗의 다수결에 의해 결정된다.
   • 지표: 정밀도(Precision, 일치율), 커버리지(Coverage, 상위 $N_{cut}$ 커뮤니티에 속한 사용자 비율), F-score(정밀도와 재현율/커버리지의 가중치 균형).
   • 엔트로피 측정: 사용자의 분류 안정성(즉, 사용자의 트윗이 NLPCA에 의해 얼마나 많은 서로 다른 카테고리로 할당되는지)을 측정하기 위해 의사 엔트로피(pseudo-entropy) 지표를 계산한다.

주요 결과

1. 높은 수준의 사용자 분류 정확도

본 연구는 단 몇 개의 트윗(심지어 1~3개)만으로도 무작위 사용자의 의견을 85% 이상의 정확도로 예측할 수 있음을 보여준다.

• 최적 파라미터: CDA와 NLPCA 사이의 최적의 일치도(>90%)는 다음 조건에서 달성되었다:
  • Louvain: 재조정된 모듈성 파라미터 $c \ge 8$ (또는 원시 파라미터 기준 $c < 0.025$).
  • BEC: 스케일 파라미터 $s < 7$ (또는 F-score 최적화 기준 $s \ge 40$).
• 트윗 볼륨: 트윗 수가 증가함에 따라 정확도가 높아지지만, 매우 적은 트윗 수에서도 높은 일치도가 유지되어 짧은 텍스트 샘플만으로도 이 맥락에서의 의견 범주화에 충분함을 시사한다.

2. 정밀도 vs. 커버리지 트레이드오프

분석 결과, 분류의 정밀도와 사용자 기반의 커버리지 사이의 트레이드오프가 드러났다:

• Louvain: 특정 커버리지에 대해 가장 높은 정밀도(~82%)를 달성하며, 특히 $c \ge 8$일 때 그러하다. 높은 스케일에서는 작은 규모의 잘 정의된 커뮤니티들을 더 큰 커뮤니티로 병합하는 경향이 있다.
• BEC: 다른 구조적 진화를 보인다. 낮은 해상도(작은 커뮤니티 크기)에서도 네 개의 뚜렷한 의견 클러스터를 식별하며, 스케일이 증가함에 따라 행위자들을 점진적으로 통합한다.
• Infomap: 중간 정도의 성능을 제공하며, 안정적인 구조를 가지지만 동일한 커버리지에서 Louvain보다 낮은 정밀도를 보인다.

3. 엔트로피 및 커뮤니티 안정성

• Louvain은 가장 안정적인 NLPCA 분류(가장 낮은 엔트로피)를 생성하며, 이는 사용자가 단일 카테고리에 일관되게 할당됨을 의미한다.
• BEC는 더 높은 엔트로피를 보이는데, 이는 사용자가 단일 서사에 집중되어 있지 않거나 여러 서사를 잇는 브릿지 역할을 할 수 있는 더 "미묘한" 커뮤니티 구조를 가짐을 시사한다.
• 엔트로피 vs. 커버리지: BEC의 경우 커버리지가 증가함에 따라 엔트로피가 감소한다. Louvain의 경우 $c \ge 8$일 때 엔트로피가 안정적이지만, 커버리지가 80% 미만으로 떨어지면 증가한다.

4. 인플루언서 질적 분석

특정 영향력 있는 사용자(예: 그레타 툰베리, 도널드 트럼프 지지자, 버니 샌더스)의 분류를 수동으로 검증하였다:

• Louvain vs. BEC: 버니 샌더스의 배치에서 주목할 만한 차이가 발견되었다. Louvain은 그를 주류 민주당원들과 그룹화한 반면, BEC는 그를 환경 NGO/활동가들에 더 가깝게 배치했다. 저자들은 BEC 클러스터링이 기후 논쟁과 관련하여 샌더스의 공개 발언을 더 잘 반영할 수 있다고 제안한다.
• MAGA/기후 부정론자: Infomap과 BEC는 모두 "MAGA" 인플루언서들을 "전문가/로비스트" 부정론자들과 성공적으로 분리해냈으나, Louvain은 이 두 구별된 집단을 가끔 병합하는 모습을 보였다.

의의 및 주장

본 논문은 CDA를 평가하기 위한 새로운 콘텐츠 기반 스코어링 함수를 도입한다고 주장한다. 전통적인 방법들이 네트워크 토폴로지나 인위적인 그라운드 트루스에 의존하는 것과 달리, 이 접근법은 네트워크 노드의 문화적 생산(텍스트 콘텐츠)을 통해 CDA 출력을 검증한다.

주요 기여 사항은 다음과 같다:

1. 새로운 검증 파이프라인: 네트워크 기반 클러스터링과 NLP 기반의 의미론적 분류 간의 일치도를 측정함으로써 CDA의 품질을 평가하는 방법론을 제시한다.
2. 파라미터 최적화: 네트워크 구조와 사용자 의견 사이의 일관성을 극대화하는 CDA의 최적 파라미터(예: Louvain의 특정 $c$, BEC의 $s$)를 식별하는 체계적인 방법을 제공한다.
3. 의견 예측: "앵커" 사용자로 훈련된 지도 학습 기반 NLPCA를 통해 무작위 사용자의 의견을 높은 정확도(>85%)로 분류할 수 있음을 입증한다.
4. "결정 장애" 사용자 식별: 서로 다른 CDA 또는 CDA와 NLPCA 사이에서 오분류된 사용자들의 교집합은 커뮤니티 사이를 잇는 브릿지 역할을 하는 "결정 장애" 혹은 쉽게 영향을 받는 사용자 그룹을 드러내며, 이는 의견 역학 연구의 새로운 타겟을 제공한다.

저자들은 일관된 커뮤니티 탐지 방법이란 상호작용 네트워크의 선택과 관련 알고리즘이 사용자 분류의 예측 점수를 높이는 방식, 즉 수학적 네트워크 구조를 사회적 집단의 의미론적 현실과 효과적으로 일치시키는 방법이라고 결론짓는다.