Assessing Capabilities of Large Language Models in Social Media Analytics: A Multi-task Quest

이 논문은 현대 대규모 언어 모델 (LLM) 의 소셜 미디어 분석 능력을 평가하기 위해 수행된 포괄적인 연구입니다. 저자들은 GPT-4, GPT-4o, GPT-3.5-Turbo, Gemini 1.5 Pro, DeepSeek-V3, Llama 3.2, BERT 등 최신 LLM 들을 대상으로 트위터 (X) 데이터를 기반으로 한 세 가지 핵심 분석 과제를 체계적으로 평가했습니다.

다음은 이 논문의 기술적 요약입니다.

1. 연구 배경 및 문제 정의 (Problem)

소셜 미디어는 마케팅, 공중보건, 위기 관리 등 다양한 분야에서 중요한 데이터를 생성하지만, 분석에는 다음과 같은 고유한 어려움이 존재합니다.

• 데이터의 복잡성: 비공식적, 모호함, 스팸, 밈 (meme) 등으로 인해 텍스트 분석이 어렵습니다.
• 언어의 급변: 신조어와 밈이 빠르게 변하여 과거 데이터로 훈련된 모델은 신속하게 구식이 됩니다.
• 평가의 부재: LLM 이 소셜 미디어의 역동적이고 노이즈가 많은 환경에서 사용자의 정체성 (작성자, 스타일, 속성) 을 얼마나 잘 이해하고 생성하는지에 대한 통합적이고 표준화된 벤치마크가 부족했습니다.

이에 따라 저자들은 다음 세 가지 핵심 과제를 통해 LLM 의 능력을 평가했습니다:

1. 소셜 미디어 작성자 검증 (Authorship Verification): 특정 게시물이 특정 사용자가 작성한 것인지 판별.
2. 소셜 미디어 게시물 생성 (Post Generation): 사용자의 스타일과 선호도를 반영한 현실적인 콘텐츠 생성.
3. 사용자 속성 추론 (User Attribute Inference): 텍스트 내용으로부터 사용자의 직업과 관심사를 추론.

2. 방법론 (Methodology)

연구는 12 만 명 이상의 사용자와 15 주 간의 데이터를 포함한 트위터 (X) 데이터셋을 기반으로 진행되었습니다.

(1) 작성자 검증 (Task I)

• 샘플링 전략: 긍정적 사용자 (목표 사용자) 를 무작위, 최근 활동, 최상위 활동자로 분류하여 샘플링했습니다. 부정적 게시물 (다른 사용자의 게시물) 을 샘플링할 때는 무작위, 주제 유사성 (Topic-similar), 소셜 그래프 기반 (팔로워, 팔로잉, 상호 관계) 전략을 적용하여 다양한 난이도의 테스트 환경을 구축했습니다.
• 데이터 편향 해소: 모델의 학습 컷오프 날짜 (2023 년 10 월 이전 등) 이후인 2024 년 1 월 이후에 수집된 '보이지 않는 데이터 (Unseen Data)'를 사용하여 데이터 누출 (Data Leakage) 및 과적합을 방지하고 일반화 성능을 검증했습니다.
• 평가 지표: 가중치 F1 점수 (Weighted F1-score) 를 사용했습니다.

(2) 게시물 생성 (Task II)

• 대상 사용자: 인증됨, 활동적, 프로필이 풍부함, 원본 트윗이 많은 'VAPOR' 사용자 383 명을 선정했습니다.
• 생성 프로세스: 사용자의 과거 트윗 (Few-shot), 프로필 설명, 팔로워/팔로잉 수를 프롬프트에 입력하여 LLM 이 해당 사용자의 스타일을 모방한 트윗을 생성하도록 유도했습니다.
• 평가 지표:
  • 자동 지표: BLEU, ROUGE (어휘 중첩), Perplexity (유창성), SBERT 기반의 의미적 유사도 (AGR, ARG, AOS), 분산 비율 (GDR, RDR).
  • 사용자 연구 (Human Study): 실제 사용자가 생성된 트윗을 보고 "내가 썼을 확률"을 5 점 척도로 평가하도록 하여 자동 지표와 인간 판단 간의 상관관계를 분석했습니다.

(3) 사용자 속성 추론 (Task III)

• 표준화 분류 체계: 두 가지 공식 분류 체계를 사용하여 직업과 관심사를 라벨링했습니다.
  • 관심사: IAB Tech Lab 콘텐츠 택소노미 v3.1 (상위 카테고리).
  • 직업: 2018 년 미국 표준 직업 분류 (SOC) 시스템 (Level 1 및 Level 2).
• 평가: 정확도 (Accuracy) 와 가중치 F1 점수를 사용하여 기존 베이스라인 (Gaussian Process, BART, DBpedia 등) 과 비교했습니다.

3. 주요 결과 (Key Results)

(1) 작성자 검증 (Task I)

• 성능: GPT-4가 평균 가중치 F1 점수 0.845 로 가장 뛰어난 성능을 보였으며, 특히 학습 컷오프 이후의 '보이지 않는 데이터'에서도 0.85 의 높은 점수를 기록하여 강력한 일반화 능력을 입증했습니다.
• 차순위: Gemini 와 DeepSeek 이 약 0.75~0.80 점대의 2 위 그룹을 형성했습니다.
• 기타: 전통적인 ML 모델 (Random Forest, TF-IDF 등) 은 중간 수준의 성능을 보였으나, Llama 와 BERT 는 상대적으로 낮은 성능과 높은 변동성을 보였습니다.
• 영향 요인: 부정적 게시물 샘플링 전략이 모델 정확도에 긍정적 사용자 샘플링보다 훨씬 큰 영향 (약 17%p) 을 미쳤습니다.

(2) 게시물 생성 (Task II)

• 성능: DeepSeek이 프롬프트 설정에서 가장 높은 의미적 유사도 (Semantic Similarity) 를 보였으나, Perplexity 가 높아 유창성은 다소 떨어졌습니다. Llama는 BLEU 및 ROUGE 점수가 가장 높아 어휘 재사용 능력이 뛰어났으나, 전체적인 의미적 유사도는 낮았습니다.
• 균형: GPT-4o는 의미적 유사도, 광범위한 주제 커버리지 (높은 RDR), 그리고 LLM 중 가장 낮은 Perplexity 를 모두 갖춘 가장 균형 잡힌 성능을 보였습니다.
• 사용자 연구: Gemini와 Llama가 실제 사용자로부터 가장 높은 '진실성 (Authenticity)' 점수 (평균 3.95/5) 를 받았습니다. 이는 높은 어휘 중첩 (Llama) 이나 의역적 모방 (Gemini) 이 인간에게는 더 자연스럽게 인식될 수 있음을 시사합니다.

(3) 사용자 속성 추론 (Task III)

• 성능: Gemini가 관심사와 직업 (Level 1 및 Level 2) 모두에서 가장 강력한 성능을 보였습니다.
• 세분화 영향: 분류의 세분화 (Level 1 에서 Level 2 로) 가 깊어질수록 모든 모델의 정확도가 감소했으나, Gemini 는 상대적으로 가장 견고한 성능을 유지했습니다.
• Llama: 다른 모델들에 비해 직업 추론에서 현저히 낮은 성능을 보였습니다.

4. 주요 기여 (Contributions)

1. 첫 통합 평가 프레임워크: 세 가지 핵심 소셜 미디어 분석 과제를 하나의 통합된 프레임워크 하에 여러 최신 LLM 을 동시에 평가한 최초의 연구입니다.
2. 편향 없는 벤치마킹: 학습 데이터 컷오프 이후의 데이터를 활용하여 '보이지 않는 데이터'에 대한 일반화 능력을 평가하고, 체계적인 샘플링 전략을 통해 데이터 누출 편향을 최소화했습니다.
3. 새로운 생성 평가 프로토콜: 자동 지표뿐만 아니라 실제 사용자를 대상으로 한 인간 평가 (User Study) 를 결합하여 생성된 콘텐츠의 '진실성'을 다각도로 평가했습니다.
4. 표준화된 속성 추론: IAB 및 SOC 와 같은 공식 분류 체계를 사용하여 직업과 관심사 추론의 재현 가능성과 해석 가능성을 높였습니다.

5. 의의 및 결론 (Significance)

이 연구는 소셜 미디어 분석 분야에서 LLM 의 능력과 한계를 체계적으로 규명했습니다. GPT-4 는 작성자 검증에, Gemini 는 속성 추론에, 그리고 GPT-4o 는 균형 잡힌 생성 능력에 강점이 있음을 보여주었습니다. 또한, 자동 평가 지표와 인간 평가 간의 괴리 (예: Llama 는 어휘적 유사도는 높지만 의미적 유사도는 낮음) 를 발견함으로써, 소셜 미디어 콘텐츠 분석 시 다면적인 평가의 중요성을 강조했습니다.

이 연구는 향후 소셜 미디어에서의 LLM 활용, 특히 개인화된 콘텐츠 생성, 디지털 포렌식, 사용자 프로파일링 분야에서 신뢰할 수 있는 벤치마크를 제공하며, 윤리적 위험 (가상 인격, 프라이버시) 에 대한 고려도 함께 제시했습니다.