Political Stance Detection on X During the 2024U.S. Election: A Comparative Study of Classical, Neural, and Transformer Models

인터넷을 수백만 명의 사람들이 동시에 자신의 의견을 외쳐대는 거대하고 혼란스러운 광장이라고 상상해 보세요. 이 디지털 광장에서 **계산 사회과학(Computational Social Science)**이라는 특정 과학 분야가 그 목소리에 귀를 기울이려 노력합니다. 연구자들은 인간이 온라인에서 어떻게 행동하는지 이해하기 위해 컴퓨터를 사용하며, 이 혼란스러운 고함 소리를 연구 가능한 데이터로 변变换합니다. 이를 위해 그들은 종-종 두 가지 주요 도구에 의존합니다. 하나는 단순히 누군가가 행복한지 화가 났는지만 알려주는 단순한 기분 측정 반지 같은 **감성 분석(Sentiment Analysis)**이고, 다른 하나는 훨씬 더 날카로운 탐정 기술인 **입장 탐지(Stance Detection)**입니다. 입장 탐지는 단순히 "당신은 화가 났나요?"라고 묻는 것이 아니라, "당신은 누구에게 화가 났으며, 어느 편에 서 있습니까?"라고 묻습니다. 이는 대선과 같은 큰 사건이 진행되는 동안 사람들이 누구를 지지하는지 아는 것이 국가의 분위기를 이해하는 데 도움이 되지만, 슬랭, 이모지, 비꼬는 말투, 짧고 강렬한 메시지를 사용하는 상황에서는 이를 수행하기가 매우 어렵기 때문에 중요합니다.

이 논문은 델라웨어 대학교의 연구팀이 2024년 미국 대통령 선거에서 사람들이 누구를 지지하는지 알아내는 데 어떤 "탐정"이 가장 효과적인지 확인하기 위해 실험실을 차려놓고 진행한 거대한 맛 테스트와 같습니다. 그들은 사람들이 도널드 트럼프를 응원하는지, 조 바이든과 카멀라 해리스를 응원하는지, 아니면 중립적인지를 구별할 수 있는지 확인하기 위해 소셜 미디어 플랫폼 X(구 트위터)의 게시물 약 10만 건을 살펴보았습니다. 그들은 단순히 하나의 화려한 도구를 선택한 것이 아니라, 세 가지 유형의 "탐정"을 서로 맞붙였습니다: 고전적(Classical) 탐정(전통적인 수학 도구), 신경망(Neural) 탐정(뇌와 유사한 컴퓨터 네트워크), 그리고 트랜스포머(Transformer) 탐정(맥락을 읽는 매우 똑똑하고 현대적인 AI 모델)입니다. 그들의 목표는 퍼즐을 풀기 위해 초복잡하고 비싼 AI가 필요한지, 아니면 잘 조정된 단순한 도구가 그만큼의 역할을 해낼 수 있는지를 알아내는 것이었습니다.

위대한 탐정 대결

연구자들은 먼저 지저받은 데이터를 정리하는 작업부터 시작했습니다. 소셜 미디어 게시물은 오타, 이상한 기호, 중요하지 않은 링크와 같은 노이즈로 가득 차 있습니다. 그들은 마치 사서처럼 책을 정리하고, 중복된 내용을 제거하며, 컴퓨터가 이해할 수 있도록 슬랭을 평이한 영어로 번역했습니다. 또한 그들은 특별한 "후보자 소속(Candidate Affiliation)" 라벨을 만들었습니다. 단순히 "이 게시물은 행복하다" 또는 "이 게시물은 슬프다"라고 말하는 대신, 시스템이 "이 사람은 트럼프에 대해 말하고 있는가, 바이든-해리스에 대해 말하고 있는가, 아니면 둘 다 아닌가?"라고 묻도록 훈련시켰습니다. 그들은 키워드 포착과 주제 분석을 혼합하여 이를 파악했으며, 라벨이 정확한지 확인하기 위해 인간 전문가들에게 검수를 받았습니다.

데이터가 준비되자, 그들은 세 가지 유형의 모델을 일련의 테스트에 투입했습니다.

먼저, 그들은 **고전적 모델(Classical Models)**을 시도했습니다. 이것들을 돋보기와 수첩을 사용하는 믿음직하고 전통적인 탐정이라고 생각하면 됩니다. 이들은 빠르고 이해하기 쉬우며 슈퍼컴퓨터를 필요로 하지 않습니다. 연구진은 **서포트 벡터 머신(SVM)**과 **로지스틱 회귀(Logistic Regression)**와 같은 도구를 사용했습니다. 이 모델들은 게시물 속의 단어들을 살펴보고 특정 정치적 키워드가 얼마나 자주 등장하는지를 계산했습니다.

다음으로, 그들은 **신경망 모델(Neural Models)**을 시도했습니다. 이들은 층(layer)으로 이루어진 "뇌"를 가진 탐정과 같습니다. 그들은 Sentence-BERT라는 것을 사용했는데, 이는 문장 전체를 하나의 밀도 높은 숫자(임베딩)로 변환하여 단어 자체뿐만 아니라 단어의 의미를 포착합니다. 이는 문장을 그 분위기를 나타내는 비밀 코드로 번역하는 것과 같습니다.

마지막으로, 그들은 트랜스포머 모델, 구체적으로 BERTweet를 시도했습니다. 이것은 "슈퍼 탐정"입니다. 이는 이전에 수백만 개의 트윗을 읽었으며 사람들이 X에서 슬랭, 해시태그, 이모지를 어떻게 사용하는지 정확히 알고 있는 거대한 AI입니다. 이것은 방 안에 있는 가장 복잡하고 강력한 도구이며, 소셜 미디어의 혼란스러운 언어를 이해하도록 특별히 설계되었습니다.

결과: 누가 경주에서 승리했나?

여기서 이야기는 흥미로워집니다. 연구자들은 "슈퍼 탐정"(BERTweet)이 가장 강력하기 때문에 쉽게 승리할 것이라고 예상했습니다. 그리고 어떤 면에서는 그러했습니다. 연구진이 BERTweet에 전체 데이터셋을 제공하고 모든 것을 학습하게 했을 때, 테스트 세트에서 0.995라는 점수를 기록했습니다. 이는 정치적 입장을 추측하는 데 거의 완벽에 가까울 정도로 매우 높은 점수입니다.

하지만 이 논문은 매우 중요한 반전을 시사합니다: 복잡성이 전부는 아닙니다.

연구진이 자세히 살펴본 결과, "전통적인" 선형 SVM(Linear SVM)(고전적 모델)이 강력한 경쟁자였다는 것을 발견했습니다. 데이터를 정제하고 설정을 적절히 조정한 후, SVM은 0.963을 기록했습니다. 이는 슈퍼 AI보다 아주 조금 낮은 수치이지만, 여전히 놀라운 점수입니다. 두 모델 사이의 차이가 매우 작았기 때문에, 연구진은 많은 실제 업무에서 슈퍼 AI의 추가적인 성능이 그 비용을 감수할 만큼의 가치가 없을 수도 있다고 제안합니다.

또한 연구는 "뇌와 같은" 신경망 모델(Sentence-BERT + MLP)이 약 0.85 정도의 점수를 기록하며 중간 위치에 자리 잡았음을 보여주었습니다. 이는 문장의 의미를 이해하는 좋은 방법이 있다면, "뇌"를 더 깊게 만들거나 복잡하게 만드는 것이 큰 도움이 되지 않는다는 것을 시사합니다.

"추가 단서" 실험

연구자들은 또한 다음과 같이 궁금해했습니다: "만약 우리가 탐정들에게 추가적인 단서를 준다면 어떻게 될까?" 그들은 다음과 같은 비텍스트 정보를 추가해 보았습니다:

• 게시물이 작성된 시간(시간대, 요일).
• 사용자의 위치(지리적 데이터).
• 게시물의 인기(좋아요, 리포스트, 참여도).
• 안전 플래그(이것이 혐오 표현인가?).

그들은 이러한 단서들을 하나씩, 그리고 그룹별로 테스트했습니다. 결과는 어땠을까요? 추가 단서들이 약간의 도움은 되었지만, 큰 도움은 되지 않았습니다. "텍스트 전용" 탐정들은 이미 단어를 읽는 능력이 매우 뛰어났기 때문에, 위치나 시간 데이터를 추가하는 것이 결과에 유의미한 변화를 주지 못했습니다. 사실, 너무 많은 추가 단서를 넣으면 데이터가 노이즈가 되어 모델을 오히려 약간 나쁘게 만들기도 했습니다. 이 논문은 이 특정 작업에 있어서 단어 자체가 가장 중요한 단서이며, 화려한 메타데이터가 더 나은 답을 보장하지는 않는다고 제안합니다.

핵심 요점

그렇다면 이 모든 것이로서의 미래의 선거 모니터링에 무엇을 의미할까요?

이 논문은 "슈퍼 탐정"(트랜스포머 모델)이 통제되고 완벽한 환경에서는 가장 강력하지만, 많은 상황에서 과잉 대응(overkill)이 될 수 있다고 제안합니다. 훨씬 더 단순하고 빠른 도구인 선형 SVM이 거의 대등한 성능을 보였습니다. 이는 매우 중요한데, 왜냐하면 단순한 도구는 다음과 같은 특징을 갖기 때문입니다:

• 더 빠름: 값비싼 슈퍼컴퓨터가 아닌 일반 컴퓨터에서도 실행됩니다.
• 더 명확함: 왜 그런 결정을 내렸는지 이해하기 쉽습니다(해석 가능성).
• 더 저렴함: 실행 비용이 적게 듭니다.

저자들은 슈퍼 AI의 완벽에 가까운 점수가 이 특정 데이터셋과 데이터 라벨링 방식에 국한된 것일 수 있다고 경고합니다. 그들은 정치적 입장 탐지가 "해결되었다"거나 AI가 실제 세상에서도 완벽하다고 주장하는 것이 아닙니다. 사람들이 더 비꼬거나 언어가 변할 수 있는 실제 세상에서의 문제를 말하는 것이 아닙니다. 대신, 신뢰할 수 있고 확장 가능한 시스템을 구축하기 위해서는 가장 복잡한 모델을 고르는 것보다 좋은 데이터 준비와 스마트한 특징 선택(feature selection)이 더 중요하다고 제안합니다.

요컨대, 경주에서 이기기 위해 항상 페라리가 필요한 것은 아닙니다. 때로는 잘 튜닝된 자전거가 똑같이 빠를 수 있고, 수리하기 더 쉬우며, 운전하기에도 훨씬 저렴합니다. 소셜 미디어의 정치적 의견을 추적하는 데 있어서, 정교하게 설계된 단순한 모델이 가장 실용적인 선택이 될 수 있습니다.