💬 NLP

Spam and Sentiment Detection in Arabic Tweets Using MARBERT Model

본 연구는 사우디 텔레콤(STC)에 관한 24,513개의 아랍어 트윗을 대상으로 스팸을 탐지하고 감성을 분석하기 위해 MARBERT 모델을 사용하는 딥러닝 접근 방식을 제안하며, 이는 개선된 감성 분류 지표를 통해 고객 서비스를 향상시키는 것을 목표로 한다.

원저자: Abrar Alotaibi, Atta-ur Rahman, Raheel Alhaza, Wala Alkhalifa, Narjes Alhajjaj, Atheer Alharthi, Dhai Abushoumi, Maryam Alqahtani, Dania Alkhulaifi

게시일 2026-06-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abrar Alotaibi, Atta-ur Rahman, Raheel Alhaza, Wala Alkhalifa, Narjes Alhajjaj, Atheer Alharthi, Dhai Abushoumi, Maryam Alqahtani, Dania Alkhulaifi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

STC(사우디 텔레콤)를 거대하고 북적이는 도시 광장이라고 상상해 보십시오. 매 초마다 수천 명의 사람들이 트위터를 통해 자신의 의견, 불만, 찬사를 공중에 외치고 있습니다. 회사는 서비스를 개선하기 위해 이 모든 목소리에 귀를 기울이고 싶어 하지만, 인간 청취자 팀이 이 속도를 따라잡기에는 목소리가 너무 많습니다. 이는 마치 허리케인 속에서 단 하나의 속삭임을 들으려고 노력하는 것과 같습니다.

이 논문은 이 혼란스러운 군중의 말을 듣고, 그들이 말하는 내용을 이해하며, 그 외침들을 깔끔한 카테고리로 분류할 수 있는 초스마트 로봇 귀(AI 모델)를 구축하는 것에 관한 것입니다.

연구진이 이 로봇을 어떻게 만들었는지 쉽게 설명하면 다음과 같습니다.

1. 문제점: 언어 장벽과 "노이즈"

연구진은 두 가지 주요 장애물에 직면했습니다.

언어: 아랍어는 까다롭습니다. 단순히 하나의 통일된 언어가 아닙니다. 책에 쓰이는 격식 있는 버전(표준어)과 채팅창에서 사용되는 다양한 "거리의 방언"(속어)이 존재합니다. 이는 로봇에게 영어를 가르치는데, 로봇이 격식 있는 셰익스피어 영어와 뉴욕의 거친 거리 속어를 동시에 처리해야 하는 것과 같습니다.
노이즈: 트윗들은 단순히 깨끗한 문장들로 이루어져 있지 않습니다. 해시태그(#STC), 링크, 사용자 이름, 반복되는 메시지 등으로 가득 차 있습니다. 이는 마치 모든 페이지가 포스트잇과 낙서로 뒤덮인 책을 읽으려는 것과 같습니다.

2. 해결책: "MARBERT" 로봇

연구진은 처음부터 로봇을 만드는 대신, MARBERT라는 사전 학습된 뇌를 사용했습니다.

비유: 이미 수백만 권의 아랍어 책과 트윗을 읽은 학생을 상상해 보십시오. 이 학생은 아랍어의 문법, 속어, 맥락을 완벽하게 알고 있습니다. 이것이 바로 MARBERT입니다.
반전: 대부분의 AI 모델은 격식 있는 텍스트를 바탕으로 학습됩니다. 하지만 MARBERT는 특별합니다. 트윗을 기반으로 특정 학습을 거쳤기 때문에, 사람들이 소셜 미디어에서 실제로 말하는 지저도 있고 비격식적인 방언 중심의 방식을 이해합니다.

3. 학습: 로봇에게 분류법 가르치기

연구진은 STC 고객으로부터 얻은 24,513개의 실제 트윗 뭉치를 가져와 로봇이 이를 다섯 가지 다른 바구니로 분류하도록 가르쳤습니다.

긍정(Positive): "훌륭한 서비스입니다!"
부정(Negative): "인터넷이 안 돼요!"
중립(Neutral): "방금 잔액을 확인했습니다."
풍자(Sarcasm): "오, 정말 좋네요, 또 장애가 발생했군요. 딱 제가 원하던 거네요." (단어는 "좋다"고 말하지만 의미는 "나쁘다"이기에 가장 잡기 어려운 부분입니다.)
판단 불가(Indeterminate): "무슨 말을 해야 할지 모르겠습니다."

"불균형 클래스(Imbalanced Class)" 문제:
연구진은 한 가지 문제를 발견했습니다. 로봇은 "부정"과 "긍정" 트윗은 잘 찾아냈지만, "풍자"와 "판단 불가" 트윗에서는 계속 혼란을 겪었습니다.

비유: 시험 답안의 90%가 "예"이고 단 10%만이 "아니오"인 시험지를 채점하는 선생님을 상상해 보십시오. 학생은 대부분의 경우에 정답을 맞히기 때문에, 그냥 "예"라고 찍어버리는 게 편하다고 생각하여 게을러집니다. 로봇도 마찬가지였습니다. 충분한 사례가 없었기 때문에 희귀한 "풍자" 트윗들을 무시했던 것입니다.
해결책: 연구진은 다시 트위터로 돌아가서 더 많은 풍자 트윗을 수집하여 데이터 뭉치의 균형을 맞췄습니다. 또한, 로봇이 어려운 희귀 사례에 더 집중할 수 있도록 로봇의 "학습 설정"(얼마나 빨리 배우는지, 한 번에 얼마나 많은 예시를 보는지 등)을 미세하게 조정했습니다.

4. 결과: 더 똑똑해진 귀

로봇을 튜닝하고 더 많은 데이터를 주입한 결과, 결과는 인상적이었습니다.

스팸 탐지: 로봇은 스팸(정크 메시지)을 매우 잘 잡아내어 98%의 정확도로 식별해 냈습니다.
감성 분석: 고객 트윗을 다섯 가지 카테고리로 높은 정확도로 성공적으로 분류했습니다.
비법: 연구진은 특정 "배치 크기"(로봇이 생각하기 위해 휴식을 취하기 전까지 검토하는 트윗의 양)와 느린 "학습률"(학습하는 데 시간을 들이는 것)을 사용하는 것이 가장 효과적이라는 것을 발견했습니다.

5. 목표

궁극적인 목표는 단순히 멋진 로봇을 만드는 것이 아니라, STC를 돕는 것입니다. 이러한 트윗들을 자동으로 읽음으로써, STC는 고객이 화가 났는지, 기쁜지, 혹은 비꼬고 있는지 즉각적으로 알 수 있습니다. 이를 통해 그들은 문제를 더 빨리 해결하고 고객 서비스를 개선하여, 외치는 목소리들이 가득한 혼란스러운 도시 광장을 관리 가능한 대화로 바꿀 수 있습니다.

요약하자면: 이 논문은 똑똑하게 사전 학습된 아랍어 언어 뇌(MARBERT)를 사용하여, 지저분한 트윗 뭉치를 정리하고, 풍자와 정크 메일을 찾아내도록 가르치며, 이를 매우 효과적인 고객 감정 이해 도구가 될 때까지 튜닝하는 과정을 설명합니다.

기술 요약: MARBERT 모델을 이용한 아랍어 트윗의 스팸 및 감성 탐지

문제 정의
사우디아라비아의 주요 서비스 제공업체인 사우디 텔레콤(STC)은 트위터를 통해 접수되는 방대한 양의 피드백으로 인해 고객 만족도를 관리하는 데 상당한 어려움을 겪고 있습니다. 트위터는 고객 불만 및 감성 표현의 주요 채널 역할을 하지만, 급증하는 트윗의 양으로 인해 수동 분석은 불가능합니다. 또한, 아랍어는 복잡한 형태론, 다양한 방언의 존재(방언 아랍어 대 현대 표준 아랍어), 그리고 풍자(sarcasm)의 빈번한 사용 등 자연어 처리(NLP) 측면에서 독특한 언어적 과제를 제시합니다. 기존 문헌은 주로 영어 또는 이진 분류(binary classification)에 집중되어 있어, 불균형한 아랍어 데이터셋에 특화된 강력한 다중 클래스 감성 분석 및 스팸 탐지 분야에 공백이 존재합니다.

방법론
본 연구는 아랍어 텍스트에 최적화된 사전 학습된 트랜스포머 기반 아키텍처인 MARBERT 모델을 활용한 딥러닝 프레임워크를 제안합니다. 방법론은 다음 단계들을 포함합니다:

데이터 수집 및 전처리:
- 두 개의 별도 데이터셋이 사용되었습니다: 수동으로 라벨링된 22,000개 이상의 STC 고객 트윗을 포함하는 감성 데이터셋과 24,000개 이상의 트윗을 포함하는 스팸 데이터셋입니다.
- 감성 데이터셋은 긍정(Positive), 부정(Negative), 중립(Neutral), 풍자(Sarcasm), 미정(Indeterminate)의 5개 클래스를 포함합니다.
- 전처리 과정에는 노이즈(해시태그, URL, 사용자 이름, 추가 공백) 제거, 중복 제거, 그리고 일관성을 보장하기 위한 아랍어 문자 정규화(예: 'A'와 'Y' 문자의 다양한 변형 통일)가 포함되었습니다.
모델 아키텍처:
- 핵심 모델은 MARBERT로, 이는 트윗과 같은 짧은 텍스트에 특화되어 훈련되었기 때문에 다음 문장 예측(NSP) 목적 함수를 생략했다는 점에서 표준 BERT와 차별화됩니다.
  겠다.
- MARBERT는 방언 아랍어(DA)와 현대 표준 아랍어(MSA)를 모두 포함하는 156억 개의 토큰으로 구성된 방대한 코퍼스에서 학습되었습니다.
- 이 아키텍처는 문맥을 효과적으로 포착하기 위해 양방향 트랜스포머 인코더를 채택합니다.
클래스 불균형 처리:
- 데이터셋은 특히 "풍자"(초기 200개 샘플) 및 "미정"과 같이 과소 대표된 클래스에서 상당한 클래스 불균형을 보였습니다.
- 저자들은 오버샘플링(oversampling)이나 언더샘플링(under-sampling) 기법이 노이즈를 유발하거나 데이터 손실을 초래할 수 있다고 언급하며, 대신 트위터에서 추가적인 다양한 데이터를 수집하여 풍자 클래스를 1,400개 샘플로 늘림으로써 불균형 문제를 해결했습니다.
하이퍼파라미터 튜닝:
- 성능 최적화를 위해 광범한 실험이 수행되었습니다. 저자들은 다양한 배치 크기, 학습률, 시퀀스 길이 및 에포크(epoch) 수를 평가했습니다.
- 식별된 최적의 구성은 훈련 배치 크기 96, 평가 배치 크기 32, 학습률 $2 \times 10^{-5}$ , 최대 시퀀스 길이 256, 그리고 5 에포크입니다.

주요 결과
본 연구는 정밀도(Precision), 재현율(Recall), F1-스코어 지표를 사용하여 모델을 평가했습니다.

스팸 탐지: MARBERT 기반 접근 방식은 스팸 데이터셋에서 0.98의 F1-스코어를 달성하였으며, 이는 SVM, Naive Bayes 또는 다른 BERT 기반 모델을 사용한 최근 연구들(0.93 및 0.96 기록)보다 우수한 성능을 보였습니다.
감성 분석:
- 모델은 5개의 대상 카테고리로 트윗을 성공적으로 분류했습니다.
- 최적화된 하이퍼파라미터(배치 크기 96)를 적용했을 때, 모델은 0.75의 전체 F1-스코어를 달성했습니다.
- 클래스별 성능은 표준적인 감성(부정: 0.85, 긍정: 0.92, 중립: 0.89)에 대해서는 높은 정확도를 보였으나, 더 복잡한 클래스(풍자: 0.54, 미정: 0.56)에 대해서는 낮은 점수를 기록하여, 데이터 증강에도 불구하고 해당 카테고리들의 난이도가 높음을 입증했습니다.

의의 및 기여
본 논문은 아랍어 NLP 및 고객 서비스 분석 분야에 다음과 같은 기여를 한다고 주장합니다:

도메인 특화 적용: 본 연구는 비정형 아랍어 피드백 분석을 자동화함으로써 STC의 고객 서비스 운영을 개선하기 위한 MARBERT의 실질적인 적용 사례를 보여줍니다.
다중 클래스 역량: 이진 분류에 집중했던 기존의 많은 연구와 달리, 본 연구는 불균형한 아랍어 환경에서 5개 클래스 문제(풍자 및 미정 감성 포함)를 성공적으로 다룹니다.
성능 벤치마킹: 결과에 따르면 MARBERT는 아랍어에 대한 스팸 탐지 및 다중 레이블 감성 분석 모두에서 기존 문헌의 기술들을 능가합니다.
데이터 전략: 본 논문은 모델 성능을 저하시킬 수 있는 알고리즘적 리샘플링 기법에만 의존하는 대신, 데이터셋을 확장하여 클래스 불균형을 해결하는 방식의 효용성을 강조합니다.

저자들은 모델이 특히 표준적인 감성에 대해서는 유망한 정확도를 보여주지만, 풍자 및 미정 트윗의 탐지는 여전히 과제로 남아있다고 결론지었습니다. 이들은 향-후 연구에서 성능을 더욱 향상시키기 위해 하이브리드 딥러닝, 퓨전 기반 접근 방식 및 연합 학습(federated learning)을 탐구할 것을 제안합니다.