A Comparison of Traditional Machine Learning Algorithms and LSTM-Based Deep Learning Models for Email Sentiment Analysis

기술 요약: 이메일 감성 분석을 위한 전통적 머신러닝 알고리즘과 LSTM 기반 딥러닝 모델 비교

문제 제기
전자 통신의 급속한 확장은 스팸, 피싱, 멀웨어에 대한 이메일 시스템의 취약성을 증가시켰으며, 이에 따라 강력한 자동 분류 시스템이 필요해졌습니다. 자연어 처리 (NLP) 가 해결책을 제시하지만, 이메일 감성 분석에 머신러닝 (ML) 과 딥러닝 (DL) 아키텍처를 적용할 때 예측 정밀도와 계산 효율성 사이의 최적 균형을 결정할 필요가 있습니다. 구체적으로 본 연구는 인도네시아어 컨텍스트 내에서 이메일을 '스팸'과 '비스팸 (ham)' 범주로 분류하는 문제를 다루며, Word2Vec 특징 표현을 활용할 때 전통적 판별 모델이 시퀀스 기반의 Long Short-Term Memory (LSTM) 과 같은 딥러닝 모델의 능력을 능가하거나 맞먹을 수 있는지 평가합니다.

방법론
본 연구는 Kaggle 에서 제공된 2,620 개의 인도네시아어 이메일 메시지 (스팸 1,363 개, 비스팸 1,258 개) 데이터셋을 활용했습니다. 실험 파이프라인은 다음과 같은 단계를 포함했습니다:

1. 전처리: 텍스트 데이터는 대소문자 변환 (lowercasing), URL 및 이메일 속성 제거, 문자 필터링 (인도네시아어 알파벳 문자만 유지), 그리고 공백 제거를 포함한 엄격한 정제 과정을 거쳤습니다. Sastrawi 라이브러리를 사용하여 비의미 토큰을 제거하기 위해 불용어 제거를 수행했습니다.
2. 특징 추출:
   • 머신러닝 모델: 정제된 텍스트는 토큰화되고 Word2Vec 을 사용하여 밀집 벡터로 변환되었습니다. 이러한 단어 벡터는 평균화되어 각 이메일에 대한 단일 문서 벡터를 생성하였으며, 이는 고전적 분류기의 입력으로 사용되었습니다.
   • 딥러닝 모델: 토큰은 학습 전용 어휘에서 정수 ID 로 매핑되었으며, 고정된 시퀀스 길이 50 으로 패딩되거나 잘렸습니다. 학습 가능한 임베딩 레이어 (차원 64) 가 이러한 ID 를 밀집 벡터로 매핑했습니다.
3. 모델 아키텍처:
   • 전통적 ML: 세 가지 알고리즘이 테스트되었습니다: 선형 커널을 가진 서포트 벡터 머신 (SVM), 로지스틱 회귀, 그리고 나이브 베이즈입니다.
   • 딥러닝: 단일 레이어 양방향 오프 LSTM 네트워크가 구현되었습니다. 아키텍처에는 임베딩 레이어, LSTM 레이어 (은닉 크기 64), 시퀀스 풀링 (최종 타임스텝의 은닉 상태 사용), 그리고 이진 분류를 위한 Sigmoid 활성화 함수가 있는 선형 출력 레이어가 포함되었습니다.
4. 학습 및 평가: 데이터셋은 80% 학습과 20% 테스트로 분할되었습니다. LSTM 모델은 Adam 옵티마이저와 이진 교차 엔트로피 손실을 사용하여 30 에포크 동안 학습되었습니다. 성능은 정확도, 정밀도, 재현율, F1 점수, AUC, 그리고 학습 시간 (TT) 을 사용하여 평가되었습니다.

주요 결과
실험 결과는 전통적 접근법과 딥러닝 접근법 간의 뚜렷한 성능 특성을 강조했습니다:

• 서포트 벡터 머신 (SVM): 선형 커널을 가진 SVM 모델이 가장 높은 전체 성능을 달성하여 정확도 **98.74%**와 F1 점수 98.74% 를 기록했습니다. 학습 시간이 불과 0.908 초에 불과하여 탁월한 효율성을 보여주었습니다. 혼동 행렬은 테스트 세트에서 0 개의 오분류 (0 개의 거짓 양성 및 0 개의 거짓 음성) 를 기록하며 완벽한 일반화를 나타냈습니다.
• 로지스틱 회귀: 이 모델은 **97.53%**의 정확도로 강력한 대안이었으나, SVM 에 비해 계산 시간이 훨씬 더 많이 소요되었습니다 (2.695 초).
• 나이브 베이즈: 이 알고리즘은 전통적 모델 중 가장 낮은 성능을 보였으며 정확도는 **94.49%**였습니다. 이는 본 컨텍스트에서 Word2Vec 이 생성하는 밀집된 연속 벡터 공간에 덜 적합함을 시사합니다.
• LSTM (딥러닝): LSTM 모델은 전체 정확도 **97%**와 거대/가중 평균 F1 점수 0.97 을 달성했습니다. '스팸' 클래스에 대해 **재현율 (0.99)**이 우수하여 거짓 음성을 효과적으로 최소화했습니다 (스팸 4 건만 놓침). 그러나 SVM 에 비해 거짓 양성 비율이 더 높았습니다 (10 개의 정상 이메일이 스팸으로 표시됨). 학습 과정은 판별 통계 모델에 비해 훨씬 더 많은 시간과 계산 자원을 필요로 했습니다.

의의 및 주장
본 논문은 밀집 Word2Vec 임베딩을 활용한 이메일 탐지 작업에 있어 전통적 판별 모델, 특히 선형 커널을 가진 SVM 이 예측 정밀도와 처리 속도 사이의 가장 최적의 균형을 제공한다고 결론지었습니다.

본 연구는 LSTM 모델이 스팸 관련 감성 탐지에서 탁월한 재현율 능력을 보여주며 장기 의존성을 효과적으로 포착함을 인정하지만, 이러한 특정 벡터 공간 구성에서는 SVM 의 효율성과 정밀도를 능가하지 못했다고 명시합니다. 저자들은 전통적 분류기가 밀집 벡터 공간에서 여전히 매우 강력하며, 처리 속도와 정밀도가 중요한 전문 및 학술 환경에서 고성능 자동 이메일 필터링 시스템을 개발하는 데 더 실용적인 해결책을 제공한다고 주장합니다. 연구 결과에 따르면, 이 특정 도메인과 특징 표현에 있어 딥러닝의 추가적인 복잡성은 잘 조정된 전통적 머신러닝 알고리즘에 비해 증가된 계산 비용을 정당화할 만큼 충분한 성능 향상을 가져오지 못합니다.