A Comparative Analysis of Classical Machine Learning and Deep Learning Approaches for Sentiment Classification on IMDb Movie Reviews

기술 요약: IMDb 영화 리뷰 감정 분류를 위한 고전적 머신러닝과 딥러닝 접근법의 비교 분석

문제 제기
감성 분석은 영화 리뷰와 같은 텍스트 데이터의 극성을 판단하는 것을 목표로 하는 자연어 처리 (NLP) 의 핵심 과제입니다. 딥러닝 (DL) 접근법은 자동적으로 특징 표현을 학습하고 순차적 의존성을 포착하는 능력으로 인해 주목을 받아 왔으나, 종종 상당한 계산 자원과 학습 시간을 요구합니다. 반면, 고전적 머신러닝 (ML) 방법은 효율성으로 잘 알려져 있지만 수동 특징 공학에 크게 의존합니다. 본 연구는 IMDb 영화 리뷰 데이터셋에 적용될 때 성능, 효율성, 실용성 측면에서 이러한 두 패러다임 간의 트레이드오프를 이해할 필요성에 대응합니다.

방법론
본 연구는 IMDb 데이터셋의 균형 잡힌 부분집합 (긍정 및 부정 감정이 균등하게 분포된 50,000 개 샘플) 에 대해 고전적 ML 과 DL 파이프라인을 비교 평가하는 프레임워크를 사용합니다.

• 데이터 전처리:
  • ML 파이프라인: 텍스트 정규화 및 TF-IDF(용어 빈도–역 문서 빈도) 특징 추출을 포함한 EDA 기반 파이프라인을 활용했습니다.
  • DL 파이프라인: 텍스트 정제 (소문자 변환, URL/HTML 제거, 비알파벳 필터링), 10,000 개 인스턴스의 층화 샘플링, 레이블 인코딩, 그리고 시퀀스 패딩을 구현했습니다.
• 머신러닝 접근법:
  • TF-IDF 벡터화와 함께 PyCaret AutoML을 사용하여 구현했습니다.
  • 평가된 모델에는 로지스틱 회귀, 나이브 베이즈, 그리고 **서포트 벡터 머신 (SVM)**이 포함되었습니다.
• 딥러닝 접근법:
  • 10,000 개 샘플의 부분집합에서 PyTorch를 사용하여 구현했습니다.
  • 두 가지 아키텍처를 평가했습니다:
    1. 양방향 LSTM(BiLSTM): 순방향과 역방향 모두에서 순차적 의존성을 포착하기 위해 사용.
    2. 주의 메커니즘이 적용된 BiLSTM: 시퀀스 내 중요한 단어에 집중함으로써 맥락적 표현을 강화하기 위해 사용.
  • 하이퍼파라미터에는 어휘 크기 5,000, 임베딩 차원 64, 은닉층 1 개, 드롭아웃 비율 0.3, 그리고 조기 종료와 함께 3 에포크 학습이 포함되었습니다.

주요 기여
본 논문은 네 가지 주요 기여를 제시합니다:

1. 이중 전처리 파이프라인: ML 을 위한 Jupyter Notebook 기반 EDA 및 TF-IDF 와 DL 을 위한 Python 스크립트 기반 정제 및 층화 샘플링을 위한 고유한 워크플로우.
2. ML 모델 배포: 효율적인 추론을 위해 PyCaret 으로 구축되고 sentiment_model.pkl로 직렬화된 머신러닝 모델.
3. DL 프레임워크: BiLSTM 과 주의 메커니즘이 적용된 BiLSTM 아키텍처의 비교 구현.
4. 인터랙티브 배포: 두 모델 모두 인터랙티브 Hugging Face Space 를 통해 접근 가능하도록 제공됨.

결과
실험 결과는 데이터셋 크기와 모델 복잡도에 따른 성능의 차이를 나타냅니다:

• 고전적 ML 성능: SVM 모델이 0.8530의 최고 정확도를 달성했으며, 로지스틱 회귀 (0.8518) 가 그 뒤를 이었습니다. 나이브 베이즈는 현저히 낮은 성능 (0.6106) 을 보였습니다.
• 딥러닝 성능: 표준 BiLSTM은 0.626의 정확도를 달성했습니다. 주의 메커니즘이 적용된 BiLSTM은 성능을 0.706으로 향상시켜 표준 BiLSTM 보다 우수한 맥락 이해 능력을 입증했습니다.
• 비교: 일부 문헌에서 DL 의 우월성을 시사하는 것과 달리, 고전적 ML 모델이 본 특정 실험 설정에서 DL 모델보다 우수한 성능을 발휘했습니다.

의의 및 주장
본 연구는 딥러닝 모델이 복잡한 순차적 의존성을 포착할 수 있는 이론적 능력을 갖추고 있지만, 고전적 머신러닝 접근법은 TF-IDF 와 같은 효과적인 특징 공학과 결합될 때 감정 분류를 위한 강력한 기준선으로 남아있다고 결론지었습니다.

저자들은 본 연구에서 ML 모델의 우월한 성능이 다음과 같은 요인들 때문일 가능성이 높다고 주장합니다:

1. 데이터 제약: DL 모델은 ML 에 사용된 전체 데이터셋에 비해 축소된 부분집합 (10,000 개 샘플) 으로 학습되었으며, 이는 복잡한 표현을 학습하기에 부족했을 수 있습니다.
2. 학습 한계: DL 모델은 제한된 수의 에포크 (3 회) 로 학습되어 최적의 성능에 수렴하는 것을 방해했을 수 있습니다.
3. 효율성: ML 모델은 더 낮은 계산 비용과 빠른 학습 시간으로 강력한 성능을 제공합니다.

본 논문은 모델 선택이 데이터셋 크기, 사용 가능한 계산 자원, 그리고 해석 가능성의 필요성을 포함한 응용 프로그램의 특정 제약 조건에 의해 결정되어야 함을 강조합니다. 제한된 자원이나 작은 데이터셋이 있는 시나리오의 경우, 잘 최적화된 고전적 ML 모델이 딥러닝 대안보다 더 실용적일 수 있음을 시사합니다.