Sentiment Analysis of Indonesian Spotify Reviews Using Machine Learning and BiLSTM

기술 요약: 머신러닝 및 BiLSTM 을 활용한 인도네시아어 Spotify 리뷰 감정 분석

문제 제기
본 연구는 구글 플레이스토어의 Spotify 애플리케이션 사용자 리뷰에서 파생된 인도네시아어 텍스트에 대한 감정 분석의 과제를 다룹니다. 이 작업은 일관되지 않은 철자, 과도한 은어 사용, 그리고 형태론적 변이가 포함된 비공식적인 언어 특성으로 인해 복잡합니다. 저자들은 3 클래스 감정 분류 작업 (부정, 중립, 긍정) 에 있어 고전적인 머신러닝 (ML) 분류기들의 성능을 심층학습 (DL) 접근법 (양방향 장기 단기 기억망, 즉 BiLSTM) 과 비교하여 벤치마킹하는 것을 목표로 합니다. 본 연구의 구체적인 제약 조건은 평가 환경으로, CPU 만을 사용하는 설정이므로 두 접근법 간에 서로 다른 훈련 데이터 규모가 필요하게 됩니다.

방법론
본 연구는 두 트랙이 동일한 전처리 파이프라인을 공유하지만 모델 아키텍처와 훈련 데이터 양은 서로 다른 듀얼 트랙 실험 설계를 채택합니다.

• 데이터셋: 원시 데이터셋은 스크랩된 100,000 개의 리뷰로 구성됩니다. 정제 (중복 제거, 빈 리뷰 및 비텍스트 요소 제거) 후 70,155 개의 샘플이 남습니다. 레이블은 별점 평점에서 파생됩니다: 12 점 (부정), 3 점 (중립), 45 점 (긍정). 데이터셋은 심하게 불균형하여 긍정 리뷰가 68.4%, 부정 리뷰가 25.7%, 중립 리뷰는 고작 5.9% 를 차지합니다.
• 전처리 파이프라인: 모든 텍스트에 적용된 통합 파이프라인은 다음을 포함합니다:
  1. 소문자 변환.
  2. 노이즈 제거 (URL, 언급, 구두점, 숫자).
  3. 은어 정규화 (124 개의 비공식 형태를 표준 인도네시아어로 매핑).
  4. 불용어 제거 (809 개의 일반 및 도메인 특정 용어).
  5. Sastrawi 를 사용한 형태론적 어간 추출.
     결과: 처리 후 리뷰 길이의 중앙값은 4 토큰이며, 95 백분위수는 17 토큰입니다.
• 머신러닝 트랙:
  • 데이터: 정제된 70,155 개의 전체 샘플로 훈련됨.
  • 특징: TF-IDF 벡터화 (최대 3,000 개 특징).
  • 분류기: 서포트 벡터 머신 (SVM), 다항식 나이브 베이즈 (MNB), 의사결정나무 (DT).
  • 기법: 층화 5 폴드 교차 검증. 클래스 불균형 문제를 해결하기 위해 각 훈련 폴드 내에서 SMOTE(합성 소수 클래스 과대표집 기법) 를 적용합니다.
  • 평가: 정확도, AUC, 정밀도, 재현율, F1 점수 (가중치 및 매크로), 코헨의 카파를 포함합니다.
• 심층학습 트랙:
  • 데이터: CPU 제약으로 인해 BiLSTM 은 층화된 20,000 개의 샘플 하위 집합으로 훈련됩니다 (훈련용 14,219 개, 검증용 2,510 개, 테스트용 2,953 개).
  • 아키텍처: 128 차원 임베딩, 방향당 128 개의 은닉 유닛을 가진 2 층 양방향 LSTM 과 완전히 연결된 분류 헤드로 구성됩니다. 총 파라미터 수는 약 110 만 개입니다.
  • 훈련: Adam 옵티마이저, 학습률 $10^{-3}$, 배치 크기 64, 가중치 없는 교차 엔트로피 손실. 조기 종료 (3 에포크에서 최적 체크포인트) 를 사용합니다.
  • 평가: ML 트랙과 동일한 지표를 사용하여 홀드아웃 테스트 세트에서 평가합니다.

주요 기여

1. 통합 전처리: ML 및 DL 트랙 모두에 공유 전처리 파이프라인을 구축하여 성능 차이가 데이터 정제 변이가 아닌 모델 아키텍처에 기인함을 보장합니다.
2. 벤치마킹: 대규모 인도네시아어 앱 리뷰에 대한 세 가지 고전적인 Scikit-learn 분류기 (SVM, MNB, DT) 와 소형 BiLSTM 모델 간의 비교 분석.
3. 투명성과 재현성: 저자들은 ML 및 DL 모델 모두에 대한 공개 Hugging Face Spaces 를 제공하여 모델 동작을 직접 검사할 수 있도록 합니다.
4. 불균형 분석: 클래스 불균형이 모델 성능에 미치는 영향을 상세히 검토하여, SMOTE 를 활용한 ML 접근법과 비교할 때 가중치 없는 BiLSTM 이 소수 클래스인 '중립'에서 완전히 실패함을 특히 강조합니다.

결과

• 머신러닝 성능:
  • 의사결정나무가 가장 강력한 고전적 모델로 부상하여 5 폴드 교차 검증에서 가중치 F1 점수 0.7269와 정확도 0.7286 을 달성했습니다.
  • SVM 은 가중치 F1 0.6958 로 그 뒤를 이었으며, 다항식 나이브 베이즈는 현저히 낮은 성능 (0.4619) 을 보였습니다.
  • 의사결정나무는 모든 세 클래스에서 균형을 유지한 성능을 보였으며, 중립 클래스에서 가장 낮은 F1 점수 (0.717) 를 기록했지만 여전히 기능적이었습니다.
• 심층학습 성능:
  • BiLSTM은 홀드아웃 테스트 세트에서 더 높은 가중치 F1 점수 0.8069와 정확도 0.8314 를 달성했습니다.
  • 그러나 매크로 F1 점수는 0.5478 로 하락했습니다.
  • 클래스별 세부 분석: 모델은 긍정 리뷰에서 매우 우수한 성능 (F1 0.9028) 을 보였고, 부정 리뷰에서도 합리적인 성능 (F1 0.7406) 을 발휘했습니다. 그러나 핵심적으로 중립 클래스에서 완전히 실패하여 F1 점수 0.0000을 기록했습니다 (176 개 샘플 중 0 개의 정확한 예측).
• 비교 분석:
  • BiLSTM 은 가중치 지표 (전체 성능) 에서 ML 모델들을 능가했지만, 이 우위는 훈련 데이터가 현저히 적었으며 (14,219 대 70,155) 클래스 균형 조정 기법이 부재했다는 사실로 인해 완화됩니다.
  • ML 접근법 (의사결정나무 + SMOTE) 은 세 클래스 전반에 걸쳐 더 강력하고 균형 잡힌 인식을 제공한 반면, BiLSTM 은 다수 클래스에 편향되었습니다.

의의 및 주장
본 논문은 BiLSTM 과 같은 심층학습 모델이 짧고 비공식적인 인도네시아어 텍스트의 감정 탐지에 있어 우수한 전체 가중치 성능을 제공할 수 있지만, 클래스 가중치나 오버샘플링과 같은 특정 완화 전략 없이 훈련될 경우 클래스 불균형 문제에 매우 취약하다고 주장합니다.

저자들은 모델 선택이 구체적인 응용 목표에 달려 있다고 결론 내립니다:

• BiLSTM은 지배적인 긍정과 부정 감정 간의 정확한 구별이 주된 목표일 때 선호됩니다.
• **머신러닝 (특히 SMOTE 를 적용한 의사결정나무)**은 소수 클래스인 중립을 포함한 세 클래스 전반에 걸쳐 균형 잡힌 인식이 필요할 때 더 적합합니다.

본 연구는 두 트랙 간 훈련 데이터 크기의 비대칭성과 사전 훈련된 인도네시아 임베딩 또는 트랜스포머 기반 모델의 부재를 지적하며 한계를 인정합니다. 향후 작업으로는 전체 코퍼스로 BiLSTM 훈련, DL 파이프라인 내 클래스 균형 조정 구현, 그리고 트랜스포머 아키텍처 탐색이 제안됩니다.