기술 요약: 머신러닝 및 LSTM 을 활용한 모바일 레전드 앱 리뷰 감정 분석

문제 제기

동남아시아를 중심으로 한 모바일 게임 산업의 급속한 성장은 구글 플레이 스토어와 같은 플랫폼에서 방대한 양의 사용자 피드백을 생성했습니다. 모바일 레전드: 방방 (MLBB) 개발자들에게는 매일 수천 건의 리뷰를 수동으로 분석하여 사용자 만족도를 측정하는 것이 비현실적입니다. 감정 분석은 확장 가능한 해결책을 제공하지만, 인도네시아어 리뷰에 이를 적용하는 것은 고유한 도전 과제를 안고 있습니다. 이러한 리뷰에는 비공식적인 언어, 속어, 약어, 인도네시아어와 영어 간의 코드 스위칭, 그리고 복잡한 형태론적 구조 (예: 접사) 가 빈번하게 포함됩니다. furthermore, 기존 연구들은 종종 정확도 극대화에 집중할 뿐, 실제 배포 제약 조건을 다루거나 동일한 전처리 조건 하에서 자동화된 머신러닝 (ML) 프레임워크와 맞춤형 딥러닝 (DL) 구현체 간의 공정한 체계적 비교를 제공하지는 못했습니다.

방법론

본 연구는 10,000 건의 MLBB 앱 리뷰에서 감정 (긍정, 부정, 중립) 을 분류하기 위해 정량적 접근법을 사용합니다. 연구 파이프라인은 엄격한 인도네시아어 특화 전처리 파이프라인을 공유하는 두 개의 병렬 트랙, 즉 고전적 머신러닝 접근법과 딥러닝 접근법으로 나뉩니다.

데이터 전처리

데이터셋의 노이즈와 언어적 변이를 처리하기 위해 재현 가능한 정제 파이프라인을 구현했습니다:

1. Case Folding: 모든 텍스트를 소문자로 변환.
2. 텍스트 정제: 정규식 (regex) 을 통해 문장 부호, 이모지, URL, 언급, 해시태그, 숫자, 특수 문자 제거.
3. 정규화: 속어와 비표준 단어를 표준 인도네시아어 대응어로 매핑.
4. 토큰화: 문장을 개별 토큰으로 분할.
5. 불용어 제거: NLTK 를 사용하여 일반적인 인도네시아어 및 영어 불용어 필터링.
6. 어간 추출 (Stemming): Sastrawi 라이브러리를 사용하여 접사된 단어를 어근 형태로 축소.
7. 자르기 (Truncation): 시퀀스를 최대 100 개 토큰으로 제한.

특징 표현 및 모델

• 머신러닝 (ML) 트랙: 전처리된 텍스트를 TF-IDF(Term Frequency-Inverse Document Frequency) 를 사용하여 벡터화했습니다. 5-폴드 계층화 교차 검증을 사용하여 PyCaret AutoML 프레임워크로 세 가지 분류기를 평가했습니다:
  • 나이브 베이즈 (NB)
  • 로지스틱 회귀 (LR)
  • 랜덤 포레스트 (RF)
• 딥러닝 (DL) 트랙: PyTorch 에서 맞춤형 Long Short-Term Memory (LSTM) 네트워크를 구현했습니다. 아키텍처는 다음을 포함합니다:
  • 임베딩 레이어 (64 차원 벡터).
  • 단일 LSTM 레이어 (64 개의 숨겨진 유닛).
  • 과적합을 방지하기 위한 드롭아웃 레이어 (비율 0.3).
  • 3 개 클래스를 위한 Softmax 활성화가 적용된 완전 연결 출력 레이어.
  • Adam 옵티마이저, CrossEntropyLoss, 배치 크기 32, 20 에포크로 훈련을 수행했습니다.

평가

모델들은 정확도, 정밀도, 재현율, F1-점수를 사용하여 홀드아웃 테스트 세트 (데이터의 20%) 에서 평가되었습니다. 두 접근법 모두 Hugging Face Spaces 에서 Gradio 를 사용하여 상호작용 가능한 애플리케이션으로 배포되어 접근성을 보장했습니다.

주요 기여

본 논문은 다섯 가지 주요 기여를 제시합니다:

1. 전처리 파이프라인: Case folding, regex 노이즈 제거, NLTK 불용어 필터링, Sastrawi 어간 추출을 결합한 재현 가능한 인도네시아어 텍스트 정제 파이프라인.
2. ML 벤치마크: PyCaret AutoML 과 TF-IDF 특징을 사용한 세 가지 분류기 (LR, NB, RF) 의 비교 분석.
3. DL 모델: 효율성을 위해 설계된 약 69 만 개의 파라미터를 가진 소형 맞춤형 PyTorch LSTM 모델.
4. 배포: Gradio 로 구축된 공개적으로 접근 가능한 상호작용 데모.
5. 오픈 소스: GitHub 에서 코드, 데이터, 노트북의 전체 공개.

결과

본 연구는 불균형 데이터셋 (부정 67.47%, 긍정 23.73%, 중립 8.80%) 에서 ML 베이스라인과 LSTM 모델의 성능을 비교했습니다.

• 머신러닝 성능: 고전적 모델 중 로지스틱 회귀가 **77.40%**의 정확도와 **73.11%**의 F1-점수로 최고의 성능을 달성했습니다. 랜덤 포레스트가 그 뒤를 이었으며, 나이브 베이즈는 데이터셋의 어휘적 복잡성과 클래스 불균형에 어려움을 겪으며 현저히 낮은 성능 (정확도: 43.02%, F1-점수: 47.67%) 을 보였습니다.
• 딥러닝 성능: LSTM 모델은 모든 ML 베이스라인을 능가하여 92% 의 정확도, 94% 의 정밀도, 96% 의 재현율, 그리고 91% 의 가중 F1-점수를 달성했습니다.
• 분석: 혼동 행렬 분석에 따르면, 모델은 우세한 부정 및 긍정 감정을 분류하는 데 뛰어났으나, 데이터 불균형과 중립적 표현의 본질적 모호성으로 인해 소수 클래스인 중립 클래스에서는 어려움을 겪었습니다.

중요성 및 주장

본 논문은 결과들이 순차적 텍스트 데이터를 처리하는 딥러닝의 효과성, 특히 속어와 코드 스위칭이 포함된 비공식적 사용자 생성 콘텐츠의 경우를 강조한다고 주장합니다. 본 연구는 LSTM 모델이 전통적인 TF-IDF 기반 ML 모델이 놓치는 문맥적 관계와 순차적 의존성을 포착할 수 있음을 보여줍니다.

그러나 저자들은 발견 사항에 대해 겸손한 입장을 유지합니다:

• LSTM 이 고전적 모델보다 우월했지만, 데이터 불균형이 소수 클래스 성능에 영향을 미치는 중요한 과제로 남아 있음을 인정합니다.
• 전통적인 ML 모델은 계산 효율성 측면에서 여전히 경쟁력이 있으며, 적절한 특징 공학과 결합될 때 효과적임을 지적합니다.
• 본 연구는 감정 분석 문제를 완전히 해결한다고 주장하기보다는 일관된 전처리 설정 하에서 체계적이고 공정한 비교를 제공하며, 이 특정 도메인에서 순차적 모델링의 우월성을 검증하고 향후 개선 영역 (예: SMOTE 와 같은 데이터 균형 기술 또는 Bi-LSTM/IndoBERT 와 같은 고급 아키텍처) 을 식별합니다.

이 작업은 인도네시아어 모바일 게임 리뷰를 위한 경량 재현 가능한 감정 분석 파이프라인을 배포하는 방법을 실용적으로 시연하여, 학술적 모델 비교와 실제 응용 제약 조건 간의 격차를 해소합니다.