Sentiment Analysis of Indonesian Spotify Reviews Using Machine Learning and BiLSTM

技術的概要：機械学習および BiLSTM を用いたインドネシア語 Spotify レビューの感情分析

問題定義
本研究は、Google Play ストアの Spotify アプリケーションに関するユーザーレビューから得られたインドネシア語テキストの感情分析という課題に取り組む。このタスクは、一貫性のない綴り、スラングの多用、形態的変異を含む言語の非公式な性質によって複雑化されている。著者らは、3 クラスの感情分類タスク（ネガティブ、ニュートラル、ポジティブ）において、古典的な機械学習（ML）分類器のパフォーマンスを、深層学習（DL）アプローチ（双方向長短期記憶、BiLSTM）と比較するベンチマークを目的としている。本研究の特定の制約は、CPU のみの環境という評価環境であり、これにより 2 つのアプローチ間で異なる訓練データ規模が必要とされる。

手法
本研究は、両方のトラックが同一の前処理パイプラインを共有するが、モデルアーキテクチャと訓練データ量において異なる、デュアルトラックの実験デザインを採用している。

• データセット: 生データセットはスクレイピングされた 10 万件のレビューで構成される。クリーニング（重複、空のレビュー、非テキスト要素の削除）後、70,155 サンプルが残留する。ラベルは星評価から導出される：1〜2 星（ネガティブ）、3 星（ニュートラル）、4〜5 星（ポジティブ）。データセットは著しく不均衡であり、ポジティブレビューが 68.4%、ネガティブが 25.7%、ニュートラルはわずか 5.9% を占める。
• 前処理パイプライン: すべてのテキストに適用される統一パイプラインは以下の通りである：
  1. 小文字化。
  2. ノイズ除去（URL、メンション、句読点、数字）。
  3. スラング正規化（124 種類の非公式形式を標準インドネシア語にマッピング）。
  4. ストップワード除去（809 語の一般およびドメイン固有用語）。
  5. Sastrawi を用いた形態的ステミング。
     結果: 処理後のレビュー長さの中央値は 4 トークン、95 パーセンタイルは 17 トークンである。
• 機械学習トラック:
  • データ: クリーニング済みの 70,155 サンプル全体で訓練。
  • 特徴量: TF-IDF ベクトル化（最大 3,000 特徴量）。
  • 分類器: サポートベクターマシン（SVM）、多項式ナイーブベイズ（MNB）、決定木（DT）。
  • 手法: 層化 5 分割交差検証。クラス不均衡に対処するため、各訓練フォールド内で SMOTE（Synthetic Minority Over-sampling Technique）を適用。
  • 評価: 指標には精度、AUC、適合率、再現率、F1 スコア（重み付きおよびマクロ）、コヘンのカッパが含まれる。
• 深層学習トラック:
  • データ: CPU 制約により、BiLSTM は 20,000 サンプルの層化部分集合で訓練される（訓練 14,219、検証 2,510、テスト 2,953）。
  • アーキテクチャ: 128 次元埋め込み、方向あたり 128 隠れユニット、完全結合分類ヘッドを備えた 2 層の双方向 LSTM。パラメータ総数：約 110 万。
  • 訓練: Adam オプティマイザ、学習率 $10^{-3}$、バッチサイズ 64、重み付けなしのクロスエントロピー損失。早期停止を使用（エポック 3 で最良のチェックポイント）。
  • 評価: ML トラックと同じ指標を用いて、保持されたテストセットで評価。

主要な貢献

1. 統一された前処理: ML および DL トラックの両方に共有前処理パイプラインを確立し、パフォーマンスの違いがデータクリーニングの変異ではなくモデルアーキテクチャに起因することを保証する。
2. ベンチマーク: 大規模なインドネシア語アプリレビューにおいて、3 つの古典的な Scikit-learn 分類器（SVM、MNB、DT）をコンパクトな BiLSTM モデルと比較する分析。
3. 透明性と再現性: 著者は ML および DL モデルの両方に対して公開 Hugging Face Spaces を提供し、モデルの動作を直接検証可能にする。
4. 不均衡の分析: クラス不均衡がモデルのパフォーマンスにどのように影響するかを詳細に検討し、特に SMOTE を利用する ML アプローチと比較して、重み付けされていない BiLSTM が少数派の「ニュートラル」クラスで失敗したことを強調する。

結果

• 機械学習のパフォーマンス:
  • 決定木が最も強力な古典的モデルとして浮上し、5 分割交差検証において重み付き F1 スコア 0.7269、精度 0.7286 を達成した。
  • SVM は重み付き F1 0.6958 で続いたが、多項式ナイーブベイズは著しく低い（0.4619）パフォーマンスであった。
  • 決定木は 3 クラス全体でバランスの取れたパフォーマンスを維持し、ニュートラルクラスで最も低い F1 スコア（0.717）を示したが、依然として機能していた。
• 深層学習のパフォーマンス:
  • BiLSTMは、保持されたテストセットにおいて、より高い重み付き F1 スコア 0.8069および精度 0.8314 を達成した。
  • しかし、マクロ F1 スコアは 0.5478 に低下した。
  • クラス別内訳: モデルはポジティブレビューで極めて良好に機能し（F1 0.9028）、ネガティブレビューでも妥当な性能を示した（F1 0.7406）。重要なのは、ニュートラルクラスで完全に失敗し、176 サンプル中 0 件の正しい予測で F1 スコアが0.0000であったことである。
• 比較分析:
  • BiLSTM は重み付き指標（全体のパフォーマンス）において ML モデルを上回ったが、この利点は、著しく少ないサンプル数（14,219 対 70,155）で訓練され、クラスバランス調整手法が欠如していたという事実によって相殺される。
  • ML アプローチ（決定木＋SMOTE）は 3 クラス全体でより堅牢でバランスの取れた認識を提供したが、BiLSTM は多数派クラスに偏っていた。

意義と主張
本論文は、BiLSTM などの深層学習モデルが、短く非公式なインドネシア語テキストにおける感情検出において、全体的な重み付きパフォーマンスの面で優れている可能性がある一方で、特定の緩和戦略（クラス重み付けやオーバーサンプリングなど）なしに訓練された場合、クラス不均衡の問題に極めて脆弱であることを主張している。

著者らは、モデルの選択は特定の応用目標に依存すると結論づけている：

• BiLSTMは、主要なポジティブとネガティブの感情間の正確な識別が主目的である場合に好ましい。
• **機械学習（特に SMOTE を用いた決定木）**は、少数派のニュートラルクラスを含む 3 クラス全体でのバランスの取れた認識が求められる場合に適している。

本研究は、2 つのトラック間の訓練データサイズの非対称性、および事前学習されたインドネシア語の埋め込みやトランスフォーマーベースのモデルの欠如という限界を認めている。今後の研究としては、BiLSTM を完全なコーパスで訓練すること、DL パイプラインにクラスバランス調整を実装すること、トランスフォーマーアーキテクチャの探索が提案されている。