Benchmarking LightGBM and BiLSTM for Sentiment Analysis on Indonesian E-Commerce Reviews

技術概要：インドネシア語電子商取引の感情分析における LightGBM と BiLSTM のベンチマーク評価

問題定義
インドネシアにおける電子商取引の急速な拡大は、製品レビューという形態の構造化されていない膨大なテキストデータを生成している。このデータを分析することは、企業が顧客満足度を自動的に把握する上で不可欠である。しかし、インドネシア語の電子商取引レビューには、非公式な言語の多用、コードミキシング、スラング、そして皮肉（否定的な経験を覆い隠す肯定的な語彙など）のような暗黙の感情的表現を含む、独自の言語的課題が存在する。本研究が扱う核心的な問題は、この特定のドメインにおける正確な感情分類に必要な逐次的な文脈とニュアンスを捉える能力において、自動フレームワークで最適化された従来の機械学習（ML）アプローチ、すなわち特定のドメインにおける正確な感情分類に必要な逐次的な文脈とニュアンスを捉える能力において、従来の機械学習（ML）アプローチ、すなわち特定のドメインにおける正確な感情分類に必要な逐次的な文脈とニュアンスを捉える能力において、従来の機械学習（ML）アプローチ、すなわち自動フレームワークで最適化されたものか、それとも深層学習（DL）アーキテクチャのどちらがより効果的であるかを決定することである。

手法
本研究は、Hugging Face から収集された 15,000 件のインドネシア語電子商取引レビュー（ポジティブ、ネガティブ、ニュートラルの各クラスでバランスが取れている）を用いた比較実験デザインを採用している。データは、大文字小文字の統一、ノイズ除去、文字フィルタリング、略語を標準語彙にマッピングするためのスラング正規化を含む厳格な前処理を経た。

研究は 2 つの異なるパイプラインをベンチマーク評価した：

1. 機械学習（ML）パイプライン： PyCaret の AutoML フレームワークを利用し、LightGBM、ロジスティック回帰、線形カーネルを持つサポートベクターマシン（SVM）の 3 つのアルゴリズムのトレーニングとチューニングを自動化した。特徴量抽出には、最大 5,000 特徴量に制限されたTF-IDF（Term Frequency-Inverse Document Frequency）を用いた。モデルの評価には、F1 スコアの最適化を目的とした自動ハイパーパラメータチューニングを備えた層化 10 回交差検証を用いた。
2. 深層学習（DL）パイプライン： PyTorch フレームワークを用いて**双方向長短期記憶（BiLSTM）**アーキテクチャを実装した。モデルは、埋め込み層（次元 128）、BiLSTM 層（隠れ状態サイズ 64）、過学習を防ぐための空間ドロップアウト層（レート 0.3）、および Softmax 活性化を持つ全結合層で構成される。モデルは、学習率 $1 \times 10^{-3}$ の Adam オプティマイザを用いて、バッチサイズ 32 で 20 エポックにわたってトレーニングされた。

主要な結果
実験結果は、両方のアプローチが高い性能を示す一方で、深層学習モデルが優れた精度を達成したことを示している：

• BiLSTM（DL）： 98.87% の精度および 98.87% の F1 スコアで最高性能を達成した。モデルは、ネガティブおよびニュートラルクラスにおいて一貫した精度と再現率（0.99）を示し、ポジティブクラスでは 0.98/0.99 を示した。トレーニング時間は約 3.7 分であった。
• LightGBM（ML）： 98.23% の精度および 0.9823 の F1 スコアで、最高性能の ML モデルとして浮上した。これは、トレーニングと交差検証のプロセスをわずか4.932 秒で完了させるという、卓越した計算効率を示した。
• その他の ML モデル： ロジスティック回帰と線形カーネルの SVM は、それぞれ 97.67% および 97.56% の精度を達成し、強力なベースラインを確立したが、LightGBM よりもわずかに劣った。

主要な貢献

• 実証的ベンチマーク評価： 本研究は、インドネシア語の電子商取引感情分析に特化して、自動化された ML（PyCaret）とカスタム DL アーキテクチャ（BiLSTM）を比較する直接的な実証的証拠を提供する。
• 言語的ニュアンスの処理： 本研究は、BiLSTM アーキテクチャが、非公式なインドネシア語に内在する逐次的な依存関係や文脈的ニュアンス（皮肉や否定など）を捉えるのに特に効果的であることを検証し、単語の袋（bag-of-words）の仮定に依存する TF-IDF ベースの ML モデルを上回ることを示した。
• 展開のアクセシビリティ： 著者は、完全なソースコード、データセット、デプロイされた Hugging Face モデルへのリンクを公開 GitHub リポジトリを通じて提供し、さらにモデル展開用のインタラクティブな Web インターフェースも用意している。

意義と主張
論文は、すべての感情クラスにおいて精度と再現率のバランスを高く維持する能力により、BiLSTM アーキテクチャがこの特定の分類タスクにおいて優れているモデルであると結論づけている。著者は、LightGBM などの ML モデルが、頻繁な再トレーニングを必要とする環境に理想的な、非常にスケーラブルで迅速な解決策を提供する一方で、BiLSTM モデルは、最大限の予測品質と複雑で多様な言語を解釈する能力が優先される場合に最適な選択であると主張している。

本研究は、インドネシア語 NLP のすべての課題を解決するものではないと主張するのではなく、スラングや暗黙の感情を特徴とする電子商取引レビューについては、BiLSTM の双方向逐次学習メカニズムが、従来の勾配ブースティング手法に対して測定可能な優位性をもたらすことを特に強調している。この研究は、計算効率と予測的ニュアンスの間のトレードオフを強調し、モデルの選択は特定の展開コンテキスト（速度対精度）によって決定されるべきであることを示唆している。