Sentiment and Emotion Classification of Indonesian E-Commerce Reviews via Multi-Task BiLSTM and AutoML Benchmarking

인도네시아에 거대한 온라인 마켓플레이스를 운영하는 상상을 해보세요. 마치 거대한 바자회의 디지털 버전과 같습니다. 매일 수천 명의 고객이 제품 리뷰를 남깁니다. 하지만 여기서 함정이 있습니다. 이 리뷰들은 형식적이고 교과서적인 인도네시아어로 쓰여 있지 않습니다. 대신 속어, 지역 사투리, 약어 (예: 50,000 을 의미하는 "50k"), 그리고 이모지로 뒤섞인 혼란스럽고 다채로운 혼합물입니다.

고객이 만족했는지 화났는지 이해하기 위해 이 리뷰들을 하나씩 읽는 것은 인간에게 불가능합니다. 마치 소방 호스에서 물을 마시려는 것과 같습니다. 이 논문은 바로 이런 messy 한 현실 세계의 언어를 처리할 수 있는 지능형 "번역기"와 "기분 판독기"를 구축하는 것에 관한 것입니다.

다음은 저자들이 문제를 어떻게 해결했는지 간단한 개념으로 나누어 설명한 것입니다:

1. 문제: "속어 수프"

저자들은 감성 분석을 위한 표준 컴퓨터 도구들이 여기서 종종 실패한다고 설명합니다. 그 이유는 무엇일까요? *"mantep paten joss, fast delivery"*와 같은 리뷰는 퍼즐이기 때문입니다. 한 문장 안에 속어, 영어 구문, 약어가 모두 섞여 있습니다. 컴퓨터가 *"mantep"*이 "awesome(훌륭하다)"을 의미한다는 것을 모르면 혼란에 빠집니다.

2. 해결책: 두 개의 다른 팀

이 문제를 해결하기 위해 팀은 리뷰를 읽고 두 가지 사항을 동시에 추측하는 두 개의 다른 "팀" 알고리즘을 구축했습니다.

1. 감성 (Sentiment): 리뷰가 긍정적인가 부정적인가? (단순한 예/아니오).
2. 감정 (Emotion): 고객은 행복한가, 슬픈가, 두려운가, 사랑하는가, 아니면 화난가? (5 가지 선택).

팀 A: "규칙 준수" 탐정 (AutoML)

이 팀은 전통적인 접근 방식을 사용합니다. 먼저 텍스트를 정리합니다 (오타 제거, 특별히 구축한 사전을 사용하여 속어를 일반 단어로 번역). 그런 다음 단어를 각 단어의 중요도를 나타내는 숫자 목록 (TF-IDF) 으로 변환합니다.

• 비유: 이 팀은 특정 단어의 등장 횟수를 세어 책을 분류하는 사서라고 생각하세요. 그들은 PyCaret(자동 머신러닝 시스템) 이라는 도구를 사용하여 수십 가지 다른 분류 방법을 자동으로 시도하여 가장 좋은 방법을 찾습니다.
• 결과: 이 팀은 단순한 "행복 vs 슬픔"(긍정 vs 부정) 감정을 포착하는 데 놀라울 정도로 뛰어났습니다. 약 96% 의 정확도를 기록했습니다. 이는 명백한 단서를 포착하는 데 탁월한 매우 날카로운 탐정과 같습니다.

팀 B: "깊은 사고" 신경망 (BiLSTM & TextCNN)

이 팀은 딥러닝을 사용하며, 이는 단어 수뿐만 아니라 문맥과 흐름을 이해하도록 뇌를 훈련시키는 것과 같습니다.

• 아키텍처: 그들은 Multi-Task BiLSTM을 구축했습니다.
  • BiLSTM: 문장을 왼쪽에서 오른쪽으로 한 번, 그리고 오른쪽에서 왼쪽으로 한 번 읽어서 전체 문맥을 이해한다고 상상해 보세요.
  • Multi-Task: 두 개의 별도 뇌를 갖는 대신, 두 개의 "머리"를 가진 하나의 뇌를 구축했습니다. 한 머리는 감성을 추측하고 다른 머리는 감정을 추측하며 동일한 지식을 공유합니다.
• 변형: 그들은 이 "뇌"의 네 가지 다른 크기를 시도했습니다.
  1. Baseline: 작고 단순한 뇌.
  2. Improved: 더 나은 조직을 갖춘 약간 더 큰 뇌.
  3. Large: 많은 메모리를 가진 거대한 뇌.
  4. TextCNN: 전체 문장 흐름을 읽는 대신 짧은 지역적 패턴 (특정 구문 찾기 등) 을 찾는 다른 유형의 뇌.
• 결과: 이 "깊은 사고자들"은 더 어려운 작업인 구체적인 감정(행복 vs 분노 vs 두려움) 을 파악하는 데 더 뛰어났습니다. TextCNN 모델이 이 카테고리에서 승리하여 약 54% 의 정확도를 기록했습니다. 그 숫자가 낮아 보일 수 있지만, 저자들은 짧고 messy 한 텍스트에서 유사한 감정들 (예: "슬픔"과 "공포" 사이) 을 구별하는 것이 매우 어렵다고 설명하므로, 이는 실제로 강력한 성과였습니다.

3. "정리 팀" (Preprocessing)

이들 팀이 작업을 시작하기 전에 저자들은 데이터를 정리해야 했습니다. 그들은 14 단계 정리 과정을 구축했습니다.

• 비유: 크레용으로 쓰여진 편지를 커피 자국과 찢어진 가장자리와 함께 받았다고 상상해 보세요. 읽기 전에 종이를 펴고, 크레로 낙서를 번역하고, 찢어진 부분을 고쳐야 합니다.
• 그들은 140 개의 속어(예: "joss" 또는 "mantep")가 포함된 특별 사전을 만들었고, 컴퓨터가 이모지와 약어를 처리하는 방법을 가르쳤습니다. 이 단계가 없으면 컴퓨터는 길을 잃을 것입니다.

4. 최종 점수판

이 논문은 두 팀을 비교합니다.

• 단순한 기분 (긍정/부정) 에 대해: "규칙 준수 탐정"(AutoML) 이 쉽게 승리했습니다. 이는 빠르고 효율적이며 단순한 작업에 매우 정확합니다.
• 복잡한 감정 (행복, 슬픔, 분노 등) 에 대해: "깊은 사고자"(신경망) 가 승리했습니다. 복잡한 뇌는 감미미한 감정들 사이의 미묘한 차이를 이해하는 데 더 뛰어났으며, 완벽하지는 않았지만 더 나은 성과를 냈습니다.

5. 그들이 구축한 것

저자들은 단순히 보고서를 쓴 것이 아니라 작동하는 도구를 구축했습니다.

• 그들은 코드를 GitHub 에 공개했습니다.
• 누구나 리뷰를 입력하면 시스템이 고객이 행복한지 화났는지, 그리고 어떤 구체적인 감정을 느끼고 있는지 알려주는 두 개의 라이브 웹사이트 (Hugging Face 에서) 를 만들었습니다.

요약

간단히 말해, 이 논문은 컴퓨터에게 인도네시아 온라인 쇼핑객들의 messy 하고 속어로 가득 찬 언어를 이해하도록 가르치는 것에 관한 것입니다. 그들은 단순한 "좋음/나쁨" 판단의 경우 전통적인 계산 방법이 가장 잘 작동한다는 것을 발견했습니다. 하지만 "공포"와 "슬픔" 사이의 차이와 같은 인간 감정의 미묘함을 이해하는 데는 양방향으로 읽고 패턴을 찾는 딥러닝 뇌가 더 우수한 도구입니다. 그들은 고객 감정에 대한 더 명확한 그림을 제공하기 위해 현실 세계 인터넷 속어의 혼란을 처리하는 시스템을 성공적으로 구축했습니다.