💬 NLP

Detection of Emotions in Hindi-English Code Mixed Text Data

이 논문은 힌디어-영어 코드 혼용 텍스트의 새로운 주석 처리된 코퍼스를 소개하고 감정 탐지를 개선하기 위한 자음 제약 정규화 방법을 제안하며, 서브워드 LSTM 모델이 분노, 공포, 행복, 슬픔을 분류하는 데 있어 비교된 5개의 베이스라인 중 가장 높은 정확도(76.6%)를 달성함을 입증한다.

원저자: Divyansh Singh

게시일 2026-08-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Divyansh Singh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 전 세계 사람들이 자신의 생각, 농담, 감정을 디지털 공중에 외치는 거대하고 북적이는 글로벌 시장이라고 상상해 보세요. 인도에서는 이 대화의 아주 큰 부분이 "힌글리시(Hinglish)"라고 불리는 독특한 혼합 언어로 이루어집니다. 이것은 마치 힌디어와 영어가 하나의 문장 안에서 한데 섞인 언어적 스무디와 같습니다. 문제는 모든 사람이 휴대폰을 사용하여 이 단어들을 라틴 알파벳(우리가 영어에 사용하는 것과 같은 글자)으로 타이핑하기 때문에, 힌디어 단어를 어떻게 철자해야 하는지에 대한 엄격한 규칙이 없다는 점입니다. 어떤 사람은 '사랑'을 pyaar라고 쓰고, 다른 사람은 pyar라고 쓰며, 세 번째 사람은 pyr라고 쓸 수도 있습니다. 컴퓨터에게 이들은 완전히 다른 세 개의 단어로 보이며, 이는 소프트웨어가 사람들이 실제로 무엇을 말하고 있는지 이해하는 것을 매우 어렵게 만듭니다.

여기서 "자연어 처리(NLP)"라는 과학가 등장합니다. NLP를 컴퓨터에게 인간의 언어를 읽고 이해하도록 가르치는 과정이라고 생각하세요. 컴퓨터는 문장이 일반적으로 "행복"한지 또는 "슬픈"지를 파악하는 것(감성 분석)에는 꽤 능숙해졌지만, 텍ist가 지저분하고 뒤섞여 있을 때 분노, 공포, 흥분과 같은 구체적이고 복잡한 감정을 감지하는 데는 어려움을 겪습니다. 이러한 구체적인 감정을 이해하는 것은 누군가가 단순히 운이 나쁜 날을 보내고 있는 것인지, 아니면 정말 위험에 처해 있는지를 컴퓨터가 알 수 있게 해주며, 이는 온라인 안전 및 정신 건강 모니터링과 같이 매우 중요한 일입니다.

인도 자이푸르에 위치한 LNMIIT의 한 연구자가 이 지저식하고 뒤섞인 언어의 퍼즐을 해결하기로 결심했습니다. 그들은 컴퓨터가 힌글리시 텍스트에서 네 가지 특정 감정인 분노, 공포, 슬픔, 행복을 포착하도록 가르치고자 했습니다. 이를 위해 그들은 먼저 자신들만의 감정 "사전"을 구축해야 했습니다. 그들은 사람들이 자유롭게 대화하는 트위터와 동영상 댓글 섹션에서 1,589개의 문장을 수집했습니다. 힌디어와 영어를 모두 유창하게 구사하는 두 명의 원어민이 모든 문장을 읽고 감정을 라벨링했습니다. 그들은 거의 완벽하게 라벨에 동의했으며, 이를 통해 고품질의 학습 세트를 만들어냈습니다.

연구자는 철자 혼란이라는 까다로운 장애물에 직면했습니다. 사람들이 힌디어 단어를 매우 다양한 방식으로 철자하기 때문에 컴퓨터가 계속 혼란을 겪었습니다. 이를 해결하기 위해 연구자는 영리한 "정규화(normalization)" 기술을 발명했습니다. 여러분이 "Red", "Redd", "Rd"라고 라벨이 붙은 양말 더미를 가지고 있다고 상상해 보세요. 어떤 것이 맞는지 추측하는 대신, 컴퓨터는 단어의 "골격"(자음)과 해당 단어가 유사한 맥방에서 얼마나 자주 나타나는지를 살펴봅니다. 그런 다음 모든 이상한 철자들을 하나로 묶고 가장 흔한 버전으로 대체합니다. 이렇게 하면 데이터가 깨끗해져서 컴퓨터가 철자 오류에 의해 방해받지 않게 됩니다.

다음으로, 그들은 어떤 것이 감정을 가장 잘 추측할 수 있는지 알아보기 위해 다섯 가지 서로 다른 컴퓨터 "두뇌"(알고리즘)를 테스트했습니다. 그들은 단순한 통계적 방법과 더 복적인 신경망을 비교했습니다. 놀라운 결과는 무엇이었을까요? 단어의 작은 구성 요소(하위 단어)를 살펴보는 더 복잡한 모델이 경주에서 승리했다는 것입니다. 이 모델은 76.6%의 정확도를 달성했는데, 이는 단순히 가장 흔한 감정을 추측했을 때 얻을 수 있는 30.8%에서 크게 도약한 수치입니다. 이는 단어를 더 작은 조각으로 나누는 것이 컴퓨터가 지저식한 철자 변형을 훨씬 더 잘 처리하도록 돕는다는 것을 시사합니다.

하지만 연구자는 완전한 승리를 선언하는 데 신중했습니다. 그들은 "나이브 베이즈(Naïve Bayes)"라고 불리는 더 단순하고 오래된 방식(기본적으로 특정 단어가 얼마나 자주 나타나는지를 세는 방식)이 화려한 신경망만큼이나 잘 수행된다는 것을 발견했습니다. 이는 짧은 소셜 미디어 게시물의 경우, 감정이 단 하나 또는 두 개의 핵심 단어에 의해 전달되는 경우가 많다는 것을 시사하며, 따라서 단순한 단어 카운터가 놀라울 정도로 좋은 역할을 할 수 있다는 것을 보여줍니다. 논문은 하위 단어 모델이 현재의 챔피언이지만, 그들의 데이터셋 크기(1,589개 문장)가 작기 때문에 한 방법이 정말로 우월한지 확신하기는 어렵다고 결론지었습니다. 그들은 가장 큰 걸림돌은 알고리즘이 아니라 데이터의 부족이며, 훨씬 더 큰 예시 라이브러리가 있다면 이 컴퓨터들이 우리의 디지털 마음을 읽는 데 더욱 날카로워질 수 있을 것이라고 제안합니다.

기술 요약: 힌디어-영어 코드 혼합 텍스트 데이터에서의 감정 탐지

문제 정의
본 논문은 인도에서 흔히 나타나는 사용자 생성 콘텐츠 형태인 힌디어-영어 코드 혼합 텍스트(흔히 "Hinglish"라 불림)에서의 감정 탐지 과제를 다룬다. 극성(긍정/부정)에 집중하는 일반적인 감성 분석과 달리, 본 작업은 네 가지 범주(분노, 공포, 슬픔, 행복)에 걸친 세밀한 감정 분류를 목표로 한다. 주요 난제는 표준화된 전사(transliteration) 관습의 부재에 있다. 라틴 문자로 표기된 힌디어 단어들은 수많은 철자 변이형(예: hain, hai, ha)으로 나타나며, 이로 인해 토큰들이 표준 영어 어휘 목록을 벗어나게 되고 데바나가리 스크립트에 기반한 형태소 분석기를 무력화시킨다.

방법론
저자는 데이터셋 구축, 정규화 절차, 그리고 베이스라인 모델의 비교 평가를 포함하는 세 갈래의 접근 방식을 제안한다.

코퍼스 구축: 트위터 및 비디오 플랫폼 댓글 섹션에서 추출한 1,589개의 코드 혼합 문장으로 구성된 데이터셋을 수집하였다. 비디오 댓글의 포함은 기존의 트위터 전용 코퍼스에 비해 해시태그가 적고 더 긴 발화가 존재하는 레지스터(register)를 도입한다. 데이터는 두 명의 이중 언어 사용자에 의해 주석이 달렸으며, 높은 검사자 간 일치도(Cohen's $\kappa = 0.94$ )를 달성하였다. 분포는 중간 정도의 불균형을 보이며, "행복(Happy)"이 다수 클래스(30.8%), "공포(Fear)"가 소수 클래스(19.1%)이다.
정규화 절차: 전사 변이를 해결하기 위해 저자는 분포적 유사성과 엄격한 언어적 제약을 결리한 클러스터링 절차를 도입한다.
- 메커니즘: 레이블이 없는 데이터에 대해 Skip-gram 벡터를 학습시킨다. 단어들은 다음 두 조건을 만족할 때 클러스터링된다: (1) 동일한 순서의 자음 시퀀스를 공유해야 함(변이가 주로 모음에 기반하므로 이는 엄격한 제약 조건임), (2) 벡터 공간에서 높은 코사인 유사성을 보여야 함.
- 치환: 각 클러스터 내에서 모든 변이형은 가장 빈도가 높은 형태로 교체된다. 이는 단어의 의미적 정체성을 유지하면서 어휘 희소성을 줄인다.
베이스라인 모델: 다섯 가지 분류기를 다섯-폴드 교차 검증 프로토콜(클래스별 층화 추출) 하에 평가하였다:
- 문자 n-gram( $n=8$ ) 기반 Naïve Bayes.
- 단어 n-gram(unigram 및 bigram) 기반 Naïve Bayes.
- word2vec 임베딩을 사용한 단어 수준 LSTM.
- Sub-word LSTM (Joshi 등 [9]의 방식 기반): 단어 수준의 임베딩을 컨볼루션하여 sub-word 표현을 생성한 후 LSTM에 입력함.
- 빈도 기반 단어 벡터를 사용한 SVM.

결과
실험 결과는 다음과 같은 성능 지표를 강조한다:

정확도(Accuracy): Sub-word LSTM이 **76.6%**의 가장 높은 정확도를 기록하며, 다수 클래스 베이스라인(30.8%)과 차순위 모델인 단어 n-gram Naïve Bayes(75.1%)를 유의미하게 앞질렀다.
Macro-F1 점수: Sub-word LSTM은 단어 n-gram Naïve Bayes와 0.77로 동률을 이루었다. 저자는 데이터셋 크기(1,589개 인스턴스)와 다섯-폴드 프로토콜을 고려할 때, 이 차이는 통계적으로 구별 불가능하다고 언급하였다.
오류 분석:
- Sub-word LSTM은 단어 수준 LSTM보다 정확도를 4.0포인트 향상시켰으며, 이를 통해 sub-word 표현이 성능 향상의 원천임을 고립시켜 증명하였다. 이는 정규화 단계에서 병합되지 않은 희귀 전사 변이들을 단어 수준 모델이 처리하지 못하는 능력의 한계 때문인 것으로 분석된다.
- "공포(Fear)" 클래스는 대부분의 모델에서 가장 잘 분류된 카테고리였다(F1 $\approx$ 0.82). 이는 해당 클래스가 독특하고 폐쇄적인 어휘(예: bachao, darr)를 가지고 있기 때문으로 보인다.
- Sub-word LSTM은 다른 모델들에 비해 "공포" 클래스에서 약간 낮은 성능을 보였는데, 이는 고용량 모델이 특정 어휘를 암기하는 것이 맥락적 변별력을 갖는 것보다 효과적인 작은 클래스에서 어려움을 겪을 수 있음을 시사한다.

주요 기여 및 의의
본 논문은 코드 혼합 언어를 위한 저자원 NLP 분야에 세 가지 구체적인 기여를 한다:

데이터셋: 트위터를 넘어 비디오 플랫폼 댓글까지 포함하여 더 다양한 언어적 레지스터를 제공하는 1,589개의 주석 달린 문장 코퍼스를 공개한다.
정규화: 자음의 동일성을 명시적으로 활용하는 제약된 클러스터링 방법을 제안하며, 이는 모델의 강건성에만 의존하는 대안으로서의 전사 변이 처리 방식을 제시한다.
통제된 비교: 단어 수준과 sub-word 수준 표현 간의 엄격한 비교를 제공한다. 본 연구는 sub-word 표현(Sub-word LSTM)이 철자 변이를 완화함으로써 가장 높은 정확도를 구현하는 반면, 단순한 bag-of-n-grams 모델 또한 이 정도 규모의 작업에서는 매우 경쟁력이 있음을 입증한다.

한계 및 범위
저자는 본 논문의 범위에 대해 겸허한 입장을 유지한다. 저자는 본 코퍼스의 크기가 광범위한 감성 자원(예: SentiMix)에 비해 작다는 점을 인정하며, 이는 성능 지표의 분산을 높이고 모델 비교의 통계적 해상도를 제한한다. 또한, 현재의 연구가 sub-word 모델링과 정규화의 구체적인 기여를 격리하는 데 초점을 맞추고 있음을 명시하며, 트랜스포머 기반 사전 학습 인코더(예: BERT)를 제외하였다. 저자는 본 데이터셋의 작은 규모와 좁은 플랫폼 커버리지가 중대한 의사결정 설정에 배포되기에는 부적합하다고 경고한다.

유사한 논문