Code-Mixed Corpora for Indian Social Media: Baselines and Insights for Hinglish Language Identification

기술 요약: 힝글리시(Hinglish) 언어 식별을 위한 베이스라인 및 통찰

문제 정의
인도의 소셜 미디어는 로마자 스크립트로 작성된 힌디와 영어의 혼합 코드 혼용 형태인 "힝글리시(Hinglish)"가 지배하고 있습니다. 이러한 언어적 현상은 인간의 의사소통에는 자연스러운 것이지만, 자연어 처리(NLP) 시스템에는 상당한 어려움을 초래합니다. mBERT나 XLM-R과 같은 표준 다국어 모델은 일반적으로 단일 언어 또는 병렬 데이터로 학습되는데, 잦은 언어 전환, 불일치하는 로마자 표기법(예: "acha" 대 "achha"), 그리고 문맥에 따라 두 언어 모두에 속할 수 있는 짧고 모호한 토큰(예: "is", "me", "ki")과 같은 힝글리시의 특유한 특성을 처리하는 데 어려움을 겪습니다. 기존의 벤치마크는 합성 데이터에 의존하거나 단일 언어 시나리오에 집중되어 있어, 실제 코드 혼용 텍스트에 맞춤화된 재현 가능하고 경량화된 베이스라인이 부족한 실정입니다.

방법론
본 연구는 125,000개 이상의 전문가 주석 사례를 포함하는 리소스인 COMI-LINGUA 데이터셋을 활용합니다. 이 데이터셋은 학습용 약 0.97백만 토큰, 검증용 0.19백만 토큰, 테스트용 0.19백만 토큰으로 구성됩니다. 본 연구는 무거운 다국어 사전 학습 모델에 의존하지 않는, 토큰 수준의 언어 식별(LID)을 위한 경량화되고 재현 가능한 파이프라인을 제안합니다.

제안된 접근 방식은 다음 단계로 구성됩니다:

1. 특징 공학(Feature Engineering): 사전 학습된 임베딩 대신, 방법론은 문자 단위 n-gram(크기 2~5)을 사용합니다. 이는 영어 접미사("-ing", "-ed")와 힌디 로마자 표기 어미("-aa", "-wala")와 같은 독특한 하위 단어 패턴을 포착하는 동시에, 철자 변이의 영향을 완화합니다.
2. 벡터화(Vectorization): 이러한 문자 n-gram은 흔한 문자의 영향력을 줄이고 파편화된 단어에 대한 강건성을 높이기 위해 TF-IDF 가중치를 사용하여 희소 벡터로 변환됩니다.
3. 분류(Classification): 이러한 고차원 희소 벡터를 사용하여 로지스틱 회귀(Logistic Regression) 분류기(L2 규제를 사용하는 Saga 솔버 사용)를 학습시킵니다. 이 모델은 계산 효율적이고 해석 가능하도록 설계되었으며, 특수 하드웨어 없이도 표준 CPU 환경에서 실행될 수 있습니다.
4. 평가(Evaluation): 성능은 정확도(Accuracy)와 매크로 F1 점수(Macro-F1 score)를 사용하여 측정됩니다. 또한 세밀한 오류 분석을 수행하기 위해 혼동 행렬(Confusion matrix)이 활용됩니다.

주요 결과
경량 베이스라인은 COMI-LINGUA 데이터셋에서 높은 효능을 입증했습니다:

• 검증 세트: 96.06%의 정확도와 0.9523의 매크로 F1을 달성했습니다.
• 테스트 세트: 95.92%의 정확도와 0.9509의 매크로 F1을 달었습니다.

저자는 이 성능이 동일한 작업에 대해 이전에 발표된 다국어 벤치마크보다 약 7% 더 우수하다고 언급합니다. 결과는 잘 설계된 문자 수준의 특징이 소셜 미디어 텍텍스트에 내재된 노이즈와 변이를 처리하기에 충분하며, COMI-LINGUA 데이터셋에서 다국어 베이스라인보다 약 7% 더 나은 성능을 보인다는 것을 시사합니다.

오류 분석
오해 분류된 토큰에 대한 상세 분석은 세 가지 주요 오류 원인을 밝혀냈습니다:

1. 짧은 토큰의 모호성: "is", "me", "ki"와 같은 흔한 단어들은 힌디와 영어 모두에 나타날 수 있기 때문에, 문장 수준의 문맥 없이는 분류하기 어렵습니다.
2. 로마자 표기 변이: 동일한 힌디 단어의 불일치하는 철자(예: "acha", "achaa", "achha")는 특징 공간을 파편화하여 예측 일관성을 떨어뜨립니다.
3. 외래어 혼동: 힌디 문장에 삽입된 영어 차용어(예: "party", "school")는 주변 문맥이 주로 힌디일 때 가끔 오분류됩니다.

의의 및 기여
본 논문은 인도 NLP 분야에 대해 세 가지 주요 기여를 주장합니다:

1. 재현 가능한 베이스라인: 문자 n-gram과 로지스틱 회귀를 사용하는 단순하고 효율적인 파이플라인을 구축하여, 복잡한 다국어 시스템을 상당한 차이로 능가하는 근사 최첨단(near-state-of-the-art) 성능(~96% 정확도)을 달성함으로써 힝글리시 LID의 기준을 세웠습니다.
2. 오류 기반 통찰: 일반적인 성능 지표를 넘어, 실패를 유발하는 언어적 뉘앙스(모호성, 철자법, 외래어)를 식별함으로써 힝글리시 LID가 직면한 구체적인 장애물에 대한 체계적인 분석을 제공합니다.
3. 향러 연구를 위한 로드맵: 본 연구는 보다 포용적인, 도메인 특화된 모델링으로의 전환을 옹호합니다. 향후 연구는 인도의 언어적 다양성을 더 잘 반영하기 위해 시퀀스 인식 모델, 다국어 확장 및 공정성 중심의 방법론에 집중해야 한다고 제안합니다.

저자는 제안된 모델이 강력한 출발점이지만, 식별된 한계를 해결하기 위해서는 토큰 단위의 독립성을 넘어 문맥 인식 및 사회언어학적 인식을 갖춘 접근 방식으로 나아가야 한다고 결론짓습니다. 이 연구는 인도의 복잡한 디지털 커뮤니케이션 현실을 정확하게 반영하는 포용적인 언어 기술을 개발하기 위한 가이드 역할을 합니다.