PERCEPT: A Corpus for POS Tagging and Analysis of Persian-English Code-Mixing

기술 요약: PERCEPT – 페르시아어-영어 코드 혼용(Code-Mixing)의 품사 태깅 및 분석을 위한 코퍼스

문제 정의

소셜 미디어는 다국어 의사소통의 주요 장이 되었으며, 여기서 사용자들은 단일 발화 내에서 언어를 빈번하게 혼용하는 현상인 '코드 혼용(code-mixing)'을 보입니다. 여러 언어 쌍(예: 말라얄람어-영어, 힌디어-영어, 벵골어-영어)에 대한 코드 혼용 코퍼스는 존재하지만, 페르시아어-영어 코드 혼용은 상대적으로 연구가 미진한 상태입니다. 기존의 페르시아어 자원들은 주로 언어 식별이나 감성 분석에 집중되어 있으며, 코드 혼용 단어에 특화된 유니버설 의존 구문(Universal Dependencies, UD) 품사(POS) 주석을 결여하고 있습니다. 이러한 부재는 토큰화, 언어 식별, 구문 분석과 같은 복잡성을 처리할 수 있는 구문 인식 자연어 처리(NLP) 모델의 개발과 언어학적 분석을 제한합니다.

방법론

이러한 격차를 해소하기 위해, 저자들은 코드 혼용 단어에 대한 UD POS 태그와 문서 수준의 주제 레이블이 주석 처리된 최초의 대규모 공개 페르시아어-영어 코드 혼용 코퍼스인 PERCEPT를 소개합니다.

데이터 수집

데이터셋은 세 가지 주요 플랫폼인 X(구 트위터), 인스타그램(Instagram), 그리고 디지컬라(Digikala)(이커머스 플랫폼)에서 수집된 6,800개의 텍스트로 구성됩니다. 저자들은 기존 페르시아어 데이터셋에서 데이터를 집계하고, 빈번하게 나타나는 코드 혼용 단어를 포괄하기 위해 X에서 키워드 기반 검색을 추가로 수행했습니다. 최종 데이터셋에는 라틴 문자로 표기된 영어 단어와 페르시아어 문자로 음차된 영어 단어가 모두 포함되었습니다. 비속어는 필터링되었으며, 사용자 언급 및 URL은 익명화되었습니다.

주석 프레칭(Annotation Framework)

저자들은 자동화된 식별 및 태깅 프로세스를 위해 Gemini 3.5 Flash를 활용한 LLM 지원 주석 프레임워크를 제안합니다:

1. 품사(POS) 태깅: 모델은 페르시아어 텍스트 내의 영어 및 음차된 영어 단어를 식별하고 17개의 유니버설 의존(UD) POS 태그(예: NOUN, VERB, PROPN) 중 하나를 할당합니다. 이 프레임워크는 비표준 코드 혼용에 집중하기 위해 이미 확립된 외래어(예: "laptop", "internet") 및 플랫폼 특정 용어(예: X의 "timeline", Digikala의 "DigiPay")를 제외하도록 하는 특정 지침을 포함합니다.
2. 주제 탐지: 모델은 사전 정의된 분류 체계(예: 브랜드 및 비즈니스, 산업 및 상업, 라이프스타일)로부터 문서 수준의 주제 레이블을 각 텍스트에 할당합니다.
3. 인간 검증: 신뢰성을 확보하기 위해, NLP 과정을 이수한 두 명의 원어민 페르시아어 주석가가 무작위로 추출된 150개의 텍스트(268개 코드 혼용 단어)를 독립적으로 검증했습니다. 이들은 AI의 도움 없이 토큰 식별과 품사 태깅을 모두 평가했습니다.

통계 분석

주석이 달린 PERCEPT 코퍼스를 사용하여, 저자들은 네 가지 연구 질문을 조사하는 종합적인 경험적 분석을 수행했습니다:

1. 어떤 POS 범주가 코드 혼용이 발생할 가능성이 가장 높은가?
2. 발화 내에서 코드 혼용 단어는 주로 어디에 위치하는가? (위치 분포)
3. 코드 혼용이 "트리거 효과(triggering effect)"를 보이는가? (동일 텍스트 내에서의 재발 현상)
4. 논의 주제에 따라 코드 혼용의 정도가 어떻게 달라지는가?

주요 결과

1. 품사(POS) 분포

**명사(Nouns)**는 모든 플랫폼에서 코드 혼용 단어가 가장 지배적인 범주로, X와 인스타그램에서는 약 60%, 디지컬라에서는 45.4%를 차지했습니다. 보조적인 분포는 플랫폼별로 다릅니다:

• X: 동사(Verbs)가 두 번째로 빈번한 범주입니다 (23.0%).
• 인스타그램: 형용사(Adjectives)가 두 번째로 높습니다 (19.3%).
• 디지컬라: 고유 명사(PROPN)가 두 번째로 높으며 (35.0%), 이는 이커머스 목록에서 영어 브랜드 및 제품 모델명을 빈번하게 사용하는 것에 기인합니다.

2. 위치 분포

코드 혼용 단어의 위치 분포는 세 플랫폼 모두에서 매우 일관되게 나타납니다. 코드 혼용 단어의 약 1/3은 초기 위치에, 1/3은 중간 위치에, 그리고 약간 더 적은 수가 마지막 위치에 나타납니다. 카이제곱 검정 결과, 플랫폼과 단어 위치 사이에는 유의미한 연관성이 발견되지 않았습니다.

3. 트리거 효과

"트리거 효과"(단일 발화 내에 여러 코드 혼용 단어가 나타날 가능성)는 플랫폼에 따라 크게 다릅니다:

• 디지컬라: 가장 높은 트리거 효과(42.0%)를 보이며, 이는 사용자들이 리뷰에서 여러 제품의 특징, 브랜드 또는 사양을 한 번에 논의하기 때문인 것으로 보입니다.
• X: 두 번째로 높습니다 (27.1%).
• 인스타그램: 가장 낮은 비율을 보입니다 (10.2%).

4. 주제 변이

산업 및 상업 및 브랜드 및 비즈니스와 관련된 논의는 모든 플랫폼에서 일관되게 가장 높은 수준의 코드 혼용을 보입니다. 디지컬라에서는 주제 의존성이 가장 강하며, 상업 관련 논의가 다른 주제보다 유의미하게 더 많은 코드 혼용 단어를 포함하고 있습니다. 반면, 인스타그램은 주제에 관계없이 코드 혼용 정도가 거의 일정하게 나타나는데, 이는 사용자들이 주제와 상관없이 보통 단 하나의 영어 단어만을 삽입한다는 것을 시사합니다.

주석 신뢰도

인간 평가를 통해 LLM 생성 주석의 신뢰성이 확인되었습니다. 품사 태깅의 경우, 인간 주석가 간의 일치도는 코헨의 카파(Cohen's $\kappa$) 값 0.894를 기록했습니다. LLM의 주석을 골드 스탠다드(gold standard)와 비교했을 때, 모델은 올바르게 식별된 코드 혼용 토큰의 품사 태깅에 대해 97.0%의 정확도와 76.8%의 매크로 F1 점수를 달성했습니다. 토큰 식별과 품사 할당을 모두 포함하는 전체 주석 파이프라인에 대해, LLM은 88.1%의 종합 F1 점수를 달성했습니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 자원 구축: UD POS 태그와 주제 레이블이 주석 처리된 최초의 대규모 페르시아어-영어 코드 혼용 코퍼스인 PERCEPT를 도입하여, 저자원 NLP 자원의 결정적 공백을 메웠습니다.
2. 방법론적 프레임워크: 인간 검증을 통해 높은 신뢰성을 입증한 LLM 지원 주석 프레임워크를 제안하였으며, 이는 다른 저자원 언어를 위한 언어학적 주석 코퍼스 구축에 전이 가능한 접근 방식을 제공합니다.
3. 경험적 통찰: 여러 플랫폼에 걸친 페르시아어-영어 코드 혼용에 대한 최초의 대규모 경험적 분석을 수행하여, 명사가 일반적으로 코드 혼용을 지배하지만, 보조적 패턴과 트리거 효과는 특정 맥락과 플랫폼의 성격(예: 이커머스 vs 소셜 네트워킹)에 의해 크게 영향을 받는다는 것을 밝혀냈습니다.

저자들은 PERCEPT를 페르시아어를 위한 품사 태거, 언어 식별 시스템 및 기타 구문 인식 NLP 모델을 개발하고 평가하기 위한 기초 자원으로 자리매김합니다. 또한, 이 데이터셋이 페르시아어-영어 코드 혼용의 구조적 및 사회언어학적 특성에 대한 향후 언어학적 연구를 가능하게 한다고 언급합니다. 데이터셋과 분석 코드는 추가 연구를 촉진하기 위해 공개되어 있습니다.