MultiLexNorm++: A Unified Benchmark and a Generative Model for Lexical Normalization for Asian Languages

기술 요약: MultiLexNorm++: 아시아 언어를 위한 통합 벤치마크 및 생성형 모델 기반의 어휘 정규화 연구

문제 정의
소셜 미디어 데이터는 비정형적이고 즉흥적이며 다양하다는 특성 때문에 자연어 처리(NLP) 분야에서 상당한 어려움을 야기하며, 이는 종종 모델의 성능 저하를 초 cause합니다. 어휘 정규화(lexical normalization)는 비표준적인 입력을 표준 형태로 단어 단위로 변환하는 작업으로, 노이즈가 섞인 입력과 표준 학습 데이터 사이의 간극을 메우는 해결책으로 제안되었습니다. 기존의 MultiLexNorm 벤치마크가 이 분야의 노력을 통합했으나, 라틴 문자를 사용하는 인도-유럽어족에 크게 편향되어 있었습니다. 결과적으로, 다양한 언어군, 문자, 형태론적 구조를 가진 아시아 언어에 대해 정규화 모델이 어떻게 일반화되는지에 대한 이해가 부족한 실정입니다.

방법론
저자들은 기존 벤치마크의 확장판인 **MultiLexNorm++**와 어휘 정규화를 위한 새로운 LLM 기반 파이프라인을 제안합니다.

1. 벤치마크 확장 (MultiLexNorm++):

   • 데이터셋은 기존 12개 언어와 더불어 5개의 새로운 아시아 언어(인도네시아어, 일본어, 한국어, 태국어, 베트남어)를 포함하도록 확장되었습니다.
   • 이 새로운 언어들은 5개의 언어군과 4개의 서로 다른 문자(라틴, 일본어, 한국어, 태국어)를 포괄합니다.
   • 데이터 소스는 기존의 주석 처리된 코퍼스(예: 인도네시아어의 CIL, 일본어의 WRIME)와 Twitter, Instagram, Facebook, TikTok과 같은 플랫폼에서 수집된 데이터를 바탕으로 원어민이 직접 생성한 새로운 주석을 포함합니다.
   • 과업 정의는 기존과 동일하게 유지됩니다: 비표준 텍스트를 표준 형태로 변환하며, 일대다(one-to-many) 및 다대일(many-to-one) 치환을 처리합니다.

2. 제안된 LLM 기반 파이프라인:

   • 가공되지 않은 LLM이 특정 튜닝 없이 이 과업을 수행하는 데 어려움이 있다는 점을 인식하여, 저자들은 3단계 파이프라인을 설계했습니다.
     • 스팬 탐지 (Span Detection): 인코더 기반 모델(XLM-R)이 정규화가 필요한 특정 단어를 식별합니다. 이 단계는 관련 토큰에만 집중함으로써 계산 부하를 줄이고 "과잉 정규화(over-normalization)"를 방지합니다.
     • 룩업 테이블 (Lookup Table): 훈련 데이터 통계(모호한 경우를 위해 Miller-Madow 엔트로피 선택법 사용)를 활용한 사전 기반 컴포넌트가 흔하고 엔트로피가 낮은 치환 사례를 해결합니다.
     • 인컨텍스트 프롬프팅 (In-Context Prompting): 남은 어려운 사례들은 퓨샷 인컨텍스트 러닝(few-shot in-context learning)을 통해 대규모 언어 모델(LLM)에 의해 처리됩니다. 파이프라인은 gemma-3-27b-it, gpt-4o, Llama-3.3-70B-Instruct, Qwen2.5-72B-Instruct의 네 가지 모델을 활용합니다. 시스템은 성능과 비용 사이의 최적의 절충안으로 경험적으로 결정된 8-샷 프롬프트 전략을 채택합니다.

주요 기여

• MultiLexNorm++ 데이터셋: 5개의 아시아 언어와 4개의 문자를 다루는 수동 주석 벤치마크를 공개함으로써, 인도-유럽어 중심을 넘어 어휘 정규화 연구의 범위를 크게 확장했습니다.
• 생성형 정규화 프레임워크: 전통적인 휴리스틱(탐지 및 룩업)과 현대적인 LLM을 결든 새로운 아키텍처입니다. 이 접근 방식은 전체 문장에 LLM을 사용하는 비효율성을 해결하고, 복잡한 정규화 사례에 대한 LLM의 퓨샷 능력을 활용합니다.
• 포괄적 평가: 17개 언어에 대해 제안된 LLM 기반 방법론을 기존의 SOTA 모델(ÚFAL/ByT5)과 엄격하게 비교 분석했습니다.

결과

• 성능 격차: 기존 SOTA 모델(ÚFAL)은 새로운 아시아 언어, 특히 태국어와 한국어에서 현저히 낮은 성능을 보였습니다. 저자들은 이를 복잡한 세그멘테이션 요구사항을 가진 비라틴 문자 스크립트에 대한 바이트 수준 표현(ByT5)의 비효율성 때문이라고 분석했습니다.
• LLM의 효과: 오픈 소스 LLM은 일반적으로 라틴 문자 언어에서 미세 조정된 ÚFAL 베이스라인보다 성능이 떨어지는 반면, GPT-4o는 대부분의 언어에서 ÚFాల의 성능과 대등하거나 이를 상회하며, 특히 태국어, 베트남어, 인도네시아어에서는 ÚFAL보다 뛰어난 성능을 보였습니다.
• 오류 분석: LLM의 주요 오류 유형은 잘못된 정규화 후보를 선택하는 것입니다. 그 외에도 과잉 정규화 및 과소 정규화(생성 거부) 문제가 나타납니다. 분석 결과, 비라틴 문자(일본어, 한국어, 태국어)가 여전히 까다로운 과제로 남아 있으며, 라틴 문자 언어에 비해 낮은 오류 감소율(ERR)을 보였습니다.
• 효율성: 스팬 탐지 모듈은 토큰 수를 약 95% 감소시켜 프레임워크의 계산 가능성을 높였습니다. GPT-4o를 사용한 전체 다국어 설정의 예상 비용은 약 $9.30입니다.

의의 및 주장
본 논문은 어휘 정규화를 아시아 언어로 확장하는 것이 스크립트 처리 및 세그멘테이션과 관련하여 현재 SOTA 모델들의 결정적인 한계를 드러낸다고 주장합니다. 제안된 LLM 기반 파이프라인은 탐지 및 룩업 메커니즘의 안내를 받는 생성형 모델이 기존의 인코더-디코더 방식보다 다양한 스크립트에 대해 더 강력한 솔루션을 제공할 수 있음을 보여줍니다.

그러나 저자들은 다음과 같은 점을 언급하며 신중한 입장을 유지합니다:

• 오픈 소스 LLM이 미세 조정된 베이스라인을 일관되게 능가하지 못한다는 점은 오픈 소스와 폐쇄형 모델 간의 격차를 보여줍니다.
• 슬랭(속어), 철자 오류, 음차된 외래어 처리에 여전히 어려움이 존재합니다.
• 이 과업은 여전히 난도가 높으며, 논문에서 논의된 StrokeNet 접근 방식과 같이 서브 캐릭터(sub-character) 또는 스트로크 레벨(stroke-level) 표현과 같은 언어 특화적 기술을 필요로 하는 비라틴 문자 표기법 처리에 있어 개선의 여지가 큽니다.

본 연구는 효과적이고 언어 특화적이며 다국어적인 텍스트 정규화 방법을 개발하기 위한 기초적인 단계로서, 아직 충분히 탐구되지 않은 이 분야의 미래 연구를 이끌어갈 통합된 벤치마크를 제공합니다.