기술 요약: CANDLE – 경량 인코더를 이용한 문자 단위 아랍어 노이즈 중복 제거

문제 정의

본 논문은 아랍어 텍스트의 문자 단위 노이즈 중복 제거(character-level noise deduplication) 문제를 다루며, 특히 비공식적인 소셜 미디어 작성 방식에서 흔히 나타나는 유효하지 않은 연속 문자 반복을 제거하는 것을 목표로 합니다. 작성자들은 강조나 감정을 표현하기 위해 문자를 반복(예: "sooooo" 또는 그에 상응하는 아랍어 표현의 연장)하는 경우가 많지만, 이러한 반복은 언어적으로 유효하며 단어의 의미에 필수적일 수도 있습니다.

핵심적인 어려움은 노이즈성 연장(noisy elongation)(제거되어야 함)과 유효한 형태론적 반복(valid morphological repetition)(보존되어야 함)을 구분하는 데 있습니다. 예를 들어, 아랍어에서 "왕국"(al-mamlaka)이라는 단어는 유효한 이중 'm'을 포함하지만, "여왕"(al-malika)은 그렇지 않습니다. 모든 반복을 축소하는 단순한 시스템은 유효한 단어의 의미를 잘못 변경할 수 있습니다. 또한, 아랍어에서 유효한 반복은 드물게 두 개의 연속된 문자를 초과하지만, 이론적 최대치는 다섯 개이므로 엄격한 규칙에 의존하지 않고 문맥 의존적인 결정을 내릴 수 있는 시스템이 필요합니다.

방법론

저자들은 CANDLE을 제안하며, 이는 문자 중복 제거를 분류 작업이 아닌 **시퀀스 정렬 문제(sequence alignment problem)**로 프레임화하는 경량 시스템입니다.

1. 핵심 공식화: CTC 정렬

수작업으로 만든 규칙, 사전 또는 형태 분석기에 의존하는 기존 방식과 달리, CANDLE은 **연결주의 시간적 분류(Connectionist Temporal Classification, CTC)**를 활용합니다.

• 입력 변환: 입력 텍스트는 먼저 reduce_to_2() 연산을 통해 처리되며, 이는 모든 문자가 정확히 두 번씩 나타나도록 보장합니다. 이를 통해 시퀀스 길이가 원래 길이의 약 두 배가 되는 일관된 입력 구조를 생성합니다.
• 정렬 작업: 모델은 이 두 배로 늘어난 입력 시퀀스를 타겟 "클린(clean)" 시퀀스(유효한 반복은 유지하고 노이즈성 반복은 축소된 시퀀스)에 정렬하는 법을 학습합니다.
• 장점: 이 공식화는 입력 시퀀스 길이($M$)가 출력 시퀀스 길이($N$)보다 크다는 CTC 가정을 충족하며, 이를 통해 모델이 명시적인 경계 레이블 없이 데이터로부터 직접 정렬을 학습할 수 있게 합니다.

2. 모델 아키텍처 및 학습

• 기본 아키텍처: 시스템은 사전 학습된 문자 기반 BERT 아키텍처(6개 트랜스포머 레이어, $d_{model}=512$, 16개 어텐션 헤드)를 사용하여 초기화됩니다.
• 학습 전략:
  • 분류 베이스라인: reduce_to_1() 연산 후 모델이 각 문자를 "중복" 또는 "중복 아님"으로 분류하는 베이스라인 접근 방식을 테스트했습니다. 이는 클래스 불균형과 모호한 사례에서의 낮은 성능 문제를 겪었습니다.
  • CTC 학습: CTC 모델은 점진적 언프리징(progressive unfreezing) 전략을 사용하여 학습되었습니다. 초기에는 출력 레이어만 학습되었고, 이후 마지막 2개, 3개, 그리고 최종적으로 모든 트랜스포머 레이어를 언프리징하여 더 어려운 정렬 작업에 대해 수렴을 보장했습니다.
• 모델 증류(Distillation): 추론 오버헤드를 줄이기 위해 6개 레이어의 "교사(teacher)" 모델을 2개 레이어의 "학생(student)" 모델로 증류했습니다. 학생 모델은 교사 모델의 첫 번째와 마지막 레이어를 사용하여 초기화되었으며, 소프트 타겟(교사의 KL 발산)과 하드 타겟(그라운드 트루스 CTC 손실)의 조합을 사용하여 학습되었습니다.

3. 데이터셋

시스템은 세 가지 별도의 벤치마크를 통해 평가되었습니다:

• NewsText: 정식 작성된 텍스트에서의 오류를 측정하기 위해 사용된 Sabq 신문의 클린 코퍼스입니다 (모델이 이론적으로 아무런 변경을 가하지 않아야 하는 텍스트).
• AmbigText: 축소된 형태가 여러 유효한 단어로 매핑될 수 있는 모호한 사례(예: "할아버지" vs "갱신된")를 포함하는 273개 문장으로 구성된 수동 큐레이션 데이터셋입니다.
• WildSAText: 노이즈가 많고 비공식적이며 방언이 섞인 사우디 포럼에서 가져온 142,280개 문장의 실제 데이터셋입니다.

주요 결과

CTC 기반 접근 방식은 모든 지표와 데이터셋에서 분류 기반 베이스라인을 크게 상회하는 성능을 보였습니다.

• 클린 텍스트 성능 (NewsText): CTC 모델은 **문장 에러율(SER) 5.37%**를 달 기록한 반면, 분류 베이스라인은 63.79%를 기록했습니다. 결정적으로, 두 모델 모두 중복이 없는 문장에서 0%의 에러를 달성하여, 이미 깨끗한 텍스트를 변경하지 않음을 확인했습니다.
• 모호한 텍스트 성능 (AmbigText): CTC 모델은 **23.08%**의 SER을 달성하여, 분류 베이스라인(69.96%)을 압도했습니다. 이는 정렬 공식화가 모호성을 해결하기 위해 문맥을 활용하는 능력이 탁월함을 입증합니다.
• 실제 텍스트 성능 (WildSAText): CTC 모델은 전체 **9.93%**의 SER을 달성했으며, 이는 베이스라인의 53.93%와 대조됩니다.
• 증류 효율성: 2개 레이어의 증류된 모델은 높은 성능을 유지했습니다 (NewsText 6.31%, AmbigText 25.27%, WildSAText 12.43%). 이는 모델 깊이를 3배 감소시키면서도 성능 저하를 최소화했음을 나타냅니다.

다운스트림 영향: 토크나이저 페르티리티(Fertility)

정확도 외에도, 본 논문은 실질적인 다운스트림 혜택인 토크나이저 페르티리티 감소를 강조합니다. 대규모 언어 모델(LLM)에 입력되기 전 텍스트를 정규화함으로써, 텍스트를 표현하는 데 필요한 토큰 수가 줄어듭니다.

• 다양한 아랍어 LLM 토크나이저(JAIS, Gemma, Llama, Qwen 포함) 전반에 걸쳐, 정규화는 원본 입력 대비 페르티리티 점수를 4.8%에서 12.8%까지 감소시켰습니다.
• 이러한 감소는 추론 비용 절감과 컨텍스트 윈도우의 효율적 활용으로 직접 연결됩니다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. CTC의 참신한 적용: 연결주의 시간적 분류(CTC)를 특정 문자 단위 중복 제거 작업에 적용하여, 정규화를 시퀀스 정렬 문제로 프레임화한 최초의 사례입니다.
2. 자원 효율성: 수작업 규칙, 사전 또는 형태 분석기 없이 경량 인코더만을 사용하여 작동합니다.
3. 실제 배포 가능성: 모델 증류를 통해 고성능 모델을 2개 레이어의 학생 모델로 압축할 수 있음을 보여주었으며, 이는 프로덕션 환경에 적합합니다.
4. 비용 절감: 텍스트 정규화와 토크나이징 효율 개선을 통한 LLM 추론 비용 감소 사이의 직접적인 연결 고리를 확립했습니다.

한계점

저자들은 두 가지 주요 한계를 인정합니다:

• 순수 아랍어 입력: 시스템은 입력에 아랍어 글자만 포함되어 있다고 가정합니다. 문장 구조를 왜곡하지 않기 위해 별도의 전처리 단계를 통해 처리되어야 하는 모음 기호(diacritics), 숫자 또는 특수 문자를 지원하지 않습니다.
• 제한된 반복: 시스템은 유효한 반복이 연속된 두 글자를 초과하지 않는다고 가정합니다. 따라서 (드물지만) 세 개 이상의 동일한 문자가 연속되는 유효한 아랍어 단어가 잘못 축소될 수 있습니다.