PersianPunc: A Large-Scale Dataset and BERT-Based Approach for Persian Punctuation Restoration

이 논문은 1,700 만 개의 샘플로 구성된 대규모 PersianPunc 데이터셋을 구축하고, ParsBERT 기반의 경량화 모델이 대규모 언어 모델의 과수정 문제와 높은 계산 비용을 해결하면서도 91.33% 의 높은 F1 점수를 달성하여 실시간 Persian 문장 부호 복원에 효과적임을 입증했습니다.

핵심

1. 문제: "소름 돋는 오해" (점 하나에 뜻이 바뀐다)

페르시아어는 문장에 쉼표나 마침표가 없으면 뜻이 완전히 뒤바뀔 수 있습니다.

• 비유: 마치 **"비행기 착륙 지시"**를 생각해보세요.
  • "착륙 금지, 추락시켜라" (위험!)
  • vs "착륙, 금지 추락시켜라" (안전!)
  • 쉼표 하나 때문에 "죽음"과 "생존"이 갈립니다.

논문에서는 이런 예를 들었습니다.

• 점 없음: "자비를 필요로 하지 않는다, 그를 처형하라" (악의적인 뜻)
• 점 있음: "자비, 필요 없다. 그를 처형하지 마라" (긍정적인 뜻)

컴퓨터가 이 '점'들을 자동으로 찾아주지 않으면, 번역기나 음성 인식 프로그램이 엉뚱한 말을 하거나 심각한 오해를 불러일으킬 수 있습니다.

2. 해결책: "1700 만 권의 도서관" (PersianPunc 데이터)

기존에는 페르시아어 학습용 데이터가 너무 적어서 컴퓨터가 제대로 배우지 못했습니다. 연구진들은 이를 해결하기 위해 거대한 데이터베이스를 만들었습니다.

• 비유: 컴퓨터에게 글을 가르치기 위해 1700 만 개의 책을 모았습니다.
  • 이 책들은 공식적인 뉴스, 의학 논문, 위키백과 같은 '정중한 글'부터, 텔레그램 채팅, 블로그, 소설 같은 '일상적인 대화'까지 다양합니다.
  • 연구진들은 이 책들에서 오류가 있거나 불필요한 내용 (이모지, URL 등) 을 깨끗이 제거하고, 오직 '질 좋은 문장'만 골라내어 컴퓨터가 배우게 했습니다.
  • 이를 PersianPunc라고 이름 붙였습니다.

3. 방법론: "전문가 vs 천재" (BERT 모델 vs 대형 언어 모델)

이제 컴퓨터에게 이 1700 만 권의 책을 가르쳐서 점 찍는 법을 익히게 했습니다. 두 가지 방식을 비교했습니다.

• A. 대형 언어 모델 (LLM, 예: GPT-4):

  • 비유: 모든 것을 아는 천재 교수님입니다.
  • 장점: 지식이 매우 풍부합니다.
  • 단점: 너무 똑똑해서 과잉 수정을 합니다. "이 단어는 틀렸으니 고쳐줘야겠다"라고 생각해서, 우리가 시킨 '점 찍기' 외에 단어를 지우거나 바꾸는 실수를 자주 합니다. 또한, 이분을 부르면 전기세 (컴퓨팅 비용) 가 매우 비쌉니다.
  • 결과: 점 찍기 정확도는 85% 정도였으며, 원래 글자를 건드리지 않고 점만 찍은 경우는 50% 밖에 안 되었습니다.

• B. 연구진이 만든 모델 (ParsBERT):

  • 비유: 점 찍기만 전문으로 하는 숙련된 편집자입니다.
  • 장점: 오직 '점 찍기'에만 집중하도록 훈련시켰습니다. 그래서 원래 글자는 절대 건드리지 않고 점만 정확하게 찍습니다. 또한, 가볍고 빠르며 비용도 저렴합니다.
  • 결과: 점 찍기 정확도는 **91%**로 훨씬 높았으며, 원래 글자를 건드리지 않고 점만 찍은 비율도 61% 로 더 좋았습니다.

요약: 왜 이 연구가 중요한가요?

1. 정확한 의사소통: 페르시아어에서 쉼표와 마침표는 문장의 생명을 결정합니다. 이 기술은 음성 인식 (ASR) 이나 번역기에서 문장을 자연스럽게 만들어줍니다.
2. 효율성: 무겁고 비싼 '천재 교수님 (LLM)' 대신, 가볍고 빠르고 정확한 '전문 편집자 (BERT)'를 만들어냈습니다. 이는 실시간으로 대화가 오가는 앱이나 서비스에 적용하기 좋습니다.
3. 공유: 연구진들은 이 1700 만 개의 데이터와 만든 모델을 모두 공개했습니다. 이제 다른 연구자들도 이 '교과서'를 가지고 페르시아어 AI 를 더 발전시킬 수 있게 되었습니다.

한 줄 결론:

"페르시아어 AI 가 문장을 읽을 때, 점 찍는 법을 완벽하게 배운 가벼운 전문가를 만들어냈으며, 무겁고 비싼 '천재'보다 더 정확하고 안전한 결과를 보여줍니다."

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 자동 음성 인식 (ASR) 출력이나 비공식적인 디지털 텍스트는 문장 부호가 누락된 경우가 많습니다. 문장 부호는 텍스트의 가독성과 기계 번역, 감정 분석 등 하위 NLP 태스크의 성능에 결정적인 영향을 미칩니다.
• 페르시아어의 특수성: 페르시아어에서 문장 부호의 유무는 문장의 의미와 감정을 극적으로 바꿀 수 있습니다 (예: "사형 집행" vs "사형 집행 불필요").
• 현황 및 한계:
  • 기존 페르시아어 문장 부호 복원 연구는 소규모 데이터셋, 특정 도메인 적용, 또는 공개 모델의 부재로 인해 제한적이었습니다.
  • 최근 대형 언어 모델 (LLM) 은 제로샷 (zero-shot) 으로 문장 부호 복원이 가능하지만, 과도한 수정 (Over-correction) 경향 (원문 단어 삭제/변경 등) 과 높은 계산 비용으로 인해 ASR 후처리 파이프라인에는 적합하지 않습니다.
• 목표: 대규모 고품질 데이터셋 구축과 효율적인 경량 모델을 통해 페르시아어 문장 부호 복원 문제를 해결하고, LLM 의 한계를 극복하는 방법론을 제시하는 것.

2. 방법론 (Methodology)

2.1 데이터셋 구축 (PersianPunc)

• 규모: 1,700 만 개 이상의 필터링 및 중복 제거된 샘플을 포함하는 대규모 데이터셋.
• 데이터 소스:
  • 공식/학술 텍스트: Bijankhan-Peykare 코퍼스, 페르시아 의학 QA, 페르시아 위키백과 등.
  • 비공식/현대 텍스트: 페르시아 텔레그램 채널, Farsi Stories, 블로그 데이터 등.
• 전처리 파이프라인:
  • 정규화: 영어 문장 부호를 페르시아어 equivalents(, ; ?) 로 변환, 불필요한 문자 제거, 공백 정규화.
  • 필터링: URL/이메일/이모지 제거, 특수 기호 과다 제거, 반복 문장 부호 제거.
  • 품질 기준: 최소 10 자 길이, 문장 부호 2 개 이상 포함 (단순 문장 종결이 아닌 내부 문장 부호 복원 난이도 확보), 문장 종결 부호 존재.
• 분할: 전체 1,700 만 개 중 100 만 개를 무작위 추출하여 학습 (98.9 만), 검증 (1 만), 테스트 (1 천) 세트로 분할 (소스 코퍼스 비율 유지).

2.2 모델 아키텍처 및 학습

• 작업 정의: 토큰 수준의 시퀀스 레이블링 (Sequence Labeling) 작업으로 형식화.
• 모델: ParsBERT (페르시아어 전용 BERT) 를 파인튜닝.
  • 입력: 문장 부호가 제거된 텍스트.
  • 출력: 각 토큰 위치별 문장 부호 클래스 (공백, 쉼표, 마침표, 물음표, 콜론).
  • 주요 처리: WordPiece 토큰화 시, 각 단어의 첫 번째 서브워드 (subword) 에만 문장 부호 레이블을 할당하여 단어 단위 정렬을 유지.
• 학습 설정: AdamW 최적화기, 학습률 $2 \times 10^{-5}$, 3 Epoch, 배치 크기 85 (Gradient Accumulation 적용 시 유효 배치 680).

3. 주요 기여 (Key Contributions)

1. PersianPunc 데이터셋 공개: 페르시아어 문장 부호 복원을 위해 체계적으로 수집 및 정제된 1,700 만 개의 대규모 데이터셋을 최초로 공개.
2. 체계적인 데이터 큐레이션 프레임워크: 다양한 도메인과 어조를 아우르는 고품질 코퍼스 구축을 위한 전처리, 필터링, 분석 프로세스를 제시.
3. 효율적이고 정확한 BERT 기반 모델: LLM 대비 낮은 계산 비용으로 높은 성능을 달성하며, 과도한 수정 (Over-correction) 문제를 해결한 경량 모델을 제안.

4. 실험 결과 (Results)

4.1 성능 평가

• 주요 지표: Macro-averaged F1-Score 91.33%, Micro-averaged F1-Score 97.28%.
• 클래스별 성능:
  • 마침표 (.): 98.71% (가장 높은 성능)
  • 콜론 (:): 90.45%
  • 물음표 (?): 88.89%
  • 쉼표 (,): 80.03% (페르시아어 내 사용이 맥락에 따라 유연하여 상대적으로 낮음)

4.2 LLM (GPT-4o) 과의 비교

• 정확도: ParsBERT(91.33%) > GPT-4o(85.96%) > GPT-4o-mini(79.54%).
• 완전 일치율 (Full Sentence Match, FSM):
  • ParsBERT: 61.80%
  • GPT-4o: 50.10%
• 과도한 수정 (Over-correction) 분석:
  • GPT-4o 는 약 5% 의 샘플에서 원문의 단어를 삭제하거나 형식적인 단어로 교체하는 등, 문장 부호 추가 외의 불필요한 편집을 수행함.
  • 이는 ASR 후처리에서 원본 전사 텍스트를 보존해야 하는 요구사항에 치명적인 결함임.
• 계산 효율성: ParsBERT 는 경량 모델로 실시간 애플리케이션에 적합하나, GPT-4o 는 추론 비용이 매우 높음.

5. 의의 및 결론 (Significance & Conclusion)

• 자원 격차 해소: 페르시아어 NLP 분야에서 대규모 문장 부호 복원 데이터셋의 부재를 해소하여 향후 연구의 기반을 마련함.
• 실용적 가치: LLM 의 높은 비용과 과잉 수정 문제를 우회하여, ASR 파이프라인에 즉시 적용 가능한 고효율 솔루션을 제공함.
• 확장성: 제시된 데이터 큐레이션 방법론은 형태론적으로 풍부하고 자원이 부족한 다른 언어에도 적용 가능한 프레임워크를 제공함.
• 향후 과제: 도메인별 특화 모델 개발, 음성 프로소디 (Prosody) 정보 통합, Zero-Width Non-Joiner (ZWNJ) 삽입 작업과의 결합 등을 제안함.

이 논문은 페르시아어 NLP 의 중요한 과제를 해결하기 위해 대규모 데이터와 효율적인 BERT 모델의 조합이 대형 언어 모델보다 특정 작업 (문장 부호 복원) 에 더 우월할 수 있음을 실증적으로 증명했습니다.