CER-HV: A Human-in-the-Loop Framework for Cleaning Datasets Applied to Arabic-Script HTR

이 논문은 아랍어 계열 언어의 손글씨 인식 (HTR) 성능을 저해하는 데이터 품질 문제를 해결하기 위해, CRNN 기반의 노이즈 탐지기와 인간 검증을 결합한 'CER-HV' 프레임워크를 제안하고 이를 통해 기존 데이터셋의 오류를 식별 및 정제하여 인식 정확도를 향상시켰음을 보여줍니다.

핵심

이 논문은 **"아랍어 손글씨를 읽는 컴퓨터 프로그램이 왜 자꾸 실수를 하는지, 그리고 그 원인을 어떻게 고쳐야 하는지"**에 대한 이야기입니다.

한마디로 요약하면: **"컴퓨터가 똑똑해지려면 더 좋은 알고리즘을 만드는 것보다, 먼저 컴퓨터가 배우는 '교과서 (데이터)'의 오류를 찾아서 고쳐주는 게 더 중요했다"**는 발견입니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "잘못된 교과서를 들고 있는 학생"

컴퓨터가 아랍어 손글씨를 읽는 기술 (HTR) 은 영어 등 라틴 문자에 비해 아직 많이 뒤처져 있습니다. 연구자들은 그동안 "왜 컴퓨터가 못 읽지?"라고 생각하며 컴퓨터의 두뇌 (모델) 를 더 똑똑하게 만드는 데만 집중했습니다.

하지만 이 논문은 **"아니, 컴퓨터가 바보가 아니라, 가르쳐 주는 '교과서'에 오타와 그림이 섞여 있어서 그런 거야!"**라고 지적합니다.

• 비유: imagine 하세요. 어떤 학생이 시험을 보는데, 선생님이 준 문제집에 정답이 틀려 있거나, 문제 지문 자체가 찢겨 있거나, 심지어 다른 과목 (예: 수학) 문제가 섞여 있다면 어떨까요? 학생이 아무리 똑똑해도 성적이 나올 수 없습니다. 아랍어 손글씨 데이터셋도 마찬가지였습니다.

2. 해결책: "CER-HV"라는 새로운 청소 도구

저자들은 이 문제를 해결하기 위해 CER-HV라는 새로운 방법을 개발했습니다. 이 방법은 두 단계로 이루어진 **'인간과 컴퓨터의 팀워크'**입니다.

1 단계: 컴퓨터가 "어? 이거 이상한데?"라고 의심하기

컴퓨터 (CRNN 이라는 모델) 가 먼저 데이터를 공부합니다. 그런데 컴퓨터가 "이건 내가 아무리 봐도 저렇게 읽히지 않는데?"라고 생각할 때, 그 부분을 **높은 점수 (높은 오류율)**를 매겨 의심스러운 리스트에 올립니다.

• 비유: 컴퓨터가 "이 문제는 답이 5 인데, 문제집에는 3 이라고 적혀 있어. 이상하네?"라고 의심하는 단계입니다.

2 단계: 인간이 "맞아, 이건 고쳐야 해"라고 확인하기

컴퓨터가 의심한 리스트 중 가장 점수가 높은 것들만 사람이 직접 눈으로 확인합니다. 사람이 "아, 맞아. 이건 글씨가 잘려 있네 (분할 오류)", "아니, 이건 아랍어가 아니라 영어네 (문자 체계 오류)", "이건 도장 찍힌 거야 (불필요한 내용)"라고 분류하고 고칩니다.

• 비유: 컴퓨터가 "이 문제집 페이지가 찢어졌어요"라고 알려주면, 사람이 가서 그 페이지를 잘라내거나 올바른 페이지로 교체하는 것입니다.

3. 발견된 놀라운 사실들

이 과정을 통해 연구자들은 기존에 사용되던 데이터셋에서 다음과 같은 '교과서 오류'들을 찾아냈습니다.

1. 글씨가 잘려 있거나 여러 줄이 섞인 경우: 한 장의 이미지에 글자가 잘리거나, 두 줄의 글씨가 한 장에 섞여 있는 경우.
2. 글자가 뒤집힌 경우: 책장을 거꾸로 읽어야 하는 경우.
3. 다른 언어가 섞인 경우: 아랍어 데이터인데 영어나 숫자만 적힌 경우.
4. 불필요한 낙서: 글자가 아니라 도장이나 서명 같은 것이 섞여 있는 경우.

이런 오류들이 최대 90% 까지 정확도로 찾아냈으며, 이를 고치니 컴퓨터의 성능이 놀랍게도 1~2% 정도 더 좋아졌습니다. (인공지능 분야에서 1% 는 엄청난 차이입니다.)

4. 결론: "더 좋은 모델보다 더 깨끗한 데이터"

이 연구의 가장 큰 교훈은 다음과 같습니다.

• 기존 생각: "컴퓨터가 못 읽으면 더 복잡한 AI 모델을 만들어야지!"
• 새로운 발견: "아니, 먼저 데이터 (교과서) 를 깨끗하게 청소하면, 간단한 모델로도 이미 최고 수준의 성능을 낼 수 있어!"

연구자들은 아랍어, 페르시아어, 파슈토어, 우르두어 등 다양한 아랍계 문자로 실험을 했으며, 데이터를 청소한 후 기존에 발표된 기록들을 모두 깨뜨리는 새로운 최고 기록 (State-of-the-art) 을 세웠습니다.

요약하자면

이 논문은 **"인공지능을 키울 때는 더 좋은 사육사 (모델) 를 구하는 것보다, 더 깨끗하고 정확한 사료 (데이터) 를 주는 것이 훨씬 중요하다"**는 사실을 증명했습니다.

컴퓨터가 아랍어 손글씨를 완벽하게 읽기 위해서는, 먼저 그 글자들이 적힌 책장들을 하나하나 뒤져서 **오타를 고치고 찢어진 페이지를 붙이는 '청소 작업'**이 필수적이라는 것입니다. 이 작업은 컴퓨터 혼자 할 수 없으니, **컴퓨터가 이상한 걸 찾아내고 사람이 확인하는 '팀워크'**가 가장 효과적이었습니다.

기술 요약

이 논문은 아랍어 계열 문자 (아랍어, 페르시아어, 우르두어, 파슈토어, 아자미 등) 를 위한 손글씨 텍스트 인식 (HTR) 의 성능을 저해하는 핵심 요인이 모델 아키텍처가 아닌 **데이터의 품질 (레이블 노이즈)**임을 규명하고, 이를 해결하기 위한 CER-HV(CER-based Ranking with Human Verification) 프레임워크를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 현재 상황: 아랍어 계열 HTR 은 라틴어 계열에 비해 성능이 뒤처져 있으며, 기존 연구들은 주로 모델 아키텍처 개선에 집중해 왔습니다.
• 근본 원인: 많은 공개 데이터셋에 **레이블 오류 (Label Errors)**가 포함되어 있어 모델 학습과 평가의 신뢰성을 떨어뜨립니다. 이러한 오류는 반자동 데이터 구축 과정에서 발생하며, 전사 오류, 세그멘테이션 문제, 방향 오류, 스크립트 불일치, 비텍스트 요소 포함 등 다양한 형태로 나타납니다.
• 기존 방법의 한계: 기존 노이즈 탐지 방법 (학습 손실 기반) 은 CTC(Connectionist Temporal Classification) 기반의 시퀀스 인식 작업에는 적합하지 않습니다. CTC 손실은 정렬 (alignment) 불확실성과 시퀀스 길이에 영향을 받아 개별 샘플의 레이블 정확도를 직접적으로 반영하지 않기 때문입니다.

2. 제안 방법론: CER-HV 프레임워크

논문은 자동 노이즈 탐지와 **인간 검증 (Human-in-the-Loop, HITL)**을 결합한 2 단계 프레임워크를 제안합니다.

• 1 단계: CER 기반 자동 순위 매기기 (Automated Ranking)

  • 모델: CRNN(Convolutional Recurrent Neural Network) 을 기반으로 한 강력한 베이스라인 모델을 사용합니다.
  • 학습 전략: 과적합을 방지하기 위해 Early Stopping을 적용하여 수렴 시점 (convergence epoch) 에서 모델을 고정합니다.
  • 점수화: CTC 손실이 아닌, 예측 결과와 주어진 레이블 간의 **문자 오류율 (CER, Character Error Rate)**을 계산하여 각 샘플의 점수를 매깁니다. 높은 CER 은 잠재적인 레이블 오류를 의미합니다.
  • 차별점: 기존 O2U-Net 등의 사이클릭 재학습 방식을 제거하고, CTC 기반 시퀀스 작업에 최적화된 단일 수렴 시점 평가를 도입했습니다.

• 2 단계: 인간 검증 (Human Verification)

  • 선별: CER 임계값 (예: 0.25) 을 초과하는 상위 샘플만 인간 검토자에게 할당합니다.
  • 검토 및 분류: 검토자는 샘플을 다음 범주로 분류합니다.
    • 전사 오류 (Transcription Error)
    • 세그멘테이션 오류 (Segmentation Error, 잘리거나 중복된 줄)
    • 방향 오류 (Orientation Error)
    • 스크립트 불일치 (Script Mismatch)
    • 비텍스트 콘텐츠 (Irrelevant Content)
    • 유효하지만 어려운 샘플 (Valid but Hard): 레이블은 맞지만 시각적으로 인식하기 어려운 경우 (이것은 제거하지 않고 유지).
  • 정제: 오류가 있는 샘플은 수정하거나 제거하고, 데이터셋을 재학습하여 최종 모델을 도출합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 체계적 분석: 아랍어 계열 HTR 데이터셋의 레이블 및 콘텐츠 오류를 체계적으로 분석하고, 전사, 세그멘테이션, 방향, 스크립트 불일치, 비텍스트 요소 등 실용적인 오류 분류 체계를 정의했습니다.
2. CER-HV 프레임워크 개발: CTC 기반 시퀀스 인식에 학습 역학 (Learning Dynamics) 기반 노이즈 탐지를 적용한 최초의 프레임워크를 제안했습니다.
3. 성능 왜곡 규명: 기존 벤치마크가 레이블 노이즈로 인해 왜곡되었음을 입증하고, 6 개 아랍어 계열 데이터셋에서 레이블 노이즈가 평가 CER 에 미치는 영향을 정량화했습니다 (최대 1.8% 개선).
4. 강력한 CRNN 베이스라인 확립: 트랜스포머나 합성 데이터 없이도 여러 데이터셋에서 최첨단 (SOTA) 성능을 달성하는 CRNN 베이스라인을 구축했습니다.
5. 새로운 데이터셋 및 벤치마크 제공: 페르시아어 (PHTD) 에 대한 정제된 평가 분할과 라인 레벨 벤치마크를 최초로 공개했습니다.

4. 실험 결과 (Results)

• CRNN 성능: 6 개 데이터셋 중 5 개에서 SOTA 성능을 기록했습니다.
  • KHATT (아랍어): 8.45% CER
  • PHTI (파슈토어): 20.7% → 8.26% CER (대폭 개선)
  • Muharaf (아랍어): 18.1% → 10.11% CER
  • Ajami (아자미어): 64-84% → 10.66% CER
• 노이즈 탐지 정밀도: CER-HV 를 통해 탐지된 오류의 정밀도는 데이터셋에 따라 **70~90%**에 달했습니다 (Muharaf 테스트 세트 90%, PHTI 80-88%).
• 데이터 정제의 효과:
  • 평가 세트 정제: 깨끗한 데이터셋 (KHATT) 은 0.30.6% 개선, 노이즈가 많은 데이터셋 (Muharaf, Ajami) 은 **1.01.8% CER 감소** 효과를 보였습니다.
  • 학습 세트 정제: 노이즈가 많은 데이터셋 (Ajami 등) 의 경우, 정제된 데이터로 재학습 시 추가적인 성능 향상을 확인했습니다.

5. 의의 및 결론 (Significance)

• 데이터 품질의 중요성 강조: 아랍어 계열 HTR 의 성능 격차는 모델 복잡도보다 데이터 품질에 더 크게 기인함을 입증했습니다.
• 실용적인 검증 도구: 대규모 데이터셋이 아닌 수천 개의 라인 단위 데이터셋 특성상, 고 CER 샘플만 선별하여 인간이 검증하는 방식은 비용 효율적이며 실용적입니다.
• 일반화 가능성: 아랍어 계열에 국한되지 않고, 다른 텍스트 인식 (OCR, HTR) 데이터셋의 품질 검증에도 적용 가능한 일반적인 방법론을 제시합니다.
• 향후 방향: 단순 제거가 아닌 오류 유형별 자동 수정 (예: 전사 오류는 페이셜러블링, 방향 오류는 자동 회전 등) 으로 확장할 수 있음을 제시하며, 데이터 품질 관리가 모델 설계만큼 중요함을 강조합니다.

이 논문은 아랍어 계열 손글씨 인식 분야에서 **데이터 정제 (Data Cleaning)**가 모델 성능 향상의 핵심 열쇠임을 보여주며, 신뢰할 수 있는 벤치마킹을 위한 새로운 표준을 제시했습니다.