Character Recognition of Nepali Number Plate

기술 요약: 네팔 번호판의 문자 인식

문제 정의
자동 번호판 인식(ANPR) 시스템은 현대 교통 감시에 필수적인 요소가 되었으나, 지역 특유의 스크립트와 비표준화된 번호판 형식에 적용할 때 상당한 어려움에 직면하고 있다. 네팔의 번호판은 데바나가리(Devanagari) 문자를 사용하며, 레이아웃(1단, 2단 또는 3단), 글꼴 스타일, 크기 및 정렬에서 높은 가변성을 보인다. 표준화된 라틴 문자 기반 번호판과 달리, 네팔의 번호판은 수작업으로 도색되거나 통일된 기준이 부족하여 간격과 문자의 형태에서 불일치가 발생하는 경우가 많다. 이러한 요인들은 고정된 길이의 시퀀스와 균일한 간격을 가정하는 기존의 ANPR 파이프라인을 효과적이지 못하게 만든다. 또한, 라틴어 데이터셋으로 학습된 기존 모델들은 데바나가리 문자의 스크립트 특유의 복잡성과 위치적 의미론을 해결하지 못한다.

방법론
저자들은 네팔 번호판에 특화된 견고한 파이프라인 방식의 ANPR 시스템을 제안한다. 시스템 아키텍처는 세 가지 주요 단계로 통합된다:

1. 번호판 탐지 (License Plate Detection): 사전 학습된 YOLO 모델을 사용하여 차량 이미지 내에서 번호판을 국지화(localize)하며, 이후 처리를 위해 번호판 영역을 잘라내기 위한 경계 상자(bounding box)를 생성한다.
2. 문자 분할 (Character Segmentation): 커스텀 학습된 YOLOv8 모델을 사용하여 잘라낸 번호판 내의 개별 문자를 탐지하고 분할한다. 이 단계는 문자의 간격, 글꼴 스타일 및 배경 노이즈의 변화를 처리하며, 각 문자에 대한 경계 상자를 출력한다.
3. 문자 인식 (Character Recognition): 분할된 문자 영역은 네팔 번호판에서 발견되는 34개의 고유한 데바나가리 문자로 학습된 합성곱 신경망(CNN)을 통해 분류된다. CNN 아키텍처는 분류 정확도와 F1-score를 극대화하기 위해 그리드 서치(grid search)를 통해 최적화되었다.
   • 양각 번호판 처리 (Handling Embossed Plates): 가용 데이터셋 내 양각 번호판의 과소 표현 문제를 해결하기 위해, 저자들은 추가적인 VGG-16 기반 CNN 모델을 학습시켰다. 이 모델은 양각 질감에 대한 일반화 능력을 향고하기 위해 인도와 미국의 번호판 이미지 약 500장을 보충하여 학습되었다.

데이터셋 및 학습
시스템은 Kaggle에서 제공하는 두 가지 공개 데이터셋을 사용하여 학습 및 검증되었다:

• 네팔 차량 번호판 데이터셋 (Nepali Vehicles Number Plate Dataset): 다양한 조명 및 환경 조건 하에서 주석이 달린 번호판 경계 상자를 포함한 약 2,500개의 차량 이미지를 포함한다.
• 네팔 번호판 문자 데이터셋 (Nepali Number Plate Characters Dataset): 34개의 데바나가리 문자에 대해 레이블이 지정된 26,537개의 이미지로 구성된다.
• 데이터 증강 (Augmentation): 일반화 성능을 높이고 클래스 불균형을 해결하기 위해, 저자들은 회전, 스케일링, 노이즈 주입, 밝기 변화 및 투영 변환(perspective transformation)을 포함한 데이터 증강 기법을 적용하였다.

주요 기여

• 스크립트 특화 적응 (Script-Specific Adaptation): 라틴 문자 기반 모델의 한계를 넘어, 네팔 데바나가리 번호판의 구조적 및 언어적 복잡성을 구체적으로 다루는 맞춤형 파이프라인을 개발하였다.
• 하이브리드 탐지 접근 방식 (Hybrid Detection Approach): 번호판 국지화와 문자 분할 모두에 YOLO 기반 모델을 통합하고, 이후 전용 CNN 분류기를 사용하는 모듈식 및 확장 가능한 탐지 파이프라인을 구축하였다.
• 교차 데이터셋 일반화 (Cross-Dataset Generalization): 양각 번호판 인식을 위한 VGG-16 모델 학습에 외국 데이터셋(인도 및 미국)을 활용하는 전략을 통해, 전용 네팔 양각 데이터셋의 부족 문제를 효과적으로 완화하였다.
• 실제 환경 검증 (Real-World Validation): 엔드 투 엔드(end-to-end) 인식 파이프라인을 시연하는 기능적인 웹 인터페이스를 배포하였다.

결과
제안된 시스템은 실제 환경 조건에서 강력한 성능을 입증하였다:

• 전체 정확도: 시스템은 다양한 번호판 이미지에 대해 최대 **93%**의 인식 정확도를 달al성하였다.
• 양각 번호판 인식: 양각 번호판을 위해 보충된 국제 데이터를 사용하여 학습된 모델은 최종적으로 약 93%의 정확도와 88%의 검증 정확도를 기록하였다.
• 성능 지표: 학습 지표는 효과적인 수렴을 나타냈으며, 혼동 행렬(confusion matrix)과 손실 그래프(loss graphs)는 34개 문자 클래스를 구분하는 모델의 능력을 검증하였다.

의의 및 주장
본 논문은 이 연구가 지능형 교통 시스템의 중요한 공백을 메우며 네팔의 교통 관리를 위한 확장 가능하고 견고한 솔루션을 제공한다고 주장한다. 표준화된 번호판 형식이 부족하고 양각 번호판을 위한 현지 데이터가 제한적인 상황에서도 높은 정확도를 달성함으로써, 제안된 파이프라인은 해당 지역의 자동화된 교통 감시를 위한 중요한 진전을 의미한다. 저자들은 이 접근 방식이 네팔 번호판 특유의 가변성을 성공적으로 극복하여 실무 배포를 위한 실용적인 도구를 제공한다고 강조한다.

향후 과제 (Future Scope)
저자들은 향ace 외국 샘플에 대한 의존도를 줄이기 위해 네팔 양각 번호판을 위한 전용 데이터셋을 구축하는 것을 포함하여 몇 가지 개선 분야를 식별하였다. 또한, 비전 트랜스포머(Vision Transformers) 및 어텐션 메커니즘(attention mechanisms)과 같은 고급 아키텍처를 탐구하고, 모델 압축을 통해 에지 디바이스(edge devices)에 최적화하며, 저조도, 모션 블러(motion blur), 폐쇄(occlusion)와 같은 열악한 조건에 대한 강건성을 향상시키는 방안을 제시하였다.