A Robust Deep Learning Framework for Bangla License Plate Recognition Using YOLO and Vision-Language OCR

이 논문은 복잡한 문자 체계와 불규칙한 레이아웃으로 인해 어려움이 많았던 방글라데시 번호판 인식을 위해 YOLOv8 기반의 적응형 훈련 전략과 비전 - 언어 OCR 모델을 결합하여 다양한 환경에서 97.83% 의 높은 정확도로 번호판을 정확하게 인식하는 강건한 딥러닝 프레임워크를 제안합니다.

핵심

이 논문은 방글라데시의 자동차 번호판을 자동으로 읽는 똑똑한 시스템을 개발한 연구입니다. 영어나 라틴 문자는 비교적 쉽지만, 방글라어 (벵골어) 번호판은 글자 모양이 복잡하고 배열도 제각각이라 기존 기술로는 잘 인식하지 못했습니다.

연구팀은 이를 해결하기 위해 **'두 단계로 나누어 생각하는 AI'**를 만들었습니다. 마치 번호판을 읽는 사람이 먼저 "번호판이 어디에 있나?"를 찾고, 그 다음에 "글자를 하나하나 읽어보자"는 순서로 일을 처리하는 것과 비슷합니다.

이 시스템을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드리겠습니다.

---

1. 문제 상황: "어지러운 방에서 보물 찾기"

방글라데시의 도로 위는 마치 어지러운 방과 같습니다.

• 글자: 방글라어는 알파벳처럼 일직선으로 쓰이지 않고, 위아래로 꼬이고 붙어 있는 복잡한 모양 (연결된 글자) 이 많습니다.
• 환경: 비가 오거나, 밤에 불이 어두우면, 혹은 카메라가 비스듬하게 찍으면 번호판이 흐릿해집니다.
• 결과: 기존의 AI 는 이 복잡한 방에서 보물 (번호판) 을 찾기도 힘들고, 찾더라도 글자를 읽는 데 실패하곤 했습니다.

2. 해결책: "탐정 (YOLO) 과 번역가 (OCR) 의 팀워크"

연구팀은 이 문제를 해결하기 위해 두 명의 전문가를 고용했습니다.

1 단계: 탐정 (YOLOv8) - "번호판을 찾아라!"

• 역할: 사진 전체를 훑어보며 "아, 저기에 번호판이 있군!"이라고 **상자 (Bounding Box)**를 그리는 역할입니다.
• 비유: 마치 수사관이 어두운 밤거리에서 범인을 찾아내는 것과 같습니다.
• 혁신적인 전략 (적응형 훈련):
  • 기존 탐정들은 평범한 훈련만 받아서 비가 오거나 어두운 곳에서는 눈이 잘 안 뜨였습니다.
  • 연구팀은 이 탐정에게 두 단계 훈련을 시켰습니다.
    1. 1 단계 (과격한 훈련): 비, 안개, 흔들리는 카메라 등 가장 험한 상황을 시뮬레이션하며 강하게 훈련시켰습니다. (비유: 미친 듯이 훈련하는 스파이)
    2. 2 단계 (세밀한 훈련): 이제 기본기를 다졌으니, 아주 작은 글자나 흐릿한 부분까지 정교하게 다듬는 훈련을 시켰습니다.
  • 결과: 이 훈련을 받은 탐정 (YOLOv8) 은 다른 탐정들보다 **97.8%**의 정확도로 번호판을 찾아냈습니다. 특히 비나 안개가 낀 외부 환경에서도 흔들리지 않는 튼튼한 탐정이 되었습니다.

2 단계: 번역가 (OCR) - "글자를 읽어라!"

• 역할: 탐정이 찾아낸 번호판 이미지에서 글자를 읽어내는 역할입니다.
• 비유: 복잡한 외국어 문서를 보고 전문 번역가가 내용을 읽어내는 것과 같습니다.
• 기술: 연구팀은 **ViT(비전 트랜스포머)**라는 눈이 좋은 카메라와 **BanglaBERT(방글라어 전문 뇌)**라는 번역기를 연결했습니다.
  • ViT: 글자의 모양을 아주 세밀하게 봅니다.
  • BanglaBERT: 방글라어의 복잡한 문법과 글자 연결 규칙을 잘 알고 있습니다.
• 결과: 이 조합은 글자 하나하나를 읽는 정확도 (97% 이상) 에서 가장 뛰어났습니다. 특히 방글라어 번호판에 자주 나오는 숫자 반복 (예: '11-11') 을 자연스럽게 인식하도록 설계했습니다.

3. 왜 이 연구가 중요한가요?

• 실전 검증: 이 시스템은 단순히 좋은 사진으로만 테스트한 게 아닙니다. 낮에 찍은 사진으로 훈련시켰지만, 어두운 톨게이트 CCTV에서 찍은 실제 사진으로도 잘 작동했습니다.
  • 비유: 낮에 운전 연습만 했다가, 밤에 비 오는 길에 운전해도 핸들을 잘 잡는 숙련된 운전자와 같습니다.
• 실용성: 이 기술은 자동 통행료 징수 (톨게이트), 교통 단속, 출입 통제 등에 바로 쓸 수 있습니다. 사람이 일일이 번호를 적지 않아도 AI 가 알아서 처리해 주는 것입니다.

4. 결론

이 논문은 **"복잡한 방글라어 번호판도, 적절한 훈련 (적응형 학습) 과 전문적인 팀 (탐정 + 번역가) 을 구성하면 AI 가 완벽하게 읽을 수 있다"**는 것을 증명했습니다.

비록 아직 완벽한 것은 아니지만 (밤에 찍은 사진이 부족하다는 점 등), 이 시스템은 방글라데시의 교통을 더 안전하고 스마트하게 만드는 중요한 첫걸음이 되었습니다. 마치 어두운 밤길에 비치는 강력한 헤드라이트처럼, 혼란스러운 교통 상황을 명확하게 비추어 줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 자동 번호판 인식 (ALPR) 시스템은 지능형 교통 시스템의 핵심 요소이나, 기존 연구는 주로 라틴 문자 (영어 등) 나 아랍어에 집중되어 있습니다.
• 도전 과제: 방글라데시 (방글라어) 번호판 인식은 다음과 같은 고유한 어려움으로 인해 매우 복잡합니다.
  • 복잡한 문자 구조: 방글라어의 합성 문자 (compound letters) 와 복잡한 자음 - 모음 결합 구조.
  • 불규칙한 레이아웃: 번호판 디자인과 글꼴의 불일치.
  • 환경적 요인: 저조도, 운동 흐림 (motion blur), 가려짐 (occlusion), 다양한 카메라 각도 및 날씨 조건.
• 기존 한계: 기존 딥러닝 기반 솔루션들은 방글라어 특유의 복잡성을 고려하지 않아 일반화 성능이 낮거나, 데이터셋 부족과 적응형 학습 전략의 부재로 인해 실제 환경에서 신뢰성이 떨어집니다.

2. 제안 방법론 (Methodology)

본 논문은 2 단계 (Two-stage) 딥러닝 프레임워크를 제안하며, '번호판 위치 확인 (Localization)'과 '텍스트 인식 (Recognition)'을 분리하여 처리합니다.

가. 1 단계: 번호판 위치 확인 (License Plate Localization)

• 모델 아키텍처 비교: U-Net, YOLOv5m, v7m, v8m, v9m, v11m 등 다양한 객체 감지 아키텍처를 비교 분석한 결과, YOLOv8m이 가장 우수한 성능을 보였습니다.
• 핵심 혁신: 2 단계 적응형 학습 전략 (Two-stage Adaptive Training Strategy)
  • 1 단계 (Feature Learning): 35 에포크 동안 공격적인 데이터 증강 (회전, 이동, 스케일링, 모자이크, 믹스업 등) 과 점진적 레이어 언프리즈 (Progressive Layer Unfreezing) 를 적용하여 모델의 견고성을 확보합니다.
  • 2 단계 (Fine-tuning): 1 단계의 수렴 여부에 따라 동적으로 조정됩니다. 수렴 시에는 완전한 언프리즈와 보수적인 학습을, 미수렴 시에는 경량 언프리즈와 중간 강도의 학습을 수행합니다. 이 단계에서는 HSV(색상) 변형을 강조하여 조명 조건에 대한 적응력을 높이고, 학습률 스케줄링 (Cosine Annealing) 을 적용합니다.
• 목적: 다양한 조명, 각도, 노이즈 조건에서도 높은 IoU(Intersection over Union) 를 달성하여 정확한 바운딩 박스를 생성합니다.

나. 2 단계: 텍스트 인식 (Optical Character Recognition - OCR)

• 접근 방식: 비전 - 언어 (Vision-Language) 기반의 시퀀스 생성 (Sequence Generation) 문제로 정의합니다.
• 모델 아키텍처: Hugging Face Transformers 라이브러리의 VisionEncoderDecoder 프레임워크를 활용합니다.
• 비교 평가 모델:
  1. ViT + BanglaBERT: 비전 트랜스포머 (ViT) 인코더와 방글라어 특화 BERT (BanglaBERT) 디코더 결합.
  2. ViT + mBART: ViT 인코더와 다국어 BART(mBART) 디코더 결합.
  3. TrOCR: 마이크로소프트의 엔드 - 투 - 엔드 OCR 트랜스포머 모델.
• 특수 설정: 방글라 번호판의 숫자 반복 패턴 (예: '১১', '১১-১১') 을 고려하여, 추론 시 no_repeat_ngram_size 를 0 으로 설정하여 불필요한 반복 억제를 방지하고 정확도를 높였습니다.

3. 주요 기여 (Key Contributions)

1. 방글라어 특화 ALPR 프레임워크: 방글라어 번호판의 복잡한 문자 구조와 불규칙한 레이아웃을 해결하기 위해 YOLOv8 기반의 적응형 학습 전략과 ViT+BanglaBERT 기반의 OCR 을 통합한 최초의 체계적인 연구 중 하나입니다.
2. 적응형 학습 전략: 조명, 노이즈, 각도 변화에 강인한 YOLOv8 의 2 단계 학습 전략을 제안하여, 기존 모델들이 겪던 과적합 (Overfitting) 문제를 해결하고 일반화 성능을 극대화했습니다.
3. 광범위한 데이터셋 및 검증: 방글라데시 전역 (64 개 지구) 의 다양한 조건을 포함한 대규모 데이터셋을 구축하고, 별도의 외부 검증 데이터셋 (저조도 톨게이트 CCTV) 을 통해 모델의 실용성을 입증했습니다.
4. 성능 최적화: 방글라어 언어적 특성을 반영한 BanglaBERT 와 비전 모델의 결합이 기존 다국어 모델보다 문자 수준 인식에서 우월함을 증명했습니다.

4. 실험 결과 (Results)

가. 위치 확인 (Localization) 성능

• 내부 테스트셋: 제안된 YOLOv8m + 2 단계 학습 모델이 97.83% 정확도와 91.3% IoU를 기록하여 U-Net 및 다른 YOLO 변형 모델들을 압도적으로 능가했습니다.
• 외부 검증셋 (저조도/실제 환경): 일반 YOLO 모델들은 성능이 급격히 하락했으나 (정확도 50~60% 대), 제안된 모델은 82.9% 정확도와 67.5% IoU를 유지하며 탁월한 견고성 (Robustness) 을 입증했습니다.
• 추론 시간: YOLOv8m 기반 모델은 다른 모델들보다 빠른 추론 속도 (약 76~83ms) 를 보여주어 실시간 적용에 적합합니다.

나. 텍스트 인식 (OCR) 성능

• 최고 성능 모델: ViT + BanglaBERT 조합이 가장 우수한 결과를 보였습니다.
  • 문자 오류율 (CER): 0.1323
  • 단어 오류율 (WER): 0.1068
• 비교: TrOCR 은 유사한 성능을 보였으나, mBART 는 단어 수준의 인식은 좋았으나 (WER 0.0935), 세부 문자 인식 (CER 0.4438) 에서 큰 실패를 겪어 방글라어 특화 모델의 중요성을 강조했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: 제안된 시스템은 저조도, 안개, 다양한 카메라 각도 등 열악한 실제 환경에서도 안정적으로 작동하여, 방글라데시의 자동화된 법 집행, 통행료 징수, 접근 제어 시스템 등에 즉시 배포 가능한 솔루션을 제공합니다.
• 기술적 함의: 비전 - 언어 모델의 결합과 적응형 학습 전략이 비라틴어 (Non-Latin script) 기반의 복잡한 텍스트 인식 문제를 해결하는 데 유효한 패러다임을 제시했습니다.
• 한계 및 향후 과제: 현재 데이터셋의 대부분이 주간 촬영이므로 저조도 데이터의 다양성 확보가 필요하며, U-Net 과 같은 분할 모델의 잠재력을 끌어내기 위해 회전된 바운딩 박스 (Rotated Bounding Box) 주석 데이터가 필요하다고 지적했습니다. 또한, 실시간 비디오 스트리밍 처리를 위한 계산 부하 최적화가 향후 연구 과제로 남았습니다.

이 논문은 방글라어 번호판 인식 분야에서 기존 기술의 한계를 극복하고, 높은 정확도와 견고성을 갖춘 새로운 딥러닝 기준을 제시했다는 점에서 의의가 큽니다.