달리는 자동차의 표지판을 읽으려고 노력한다고 상상해 보세요. 당신은 번화한 길 모퉁이에 서 있습니다. 자동차가 밝은 햇살 아래 당신을 향해 똑바로 달려오고 있다면 쉽습니다. 하지만 만약 자동차가 시속 60마일로 질주하고 있고, 비가 쏟ำ처럼 쏟아지며, 가로등은 깜빡거리고, 카메라 각도까지 이상하게 기울어져 있다면 어떨까요? 이것은 컴퓨터가 번호판을 읽으려 할 때 마주하는 악몽 같은 시나리오입니다. 이 과학 분야를 자동 번호판 인식(ALPR)이라고 부르며, 이는 스마트 교통 신호등, 자동 통행료 징수 시스템, 주차장의 두뇌 역할을 합니다. 작동을 위해 컴퓨터는 세 가지 까다로운 일을 수행해야 합니다. 첫째, 수많은 픽셀의 바다 속에서 자동차를 찾아내야 하고, 둘째, 자동차가 영상 속을 이동할 때 어떤 차인지 식별해야 하며, 셋째, 번호판이 흐릿하거나, 기울어졌거나, 빗물에 씻겨 나간 상태에서도 글자와 숫자를 읽어내야 합니다. 대부분의 이러한 시스템은 이를 빠르게 수행하기 위해 거대한 GPU와 같은 매우 비싸고 강력한 컴퓨터를 필요로 하며, 이로 인해 많은 일반적인 도시들이 도입하기에는 비용이 너무 많이 듭니다.

이 연구 논문은 매우 구체적인 문제를 다룹니다. 바로 베트남 교통의 무질서하고 혼란스러운 현실에서도 작동하면서, 슈퍼컴퓨터 대신 표준적이고 저렴한 컴퓨터 프로세서(CPU)에서 실행되는 번호판 판독기를 구축하는 방법입니다. 저자인 응이아 응우옌(Nghia Nguyen)은 AI가 완벽한 실험실 조건에서는 뛰어나지만, 폭우, 짙은 안개, 낮은 조도, 또는 베트남 특유의 일자형 오토바이 번호판과 이자형 자동차 번호판의 혼합된 상황에 직면했을 때 종종 실패한다는 점에 주목했습니다. 이 논문은 영리한 다단계 탐정처럼 작동하는 새로운 '도구 모음(toolkit)'을 제시합니다. 하나의 강력하고 비싼 두뇌에 의존하는 대신, 이 시스템은 협력하는 다섯 명의 작고 특화된 조력자를 사용합니다. 자동차를 포착하는 빠른 탐지기, 자동차를 추적하는 트래커, 기울어진 각도를 바로잡는 빠른 '교정기', 비와 안개를 제거하기 위한 일련의 이미지 필터, 그리고 최종 판독이 정확한지 확인하는 투표 시스템을 사용합니다. 그 결과, 이 시스템은 일반 노트북에서 실시간(초당 35프레임 이상)으로 작동하며, 날씨가 최악인 상황에서도 높은 정확도를 달행합니다.

5단계 탐정 팀

이 ALPR 시스템을 단일 로봇이 아니라, 뜨거운 감자를 줄에 따라 전달하는 5인 팀이라고 생각하십시오. 각 팀원은 최종 답변이 완벽하도록 특정 임무를 수행합니다.

1. 스포터 (YOLOv8n)
첫 번째 팀원은 '스포터(Spotter)'입니다. 군중을 살피는 보안 요원을 상상해 보세요. 그들의 임무는 "차가 보인다!"라고 외치며 정확한 위치를 가리키는 것입니다. 이 논문은 12,500장의 방대한 사진첩으로 훈련된 매우 빠르고 가벼운 경비원과 같은 YOLOv8n 모델을 사용합니다. 이 사진들은 단순히 맑은 날뿐만 아니라 폭우, 짙은 안개, 어두운 밤을 포함하고 있었습니다. 스포터는 이러한 열악한 조건에서 연습했기 때문에, 좋은 날씨에는 94.8%의 정확도로 번호판을 찾을 수 있으며, 날씨가 재앙 수준일 때도 86.8%의 정확도를 유지하며 버틸 수 있습니다.

2. 트래커 (ByteTrack)
스포터가 자동차를 찾으면 '트래커(Tracker)'가 업무를 인계받습니다. 자동차가 지나가는 것을 보고 있으면, 나무 뒤로 잠시 사라질 수도 있습니다. 단순한 카메라는 추적을 놓치고 자동차가 다시 나타났을 때 새로운 차라고 생각할 수 있습니다. ByteTrack이라는 방법을 사용하는 트래커는 마치 붐비는 쇼핑몰에서 당신을 절대 놓치지 않는 친구와 같습니다. 이는 이미지가 흐릿하거나 자동차가 잠시 가려지더라도 영상 프레임을 통해 자동차의 정체성을 추적합니다. 이를 통해 시스템은 전체 시간 동안 동일한 자동차를 보고 있다는 것을 알 수 있습니다.

3. 스트레이트너 (Projection-Profile Deskew)
여기서 논문은 정말 영리해집니다. 베트남에서는 카메라가 종종 기둥에 급격한 각도로 설치되어 번호판이 기울어진 액자처럼 보이게 만듭니다. 전통적인 방식은 번호판의 네 모서리를 찾아 똑바르게 만들려고 하지만, 번호판이 더럽거나 흐릿하면 컴퓨터가 모서리를 찾지 못해 방식이 실패합니다.
이 논문의 '스트레이트너(Straightener)'는 **프로젝션 프로파일 데스큐(Projection-Profile Deskew)**라는 다른 기술을 사용합니다. 기울어진 책장을 본다고 상상해 보세요. 모든 책의 모서리를 측정하려 하는 대신, 책이 벽에 드리운 그림자를 보는 것입니다. 책이 완벽하게 똑바르면 그림자는 뚜렷하고 날카롭습니다. 컴퓨터도 번호판의 글자에 대해 똑같은 일을 합니다. 텍text 라인의 '그림자'가 최대한 뚜렷해질 때까지 이미지를 약간 회전시킵니다. 이 과정은 매우 빠르게 진행되며—단 2.1밀리초밖에 걸리지 않습니다—모서리가 없거나 번호판이 더러운 경우에도 작동합니다. 이 방식은 기존 방법보다 기울어진 번호판을 읽는 능력을 45퍼센트 포인트 이상 향ksam상시켰습니다.

4. 클리너 및 리더 (Image Enhancement & ONNX OCR)
번호판이 똑바르게 되었더라도 여전히 비나 안개에 덮여 있을 수 있습니다. '클리너(Cleaner)'는 이미지를 선명하게 하고, 노이즈를 제거하며, 조명을 수정하여 글자가 도드라지게 만드는 일련의 필터를 사용합니다. 그 다음 '리더(Reader)'가 투입됩니다. 보통 컴퓨터에서 텍스트를 읽는 것은 느리고 무거운 장비를 필요로 합니다. 이 팀은 속도에 최적화된 특별하고 가벼운 리더(ONNX Runtime)를 사용하여 약 12.5밀리초 만에 번호판을 읽을 수 있습니다. 이는 일반적인 컴퓨터에서 실행되는 다른 도구들보다 약 32배 빠른 속도입니다. 매우 빨라서 슈퍼컴퓨터 없이도 거의 즉각적으로 번호판을 읽을 수 있습니다.

5. 배심원 (Majority Voting Consensus)
마지막으로, 시스템은 단순히 얻은 첫 번째 판독 결과를 신뢰하지 않습니다. 한 사람은 "번호판이 ABC-123이다"라고 말하고 다른 사람은 "ABC-124이다"라고 말하는 배심원단을 상상해 보세요. 실수를 피하기 위해 이 시스템은 기다립니다. 자동차를 몇 초 동안 관찰하고 투표를 실시합니다. 결과가 최소 세 번 연속으로 동일하게 나타날 때만 번호판 번호를 기록합니다. 이 '다수결 투표(Majority Voting)'는 카메라가 한두 번 오류를 일으키더라도 시스템이 가짜 티켓을 기록하지 않도록 보장합니다. 논문에 따르면 이 방법은 테스트 중에 로그 기록의 정밀도 100%(즉, 잘못된 양성 반응이나 중복 항목을 기록하지 않음)를 달성하여 오류 기록을 효과적으로 제거했습니다. 다만, 글자 자체의 전체 인식 정확도는 어려운 조건에서 약간 낮게 유지됩니다.

결과: 빠르고, 저렴하며, 강인함

이 논문은 고성능 서버실이 아닌 일반 사무용 노트북에서 볼 수 있는 하드웨어인 Intel i5 프로세서와 8GB RAM을 갖춘 표준 컴퓨터에서 이 전체 팀을 테스트했습니다. 결과는 인상적이었습니다.

• 속도: 시스템은 초당 35프레임 이상의 속도로 영상을 처리합니다. 이는 CPU에서 실행됨에도 불구하고 지연 없이 실시간 교통 흐름을 따라갈 수 있음을 의미합니다.
• 정확도: 완벽한 조명 조건에서 시스템은 93.8%의 확률로 번호판을 정확히 식별했습니다. 최악의 조건(폭우, 안개 또는 낮은 조도)에서도 85.1%의 정확도를 유지했습니다.
• 비교: 다른 시스템들과 비교했을 때 이 접근 방식은 훨씬 빠릅니다. 예를 들어, EasyOCR과 같은 기존 방식은 CPU에서 초당 5프레임 미만으로 실행되지만, 이 시스템은 35프레임 이상으로 질주합니다. 높은 정확도를 가진 다른 시스템들은 종-종 작동을 위해 값비싼 그래픽 카드(GPU)를 필요로 하는 반면, 이 시스템은 전적으로 CPU에서 작동합니다.

저자는 스마트 교통 시스템을 구축하기 위해 반드시 비싼 서버급 GPU가 필요하다는 생각을 명시적으로 부정했습니다. 적절한 알고리즘 조합과 세심한 데이터 훈련이 있다면 일반 컴퓨터로도 충분히 그 역할을 수행할 수 있음을 보여주었습니다. 또한 시스템이 견고하지만 한계도 있다고 언급했습니다. 만약 자동차가 25도 이상 기울어져 있거나 빛이 전혀 없는 칠흑 같은 어둠 속이라면 정확도가 떨어집니다. 그러나 베트남의 대다수 실제 상황에서 이 '5인 팀'은 교통 흐름을 원활하게 유지하기 위한 강력하고 저렴하며 빠른 솔루션을 제공합니다.