HAT Super-Resolution and a PARSeq+CLIP4STR Voting Ensemble for Extreme In-the-Wild License Plate Recognition

기술 요약: 극한의 야외 환경 번호판 인식을 위한 HAT 초해상도 및 PARSeq+CLIP4STR 투표 앙상블

문제 정의
본 연구는 ICIP 2026 그랜드 챌린지인 극한의 야외 환경 번호판 초해상도(XLPSR) 문제를 다룬다. 이 과제는 너비가 12픽셀만큼 좁아지거나 모션 블러, JPEG 압축, 열악한 조명, 가려짐 등 극심한 저하를 겪는 비디오 시퀀스 내 프랑스 번호판의 텍스트를 예측하는 것을 목표로 한다. 평가 지표는 문자별 점수 산정 규칙(+2 정답, -1 오답, 0 기권)을 사용한다. 이러한 비대칭적 점수 체계는 낮은 신뢰도 영역에서 추측할 경우 "음의 기대값" 시나리오를 생성하며, 이는 올바른 추측의 확률이 이득을 얻기 위해 1/3을 초과해야 함을 의미한다. 챌린지는 시퀀스당 10개의 프레임을 제공하며, 따라서 시스템은 서브픽셀 수준의 문자 획으로부터 가독성을 회복할 수 있어야 한다.

방법론
제안된 파이프라인은 단순한 처리량보다 이미지 가독성 회복을 우선시하며, 이미지를 인식 가능하게 만드는 것을 관문으로 삼는 인식 작업을 수행한다. 시스템은 네 가지 별도의 단계로 작동한다:

1. 다중 프레임 융합 (Multi-Frame Fusion):

   • 10개의 입력 프레임으로부터 라플라시안 분산(Laplacian variance)을 통해 가장 선명한 참조 프레임을 식별하여 순위를 매긴다.
   • 나머지 프레임들은 아핀 모션 모델(affine motion model) 하에서 향상된 상관 계수(ECC) 알고리즘을 사용하여 이 참조 프레임에 정렬된다. ECC는 저대조 조건에 대한 강건함과 정답 흐름(ground-truth flow) 감독의 불필요성 때문에 선택되었다.
   • 정렬된 프레임들은 픽셀 단위로 평균화되어 융합된 크롭(fused crop)을 생성한다.
   • 파이프라인은 프로세싱을 위해 6개의 뷰를 유지한다: 가장 선명한 참조 프레임, 시간 순서대로 최대 4개의 추가 정렬된 크롭, 그리고 융합된 크롭이다.

2. 초해상도 (Super-Resolution, SR):

   • 6개의 뷰 각각은 HAT (Hybrid Attention Transformer), 구체적으로 Real-HAT-GAN-SRx4 변형을 사용하여 4배 업스케일링된다.
   • 이 모델은 임베딩 차원 180, 윈도우 크기 16, PixelShuffle 업샘플러를 갖춘 6개의 RHAG 블록을 활용한다.
   • 저자들은 추가적인 미세 조정 없이 공개 가중치를 사용하며, 60초의 시퀀스당 예산 덕분에 더 가벼운 실시간 변형의 속도보다 가독성을 우선시할 수 있음을 언급한다.

3. 앙상블 인식 (Ensemble Recognition):

   • 초해상도가 적용된 뷰와 원본 해상도의 참조 프레임은 두 가지 서로 다른 장면 텍스트 인식기에 전달된다:
     • PARSeq-S v2: 32×128 입력을 처리하는 순열 자기회귀 디코더를 갖춘 23.8M 파라미터 규모의 ViT-Small이다.
     • CLIP4STR-B: CLIP-ViT-B/16 백본과 교차 모달 디코더를 사용하는 158M 파라미터 모델로, 224×224 입력을 처리한다.
   • 두 모델 모두 합성 프랑스 번호판 데이터(OpenCV와 FE-Schrift 폰트를 사용하여 BSRGAN 스타일의 저하를 적용해 생성됨)와 XLPSR 개발 세트로 미세 조정되었다.
   • 이 앙상블은 백본 아키텍처, 입력 해상도, 그리고 사전 학습 코퍼스(ImageNet-1K 대 CLIP의 4억 개 이미지-텍스트 쌍) 측면에서의 다양성을 제공한다.

4. 기권을 포함한 신뢰도 가중 투표 (Confidence-Weighted Voting with Abstention):

   • 예측값은 최빈 문자열 길이를 유지하도록 필터링된다 (프랑스 SIV 형식인 7글자 선호).
   • 각 문자 위치에 대해, 소프트맥스(soft-max) 신뢰도는 유지된 모든 튜플에 걸쳐 집계된다. 투표 체계는 결정론적 실험(ablation)을 통해 결정된 대로 PARSeq에 두 배, CLIP4STR에 한 배의 가중치(2:1 비율)를 부여한다.
   • 기권 메커니즘: 승리한 클래스의 소프트맥스 질량이 임계값 $\tau = 0.33$ 미만인 경우, 시스템은 기권한다 (_ 출력). 이 임계값은 +2/−1/0 점수 구조의 손익분기점($P(correct) = 1/3$)과 일치한다.
   • 후처리 단계에서는 SIV 형식 수정(I→J, O→D, U→V 매핑)을 적용하지만, 올바른 에지 케이스 예측을 걸러내는 것으로 나타났기 때문에 투표 단계 중에는 엄격한 형식 제약을 적용하지 않는다.

주요 결과
시스템은 퍼블릭 검증 리더보드에서 9.73 wECR을 달성했다. 실험(Table I)은 성능에 대한 다음과 같은 기여를 강조한다:

• 초해상도의 지배력: SR 단계는 SR이 없는 베이스라인에 비해 가장 큰 성능 향상(+2.00 wECR)을 기여했다. 극단적인 스케일(번호판 너비 12–20 px)에서 문자는 단 2–3 픽셀만을 차지하는데, HAT는 이러한 획들을 일반적인 OCR 백본이 실패하는 서브픽셀 임계값 위로 끌어올린다.
• 앙상블의 다양성: PARSeq과 CLIP4STR를 결합함으로써 PARSeq 단독 대비 +0.31 wECR을 추가했다. 그러나 다른 디코더 패밀리(CTC 기반 SVTRv2)를 가진 세 번째 모델을 추가했을 때는 성능이 저하되었는데, 이는 상관된 정확도를 높이지 않은 채 불일치(disagreement)만 늘리는 것이 투표 노이즈를 유발함을 시사한다.
• 기전 전략: $\tau=0.33$ 기만을 사용하는 신뢰도 가중 투표는 잘못된 추측(-1)을 중립적인 기권(0)으로 전환함으로써 점수를 +0.11 wECR 개선했다.
• 효율성: 전체 파이프라인은 RTX 3090에서 시퀀스당 약 1.7초가 소요되며(p99 레이턴시 2.4초), 이는 60초 제한 내에 충분히 들어온다.

의의 및 주장
본 논문은 극한 규모의 번호판 인식에 있어 결정적인 제약 요소는 디코더의 용량이 아니라 가독성 회복이라고 주장한다. 저자들은 정교하게 설계된 초해상도 프런트엔드와 적절한 앙상블 다양성, 그리고 비대칭 점수 규칙에 맞춰 조정된 기만 전략을 결합하면, 독점 모델이나 외부 데이터 없이도 높은 성능을 달 수 있음을 입증한다. 본 연구는 더 큰 모델이나 복잡한 디코더 패밀리가 서브픽셀 인식 문제의 주요 해결책이라는 관점을 명시적으로 거부하며, 대신 인식이 일어나기 전 이미지 품질을 인식 가능한 임계치까지 끌어올리는 것의 필요성을 강조한다.