기술 요약: Edges Before Embeddings: 비전-언어 파이프라인을 위한 신뢰도 인식 블러 게이트(Blur Gate)

문제 정의

실제 운영 환경의 비전 파이프라인은 입력 이미지가 판독 가능하다는 암묵적인 가정을 바탕으로 작동하는 경우가 많습니다. 그러나 실제 배포 환경에서는 입력 데이터가 모션 블러(motion blur), 초점 이탈(defocus), 압축 아티팩트(compression artifacts) 또는 저조도 노이즈로 인해 발생하는 문제에 자주 직면합니다. 이러한 열화된 이미지가 OCR 엔진, 검색 시스템 또는 비전-언어 모델(VLM)과 같은 다운스트림 컴포넌트로 유입되면 다음과 같은 구체적인 실패 모드가 발생합니다:

1. 침묵하는 OCR 오염(Silent OCR Corruption): 흐릿한 텍스트가 구문론적으로는 유효하지만 의미론적으로는 쓰레기인 토큰으로 전사되어, 다운스트림 규칙 엔진이 이를 정상적인 텍스트와 구분할 수 없게 만듭니다.
2. 컴퓨팅 자원 낭비: 유효한 출력을 낼 수 없는 프레임에 대해 고가의 VLM 호출이 토큰 예산을 소모하게 됩니다.
3. 비효율적인 큐레이션: 대규모 데이터셋에서 저품질 이미지를 수동으로 필터링하는 것은 불가능하며, 모바일 캡처 시 클라우드 왕복 피드백을 기다리기에는 너무 느립니다.

기존 솔루션들은 불충분합니다: 무거운 복원 네트워크(예: DeburGANs)는 게이팅을 위한 업로드당 연산 비용이 너무 높고, 고전적인 휴리스틱(예: Laplacian variance)은 빠르지만 질감이 있거나 매끄러운 장면에서 실패하는 등 취약합니다. 본 논문은 이미지를 통과시킬지, 거절할지, 혹은 판단을 유보할지 결정하기 위해 상류(upstream)에 위치하는 경량화된 CPU 실행 가능 "게이트"를 제안합니다.

방법론

아키텍처 및 입력

시스템은 3.3M 파라미터를 가진 MobileNetV3-Large 백본을 활용하며, 17MB 크기의 ONNX 아티팩트로 컴파일됩니다. 핵심 혁신은 클래식한 스펙트럼 증거를 네트워크에 직접 주입하는 **에지 프라이어 모듈(Edge Prior Module, EPM)**입니다:

• EPM 메커니즘: RGB 입력을 휘도(luminance)로 변환한 뒤, 고정된 3×3 라플라시안 커널을 적용하고 마그니튜드 맵(magnitude map)을 표준화합니다. 이 단일 채널 "에지 맵"은 RGB 사진의 4번째 입력 채널로 결합됩니다.
• 초기화: 첫 번째 컨볼루션 레이어는 3채널에서 4채널로 확장됩니다. 새로운 채널의 가중치는 안정적인 웜 스타트(warm start)를 보장하기 위해 RGB 필터 평균의 $0.1\times$로 초기화됩니다.
• 근거: 이를 통해 CNN이 raw 픽셀 통계로부터 학습하는 대신, 고전적인 블러 휴리스틱이 의존하는 주파수 영역의 증거에 접근할 수 있도록 합니다.

학습 및 데이터

• 데이터셋: 학습은 선명한 프레임과 합성된 모션 블러 프레임이 쌍으로 제공되는 GoPro Large 데이터셋을 사용하여 수행됩니다. 저자들은 견고함을 높이기 위해 blur_gamma 서브폴더(두 번째 블러 스타일)를 포함했습니다.
• 설정: 최종 레시피는 384×384 해상도를 사용하며, AdamW($lr=10^{-4}$), 코사인 어닐링(cosine annealing), 완만한 컬러 지터(color jitter)를 적용하여 25 에포크 동안 학습되었습니다.
• 탐색 공간: 저자들은 해상도, 증강, 백본 용량 및 앙상블 전략을 변화시키며 46개의 구성(8회의 sweep)에 대해 경험적 탐색을 수행했습니다.

추론 및 라우팅

시스템은 선택적 예측 이론(Chow's rule)에 근거한 **신뢰도 인식 라우팅 형식(confidence-aware routing formalism)**을 채택합니다.

• 다중 스케일 TTA: 추론 시 이미지는 다섯 가지 스케일($\{256, 320, 384, 448, 512\}$ px)로 리사이즈됩니다. 최종 확률 분포를 생성하기 위해 이 스케일들 간의 소프트맥스(softmax) 예측값이 평균화됩니다.
• 결정 로직:
  • 선명함/흐림(Sharp/Blurred): 최대 소프트맥스 확률 $c \ge \tau$ (기본값 $\tau=0.60$)인 경우, 이미지는 해당 클래스로 라우팅됩니다.
  • 불확실(유보/Abstention): $c < \tau$인 경우, 이미지는 더 무거운 폴백(fallback) 모델이나 인간 검토 단계로 라우팅됩니다.
• 지연 시간(Latency): 단일 스케일 추론은 단일 CPU 코어에서 약 7ms에 실행되며, 5-스케일 TTA는 약 35ms가 소요됩니다.

주요 결과

성능 지표

GoPro Large 테스트 분할 세트에서 평가되었습니다:

• 베이스라인 (고정 384px, EPM 없음): F1 = 0.9672 (5-스케일 TTA 적용 시).
• 최종 레시피 (MobileNetV3-Large + EPM + 5-scale TTA): F1 = 0.9803 (AUC 0.9989).
• 개선 사항: EPM 단독으로 매칭된 환경의 베이스라인 대비 F1에서 1.31 포인트의 이득을 가져왔습니다. 다중 스케일 TTA는 단일 스케일 추론 대비 추가로 0.40 포인트를 더했습니다.

탐색을 통한 경험적 발견

• 해상도의 지배력: 입력 해상도가 가장 지배적인 레버입니다. 128 px에서 384 px로 이동했을 때 약 13 F1 포인트가 상승했습니다. 백본 용량(MobileNetV3-Large vs. Small)은 해상도가 384 px 이상일 때만 이득을 주었습니다.
• 부정적 결과:
  • 해상도 무작위화 학습: 학습 중 무작위 해상도를 샘플링하는 것은 성능을 개선하지 못했으며 오히려 TTA 이득을 저하시켰습니다. 이는 EPM 채널의 라플라시안 통계가 해상도에 따라 변하여 모델을 혼란스럽게 만들었기 때문으로 보입니다.
  • 앙상블: 상위 N개 모델의 단순 앙상블은 오류 간의 높은 상관관계로 인해 유의미한 이득을 제공하지 못했습니다.
  • 교정(Calibration): Isotonic regression 및 Temperature scaling은 측정 가능한 F1 이득을 제공하지 않았으며, 원시 최대 소프트맥스(raw max-softmax)만으로도 임계값 설정에 충분했습니다.

의의 및 주장

본 논문은 이 작업을 새로운 백본이나 손실 함수가 아닌, 실제 운영 환경의 비전 시스템을 위한 구조적 레시피로 포지셔닝합니다.

1. 반복되는 디자인 패턴: 저자들은 "저렴한 게이트 + 신뢰도 신호 + 무거운 소비자 모델로의 라우팅" 패턴이 현대 AI 시스템의 기본 아키텍처라고 주장합니다. 이들은 이를 Magika(파일 유형 탐지), Risk-Controlled OCR(VLM 게이팅), DocVLM(토큰 예산 관리)과 연결 지으며, 이것이 효율적인 도구 사용을 위한 근본적인 제어 이론적 형태임을 시사합니다.
2. 실용적 효율성: 이 게이트는 네 가지 핵심적인 생산 요구 사항을 동시에 충족합니다: 저렴함(CPU 실행 가능), 빠름($\sim7$ ms), 이진적(선명함/흐림/불확실), 그리고 유보 가능성. 이는 기존 방법들이 하나 이상의 조건을 충족하지 못하는 것(예: 휴리스틱은 유보 기능이 없고, VLM 판단기는 너무 느리고 비용이 많이 듦)과 달리, 이 네 가지를 모두 만족하는 첫 번째 접근 방식입니다.
3. 정직한 한계점: 저자들은 결과가 GoPro Large 모션 블러 분포와 단일 랜덤 시드에 국한된다는 점을 명시적으로 밝힙니다. 교정 지표(ECE)는 정성적이며, 타 데이터셋(예: 초점 이탈, 문서 블러)에 대한 교차 데이터셋 일반화는 아직 검증되지 않았습니다. 논문은 이러한 점들을 해결된 문제가 아닌, 명시적인 한계 및 향후 과제로 프레임화합니다.

요약하자면, 본 논문은 클래식한 에지 프라이어 입력과 다중 스케일 추론으로 강화된 경량화된 CPU 친화적 게이트가, 무거운 VLM이나 OCR에 자원을 낭비하기 전에 흐릿한 입력을 효과적으로 필터링하여 최소한의 지연 시간으로 높은 정확도(F1 $\approx$ 0.98)를 달성할 수 있음을 입증합니다.