[기술 요약] Vectra: 이커머스 이미지 내 기계 번역(IIMT)을 위한 시각적 품질 평가 프레임워크

1. 문제 정의 (Problem Statement)

이커머스 분야에서 **이미지 내 기계 번역(In-Image Machine Translation, IIMT)**은 단순한 텍스트 번역을 넘어, 원본 이미지의 레이아웃, 폰트 스타일, 배경(Scene)의 일관성을 유지하며 텍스트를 재렌더링해야 하는 고난도 작업입니다. 기존의 평가 방식은 다음과 같은 한계가 있습니다.

• 기존 지표(SSIM, FID 등)의 한계: 참조 이미지(Reference)가 필요한 경우가 많고, 이커머스 특유의 복잡한 맥락(Context)을 반영하지 못하며, 왜 품질이 낮은지에 대한 설명력(Explainability)이 부족합니다.
• LLM/MLLM 기반 평가의 한계: GPT-4o와 같은 최신 모델들도 이커머스 도메인에 특화된 미세한 시각적 결함(폰트 스타일 불일치, 배경 왜곡 등)을 잡아내는 능력이 떨어지며, 도메인에 최적화된 보상 신호(Reward signal)를 제공하지 못합니다.

2. 핵심 방법론 (Methodology)

본 논문은 Vectra라는 이름의 참조 없는(Reference-free) MLLM 기반 시각적 품질 평가 프레임워크를 제안하며, 세 가지 핵심 요소로 구성됩니다.

① Vectra Score (다차원 품질 지표 시스템)

시각적 품질을 단순히 하나의 점수로 내는 것이 아니라, 14개의 해석 가능한 차원으로 세분화하여 평가합니다.

• 텍스트 품질 (8개 차원): 크기, 색상, 위치, 폰트 스타일, 레이아웃, 픽셀 선명도, 환각(Hallucination), 누락(Omission).
• 장면 품질 (6개 차원): 크기, 색상, 요소 위치, 픽셀 선명도, 환각, 누락.
• DAR (Defect Area Ratio): 결함이 발생한 영역의 비율을 정량화하여 결함의 심각도를 측정합니다.
• 곱셈 방식의 통합 점수: 정확성(Accuracy) 관련 차원(환각, 누락)은 스타일(Style) 차원이 아무리 좋아도 점수를 급격히 낮추도록 설계되었습니다(비보상적 관계 모델링).

② Vectra Dataset (데이터셋 구축)

• 데이터 수집: 110만 개의 실제 이커머스 제품 이미지에서 다양성을 고려한 샘플링을 통해 구축되었습니다.
• 구성: 벤치마크용 2K 이미지, 모델 학습용 30K의 추론 기반 주석(Instruction tuning), 전문가가 라벨링한 3.5K의 선호도 데이터로 구성됩니다.
• 데이터 균형화(Distribution Balancing): 특정 결함 유형이 부족한 문제를 해결하기 위해, 결함이 없는 이미지에 의도적으로 결함을 주입(Fault Injection)하여 데이터 분포를 맞추는 알고리즘을 적용했습니다.

③ Vectra Model (평가 모델)

• 모델 구조: 4B 파라미터 규모의 Qwen3-VL-4B-Instruct를 기반으로 합니다.
• 학습 단계:
  1. SFT (Supervised Fine-Tuning): 구조화된 XML 형식을 사용하여 점수와 함께 구체적인 진단 근거(Reasoning)를 생성하도록 학습합니다.
  2. RL (Preference Alignment): GSPO(Group Sequence Policy Optimization) 알고리즘을 사용하여 전문가의 선호도와 모델의 판단을 일치시킵니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

주요 기여

• 최초의 프레임워크: 이커머스 IIMT를 위해 설계된 최초의 참조 없는, MLLM 기반 시각적 품질 평가 프레임워크를 구축했습니다.
• 해석 가능한 진단: 단순 점수 제공을 넘어, 어떤 차원에서 어떤 결함이 발생했는지 상세한 진단 보고서를 생성합니다.
• 고성능 소형 모델: 4B 규모의 작은 모델임에도 불구하고 훨씬 거대한 모델들을 능가하는 성능을 입증했습니다.

실험 결과

• 인간과의 상관관계: Vectra 모델은 인간의 순위와 매우 높은 상관관계(Pearson $r = 0.895$, Kendall $\tau = 0.724$)를 보였습니다.
• SOTA 달성: 기존의 다양한 지표(SSIM, FID, LPIPS 등) 및 최신 MLLM(GPT-5, Gemini-3 시리즈 등)과 비교했을 때, 점수 산출 성능에서 가장 우수한 성능을 기록했습니다.
• 일반화 능력: 이커머스 데이터뿐만 아니라 문서(Document), 포스터(Poster), 일반 장면(Scene) 등 도메인 외(OOD) 데이터에서도 강력한 성능을 유지했습니다.

4. 연구의 의의 (Significance)

본 연구는 이커머스 글로벌 비즈니스에서 필수적인 이미지 번역의 품질 관리 자동화를 가능하게 합니다.

1. 산업적 가치: 번역 시스템의 결함을 정밀하게 진단하여 모델을 개선할 수 있는 강력한 **보상 신호(Reward signal)**를 제공합니다.
2. 기술적 가치: 거대 모델(LLM)이 놓치기 쉬운 '지각 중심적(Perception-heavy)' 과업에서 전문화된 소형 모델이 어떻게 더 효율적이고 정확하게 작동할 수 있는지를 보여주었습니다.
3. 사회적 가치: 언어 장벽을 넘는 이커머스 환경에서 제품 정보의 시각적 정확성을 보장함으로써 소비자 보호와 정보 접근성을 향상시킵니다.