IMTBench: A Multi-Scenario Cross-Modal Collaborative Evaluation Benchmark for In-Image Machine Translation

이 논문은 기존 벤치마크의 한계를 극복하고 실제 복잡성을 반영하며 번역 품질과 시각적 일관성을 종합적으로 평가할 수 있는 새로운 다중 시나리오 크로스-모달 협업 평가 벤치마크인 'IMTBench'를 제안합니다.

핵심

1. 문제 상황: "왜 기존 기술은 실패할까?" (조립식 장난감 vs. 마법사)

기존에 사진 번역을 할 때는 세 단계를 거치는 조립식 로봇처럼 작동했습니다.

1. OCR(글자 읽기): 사진 속 글자를 먼저 찾아서 텍스트로 뽑아냅니다.
2. 번역기: 그 텍스트를 다른 언어로 번역합니다.
3. 렌더링(다시 그리기): 번역된 글자를 사진에 다시 붙입니다.

비유하자면:

"레고 블록을 하나씩 분해해서 (글자 읽기), 다른 색으로 칠하고 (번역), 다시 조립하는 (다시 그리기) 과정입니다.
그런데 문제는 분해하는 과정에서 블록이 깨지거나, 다시 조립할 때 모양이 어색해지거나, 원래 배경 (벽이나 나무) 이 망가질 수 있다는 점입니다. 특히 복잡한 글씨체나 비뚤어진 글자가 있는 사진에서는 이 방식이 잘 안 통합니다."

2. 해결책: IMTBench (새로운 '시험지'와 '채점 기준')

저자들은 이 문제를 해결하기 위해 IMTBench라는 새로운 '시험지'를 만들었습니다. 이 시험지는 기존 것들과는 완전히 다릅니다.

• 실제 상황 반영: 가짜로 만든 단순한 글자 대신, 실제 거리 간판, 웹사이트, 문서, PPT 등 현실에서 마주치는 복잡한 상황 4 가지를 포함했습니다.
• 다국어 테스트: 영어, 중국어, 아랍어 등 9 개 언어로 테스트합니다. (아랍어는 글자가 오른쪽에서 왼쪽으로 흐르고, 중국어는 한자가 복잡해서 더 어렵습니다.)
• 새로운 채점 기준 (4 가지):
  1. 번역 점수: 글자 뜻이 맞나요?
  2. 배경 점수: 글자만 바뀌고 배경 (벽, 나무, 사람) 은 그대로 있나요?
  3. 화질 점수: 번역된 글자가 사진에 자연스럽게 섞였나요? (빛이나 그림자가 어색하지 않은지)
  4. 정합성 점수 (가장 중요): 모델이 말한 "번역된 글자"와 사진에 실제로 찍힌 "글자"가 일치하나요? (예: 모델은 "학교"라고 했지만, 사진에는 "학원"이라고 쓰여 있으면 감점!)

3. 실험 결과: "누가 더 잘할까?" (전문가 팀 vs. 천재 신동)

저자들은 이 시험지를 가지고 두 가지 방식의 AI 를 시험했습니다.

• A 팀 (기존 방식, 조립식): 구글, 바이두, 네이버 등 상용 번역 서비스 (OCR+ 번역+ 편집을 따로 하는 팀).

  • 성적: 배경 유지와 글자 위치를 아주 잘 지키는 꼼꼼한 전문가입니다. 특히 문서나 웹사이트처럼 글자가 정돈된 곳에서는 압도적으로 잘합니다.
  • 단점: 복잡한 배경이나 비뚤어진 글자가 있는 곳에서는 실수를 합니다.

• B 팀 (최신 방식, 올인원 AI): GPT-4o, Qwen 등 하나의 모델이 모든 것을 하는 '유니버설 멀티모달 모델'.

  • 성적: 배경의 자연스러움을 살리는 천재 신동입니다. 복잡한 거리 사진에서도 배경을 망가뜨리지 않고 자연스럽게 글자를 바꿔치기합니다.
  • 단점: 글자 위치를 정확히 잡는 것과 특정 언어 (아랍어 등) 처리에서는 아직 미숙합니다. "학교"라고 번역해야 하는데 "학원"이라고 쓰거나, 글자가 배경에 묻히는 실수를 합니다.

4. 결론: 아직 갈 길이 멀다

이 연구는 **"사진 번역 기술은 이제 막 시작 단계"**라고 말합니다.

• **천재 신동 (최신 AI)**은 그림을 그리는 재능은 뛰어나지만, 글자를 정확히 위치시키는 정밀 작업은 아직 부족합니다.
• **전문가 팀 (기존 방식)**은 글자 위치는 정확하지만, 그림을 자연스럽게 합성하는 능력은 떨어집니다.

마무리 비유:

"지금까지 우리는 **'글자만 바꾸는 기계'**를 만들려고 노력했습니다. 하지만 IMTBench 는 **'사진 속의 모든 것을 자연스럽게 바꾸는 마법'**을 평가하는 기준을 제시했습니다.
앞으로는 이 두 가지 능력 (정확한 글자 위치 + 자연스러운 그림) 을 모두 갖춘 **'완벽한 마법사'**를 찾아야 할 것입니다."

이 논문은 바로 그 '완벽한 마법사'를 찾기 위해 필요한 정확한 시험지를 세상에 내놓은 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

이미지 내 기계 번역 (In-Image Machine Translation, IIMT) 은 이미지 내에 포함된 텍스트를 목표 언어로 번역하면서, 원본의 시각적 맥락, 레이아웃, 그리고 텍스트 렌더링 스타일 (폰트, 색상, 크기, 방향 등) 을 유지하는 것을 목표로 합니다.

기존의 IIMT 연구 및 벤치마크는 다음과 같은 한계를 가지고 있었습니다:

• 비현실적인 데이터: 대부분의 기존 벤치마크 (SegPixel, IIMT30k 등) 가 합성 데이터나 단순화된 레이아웃 (단일 줄, 수평, 단색) 에 의존하여 실제 세계의 복잡성 (다양한 폰트, 복잡한 배경, 비수평 텍스트 등) 을 반영하지 못함.
• 불완전한 평가 프로토콜: 번역 품질 (BLEU, COMET 등) 만을 측정하는 단일 모달리티 지표에 치중하여, 번역된 텍스트가 이미지 내에 렌더링된 결과와 얼마나 일치하는지 (Cross-modal faithfulness) 를 평가하는 지표가 부재함.
• 범위의 제한: 다국어 및 다양한 도메인 (문서, 웹, 자연 장면, 프레젠테이션 등) 에 대한 평가 지원이 부족함.

2. 방법론 (Methodology)

A. IMTBench 데이터셋 구축

저자들은 4 가지 실제 시나리오와 9 개 언어를 아우르는 2,500 개의 고품질 이미지 번역 샘플로 구성된 새로운 벤치마크 IMTBench를 제안했습니다. 데이터는 다음과 같은 3 가지 파이프라인을 통해 구축되었습니다:

1. 문서 및 웹 (Document & Web): SynthDog 및 WebSight 프레임워크를 활용하여 구조화된 레이아웃 (보고서, 폼, 웹페이지) 을 가진 다국어 이미지를 생성.
2. 자연 장면 (Scene): OCR 로 텍스트 영역을 추출한 후, GPT-Image, SeedEdit 등의 이미지 편집 모델을 사용하여 배경, 원근감, 폰트 스타일을 유지하면서 텍스트를 번역 및 교체. (인간 검수 필수)
3. 파워포인트 (PowerPoint): 편집 가능한 프레젠테이션 파일을 다국어 번역 후 LibreOffice 렌더링 엔진을 통해 이미지로 변환.

B. 다면적 평가 프로토콜 (Evaluation Protocols)

IIMT 의 특성을 고려하여 4 가지 상호 보완적인 지표를 도입했습니다:

1. 번역 품질 (Translation Quality): 텍스트 모달리티의 정확성을 평가. COMET 지표를 사용하여 표면적 유사도 (BLEU) 보다 의미적 적절성과 유창성을 측정.
2. 배경 충실도 (Background Faithfulness): 텍스트 영역 외의 배경이 얼마나 잘 보존되었는지 측정. Mask-LPIPS를 사용하여 비텍스트 영역의 지각적 유사도를 계산.
3. 전체 이미지 품질 (Visual Rendering Quality): 조명, 원근감, 글리프 렌더링 오류 등을 평가. MLLM 기반 평가자가 이미지 자연스러움과 아티팩트 심각도를 점수화 (Perceptual Quality, PQ).
4. 크로스-모달 정렬 (Cross-Modal Alignment): 모델이 생성한 번역 텍스트와 이미지 내에 렌더링된 텍스트 간의 의미적 일관성을 평가. MLLM 을 자동 판정자로 사용하여 Alignment Score 산출.

최종 점수는 이 4 가지 지표의 평균으로 계산됩니다.

3. 주요 기여 (Key Contributions)

1. IMTBench 제안: 4 가지 도메인 (문서, 웹, 장면, PPT) 과 9 개 언어를 포괄하는 2,500 개의 실제 세계 인스턴스로 구성된 최초의 종합적인 IIMT 벤치마크.
2. 종합 평가 프로토콜: 번역 품질, 배경 보존, 이미지 품질, 크로스-모달 정렬을 통합한 다면적 평가 체계 제시.
3. 광범위한 벤치마킹: 상용 캐스케이드 시스템 (Tencent, Youdao), 독점 통합 멀티모달 모델 (GPT-Image, Gemini), 오픈소스 UMM(Qwen, Janus-Pro 등) 을 평가하여 현재 기술의 강점과 약점을 규명.

4. 실험 결과 (Results)

A. 모델별 성능 비교

• 상용 캐스케이드 시스템 (Cascaded Systems): OCR, 번역, 렌더링 모듈을 분리한 방식이 문서, 웹, PPT 와 같이 구조화된 레이아웃에서 가장 안정적인 성능을 보임. 특히 **정렬 점수 (Salign)**와 **배경 보존 (Sbg)**에서 압도적으로 우수함.
• 독점 통합 멀티모달 모델 (Proprietary UMMs): GPT-Image, Gemini 등은 자연 장면 (Scene) 에서 시각적 자연스러움 (Svis) 과 전반적인 번역 품질 (Stext) 이 우수함. 하지만 텍스트 영역의 정확한 위치 지정 및 레이아웃 유지 (Salign) 에서 캐스케이드 시스템보다 현저히 낮음.
• 오픈소스 통합 모델 (Open-source UMMs): Qwen-Image, UniWorld 등은 문서/웹에서 의미 이해는 가능하나, 텍스트 편집의 정확도와 정렬 능력이 매우 낮음. 가벼운 아키텍처 (Janus-Pro, Bagel) 는 전반적으로 성능이 미흡함.

B. 시나리오 및 언어별 분석

• 시나리오: 복잡한 배경과 조명 변화가 있는 'Scene'에서는 통합 모델이 유리하지만, 레이아웃이 엄격한 'Document/Web/PPT'에서는 캐스케이드 방식이 우세함.
• 언어: 영어, 중국어, 라틴계 언어는 비교적 잘 지원되나, 아랍어, 러시아어, 일본어 등 저자원 (low-resource) 언어에서는 모든 모델의 성능이 평균보다 낮음. 특히 생성 단계에서 언어별 타이포그래피 구조를 정확하게 렌더링하는 데 어려움이 있음.

5. 의의 및 결론 (Significance & Conclusion)

• 표준화된 벤치마크: IMTBench 는 실제 세계의 복잡성을 반영하여 IIMT 연구의 표준 평가 기준으로 자리 잡을 것으로 기대됨.
• 연구 방향 제시: 현재 통합 멀티모달 모델 (UMM) 은 전체적인 이미지 편집과 스타일 일관성에서 잠재력이 크지만, 정밀한 레이아웃 유지와 저자원 언어 처리에서 여전히 큰 과제가 있음을 보여줌.
• 확장성: 제안된 데이터 구축 파이프라인은 향후 UMM 의 훈련 및 적응을 위한 확장 가능한 다국어 IIMT 데이터 생성을 지원할 수 있음.

결론적으로, 이 논문은 IIMT 분야가 단일 모달리티 평가에서 벗어나 크로스-모달 정렬과 시각적 충실도를 함께 고려한 종합적인 평가 체계가 필요함을 강조하며, 이를 위한 IMTBench 를 통해 향후 연구의 가속화를 도모합니다.