기술 요약: 이미지 내 텍스트에 대한 기계 번역 시스템 비교 평가

문제 정의

본 논문은 컴퓨터 비전 (CV) 과 자연어 처리 (NLP) 가 교차하는 지점에 위치한 텍스트 - 이미지 기계 번역 (TIMT) 작업을 다룹니다. 핵심 과제는 이미지 내에 포함된 텍스트를 목표 언어로 번역하는 것입니다. 기존 기계 번역 (MT) 이 순수 텍스트를 처리하는 반면, TIMT 는 번역에 앞서 복잡한 배경, 왜곡, 다양한 조명 조건을 가진 자연 장면과 같은 시각적 데이터에서 텍스트를 먼저 찾아내고 추출해야 합니다. 저자들은 이 문제를 해결하기 위한 다양한 아키텍처 패러다임, 즉 모듈형 파이프라인, 멀티모달 대규모 언어 모델 (MLLM), 그리고 엔드 - 투 - 엔드 이미지 - 투 - 이미지 모델을 평가하고 비교하고자 합니다.

방법론

데이터셋

실험에는 Lan 등 (2024) 이 소개한 합성 다국어 데이터셋을 사용하였으며, 이는 이미지 내 기계 번역 (IIMT) 을 위해 특별히 설계되었습니다. 이 데이터셋은 IWSLT14(독일어 - 영어) 와 IWSLT17(프랑스어 - 영어, 루마니아어 - 영어) 의 병렬 텍스트를 렌더링하여 생성된 512×512 크기의 이미지로 구성됩니다. 텍스트는 Arial 폰트를 사용하여 위치, 회전, 배경색에 무작위 변형을 가해 가독성을 유지하면서 중간 정도의 시각적 노이즈를 도입했습니다. 데이터셋은 De–En, Fr–En, Ro–En 및 그 역방향 네 가지 언어 쌍에 걸쳐 학습, 검증, 테스트 세트로 분할되었습니다.

평가된 아키텍처 패러다임

본 연구는 세 가지 다른 접근 방식을 비교합니다:

1. 모듈형 파이프라인:

   • OCR 단계: 텍스트 추출은 docTR을 사용했습니다 (예비 테스트를 기반으로 EasyOCR 대신 선택됨). 파이프라인은 탐지를 위해 Faster Arbitrarily-Shaped Text Detector(FAST) 를, 인식을 위해 RNN 과 VGG16-BN 백본을 사용합니다.
   • 번역 단계: 추출된 텍스트는 다양한 번역 모델에 입력됩니다:
     • 전통적 NMT: M2M100-1.2B.
     • LLM: Llama 계열 (3.2-1B, 3.2-3B, 3.1-8B) 과 EuroLLM(1.7B, 9B) 의 지시 튜닝 모델들입니다. 이러한 모델들은 깨끗한 번역 전용 출력을 보장하기 위해 JSON 형식이나 직접 명령어와 같은 특정 프롬프트 전략이 필요합니다.

2. 멀티모달 대규모 언어 모델 (MLLM):

   • Gemini-2.5의 세 가지 구성 (flash-lite, flash, pro) 을 평가했습니다. 이러한 모델은 별도의 OCR 단계 없이 단일 단계에서 원본 이미지와 텍스트 프롬프트를 함께 처리하여 OCR 과 번역을 동시에 수행합니다.

3. 엔드 - 투 - 엔드 모델:

   • Translatotron-V: 번역된 이미지를 직접 생성하는 이미지 - 투 - 이미지 모델입니다. 이 모델의 결과는 저자들과의 비공개 소통을 통해 얻었으며, 공개된 체크포인트가 부재하여 특정 언어 쌍으로만 제한되었습니다.

평가 프레임워크

성능은 표준 지표를 사용하여 측정했습니다:

• OCR 품질: 문자 오류율 (CER) 과 단어 오류율 (WER).
• 번역 품질: BLEU, chrF, 그리고 번역 오류율 (TER).
• 통계적 유의성: 시스템 간 유의미한 차이를 판단하기 위해 10,000 회 반복을 사용한 근사 무작위화 테스트 (ART) 를 사용했습니다.

주요 결과

OCR 성능

예비 평가에서 docTR은 모든 언어 쌍에서 EasyOCR 을 크게 능가하여 단어 오류율을 최대 13.9 퍼센트 포인트, 문자 오류율을 최대 12.5 포인트 감소시켰습니다. 따라서 docTR 은 이후 모든 모듈형 파이프라인 실험에 사용되었습니다.

번역 성능

결과는 모든 언어 쌍 (De–En, En–De, Fr–En, En–Fr) 에서 일관된 성능 계층을 보여줍니다:

1. MLLM(Gemini-2.5): 멀티모달 모델이 전체적으로 최고의 성능을 달성했습니다. 구체적으로 Gemini-2.5-pro는 모든 방향에서 일관되게 가장 높은 BLEU 와 chrF 점수, 그리고 가장 낮은 TER 점수를 기록했습니다. 이는 시각적 및 언어적 처리의 결합이 우수함을 보여줍니다.
2. 모듈형 파이프라인 (LLM): 대규모 LLM, 특히 EuroLLM-9B와 Llama-3.1-8B는 기존 NMT 베이스라인 (M2M100) 과 소형 LLM 보다 훨씬 뛰어난 성능을 보였습니다. EuroLLM-9B 를 사용한 모듈형 파이프라인은 특정 지표에서 MLLM 의 성능에 근접하거나 이를 능가하기도 했으나, 전반적으로는 최상위 Gemini 구성보다는 뒤처지는 경향이 있었습니다.
3. 전통적 NMT: M2M100-1.2B 는 신뢰할 수 있는 베이스라인 역할을 했으나, 일반적으로 대형 LLM 과 MLLM 에 비해 성능이 낮았습니다.
4. 엔드 - 투 - 엔드 (Translatotron-V): 이 접근 방식은 모듈형 및 멀티모달 접근 방식보다 현저히 낮은 성능을 보였습니다. 영어 - 독일어 방향에서 BLEU 점수는 약 17.9 였으며, 이는 Gemini-2.5-pro 의 약 35.6 과 비교됩니다. 프랑스어 - 영어 방향에서는 NMT 베이스라인 (BLEU 약 34.2) 보다 좋았으나, 여전히 LLM 과 MLLM 에 뒤처졌습니다.

중요성과 주장

본 논문은 멀티모달 추론이 이미지 내 텍스트 번역에 매우 효과적이라고 주장합니다. 주요 발견 사항은 다음과 같습니다:

• MLLM 의 우위: Gemini-2.5 와 같은 멀티모달 모델은 시각적 및 텍스트 정보를 함께 처리함으로써 최고의 번역 품질을 달성하며, 뛰어난 유연성과 문맥 이해력을 보여줍니다.
• 모듈형 파이프라인의 경쟁력: MLLM 이 앞서 있지만, 최첨단 OCR(docTR) 과 대형 전문 LLM(예: EuroLLM) 을 결합한 모듈형 파이프라인은 엔드 - 투 - 엔드 이미지 - 투 - 이미지 모델을 능가하는 매우 경쟁력 있는 대안을 제공합니다.
• 엔드 - 투 - 엔드 접근법의 한계: 본 연구는 Translatotron-V 가 시도한 것과 같은 직접적인 이미지 - 투 - 이미지 번역은 현재 기술로는 여전히 어려운 과제이며, 텍스트 추출과 번역을 분리하거나 멀티모달 추론을 활용하는 접근 방식보다 품질이 현저히 낮음을 시사합니다.

저자들은 모듈형 파이프라인이 견고하지만, MLLM 내에서의 시각적 이해와 언어 생성의 통합이 다국어 이미지 번역에 대한 향후 연구의 견고한 기반을 제공한다고 결론지었습니다. 본 연구는 합성 데이터와 유럽 언어 쌍의 제한된 세트에 의존한다는 한계가 있으며, 실제 세계의 견고성과 저자원 언어의 성능은 추가적인 조사가 필요함을 시사합니다.