Global-Local Dual Perception for MLLMs in High-Resolution Text-Rich Image Translation

이 논문은 고해상도 텍스트가 풍부한 이미지 번역의 정확성과 완전성을 향상시키기 위해 전역 및 국소적 이중 시각 지각 프레임워크인 GLoTran 과 대규모 데이터셋 GLoD 를 제안합니다.

핵심

🧐 문제: AI 가 "글자 많은 그림"을 볼 때 겪는 고민

상상해 보세요. 아주 복잡한 지하철 노선도나, 글씨가 빽빽하게 적힌 옛날 잡지 표지, 혹은 메뉴판이 있습니다. 이걸 AI 에게 번역하라고 하면, 기존 AI 들은 두 가지 실수를 자주 합니다.

1. 멀리서 보면 글자가 안 보임 (세부 정보 누락): AI 가 이미지를 전체적으로 한 번에 보려고 하면, 너무 많은 정보가 쏟아져서 중요한 글자 하나하나를 놓쳐버립니다. 마치 거대한 도서관 전체를 한 번에 훑어보려고 하다가, 책장 한 줄에 적힌 작은 제목을 못 찾는 것과 같습니다.
2. 가까이서 보면 맥락을 잃음 (맥락 오류): 반대로 글자만 확대해서 보면, "이 글자가 이 문장의 어떤 부분인지"를 모릅니다. 마치 책장 한 줄만 확대해서 읽다가, 앞뒤 문맥을 잃고 엉뚱한 뜻으로 해석하는 것과 같습니다.

기존의 AI 는 이 두 가지 사이에서 줄타기를 하느라, 글자를 빼먹거나 (Omission), 엉뚱한 번역을 하거나 (Hallucination), 문맥이 맞지 않게 번역하는 실수를 저지릅니다.

---

💡 해결책: GLoTran (글로벌 - 로컬 듀얼 퍼셉션)

우리는 이 문제를 해결하기 위해 "한눈에 전체를 보고, 동시에 세부 사항을 꼼꼼히 살피는" 두 가지 눈을 동시에 가진 새로운 AI 방식을 만들었습니다. 이를 GLoTran이라고 부릅니다.

1. 비유: "지도와 현미경"을 동시에 쓰는 탐정

이 방식은 마치 탐정이 사건을 해결할 때 쓰는 방법과 같습니다.

• 글로벌 눈 (지도): 먼저 저해상도의 전체 이미지를 봅니다. 이는 마치 사건 현장의 전체 지도를 보는 것과 같습니다. "여기가 도서관인지, 식당인지, 어떤 분위기의 장소인지"라는 **큰 맥락 (Context)**을 파악합니다.
• 로컬 눈 (현미경): 그다음 **글자가 있는 부분만 잘라낸 작은 조각 (Local Slices)**을 봅니다. 이는 현미경으로 글자 하나하나를 확대해서 보는 것과 같습니다. "이 글자가 정확히 뭐라고 쓰여 있는지"를 세부적으로 확인합니다.

GLoTran은 이 두 가지를 동시에 AI 에게 보여줍니다. "전체 지도 (글로벌) 를 보며 이 현미경 (로컬) 으로 본 글자의 뜻을 파악해라"라고 지시합니다. 덕분에 AI 는 글자를 놓치지 않으면서도, 그 글자가 어떤 상황에서 쓰였는지 정확히 이해할 수 있게 됩니다.

2. 비유: "조각난 퍼즐"을 맞추는 방식

기존 AI 는 거대한 퍼즐을 한 번에 맞추려다 지치거나 헷갈려 했지만, GLoTran 은 퍼즐을 작은 덩어리 (지역별) 로 나누어 번역합니다.

• 먼저 첫 번째 덩어리를 번역하면, 그 결과를 **기억 (Replay)**해 둡니다.
• 다음 덩어리를 번역할 때, "아까 번역한 내용과 이어지도록 해라"라고 이전 내용을 참고하게 합니다.
• 이렇게 하면 문장이 끊어지거나, 같은 단어가 문맥에 따라 다르게 번역되는 실수를 막을 수 있습니다.

---

📚 새로운 자료: GLoD (거대한 학습 교재)

AI 가 이 능력을 배우려면 많은 연습이 필요합니다. 그래서 우리는 GLoD라는 새로운 거대한 학습 데이터셋을 만들었습니다.

• 규모: 약 51 만 개의 이미지와 번역 쌍을 포함합니다.
• 특징: 메뉴판, 도로 표지판, 문서, 포스터 등 실제 세상에서 볼 수 있는 다양한 복잡한 상황을 담았습니다.
• 구조: 각 이미지마다 '전체 그림'과 '글자 부분'을 짝지어 놓았습니다. 마치 학생에게 '전체 지도'와 '세부 지도'를 동시에 주고 연습시키는 교재와 같습니다.

---

🏆 결과: 왜 이것이 중요한가요?

실험 결과, GLoTran 은 기존 최고의 AI 들보다 더 빠르고, 더 정확하게, 더 꼼꼼하게 번역했습니다.

• 작은 글자도 놓치지 않음: 메뉴판의 작은 글씨나 복잡한 문서의 세부 사항도 빠뜨리지 않고 번역합니다.
• 맥락을 잃지 않음: 글자 하나하나의 뜻이 전체 그림의 분위기와 어긋나지 않게 번역합니다.
• 효율성: 고해상도 이미지를 다 처리하기 위해 컴퓨터 성능을 엄청나게 쓰는 대신, 적은 계산량으로도 높은 정확도를 냅니다.

🌟 한 줄 요약

"GLoTran 은 AI 에게 '전체 그림 (지도)'과 '세부 글자 (현미경)'를 동시에 보여주어, 복잡한 텍스트가 가득한 이미지를 번역할 때 글자를 빼먹지 않고 맥락도 정확히 잡도록 만든 새로운 기술입니다."

이 기술 덕분에 앞으로 AI 는 복잡한 메뉴판, 낡은 문서, 혹은 복잡한 도로 표지판 등을 번역할 때 훨씬 더 똑똑하고 신뢰할 수 있는 도우미가 될 것입니다.

기술 요약

논문 개요: GLoTran 및 GLoD

이 논문은 고해상도 텍스트가 풍부한 이미지 (High-Resolution Text-Rich Images) 를 번역하는 작업인 텍스트 이미지 기계 번역 (TIMT, Text Image Machine Translation) 의 한계를 극복하기 위해 제안된 새로운 프레임워크 GLoTran과 대규모 데이터셋 GLoD를 소개합니다.

1. 문제 정의 (Problem)

기존의 TIMT 방법론은 고해상도이면서 텍스트가 밀집된 이미지 (포스터, 메뉴판, 문서 등) 를 처리할 때 심각한 한계를 보입니다.

• 기존 접근법의 한계:
  • 연쇄형 (Cascade) 방법: OCR(광학 문자 인식) 과 번역 모델을 분리하여 사용하므로, OCR 오차가 번역으로 전파되고 계산 비용이 높습니다.
  • 종단간 (End-to-End) 모델 및 MLLM: 멀티모달 대형 언어 모델 (MLLM) 을 도입했으나, 고해상도 이미지의 복잡한 레이아웃, 다양한 폰트, 비텍스트 요소 (배경, 아이콘 등) 로 인해 주의 분산 (Attention Dispersion) 이 발생합니다.
• 주요 오류: 이로 인해 텍스트 누락 (Omission), 의미 왜곡 (Semantic Drift), 할루시네이션 (Hallucination), 그리고 문맥 불일치가 빈번하게 발생합니다. 특히 MLLM 은 고해상도 입력 시 시각적 토큰이 과도하게 증가하여 중요한 텍스트 영역에 대한 세밀한 인식이 저하됩니다.

2. 제안 방법론: GLoTran (Methodology)

저자들은 GLoTran (Global-Local Dual Visual Perception Framework) 을 제안하여 전역적 문맥 이해와 국소적 텍스트 세부 사항 포착 사이의 균형을 맞춥니다.

• 글로벌 - 로컬 이중 시각 인식 전략 (Global-Local Dual Visual Perception):

  • 글로벌 뷰 (Global View): 원본 고해상도 이미지를 저해상도 (예: 224x224) 로 리사이즈하여 전체 장면의 레이아웃과 문맥적 배경을 제공합니다.
  • 로컬 슬라이스 (Local Slices): 텍스트 영역 검출기 (예: PaddleOCR) 를 사용하여 텍스트가 있는 영역을 탐지하고, 이를 여러 개의 국소 이미지 조각 (Slices) 으로 분할합니다. 각 슬라이스는 고해상도의 세부 텍스트 정보를 유지합니다.
  • 통합 처리: MLLM 에게 저해상도 글로벌 이미지와 다중 스케일의 로컬 슬라이스를 동시에 입력하여, 글로벌 문맥을 기반으로 로컬 텍스트를 정확하게 번역하도록 유도합니다.

• 구조적 프롬프트 및 재생 메커니즘 (Structured Prompt & Replay Mechanism):

  • 프롬프트 설계: 번역 지시사항에 (1) 전역 이해 (Global Understanding), (2) 로컬 집중 (Local Focus), (3) 일관성 규칙 (Consistency Rule) 을 포함시켜 MLLM 이 전역 문맥과 로컬 텍스트 간의 정합성을 유지하도록 합니다.
  • 이전 영역 재생 (Pre-region Translation Replay): 현재 슬라이스를 번역할 때, 이전 영역 (η 개) 의 번역 결과를 프롬프트에 포함시킵니다. 이를 통해 문장 연결, 대명사 참조, 용어 일관성을 보장하고 문맥적 일관성을 강화합니다.

• 계층적 크로스 어텐션 (Hierarchical Cross-Attention):

  • 로컬 토큰이 글로벌 토큰 중 의미적으로 관련된 부분에 선택적으로 주의를 기울이도록 초기 Transformer 레이어에서 크로스 어텐션을 도입하여, 모호한 텍스트를 장면 문맥을 통해 해결하고 불필요한 영역을 무시하도록 합니다.

3. 주요 기여 (Key Contributions)

1. GLoTran 프레임워크: MLLM 기반 TIMT 를 위한 글로벌 - 로컬 이중 시각 인식 프레임워크를 최초로 제안하여, 고해상도 텍스트 풍부 이미지의 번역 정확도와 완성도를 획기적으로 개선했습니다.
2. GLoD 데이터셋 구축: 전역 - 로컬 이중 입력을 학습하기 위해 맞춤 제작된 대규모 데이터셋 GLoD를 구축했습니다.
   • 규모: 51 만 개 이상의 고해상도 이미지 - 텍스트 쌍 (517,354 쌍).
   • 특징: 40 개 이상의 실제 시나리오 (메뉴, 문서, 포스터, 도로 표지판 등) 와 5 개 언어를 포함하며, 다양한 폰트와 복잡한 배경을 다룹니다.
3. 성능 입증: 여러 벤치마크에서 기존 최첨단 (SOTA) MLLM 보다 뛰어난 번역 성능을 달성함을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

• 성능 비교 (MCiTon 벤치마크):
  • GLoTran 은 오픈소스 및 상용 MLLM (GPT-4o, Qwen-VL-Max 등) 보다 모든 시나리오 (문서, 포스터, 메뉴 등) 에서 BLEU 및 COMET 점수가 높았습니다.
  • 특히 텍스트가 작고 산재해 있거나 레이아웃이 복잡한 경우 (Leaflet, Introduction 등) 에서 기존 모델 대비 BLEU 점수가 5.4% 이상 향상되었습니다.
  • 파라미터 스케일링의 한계 극복: 모델 파라미터 수를 늘리는 것만으로는 성능 향상이 미미했으나, GLoTran 전략을 적용하면 8B 모델로도 32B 모델 이상의 성능을 달성하거나 기존 8B 모델 대비 큰 개선을 보였습니다.
• 다국어 번역 (MTIT6): 일본어, 한국어, 중국어 간 번역 작업에서도 일관된 최상위 성능을 기록했습니다.
• 효율성 분석:
  • 고해상도 전체 이미지를 직접 처리하는 방식은 시각적 토큰 수가 급증하여 (164K vs 4.9K) 계산 비용과 지연 시간이 크게 증가합니다.
  • GLoTran 은 저해상도 글로벌 뷰와 로컬 슬라이스를 결합하여 계산 효율성을 유지하면서도 고해상도 처리에 버금가는 번역 정확도를 달성했습니다.

5. 의의 및 결론 (Significance)

이 연구는 고해상도 텍스트 이미지 번역 분야에서 단순한 모델 크기 확장 (Scaling) 에 의존하는 패러다임에서 벗어나, 시각적 인식 전략 (Global-Local Dual Perception) 의 혁신이 필요함을 강조합니다.

• 기술적 의의: MLLM 이 고해상도 이미지의 '전체적인 맥락'과 '세부적인 텍스트'를 동시에 처리할 수 있는 새로운 아키텍처를 제시했습니다.
• 실용적 가치: GLoD 데이터셋과 GLoTran 프레임워크는 실제 산업 응용 (문서 자동화, 실시간 번역, 접근성 기술 등) 에서 텍스트가 풍부한 복잡한 이미지 처리의 신뢰성을 크게 높일 것으로 기대됩니다.

결론적으로, GLoTran 은 텍스트 이미지 번역의 핵심 과제인 문맥 일관성 유지와 세부 텍스트 정확도 확보를 동시에 해결하는 새로운 패러다임을 제시한 연구입니다.