Winner Team Mia at TextVQA Challenge 2021: Vision-and-Language Representation Learning with Pre-trained Sequence-to-Sequence Model

[기술 요약] Team Mia의 TextVQA 2021 솔루션

1. 문제 정의 (Problem Statement)

TextVQA 태스크는 이미지 내에 존재하는 텍스트를 읽고(Reading), 그 텍스트와 이미지의 시각적 정보를 결합하여 질문에 답하는(Reasoning) 고난도 시각-언어(Vision-and-Language) 과제입니다. 모델은 단순히 사물을 인식하는 것을 넘어, 이미지 속 텍스트라는 새로운 모달리티를 통합하고 이를 바탕으로 논리적인 추론을 수행해야 합니다.

2. 방법론 (Methodology)

Team Mia는 생성형 모델인 **T5(Text-to-Text Transfer Transformer)**를 기반으로 한 아키텍처를 제안했습니다.

• 모델 구조: HuggingFace의 T5-3B 사전 학습 체크포인트를 기반으로 합니다.
  • Encoder: 질문 텍스트, 객체 텍스트 레이블, 장면(Scene) 텍스트 레이블, 객체 시각적 특징, 장면 시각적 특징 등 다중 모달리티 간의 융합(Fusion)을 처리합니다.
  • Decoder: 인코더의 정보를 바탕으로 정답 텍스트 시퀀스를 단계별로 생성하며, Cross-entropy loss를 사용하여 학습합니다.
• 사전 학습 단계 (Pre-training Stage):
  • 데이터셋: 약 900만 개의 장면 텍스트 이미지를 포함하는 대규모 데이터셋을 구축했습니다 (기존 TAP 방식 및 합성 데이터 활용).
  • 사전 학습 전략: 두 가지 추가 태스크를 설계하여 객체 특징과 장면 텍스트 간의 정렬(Alignment)을 강화했습니다.
    1. MLM (Masked Language Modeling): 확장된 텍스트 입력 중 일부 토큰을 15% 확률로 마스킹하여 예측합니다.
    2. RPP (Relative Position Prediction): 장면 시각적 특징과 각 객체 시각적 특징 사이의 상대적 위치를 예측합니다.
  • 적대적 학습 (Adversarial Training): 대규모 학습을 위해 이미지 픽셀이나 텍스트 토큰에 직접 변형을 주는 대신, 각 모달리티의 **임베딩 공간(Embedding Space)**에서 적대적 훈련과 KL-divergence 기반 정규화를 수행하여 임베딩의 불변성(Invariance)을 높였습니다.
• 미세 조정 단계 (Fine-tuning Stage): TextVQA 데이터셋만을 사용하여 모델을 학습시키며, 정답 분류 손실(Answer classification loss)과 적대적 학습 전략을 결합하여 사용합니다.
• 후처리 (Post-processing): 생성된 답변의 정확도를 높이기 위해 Levenshtein Distance를 사용하는 오픈소스 퍼지 문자열 매칭 도구인 fuzzywuzzy를 적용했습니다.

3. 주요 기여 (Key Contributions)

• 대규모 사전 학습 데이터 활용: 900만 개의 대규모 장면 텍스트 데이터를 구축하여 모델의 기초 역량을 강화했습니다.
• 멀티모달 정렬을 위한 새로운 태스크: RPP(상대 위치 예측)를 도입하여 시각적 특징과 텍스트 정보 간의 공간적/의미적 관계를 학습시켰습니다.
• 임베딩 공간에서의 적대적 학습: 효율적이고 강력한 표현 학습을 위해 임베딩 공간에서의 적대적 훈련 방식을 제안했습니다.
• T5 기반의 생성형 접근법: 질문에 대한 답을 텍스트 시퀀스로 직접 생성하는 Sequence-to-Sequence 방식을 성공적으로 적용했습니다.

4. 결과 및 결론 (Results and Conclusions)

• 성능: Team Mia의 솔루션은 TextVQA 2021 챌린지에서 매우 경쟁력 있는 결과를 보여주었으며, 이전 연도(2020) 및 다른 팀들의 결과와 비교했을 때 우수한 성능을 입증했습니다 (Figure 1 참조).
• 핵심 통찰 (Key Insights):
  • 방대한 데이터에 대해 이미지-텍스트 매칭 대조 학습(Contrastive objectives)을 수행하는 것이 성능 향상에 결정적입니다.
  • 사전 학습된 NLP 모델(T5 등)을 베이스로 사용하는 것이 매우 유리합니다.
  • 객체 및 장면 텍스트 특징(Feature)의 품질을 높이는 것이 성능에 기여합니다.
  • 다중 단어 답변(Multi-word answers) 영역에서는 여전히 개선의 여지가 있습니다.

5. 의의 (Significance)

본 연구는 시각적 텍스트가 포함된 복잡한 장면을 이해하기 위해 **"대규모 데이터 + 강력한 사전 학습된 언어 모델 + 정교한 멀티모달 정렬 전략"**의 조합이 얼마나 효과적인지를 보여주었습니다. 특히 생성형 모델을 활용하여 텍스트 기반 추론 문제를 해결하는 프레임워크를 제시했다는 점에서 기술적 가치가 높습니다.