Annotation-Efficient Vision-Language Model Adaptation to the Polish Language Using the LLaVA Framework

논문 개요: 폴란드어 기반 시각 - 언어 모델 (VLM) 의 효율적 적응 연구

이 연구는 영어 중심의 데이터로 훈련된 기존 비전 - 언어 모델 (VLM) 이 다른 언어와 문화적 맥락에서 성능이 제한된다는 문제를 해결하기 위해, 폴란드어에 특화된 고품질 VLM 을 개발하기 위한 효율적인 방법론을 제시합니다. 연구팀은 수동 주석 (annotation) 을 최소화하고 대규모 자동 번역 파이프라인을 활용하여 LLaVA-Next 아키텍처를 폴란드어에 적응시켰습니다.

1. 문제 제기 (Problem)

• 영어 중심 편향: 현재 대부분의 VLM 은 영어 데이터로 훈련되어 비영어권 사용자의 접근성이 낮고, 다양한 문화적 현실을 반영하지 못합니다.
• 저자원 언어의 한계: 폴란드어와 같이 형태론적으로 복잡하고 (7 개의 격, 복잡한 문법적 일치 등) 자원이 상대적으로 부족한 언어의 경우, 고품질의 다중 모달 (multimodal) 데이터셋을 구축하는 데 막대한 비용과 노력이 필요합니다.
• 기존 접근법의 부족: 기존 연구들은 어휘 확장이나 교차 언어 사전 훈련 (cross-lingual pretraining) 에 의존했으나, 이는 복잡한 언어 구조를 가진 언어에는 비효율적일 수 있습니다.

2. 방법론 (Methodology)

연구팀은 LLaVA-Next 아키텍처를 기반으로 한 폴란드어 전용 VLM 패밀리 (LLaVA-PLLuM 및 LLaVA-Bielik) 를 구축하기 위해 다음과 같은 파이프라인을 적용했습니다.

가. 모델 아키텍처

• 언어 백본 (Language Backbone): 폴란드어 네이티브 지시형 (instruction-tuned) LLM 인 PLLuM-12B 와 BIELIK-11B 를 사용했습니다.
• 비전 타워 (Vision Tower): 기존 LLaVA 의 CLIP 인코더 대신, 다국어 이미지 - 텍스트 정렬과 텍스트 위치 파악 (text-localization) 신호가 강력한 SigLIP2 를 채택했습니다.
• 프로젝터: 경량 2 층 MLP 프로젝터를 사용하여 비전 특징을 언어 모델의 임베딩 공간에 정렬합니다.

나. 데이터 구축 파이프라인 (Fully Automated Pipeline)

수동 개입을 최소화하고 자동화된 번역과 필터링을 주력으로 삼았습니다.

1. 자동 번역 및 필터링: Tower+ 72B 모델을 사용하여 기존 영어 다중 모달 데이터셋 (VQA, OCR, 카운팅 등) 을 폴란드어로 번역했습니다. 번역 품질은 참조 없는 (reference-less) COMET 지표를 통해 평가하고, 임계값 미만의 샘플은 제거했습니다.
2. 데이터 구성:
   • 일반적 시각 추론: Allava-Instruct, LLaVA-158K 등 다양한 소스를 번역 및 필터링.
   • OCR (광학 문자 인식): 번역이 어려운 텍스트 인식 작업을 위해 폴란드어와 영어 위키백과 텍스트를 합성하여 SynthDoG-PL 데이터를 생성했습니다.
   • 지식 및 문화: WIT (Wikipedia-based Image Text) 데이터셋의 폴란드어 캡션 기반 데이터를 활용했습니다.
   • 카운팅: TallyQA 데이터를 번역하여 적용했습니다.
   • 혼합 비율: 최종 지시 데이터셋은 폴란드어 적응 데이터 85%, 원본 영어 데이터 15% 비율로 구성하여 영어 능력 유지와 폴란드어 적응을 동시에 달성했습니다.

다. 학습 전략

• 2 단계 학습:
  1. Pre-training: 이미지 - 캡션 쌍을 사용하여 프로젝터만 업데이트 (비전 - 언어 정렬).
  2. Instruction Tuning: 프로젝터와 비전 인코더를 공동으로 미세 조정하며, 언어 모델은 LoRA (Low-Rank Adaptation) 를 사용하여 효율적으로 학습시켰습니다.

라. 평가 데이터셋 적응

• MMBench: 영어 MMBench-dev 를 폴란드어로 번역하고, 전문 언어학자가 심층 검토하여 언어적 오류와 문화적 부적합성을 수정했습니다. (약 3.56% 의 질문이 정확성 문제, 3.02% 가 외국 문화 맥락 문제로 식별됨).

3. 주요 기여 (Key Contributions)

1. 자동화된 데이터 파이프라인: 번역, 필터링, 품질 추정을 포함한 저자원 언어용 다중 모달 데이터셋 구축 파이프라인을 제시했습니다.
2. 폴란드어 VLM 패밀리: PLLuM 과 Bielik 백본을 기반으로 한 LLaVA-PLLuM 및 LLaVA-Bielik 모델을 공개했습니다.
3. 정밀한 벤치마크 적응: MMBench-dev 의 폴란드어 버전과 언어적 재주석을 통해 4% 에 달하는 샘플의 문제를 식별하고 수정했습니다.
4. 오픈 소스 공개: 학습된 모델과 평가 데이터셋을 공개하여 다국어 다중 모달 LLM 연구의 기반을 마련했습니다.

4. 실험 결과 (Results)

가. MMBench 평가 (정확도)

• 폴란드어 성능: 제안된 모델 (LLaVA-PLLuM-12B-nc) 은 기존 LLaVA-1.6-Vicuna-13B 기반 모델 대비 폴란드어 벤치마크에서 +9.55%p의 성능 향상을 보였습니다.
• 영어 성능: 폴란드어 적응 후에도 영어 성능은 유지되거나 오히려 향상되었습니다.
• 경쟁 모델 비교: Qwen2.5-VL-7B, PaliGemma2-10B 등 주요 오픈 소스 모델보다 폴란드어 벤치마크에서 우수한 성능을 보였으며, Pixtral-12B 와는 유사하거나 약간 뒤처지는 수준이었습니다.

나. XM3600 평가 (이미지 캡셔닝 품질)

• 언어적 정확성 (Linguistic Correctness): 원어민 언어학자에 의한 수동 평가에서 제안 모델은 모든 베이스라인 모델 (LLaVA-1.6, PaliGemma2 등) 을 압도적으로 능가했습니다. 특히 LLaVA-PLLuM-12B-nc 는 Pixtral-12B 대비 **84%**의 승률을 기록했습니다.
• 자동 평가 vs 수동 평가: LLM 기반 자동 평가 (Claude Sonnet 등) 와 수동 평가 간 괴리가 존재했습니다. 자동 평가는 Pixtral-12B 를 선호하는 경향이 있었으나, 수동 평가는 제안 모델의 자연스러운 문법과 표현을 훨씬 높게 평가했습니다. 이는 LLM 평가자가 미세한 언어적 뉘앙스를 놓칠 수 있음을 시사합니다.
• 콘텐츠 설명 품질: 이미지 내용 정확도 측면에서는 Qwen 모델에 비해 다소 뒤처졌으나, Pixtral 보다 우위를 점했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 효율적인 저자원 언어 적응: 대규모 자동 번역과 경량 필터링만으로도 고품질의 다중 모달 모델을 부트스트랩 (bootstrap) 할 수 있음을 입증했습니다. 이는 수동 주석에 의존하지 않고도 문화적 맥락이 다른 언어로 모델을 확장할 수 있는 실용적인 방법을 제시합니다.
• 폴란드어 특화 모델의 필요성: 폴란드어의 복잡한 형태론적 특성을 고려할 때, 영어 기반 모델의 단순 번역만으로는 부족하며, 폴란드어 네이티브 LLM 백본과 SigLIP2 와 같은 강력한 비전 인코더의 결합이 필수적임을 보여주었습니다.
• 한계 및 향후 과제:
  • 훈련 데이터의 품질이 자동 번역에 의존하여 '번역체 (translationese)'나 의미적 왜곡이 발생할 수 있습니다.
  • 문화적 커버리지가 여전히 제한적이며, 폴란드 특화 OCR 및 지식 평가 벤치마크가 부족합니다.
  • 향후 연구에서는 더 정교한 데이터 필터링과 문화적 맥락을 반영한 데이터 수집이 필요할 것으로 보입니다.

이 연구는 비영어권 언어, 특히 형태론적으로 복잡한 언어를 위한 VLM 개발에 있어 자동화 파이프라인과 네이티브 LLM 의 결합이 강력한 대안이 될 수 있음을 보여주는 중요한 사례입니다.