기술 요약: "Înțelegi românește? 루마니아어 시각-언어 모델을 위한 레시피"

문제 정의

시각-언어 모델(Vision-Language Models, VLMs)은 영어 벤치마크에서는 상당한 성공을 거두었으나, 저자원 언어에서는 성능이 급격히 저하되는 문제를 겪고 있다. 이러한 격차는 루마니아어와 같은 언어를 위한 대규모의 문화적 근거를 갖춘 이미지-텍스트 코퍼스와 평가 프레임워크의 부재에서 기인한다. 기존의 다국어 VLM은 영어 중심 데이터셋을 사후적으로 기계 번역하는 방식에 의존하는 경우가 많은데, 이는 현지화된 시각적 의미론, 문화적 맥락, 그리고 이미지 내 텍스트(OCR)의 미묘한 차이를 포착하는 데 실패한다. 결과적으로, 문서 분석, 문화적 추론, 이미지 내 텍스트 인식 등의 작업이 포함된 환경에서 다국어 능력이 접지된(grounded) 멀티모달 이해로 얼마나 효과적으로 전이되는지는 여전히 불분명하다.

방법론

저자들은 데이터 구축부터 아키텍처 절제 연구(ablation)에 이르는 전체 파이프라인을 다루며, 루마니아어 특화 VLM을 구축하기 위한 체계적인 연구를 제시한다.

1. 데이터 구축 및 적응

저자들은 11개의 확립된 영어 데이터셋(예: LAION, LLaVA-Mix, PixMo, CoSyn, FinePDFs)을 적응시켜 약 317만 개의 샘플으로 구성된 훈련 코퍼스를 구축했다.

• 번역 전략: 텍나 텍스트 주석만을 번역했던 이전 연구들과 달리, 이 접근 방식은 시각적 콘텐츠를 "번역"하는 과정을 포함한다. 여기에는 이미지에서 텍스트를 추출하고, 이를 번역한 후, 레이아웃, 폰트, 크기를 유지하면서 번역된 텍스트로 이미지를 재생성하는 과정이 포함된다.
• 네이티브 데이터: 이 파이프라인은 네이티브 루마니아어 데이터, 특히 OCR을 위한 FinePDFs 데이터셋과 소스 코드가 있는 경우의 CoSyn으로부터 생성된 합성 차트(charts)를 포함한다.
• 번역 모델: MMMU 데이터셋에 대한 성능을 바탕으로 벤치마크 번역을 위해 GPT-4.1-mini를, 훈련 데이터 번역을 위해 Seed-X-PPO를 선택하는 비교 연구를 수행했다.
• 품질 관리: 인간 주석가들이 길이 차이 필터(원본 길이의 1.5배를 초과하는 번역을 표시)와 무작위 샘플링을 사용하여 번역의 유효성을 검증했다.

2. 네이티브 평가 벤치마크: HoraVQA

문화적 근거를 갖춘 평가의 부재를 해결하기 위해, 저자들은 HoraVQA라는 벤치마크를 도입했다. 이는 232개의 고유한 이미지를 가로지르는 580개의 질문-답변 쌍을 포함한다.

• 콘텐츠: 이미지는 Wikimedia Commons에서 가져온 루마니아의 문화적 개념(랜드마크, 요리, 관습, 역사)을 묘-사한다.
• 주석 작성: 질문은 7명의 자원봉사자에 의해 루마니아어로 직접 작성되었으며, 객관식과 주관식 형식으로 분류되었다.
• 문화적 근거: 각 질문에는 일반적인 시각적 지각과 루마니아의 문화적, 역사적 또는 언어적 맥락을 필요로 하는 지식을 구분하기 위한 is_cultural 플래그가 태깅되어 있다.

3. 모델 훈련 및 아키텍처

본 연구는 모듈형 VLM 아키텍처(비전 인코더 + 언어 백본 + 프로젝션 어댑터)를 사용하며, 주로 LLaVA-NeXT를 기반으로 하지만 Qwen2-VL, Qwen2.5-VL, Qwen3-VL, Gemma3도 테스트한다.

• 훈련 프로토콜: 모델은 루마니아 중심의 멀티모달 데이터에 대해 지도 미세 조정(SFT)을 거친다. 비전 백본은 동결된 상태로 유지되며, 어댑터와 언어 백본은 훈련 가능하다.
• 하이퍼파라미터: 훈련에는 단일 에포크(single epoch), AdamW 옵티마이저, 코사인 학습률 스케줄러(피크 $1.0 \times 10^{-5}$), 그리고 배치 크기 64를 사용한다.

4. 절제 연구 (Ablation Studies)

저자들은 다음 요소들의 기여도를 체계적으로 분리하여 조사했다:

• 언어 백본 (Language Backbones): 다국어 LLM과 루마니아어에 적응된 LLM(예: RoLlama3)을 비교함.
• 비전 백본 (Vision Backbones): CLIP, SigLIP, SigLIP2 인코더를 평가함.
• 데이터 구성 (Data Composition): OCR이 풍부한 데이터와 번역된 이미지 내 텍스트의 영향력을 분석함.

주요 기여

1. RoVLM 모델: 완전히 공개되고 재현 가능한 훈련 및 평가 파이프라인과 함께 루마니아어 적응형 VLM 제품군을 출시한다.
2. 포괄적인 평가 스위트: OCR, 시각적 질의응답(VQA), 캡셔닝, 추론을 아우르는 19개 태스크의 벤치마크 스위트를 제공하며, 여기에는 새로운 문화적 벤치마크인 HoraVQA가 포함된다.
3. 적응에 대한 체계적 분석: 데이터 구성(특히 OCR 및 번역된 이미지 내 텍스트)과 아키텍처 선택이 저자원 멀티모달 성능에 어떻게 영향을 미치는지에 대한 상세한 조사를 수행한다.
4. 시각적 콘텐츠의 번역: 시각적 접지(visual grounding)를 유지하면서 언어적 콘텐츠를 적응시키기 위한 새로운 파이프라인을 제시한다.

결과

• 성능 향상: 루마니아어 적응형 VLM(RoVLMs)은 19개 벤치마크 전반에서 영어 전용 모델보다 일관되게 우수한 성능을 보인다. 특히, RoVLM은 종종 다음 단계 크기의 영어 전용 모델보다 높은 성능을 보인다 (예: 3B 규모의 루마니아 적응 모델이 7B 규모의 영어 전용 모델을 능가함).
• 아키텍처 일반화: 성능 향상은 서로 다른 비전 인코더와 언어 백본(Qwen, Gemma, Llama) 전반에 걸쳐 일반화된다.
• 비전 백본 발견 사항: 다국어 사전 훈련에서 SigLIP2가 우수하다는 일반적인 경향과 달리, CLIP이 OCR 및 문서 작업에서 SigLIP 및 SigLIP2보다 뛰어난 성능을 보였다. 저자들은 이를 CLIP이 문자의 전사(transcription)에 필요한 고주파 시각 구조를 보존하는 반면, SigLIP 변체들은 세밀한 디테일을 억제할 수 있는 의미적 추상화를 최적화하기 때문이라고 설명한다.
• 언어 백본 발견 사항: 루마니아어 적응형 언어 백본(RoLlama3)으로 교체했을 때 표준 다국어 Llama3 대비 미미한 개선만을 보였는데, 이는 3.1M 샘플의 훈련 혼합물이 충분한 적응 능력을 제공했음을 시사하며, 한계가 사전 훈련된 언어 모델 자체가 아니라 데이터 구성에 있었음을 나타낸다.
• 데이터 구성: OCR 데이터를 제거하면 OCR 특정 카테고리뿐만 아니라 모든 카테고리에서 성능 저하가 발생했다. 이는 텍스트 인식 능력이 일반적인 멀티모달 이해를 위한 기초임을 나타낸다.
• 번역된 이미지: 번역된 텍스트(대상 언어)를 포함하는 이미지로 훈련했을 때, 영어 원본 이미지를 사용할 때보다 약간이지만 일관된 성능 향상(평균 약 1.76 포인트)을 보였으며, 가장 큰 이득은 접지(grounding) 작업에서 관찰되었다.

의의 및 주장

본 논문은 단일 범용 VLM을 모든 언어에 대해 확장하는 지배적인 궤적이 저자원 언어에는 불충분하다고 주장한다. 대신, 특화된, 언어 타겟형 적응이 필요하며 효과적이다.

저자들은 다음과 같이 주장한다:

• 데이터 구성이 결정적이다: 성능의 주요 동력은 언어 백본 자체가 아니라, 특히 OCR 중심의 감독과 이미지 내 텍스트의 포함과 같은 훈련 데이터의 구성이다.
• 표상 vs 접지 (Representation vs. Grounding): 사전 훈련 단계에서의 "다국어" 표상이 반드시 접지되거나, OCR에 충실하거나, 문화적으로 인식하는 행동을 보장하지는 않는다.
• 문화적 벤치마크는 필수적이다: 단순 번역된 벤치마크는 불충분하며, 모델의 로컬 시각 문화 이해를 평가하고 개선하기 위해서는 HoraVQA와 같은 네이티브 문화 벤치마크가 필요하다.
• 효율성: 큐레이션된 저자원 데이터로 훈련된 더 작고 특화된 모델은 더 크고 일반적인 모델을 능가할 수 있으며, 이는 비영어권 맥의 멀티모달 AI를 위한 더 효율적인 경로를 제공한다.

본 연구는 번역 기반의 적응이 실행 가능한 전략이지만, 저자원 언어에서 강력한 멀티모달 이해를 달성하기 위해서는 네이티브 데이터, 엄격한 시각적 번역, 그리고 문화적으로 특화된 평가와 결합되어야 한다고 결론짓는다.