Multimodal Large Language Models for Low-Resource Languages: A Case Study for Basque

이 논문은 오픈 소스 커뮤니티에서 저자원 언어인 바스크어를 위한 강력한 멀티모달 대형 언어 모델을 개발하기 위해 자체 데이터셋을 구축하고, 바스크어 지시형 백본 모델이 필수적이지 않으며 소량의 바스크어 멀티모달 데이터만으로도 우수한 성능을 달성할 수 있음을 입증했습니다.

핵심

🍳 1. 문제 상황: "영어 요리책만 있는 상황"

지금까지 인공지능 (MLLM) 은 주로 영어라는 풍부한 식재료 (데이터) 로만 요리해 왔습니다. 그래서 영어로 된 그림을 보고 설명하거나 질문을 답하는 데는 매우 능숙합니다. 하지만 바스크어처럼 식재료가 거의 없는 언어로 요리를 하려면, 영어 요리책을 그대로 번역해서 쓰거나 아예 새로운 재료를 구해야 하는 어려움이 있었습니다.

🛠 2. 연구의 목표: "바스크어 전용 레시피 만들기"

연구팀은 바스크어 사용자를 위해 첫 번째 오픈 소스 멀티모달 (이미지 + 텍스트) 인공지능을 만들기로 했습니다. 이를 위해 다음과 같은 일을 했습니다:

• 새로운 재료 확보: 영어로 된 그림과 설명 데이터 (300 만 개 이상) 를 가져와, 바스크어 원어민과 AI 가 힘을 합쳐 바스크어로 번역했습니다. 마치 영어 요리책을 바스크어 요리책으로 번역하는 작업입니다.
• 평가 기준 마련: 이 인공지능이 실제로 잘하는지 확인하기 위해 바스크어 시험지 (벤치마크) 도 직접 만들었습니다.

🔍 3. 실험과 놀라운 발견 (3 가지 핵심)

연구팀은 두 가지 다른 '기본 요리사 (LLM)'를 사용했습니다. 하나는 영어만 잘하는 요리사 (Llama), 다른 하나는 바스크어에 특화된 요리사 (Latxa) 입니다. 그리고 이들에게 영어와 바스크어 데이터를 섞어 가르쳤습니다.

🌟 발견 1: "바스크어 재료가 20% 만 있으면 충분하다!"

• 비유: 바스크어 요리를 가르치기 위해 바스크어 재료를 100% 다 쓸 필요는 없습니다. 영어 재료 80% 에 바스크어 재료 20% 만 섞어도, 바스크어 시험에서 아주 좋은 점수를 받았습니다.
• 의미: 저자원 언어를 위한 인공지능을 만들 때, 해당 언어의 데이터가 아주 적어도 된다는 뜻입니다. 영어 데이터가 주를 이루고 있어도, 소량의 해당 언어 데이터만 섞으면 효과를 볼 수 있습니다.

🌟 발견 2: "바스크어 특화 요리사 (Latxa) 가 꼭 필요하지 않다!"

• 비유: 우리는 "바스크어 요리를 잘하려면 바스크어 출신 요리사 (Latxa) 가 있어야겠다"라고 생각했습니다. 하지만 실험 결과, 영어만 잘하는 요리사 (Llama) 가 바스크어 데이터를 조금만 섞어 가르쳐도 똑같이 잘했습니다.
• 의미: 이미 영어로 잘 훈련된 인공지능이라도, 해당 언어의 데이터만 조금 더 주면 그 언어로도 훌륭하게 작동한다는 뜻입니다. 이는 비용과 시간을 아낄 수 있는 큰 발견입니다.

🌟 발견 3: "글자만 있는 책 (텍스트 데이터) 이 그림책 (멀티모달) 을 가르친다?"

• 비유: 바스크어 그림책 (이미지 데이터) 이 부족할 때, 바스크어 글자만 있는 책 (텍스트 데이터) 을 함께 가르치면, 인공지능이 그림을 이해하는 능력도 함께 좋아졌습니다.
• 의미: 해당 언어의 '이미지 데이터'가 부족해도, '텍스트 데이터'만으로도 그 언어의 능력을 끌어올릴 수 있다는 놀라운 사실입니다.

🎯 4. 결론: "작은 씨앗이 큰 나무가 될 수 있다"

이 연구는 **"저자원 언어 (바스크어) 를 위한 인공지능을 만드는 데, 엄청난 양의 해당 언어 데이터가 필수는 아니다"**라고 증명했습니다.

• 영어 데이터가 주를 이루고, 해당 언어 데이터는 20% 정도만 섞으면 됩니다.
• 해당 언어에 특화된 기본 모델이 없어도, 영어 기반 모델로도 충분합니다.
• 그림 데이터가 부족해도 글자 데이터로 보완할 수 있습니다.

이 연구는 앞으로 아랍어, 스와힐리어, 혹은 우리말처럼 데이터가 부족한 다른 언어들을 위한 인공지능을 만들 때, 훨씬 더 쉽고 저렴하게 접근할 수 있는 길을 열어주었습니다. 마치 영어 요리책 한 권만 있으면, 소량의 현지 재료만 추가해 전 세계 어느 나라 요리든 맛있게 만들어낼 수 있는 비결을 찾은 것과 같습니다.

기술 요약

논문 개요

이 연구는 저자원 언어 (Low-Resource Languages) 인 바스크어 (Basque) 를 위한 최초의 오픈 소스 멀티모달 대규모 언어 모델 (MLLM) 을 개발하고 평가하는 것을 목표로 합니다. 현재 상용 MLLM 은 영어 중심의 데이터로 훈련되어 저자원 언어에서 성능이 저하되는 문제가 있으며, 오픈 소스 커뮤니티에서는 이에 대한 대안이 부족합니다. 연구진은 바스크어용 대규모 훈련 및 평가 데이터셋을 직접 구축하고, 다양한 훈련 전략을 실험하여 저자원 언어용 MLLM 개발의 효율적인 경로를 제시합니다.

1. 문제 정의 (Problem)

• 저자원 언어의 MLLM 부재: 기존 MLLM 은 주로 영어 데이터로 훈련되어 저자원 언어 (바스크어 등) 에서 시각적 이해 및 언어 생성 능력이 현저히 떨어집니다.
• 데이터 부족: 바스크어는 텍스트 데이터 양이 영어에 비해 약 1,000 배 적으며, 이미지 - 텍스트 쌍 (Image-Text Pairs) 과 같은 멀티모달 데이터는 거의 존재하지 않습니다.
• 오픈 소스 대안의 한계: 상용 모델 (Gemini, GPT 등) 은 성능이 우수하지만 비공개이며, 오픈 가중치 모델들은 다국어 성능에서 여전히 격차가 존재합니다.

2. 방법론 (Methodology)

가. 데이터 구축 (Dataset Creation)

연구진은 바스크어용 멀티모달 데이터셋을 구축하기 위해 영어 기반 데이터셋을 번역하는 방식을 채택했습니다.

• 훈련 데이터 (Training):
  • Stage 1 (정렬): Conceptual Captions (CC3M) 의 280 만 개 이미지 - 캡션 쌍을 바스크어로 번역하여 CC3MEus 데이터셋을 생성했습니다.
  • Stage 2 (지시 미세조정): Pixmo-ask-model-anything (Pixmo-AMA) 데이터셋의 16.2 만 개 질문 - 답변 쌍을 바스크어로 번역하여 Pixmo-AMAEus 데이터셋을 생성했습니다. 복잡한 문맥 유지를 위해 LLM 기반 번역 (Latxa-70B) 을 사용했습니다.
• 평가 데이터 (Evaluation):
  • 닫힌형 벤치마크 (Close-ended): VQAv2, A-OKVQA, PixMo-CapQA 를 바스크어로 번역하여 VQAv2Eus, A-OKVQAEus, Pixmo-CapQAEus를 구축했습니다.
  • 열린형 벤치마크 (Open-ended): WildVision 데이터셋을 번역하고 수동 검증을 거쳐 WildVisionEus (199 개 샘플) 를 구축했습니다.
  • 모든 번역 데이터는 원어민 4 인에 의해 품질이 검증되었습니다.

나. 아키텍처 및 훈련 (Architecture & Training)

• 아키텍처: Late-fusion 방식을 사용했습니다.
  • 시각 인코더: CLIP (ViT-Large-Patch14-336) 사용.
  • 연결자 (Connector): 단일 레이어 선형 레이어 (Linear Layer) 사용.
  • 백본 LLM: 두 가지 모델을 비교 실험했습니다.
    1. Llama-3.1-8B-Instruct: 영어 중심 모델.
    2. Latxa-Llama-3.1-8B-Instruct: 바스크어 지시 (Instruction) 에 특화된 모델.
• 훈련 절차 (2 단계):
  1. Vision-Language Alignment: 연결자만 훈련하고 LLM 은 고정하여 시각 - 언어 임베딩 공간 정렬.
  2. Multimodal Instruction Tuning: 연결자와 LLM 모두를 미세조정하여 복잡한 멀티모달 지시 따르기 능력 향상.
• 데이터 믹스 전략: 바스크어와 영어 데이터의 비율을 0:100, 20:80, 80:20, 100:0 으로 변경하며 실험했습니다. 또한, 텍스트 전용 데이터 (Text-only) 를 추가하여 성능 변화를 분석했습니다.

3. 주요 결과 및 발견 (Key Results & Findings)

발견 1: 낮은 비율의 바스크어 멀티모달 데이터로도 우수한 성능 달성

• 훈련 데이터의 약 20% 만을 바스크어로 사용하고 나머지를 영어로 사용했을 때, 바스크어 벤치마크에서 매우 견고한 성능을 보였습니다.
• 바스크어 멀티모달 데이터를 100% 사용했을 때보다 20% 사용 시 성능 저하가 미미했습니다 (VQAv2 기준 0.03 점 이내 차이).
• 이는 저자원 언어용 정렬된 이미지 - 텍스트 데이터를 구하는 것이 어렵다는 점을 고려할 때, 소량의 타겟 언어 데이터로도 충분한 성능을 낼 수 있음을 시사합니다.

발견 2: 영어 중심 백본 LLM 으로도 강력한 바스크어 MLLM 구축 가능

• Latxa (바스크어 특화 LLM) 와 Llama (영어 중심 LLM) 를 백본으로 사용한 모델의 성능은 거의 동일했습니다.
• 바스크어 지시 (Instruction) 가 포함된 백본 LLM 이 반드시 필요하지 않으며, 영어 중심 LLM 을 기반으로 소량의 바스크어 멀티모달 데이터와 텍스트 데이터를 추가하면 동등한 성능을 달성할 수 있습니다.

발견 3: 텍스트 전용 데이터의 중요성 (Cross-modal Transfer)

• 멀티모달 훈련은 종종 백본 LLM 의 텍스트 전용 성능을 저하시킵니다. 이를 보완하기 위해 텍스트 전용 데이터 (Text-only instructions) 를 훈련에 포함시켰습니다.
• 특히, 바스크어 멀티모달 데이터가 전무한 경우에도, 바스크어 텍스트 전용 데이터를 추가하면 영어로 습득한 멀티모달 능력을 바스크어로 전이 (Transfer) 시켜 성능을 크게 향상시킬 수 있었습니다.

발견 4: 영어 데이터의 필요성 (Catastrophic Forgetting 방지)

• 바스크어 멀티모달 데이터만으로 훈련할 경우, 모델의 영어 성능이 급격히 저하되었습니다 (재앙적 망각). 따라서 영어 멀티모달 데이터를 일정 비율 (약 20%) 포함하는 것이 필수적입니다.

발견 5: 평가 방법론

• 인간 평가와 GPT-5 를 이용한 자동 평가 (LLM-as-a-judge) 를 비교한 결과, 자동 평가는 인간과 어느 정도 일치하지만 '무승부 (Tie)' 판정을 덜 하는 등 편향이 존재했습니다. 따라서 저자원 언어의 열린 생성 평가에는 인간 평가가 여전히 필수적입니다.

4. 기여 및 의의 (Contributions & Significance)

1. 최초의 바스크어 오픈 MLLM 및 데이터셋 공개: 바스크어를 위한 2 개의 훈련 데이터셋과 4 개의 평가 벤치마크를 구축하고 오픈하여, 저자원 언어 연구에 중요한 자원을 제공합니다.
2. 저자원 언어 MLLM 개발 패러다임 제시:
   • 타겟 언어의 멀티모달 데이터가 부족하더라도, 소량의 타겟 언어 멀티모달 데이터 + 텍스트 전용 데이터 + 영어 백본 LLM 조합을 통해 고품질 MLLM 을 개발할 수 있음을 증명했습니다.
   • 이는 저자원 언어를 위한 MLLM 개발 비용을 획기적으로 낮출 수 있는 실용적인 전략입니다.
3. 모달리티 전이 (Modality Transfer) 가능성 확인: 타겟 언어의 멀티모달 데이터가 없더라도 해당 언어의 텍스트 데이터만으로도 멀티모달 능력을 전이시킬 수 있음을 보여주었습니다.

5. 결론

이 연구는 저자원 언어 (바스크어) 를 위한 MLLM 개발이 반드시 대규모 타겟 언어 멀티모달 데이터나 타겟 언어 특화 백본 LLM 을 필요로 하지 않음을 증명했습니다. 대신, 영어 중심의 강력한 백본 LLM 에 소량의 타겟 언어 멀티모달 데이터와 풍부한 텍스트 전용 데이터를 혼합하여 훈련하는 것이 가장 효율적이고 효과적인 전략임을 제시했습니다. 이 접근법은 전 세계 수많은 저자원 언어에 대한 멀티모달 AI 기술 접근성을 높이는 데 기여할 것으로 기대됩니다.