M4-RAG: A Massive-Scale Multilingual Multi-Cultural Multimodal RAG

이 논문은 42 개 언어와 189 개 국가를 아우르는 대규모 다문화·다모달 RAG 벤치마크인 M4-RAG 를 소개하고, RAG 가 소형 모델에는 유익하지만 대형 모델에는 성능 저하를 초래할 수 있으며 비영어권 언어 환경에서 성능이 크게 떨어진다는 중요한 발견을 제시합니다.

핵심

M4-RAG: 세계의 모든 언어와 문화를 이해하는 '지식 탐험가'

이 논문은 **"M4-RAG"**이라는 새로운 시스템을 소개합니다. 이 시스템은 인공지능 (AI) 이 그림을 보고 질문에 답할 때, 단순히 머릿속에 저장된 지식만 믿는 것이 아니라, 실시간으로 필요한 정보를 찾아서 (검색) 답을 만드는 능력을 평가하는 거대한 실험입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 이 연구가 필요한가요? (문제 상황)

비유: "오래된 교과서를 가진 천재 학생"

지금까지의 AI(시각 언어 모델) 는 마치 매우 똑똑하지만, 10 년 전에 졸업한 학생과 같습니다.

• 장점: 학교에서 배운 지식 (학습 데이터) 을 바탕으로 그림을 보고 질문에 잘 답합니다.
• 단점: 하지만 그 지식은 오래되었습니다. 특히 "한국 전통 음식", "브라질의 특정 축제", "아프리카의 지역 방언" 같은 문화적이고 지역적인 세부 사항은 교과서에 잘 안 적혀 있거나, 최신 정보가 없습니다.

그래서 AI 는 "이 음식이 뭐야?"라고 물으면, 최신 정보가 없어서 엉뚱한 답을 하거나, 문화적 맥락을 무시한 채 틀린 답을 할 때가 많습니다.

2. M4-RAG 는 무엇을 해결하나요? (해결책)

비유: "실시간 도서관 사서와 함께하는 탐험"

M4-RAG 는 이 학생에게 **실시간 도서관 사서 (검색 시스템)**를 붙여줍니다.

• 학생이 그림을 보고 질문을 하면, 사서가 즉시 전 세계의 도서관 (Wikipedia 등) 에서 가장 관련 있는 최신 정보를 찾아서 학생에게 건네줍니다.
• 그리고 학생은 그 정보를 바탕으로 다시 답을 고칩니다.

이 연구의 핵심은 **"이 사서 시스템이 42 개 언어, 56 개 방언, 189 개 국가의 문화를 얼마나 잘 이해하고 찾아주는가?"**를 테스트하는 것입니다.

3. 실험 결과: 놀라운 발견들

연구팀은 8 만 개 이상의 문화 관련 질문과 그림을 가지고 실험을 했습니다. 결과는 다음과 같이 요약됩니다.

① 작은 AI 는 도움이 되지만, 큰 AI 는 오히려 방해받는다?

• 작은 AI (초보 학생): 검색된 정보를 받아들이면 답이 훨씬 정확해집니다. "아, 내가 몰랐던 게 있었구나!"라고 배우며 성장합니다.
• 큰 AI (고수 학생): 흥미롭게도, 너무 똑똑한 AI 는 오히려 검색 정보를 믿지 않습니다.
  • 비유: "내가 이미 이걸 알고 있어! 검색해서 나온 건 틀렸을 거야"라고 생각하며, 자신의 기억 (학습 데이터) 에만 의존합니다.
  • 결과: 검색 정보가 맞을 때도 무시하고, 틀린 정보를 줘도 "아니야, 내 기억이 더 정확해"라고 고집을 부려 오히려 성능이 떨어지기도 합니다.

② 언어의 함정: 영어가 왕이다?

• 질문이나 검색된 정보가 영어일 때는 AI 가 잘 작동합니다.
• 하지만 질문이나 정보가 한국어, 아랍어, 스와힐리어 등 다른 언어로 주어지면, AI 의 성능이 급격히 떨어집니다.
• 비유: AI 는 영어로 된 지시사항을 들으면 "네, 알겠습니다!"하고 잘 따르지만, 다른 언어로 된 지시사항이나 자료를 받으면 "이게 무슨 뜻이지? 헷갈려..."하며 엉뚱한 답을 냅니다. 특히 문화적 맥락이 중요한 질문일수록 이 문제가 심각합니다.

③ 그림과 글, 둘 다 봐야 한다 (멀티모달)

• 단순히 글자만 검색해서 주는 것보다, 그림과 글자를 함께 검색해서 주는 것이 훨씬 효과적입니다.
• 비유: "이 음식이 뭐야?"라고 물었을 때, 글자로만 "인도 음식"이라고 알려주는 것보다, **그림과 함께 "인도 아침 식사, 레몬 라이스"**라고 알려주면 AI 가 정답을 훨씬 쉽게 맞춥니다.

4. 결론: 무엇을 배웠나요?

이 연구는 우리에게 중요한 교훈을 줍니다.

1. 더 큰 AI 가 무조건 좋은 건 아니다: AI 가 커질수록 외부 정보를 받아들이는 능력이 오히려 떨어질 수 있습니다.
2. 문화와 언어는 중요하다: AI 가 전 세계의 다양한 문화를 이해하려면, 단순히 영어만 잘하는 게 아니라 각 지역의 언어와 문화적 뉘앙스를 이해할 수 있도록 훈련되어야 합니다.
3. 검색 시스템의 업그레이드 필요: AI 가 검색 정보를 잘 활용하려면, 검색 시스템과 AI 가 서로 더 잘 소통할 수 있도록 (예: AI 가 어떤 정보를 원하는지 미리 알고 검색하는 등) 고쳐야 합니다.

한 줄 요약

"M4-RAG 는 AI 가 전 세계의 다양한 문화와 언어를 이해하며, 실시간으로 정확한 정보를 찾아 답할 수 있도록 돕는 '지식 탐험'을 시작했습니다. 하지만 아직 AI 는 너무 자존심이 세서 (큰 모델) 혹은 언어 장벽 때문에 (비영어권) 검색 정보를 잘 활용하지 못한다는 것을 발견했습니다."

이 연구는 앞으로 더 똑똑하고, 다양한 문화를 존중하며, 언어 장벽 없이 전 세계 사람들과 소통할 수 있는 AI 를 만드는 중요한 첫걸음이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

시각 - 언어 모델 (VLM) 은 시각적 질문 답변 (VQA) 에서 뛰어난 성능을 보이지만, 정적 (static) 인 학습 데이터에 의존하여 최신 정보나 문화적 맥락이 반영되지 않은 지식의 한계를 겪고 있습니다. 검색 증강 생성 (RAG) 은 이러한 문제를 해결하기 위해 외부 지식 소스를 활용하지만, 현재 연구는 다음과 같은 중요한 간극을 가지고 있습니다.

• 다국어 - 다모달 RAG 의 부재: 다국어 RAG 와 다모달 RAG 는 각각 발전해 왔으나, 언어, 문화, 모달리티 (텍스트, 이미지) 가 복합적으로 얽힌 '다국어 - 다문화 - 다모달' RAG 환경은 거의 연구되지 않았습니다.
• 문화적 지식의 특수성: 문화적 지식은 긴 꼬리 (long-tail) 성격을 띠고 지역별로 상이하며, 대규모 모델의 파라미터에 신뢰성 있게 인코딩되기 어렵습니다. 따라서 외부 검색이 필수적이지만, 이를 평가할 표준 벤치마크가 부족합니다.
• 모델 규모와 검색의 불일치: 기존 연구는 검색이 모델 성능을 향상시킨다고 가정하지만, 모델 크기가 커질수록 검색의 효과가 어떻게 변하는지, 특히 비영어권 언어와 문화적 맥락에서 어떻게 작동하는지에 대한 체계적인 분석이 부족합니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 M4-RAG라는 대규모 평가 프레임워크를 제안했습니다.

가. 데이터셋 및 벤치마크 구성

• 규모: 42 개 언어, 56 개 지역 방언 및 어조 (registers), 189 개 국가를 아우르는 80,000 개 이상의 이미지 - 질문 쌍을 포함합니다.
• 소스: 두 가지 주요 데이터셋을 기반으로 합니다.
  • CVQA: 30 개 국가, 31 개 언어, 10 개 문화 카테고리를 포괄하는 다국어 VQA 데이터셋.
  • WORLDCUISINES: 전 세계 요리를 주제로 한 60,000 개의 병렬 VQA 쌍 (30 개 언어/방언).
• 지식 베이스 (Knowledge Base): 2025 년 4 월 기준 위키백과 스냅샷을 기반으로 구축되었으며, 각 VQA 인스턴스에 대해 질문, 답변, 문화적 맥락을 포함한 다국어 쿼리를 생성하여 22 만 개 이상의 기사 (WORLDCUISINES) 와 30 만 개 이상의 기사 (CVQA) 로 구성된 검색 공간을 마련했습니다.

나. 실험 설정

• 검색 전략: 4 가지 주요 구성으로 실험을 수행했습니다.
  1. Baseline (No-RAG): 외부 컨텍스트 없이 이미지와 질문만으로 답변.
  2. Oracle Context: 인간이 라벨링한 완벽한 지식을 제공하여 성능 상한선 (upper bound) 측정.
  3. Text-based RAG: 이미지 캡션을 텍스트로 변환하여 텍스트 검색 수행.
  4. Multimodal RAG: 질문과 이미지를 함께 사용하여 텍스트 및 시각 신호를 모두 활용한 검색 (mmE5, B3 등 다모달 임베딩 모델 사용).
• 평가 모델: Gemma3, Qwen2.5-VL, Qwen3-VL, Pangea 등 4 가지 주요 오픈소스 다국어 VLM 패밀리 (4B~72B 규모) 를 대상으로 평가했습니다.
• 다국어 평가: 프롬프트 언어와 검색된 컨텍스트 언어를 영어에서 각 타겟 언어로 변경하여 교차 언어 (cross-lingual) 성능을 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 대규모 다국어 - 다문화 - 다모달 RAG 평가 프레임워크: 42 개 언어와 56 개 방언을 포괄하며, 문화적 맥락이 중요한 VQA 작업을 평가할 수 있는 표준 벤치마크를 공개했습니다.
2. 모델 규모와 검색 효과의 역설적 관계 규명: 검색이 소형 모델에는 유익하지만, 대형 모델에서는 오히려 성능을 저하시키거나 개선 효과를 미미하게 만든다는 사실을 발견했습니다.
3. 검색 관련성 (Relevance) 과 통합 (Integration) 의 괴리: 검색된 콘텐츠의 관련성이 높아도 대형 모델이 이를 오류 수정에 활용하지 못하는 경향이 있음을 발견했습니다. 즉, 검색 품질이 높아도 모델이 이를 받아들이지 않는 '통합 실패'가 발생함을 보였습니다.
4. 비영어권 언어에서의 심각한 성능 저하: 프롬프트나 검색된 컨텍스트가 비영어일 때 모델 성능이 급격히 떨어지며, 특히 저자원 언어에서 그 격차가 심화됨을 증명했습니다.

4. 실험 결과 및 분석 (Results & Analysis)

• 모델 규모에 따른 RAG 효과의 역전 (Inverse Scaling):

  • 소형 모델 (<14B): 검색 증강 (특히 다모달 RAG) 을 통해 베이스라인 대비 상당한 성능 향상 (약 5~7% 포인트) 을 보였습니다. 외부 지식이 파라미터 지식의 공백을 메꾸어 주기 때문입니다.
  • 대형 모델 (>14B): 검색을 추가하면 오히려 성능이 저하되거나 개선되지 않았습니다. 대형 모델은 내부 파라미터 지식이 더 정확하여, 불완전한 검색 결과가 오히려 방해 요소 (distractor) 로 작용하거나, 잘못된 답변을 수정하지 못하는 경향을 보였습니다.
  • 오류 수정 (Correction Rate) vs 정답 유지 (Correctness Retention): 검색된 컨텍스트가 정확하더라도 대형 모델은 기존에 틀린 답변을 수정하는 데 어려움을 겪는 반면, 소형 모델은 이를 잘 활용했습니다.

• 다국어 및 문화적 편향:

  • 영어 중심 편향: 모든 모델이 영어 프롬프트와 영어 컨텍스트에서 가장 높은 성능을 보였습니다.
  • 컨텍스트 언어의 영향: 문화적 질문의 경우, 검색된 증거 (컨텍스트) 가 해당 문화의 언어로 제공될 때 오히려 성능이 급격히 떨어졌습니다 (최대 -32.4% 감소). 이는 모델이 비영어권 증거를 통합하는 능력보다 영어를 '추론의 중심 (pivot)'으로 사용하려는 경향이 강함을 시사합니다.
  • 저자원 언어: 저자원 언어 (Resource Class 0-2) 에서 성능 저하가 특히 심각했습니다.

• 검색 모달리티의 중요성: 텍스트만 검색하는 방식 (이미지를 캡션으로 변환) 은 노이즈를 유발하여 성능을 저하시켰으며, 이미지와 텍스트를 모두 활용한 다모달 검색이 가장 일관된 개선을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 RAG 시스템이 단순히 '검색'을 수행하는 것을 넘어, **모델의 규모와 검색된 정보의 통합 능력 사이의 정렬 (alignment)**이 중요함을 강조합니다.

• 핵심 통찰: 더 큰 모델이 항상 더 좋은 RAG 성능을 보장하지 않으며, 오히려 검색 시스템과 기반 모델 간의 불일치로 인해 성능이 저하될 수 있습니다.
• 향후 방향: 모델이 검색된 정보를 효과적으로 통합할 수 있도록 하는 **모델 인지형 검색 전략 (Model-aware retrieval strategies)**이 필요합니다. 예를 들어, 검색기와 VLM 을 함께 학습 (joint post-training) 하거나, 추론 시 적응 (test-time adaptation) 을 통해 검색 정보의 통합 효율을 높여야 합니다.
• 기여: M4-RAG 는 언어, 모달리티, 문화적 맥락을 가로지르는 견고한 추론을 가능하게 하는 차세대 RAG 시스템 개발을 위한 기초를 제공합니다.

요약하자면, M4-RAG 는 다국어 및 다문화 환경에서 RAG 의 한계를 명확히 드러냈으며, 특히 대형 모델의 '지식 통합' 문제와 비영어권 언어 처리의 취약성을 지적함으로써 향후 연구의 방향성을 제시했습니다.