Retrieval or Representation? Reassessing Benchmark Gaps in Multilingual and Visually Rich RAG

이 논문은 다국어 및 시각적으로 풍부한 RAG 벤치마크에서 관찰된 성능 향상이 복잡한 검색 모델의 발전이 아니라 문서 표현 (전사 및 전처리) 의 개선에 기인함을 증명하며, 이를 위해 전사와 검색 능력을 분리하여 평가할 것을 제안합니다.

핵심

📄 "보이지 않는 것"이 답이다: RAG(검색 생성) 연구의 놀라운 발견

이 논문은 **"복잡한 AI 모델이 정말로 더 똑똑한가, 아니면 우리가 문서를 읽게 해주는 '안경'이 더 좋은가?"**라는 아주 중요한 질문을 던집니다.

저자들은 ICLR 2026 워크숍에서 발표한 이 연구에서, 복잡한 멀티모달 (이미지 + 텍스트) AI 모델들이 기존 방식보다 훨씬 뛰어나다는 주장이 사실은 '문서 읽기 기술 (OCR)'의 차이 때문일 수 있다는 놀라운 사실을 밝혀냈습니다.

---

🕵️‍♂️ 핵심 비유: "안경"과 "탐정"

이 논문을 이해하기 위해 두 가지 비유를 사용해 볼까요?

1. 탐정 (검색 시스템): 문서를 찾아서 답을 찾는 AI입니다. 예전에는 'BM25'라는 간단한 규칙을 따르는 탐정이 있었고, 요즘은 '딥러닝'을 공부한 고등 탐정들이 있습니다.
2. 안경 (OCR 및 전처리): 탐정이 문서를 읽기 위해 쓰는 안경입니다. 문서는 그림, 표, 복잡한 레이아웃이 섞여 있어 글자가 잘 안 보이거나, 외국어로 되어 있을 수 있습니다.

기존의 생각:
"고등 탐정 (최신 AI) 이 단순한 탐정 (BM25) 보다 훨씬 잘한다! 그래서 고등 탐정을 써야 한다."

이 논문의 발견:
"잠깐! 고등 탐정이 잘한 게 아니라, 고등 탐정이 쓴 안경이 더 선명해서 글자를 잘 읽었을 뿐이야! 만약 단순한 탐정에게도 똑같이 선명한 안경을 씌워주면, 고등 탐정과 거의 똑같은 성적을 낸다!"

---

🌍 1. 언어의 장벽: "소리를 잘 듣는 마이크"

논문은 15 개 국어 (스페인어, 아랍어, 일본어 등) 로 된 문서를 테스트했습니다.

• 문제: 기존 시스템은 아랍어처럼 글자가 복잡하게 이어지거나, 일본어처럼 띄어쓰기가 없는 언어를 읽을 때 안경 (OCR) 이 안경을 제대로 못 써서 글자를 엉망으로 읽었습니다.
• 해결: 연구진은 안경 (OCR) 을 최신 모델로 바꾸고, 언어별로 맞는 '소리 처리' (어근 추출, 형태소 분석 등) 를 해줬습니다.
• 결과: 놀랍게도, 가장 단순한 탐정 (BM25) 이 최신 안경을 끼고 나니, 고등 탐정들과 거의 같은 점수를 받았습니다.
  • 비유: 외국어를 잘 못 하는 사람이 아주 좋은 통역사 (최신 OCR) 를 붙이면, 그 사람도 외국어 전문가처럼 대화할 수 있는 것과 같습니다.

🖼️ 2. 그림이 많은 문서: "그림 설명서"

문서에 그림이나 표가 많을 때는 더 큰 차이가 났습니다.

• 문제: 기존 방식은 그림 속의 글자나 차트 데이터를 그냥 '그림'으로만 인식하고, 그 내용을 텍스트로 변환하지 못했습니다. 마치 "그림이 있다"고만 적어놓고 내용은 비워둔 것과 같습니다.
• 해결: 연구진은 그림을 보고 "이 그림은 파이 차트이며, 75% 는 A 제품, 15% 는 B 제품이다"라고 텍스트로 설명해 주는 것 (VLM 기반 전사) 을 추가했습니다.
• 결과: 이 작은 설명만 추가해도, 단순한 검색 시스템의 성능이 무려 30% 이상 급상승했습니다.
  • 비유: 도서관에서 책 제목만 보고 찾는 것과, 책 내용을 요약한 '줄거리 카드'를 보고 찾는 것의 차이입니다. 줄거리 카드만 있어도 찾는 속도가 훨씬 빨라집니다.

---

💡 이 연구가 우리에게 주는 메시지

이 논문의 결론은 매우 명확합니다.

"우리는 검색 (Retrieval) 기술이 부족해서가 아니라, 문서를 텍스트로 바꾸는 (Transcription) 기술이 부족해서 실패하고 있었다."

지금까지 사람들은 "더 똑똑한 AI 모델을 만들어야 한다"고 생각했지만, 사실은 **"문서를 더 잘 읽게 해주는 전처리 (OCR) 기술을 개선하는 것"**이 훨씬 더 중요하고 효과적이라는 것입니다.

🚀 요약

1. 과거의 오해: "복잡한 멀티모달 AI 가 무조건 더 낫다."
2. 사실: "문서를 잘 읽게 해주는 '안경 (OCR)'과 '설명서 (전처리)'가 더 중요했다."
3. 해결책: 최신 AI 모델을 무작정 도입하기 전에, 문서를 텍스트로 변환하는 과정을 얼마나 깔끔하게 만들었는지를 먼저 점검해야 합니다.
4. 미래: 이제부터는 검색 시스템의 성능을 평가할 때, '검색 알고리즘'과 '문서 읽기 기술'을 따로 따로 평가해야 합니다. 그래야 진짜 발전이 어디에서 일어나는지 알 수 있으니까요.

한 줄 요약:
"최고의 탐정보다, 더 선명한 안경을 낀 평범한 탐정이 더 잘 찾을 수 있다!"

기술 요약

논문 요약: "RETRIEVAL OR REPRESENTATION? REASSESSING BENCHMARK GAPS IN MULTILINGUAL AND VISUALLY RICH RAG"

이 논문은 ICLR 2026 워크숍에서 발표된 것으로, 다국어 및 시각적으로 풍부한 (Visually Rich) 문서에 대한 검색 증강 생성 (RAG) 시스템의 성능 격차에 대한 기존의 통념을 재검토합니다. 저자들은 최신 멀티모달 검색 모델이 기존 텍스트 기반 검색 (BM25) 보다 월등히 뛰어나다는 주장이 실제로는 검색 알고리즘의 차이가 아니라 문서 전처리 (OCR 및 텍스트 표현) 의 질적 차이에서 기인할 수 있음을 입증합니다.

---

1. 문제 제기 (Problem)

최근 연구들은 다국어 문서나 복잡한 레이아웃 (도표, 차트, 테이블 포함) 을 가진 시각적 문서에서 기존 희소 검색 (Lexical Retrieval, 예: BM25) 이 밀집 임베딩 (Dense Embeddings) 이나 멀티모달 모델 (Multimodal LLMs) 에 비해 성능이 현저히 떨어진다고 보고합니다.

• 기존 통념: 텍스트 매칭의 한계로 인해 BM25 가 다국어 및 시각적 문서 검색에서 실패한다고 간주됨.
• 실제 문제: 이러한 성능 격차는 검색 모델 자체의 능력 부족보다는 OCR(광학 문자 인식) 의 부정확성과 언어별 전처리 (Tokenization, Stemming 등) 의 부재로 인해 문서의 텍스트 표현 (Representation) 이 왜곡되거나 누락되었기 때문일 가능성이 높음.

2. 방법론 (Methodology)

저자들은 VisR-Bench 벤치마크를 기반으로 통제된 실험을 수행하여 검색 (Retrieval) 과 전처리 (Preprocessing) 의 영향을 분리했습니다.

• 통제 변수: 검색기 (Retriever) 와 평가 프로토콜을 고정하고, 변수로만 OCR 모델과 언어별 텍스트 전처리 전략을 변경했습니다.
• 사용된 OCR 모델:
  • Adobe Document Extract (기본)
  • EasyOCR (오픈소스)
  • Mistral OCR 3 (최신 OCR)
  • Ministral 3B (VLM 기반, 이미지 설명 생성)
• 언어별 전처리 전략:
  • 어간 추출 (Stemming): 스페인어, 독일어 등
  • 형태소 분석 (Lemmatization): 체코어, 슬로베니아어 등
  • 완전한 형태소 분석 (Morphological Analysis): 아랍어
  • 스크립트 인식 분할 (Segmentation): 일본어, 베트남어
• 비교 대상: BM25(최신 OCR 적용), SBERT, BGE-M3, NV-Embed-v2 등 텍스트 기반 모델과 ColPali, ColQwen2, GME 등 멀티모달 모델들의 성능을 비교했습니다.

3. 주요 기여 (Key Contributions)

1. 표현 (Representation) 이 검색 (Retrieval) 보다 중요함: 다국어 및 시각적 문서에서 성능 향상의 주된 동인은 더 나은 문서 표현 (고품질 OCR 및 언어별 정규화) 이며, 검색 모델의 복잡성 증가가 아님을 입증했습니다.
2. BM25 의 재평가: 최적의 OCR 과 전처리를 적용한 BM25 는 최신 멀티모달 모델들과 경쟁할 수 있는 수준까지 성능을 회복함을 보였습니다.
3. 새로운 평가 프레임워크 제안: 현재 벤치마크는 전처리 파이프라인의 성능을 검색 모델의 성능으로 잘못 평가하고 있음을 지적하며, 전사 (Transcription) 능력과 검색 (Retrieval) 능력을 분리하여 평가할 것을 요구합니다.

4. 실험 결과 (Results)

A. 다국어 환경 (Multilingual Settings)

• 성능 회복: 아랍어, 일본어, 베트남어 등 복잡한 형태소나 분할이 필요한 언어에서 최적의 OCR 과 언어별 전처리를 적용한 BM25 는 평균 Top-5 정확도 8.9%p 향상되었습니다.
• 언어별 차이:
  • OCR 주도 언어 (아랍어, 일본어 등): OCR 모델의 선택이 성능 차이의 대부분을 설명함.
  • 전처리 주도 언어 (체코어, 슬로베니아어 등): 적절한 OCR 이 확보된 후 형태소 분석 (Lemmatization) 이 성능 향상의 핵심 요인임.

B. 시각적 풍부 문서 (Visually Rich Documents)

• 도표/차트 처리: 그림이 많은 페이지에서 기존 OCR 은 텍스트만 추출하여 도표 내의 데이터 (라벨, 축, 범례) 를 누락시킴.
• VLM 기반 전사의 효과: Mistral 3B 와 같은 VLM 을 사용하여 도표의 내용을 텍스트로 설명 (Semantic Description) 하면, BM25 의 Top-5 정확도가 최대 31.1%p까지 급격히 향상되었습니다.
• 밀집 모델에도 적용: SBERT, BGE-M3 와 같은 텍스트 기반 밀집 검색 모델도 전사 품질이 향상되면 성능이 크게 개선됨.

C. 벤치마크 비교

• 최고 성능: ColQwen2-v0.1 등의 최신 멀티모달 모델이 여전히 가장 높은 성능을 보이지만, BM25 + 최적 OCR + 전처리 조합은 많은 멀티모달 모델과 유사하거나 일부 언어/태스크에서는 이를 능가하는 성능을 보임 (예: Top-5 정확도 84.4% vs 82.8%).
• 한계: 텍스트로 변환할 수 없는 순수 시각적 추론 (공간적 관계, 그래픽 트렌드 등) 에 대해서는 여전히 멀티모달 모델이 우위를 점함.

5. 의의 및 결론 (Significance & Conclusion)

• OCR 은 1 순위 구성 요소: 문서 검색 시스템에서 OCR 과 전처리는 단순한 전단계가 아니라 검색 성능을 결정하는 **핵심 구성 요소 (First-class component)**로 간주되어야 합니다.
• 연구 방향의 전환: "더 좋은 검색 모델"을 개발하는 데만 집중하기보다, 더 정확한 텍스트 표현을 확보하는 데 연구 노력을 집중해야 합니다.
• 벤치마크의 재정의: 향후 벤치마크는 전처리 파이프라인의 변수를 통제하거나 명시적으로 보고해야 하며, 검색 모델의 성능을 평가할 때 전사 품질의 영향을 분리하여 측정해야 합니다.

요약하자면, 이 논문은 "검색 모델이 나쁘다"는 결론 대신 "입력 데이터 (문서 표현) 가 부정확했다"는 사실을 지적하며, 기존 BM25 와 같은 간단한 방법론도 적절한 전처리를 거치면 최신 복잡한 모델들과 경쟁할 수 있음을 증명했습니다. 이는 RAG 시스템 개발 시 데이터 파이프라인의 중요성을 재조명하는 중요한 시사점을 제공합니다.