On the Robustness of Multilingual Text Embedding Rankings Across Learning Tasks, Languages, and Benchmark Datasets

당신이 최고의 자동차를 사려고 노력하고 있다고 상상해 보세요. 당신은 한 유명 잡지의 "최고의 자동차 Top 10" 리스트를 살펴봅니다. 이 잡지는 트랙에서 얼마나 빨리 달리는지, 시트가 얼마나 편안한지, 그리고 연료를 얼마나 아끼는지와 같은 다양한 테스트를 기준으로 순위를 매깁니다.

하지만 여기에 문제가 있습니다. 만약 그 잡지가 특정 유형의 도로에서만 자동차를 테스트했다면 어떻게 될까요? 혹은 그들이 "속도"를 "편안함"보다 두 배 더 중요하게 생각하기로 결정했다면 어떨까요? 갑자기 1위 자동차가 다른 차로 바뀔 수 있습니다.

이 논문은 우리가 AI 언어 모델의 순위를 매길 때 사용하는 리스트에 대해 "스트레스 테스트"를 수행하는 것에 관한 것입니다. 구체적으로는 **다국어 텍는 임베딩 모델(multilingual text embedding models)**을 살펴봅니다. 이 모델들을 "만능 번역기"나 "똑똑한 사서"라고 생각하면 됩니다. 이들은 문장을 숫자로 변れて 컴퓨터가 단어 그 자체뿐만 아니라 단어 뒤에 숨겨된 '의미'를 이해할 수 있게 해줍니다. 이 모델들은 검색 엔진부터 챗봇에 이르기까지 모든 곳에 사용됩니다.

다음은 저자들이 수행한 작업을 쉬운 비유를 사용하여 정리한 내용입니다.

1. 문제점: "결함이 있는 성적표"

현재 대규모 벤치마크(MTEB 등)는 자동차 잡지와 같은 역할을 합니다. 이들은 수백 개의 AI 모델을 수십 개의 언어와 작업(뉴스 기사 분류, 유사 문서 찾기, 텍스트 번역 등)에 걸쳐 테스트합니다.

하지만 저자들은 "승자"가 종종 점수를 어떻게 계산하느냐에 따라 달라진다는 점을 발견했습니다:

• 데이터셋 구성의 문제: 자동차를 비 오는 날에만 테스트한다고 상상해 보세요. 그 차는 "빗길 최고의 차" 상을 받을 수는 있겠지만, 건조한 날에는 실패할 것입니다. 마찬가지로, 벤치마크가 너무 많은 유사한 데이터셋(예: 모두 동일한 질문을 던지는 다섯 개의 서로 다른 테스트)을 사용한다면 결과가 왜곡될 수 있습니다.
• 순위 산정 방식의 문제: 어떤 심판은 "속도"가 가장 중요하다고 생각하는 반면, 다른 심판은 "안전"이 가장 중요하다고 생각합니다. 만약 이들의 점수를 단순히 평균 내면, 어느 쪽도 만족시키지 못하는 결과가 나올 수 있습니다. 이 논문은 점수를 단순히 평균 내는 것이 마치 사과와 오렌지를 섞는 것과 같다고 주장합니다.

2. 해결책: "스트레스 테스트"

저자들은 모델의 순위가 강건한지(robust, 견고하고 신뢰할 수 있는지) 확인하는 새로운 방법을 만들었습니다. 그들은 두 가지 주요 도구를 사용했습니다:

• 도구 A: "카드 섞기" 테스트 (데이터셋 강건성)
  그들은 테스트 목록(데이터셋)을 가져와서 섞었습니다. 일부를 제거하고, 일부는 유지하며, 남은 것들이 모두 똑같은 말을 하지 않도록 조절했습니다.

  • 비유: 모델이 진정으로 최고라면, 테스트 세 개를 제거하거나 다른 것으로 교체하더라도 여전히 리스트 상단에 있어야 합니다. 만약 테스트 리스트를 바꿨다는 이유로 모델이 50위로 떨어진다면, 그 모델은 실제로 최고였던 것이 아니라 그 특정 리스트 덕분에 운이 좋았던 것뿐입니다.

• 도구 B: "다른 심판들" 테스트 (순위 강건성)
  그들은 최종 점수를 계산하기 위해 서로 다른 수학적 방법(예: 성적을 평균 내는 서로 다른 공식 사용)을 사용했습니다.

  • 비유: 모델이 진정한 챔피언이라면, 심판이 "점수제"를 사용하든, "투표제"를 사용하든, 혹은 "3판 2선승제"를 사용하든 승리해야 합니다. 수학 공식을 바꿀 때마다 승자가 바뀐다면 그 순위는 불안정한 것입니다.

3. 연구 결과: 누가 실제로 승리하는가?

5개의 주요 언어(영어, 프랑스어, 독일어, 힌디어, 스페인어)와 9개의 서로 다른 작업에 대해 이 스트레스 테스트를 실행한 결과, 다음과 같은 사실을 발견했습니다:

• "올라운더"는 드뭅니다: 테스트를 섞거나 수학적 방식을 바꾸어도 계속 상위권에 머무른 모델은 아주 극소수였습니다.

  • 슈퍼스타: **llama-embed-nemotron-8b**가 유일하게 진정한 "올라운더"임을 입증한 모델이었습니다. 이 모델은 데이터를 어떻게 나누더라도 5개 언어와 9개 작업 모두에서 강력한 모습을 보였습니다. 이는 트랙에서도, 빗길에서도, 고속도로에서도 승리하며, 심판이 누구든 상관없이 우승하는 자동차와 같습니다.
  • 특화된 모델들: 어떤 모델들은 특정 작업에는 뛰어났지만, 다른 작업에 대한 스트레스 테스트에서는 실패했습니다.
    • **bge-m3**는 "Bitext Mining"(두 언어 간 일치하는 문장 찾기) 분야의 독보적인 왕이었습니다. 이 모델은 너무 뛰어나서 테스트를 어떻게 섞든 상관하지 않았습니다.
    • **Qwen3-Embedding-8B**는 "Classification"(텍스트 분류)의 챔피언이었지만, 테스트가 변경될 때는 일관성이 떨어졌습니다.
    • **bilingual-embedding-large**는 "Retrieval"(관련 문서 찾기)을 위한 최고의 선택이었습니다.

• "하나의 모델로 다 된다"는 신화: 이 논문은 대부분의 모델이 사실 "전문가"라는 것을 발견했습니다. 문서를 찾는 데 탁월한 모델이 뉴스 분류에는 엉망일 수 있습니다. 하나의 단일 모델이 모든 것에 완벽하다는 생각은 대부분 우리가 점수를 평균 내는 방식이 만들어낸 환상입니다.

• 언어가 중요합니다: 영어의 경우 사용할 수 있는 다양한 테스트가 많기 때문에 결과가 훨씬 안정적이었습니다. 다른 언어의 경우, 데이터가 너무 부족하여 누가 진짜 승자인지 확신하기 어려웠습니다. 이는 이탈리아 요리를 제공하는 식당이 단 하나뿐인 마을에서 최고의 셰프를 판별하려고 하는 것과 같습니다. 공정하게 비교할 수 없습니다.

4. 시사점

이 논문은 우리가 단순한 "평균 점수" 리스트를 신뢰하는 것을 멈춰야 한다고 결론짓습니다. 어떤 모델이 표준 리스트에서 1위라고 해서, 그것이 당신의 특정 목적에 가장 신뢰할 수 있는 선택이라는 뜻은 아닙니다.

• 모든 용도로 쓸 모델이 필요하다면: **llama-embed-nemotron-8b**를 선택하세요. 이 모델은 전 영역에서 "스트레스 테스트"를 통과한 유일한 모델입니다.
• 특정 작업에 필요한 모델이 필요하다다면: 전문가 모델(예: 마이닝을 위한 bge-m3 또는 검색을 위한 bilingual-embedding-large)을 찾되, 평가 방법이 바뀌면 그 순위가 변할 수 있다는 점을 명심하세요.

요약하자면, 저자들은 AI 순위에 대한 "진실 탐지기"를 만들었습니다. 많은 모델이 훌는 것은 사실이지만, 일관되게 훌륭한 모델은 매우 드물며, 일관되게 훌륭한 모델이야야말로 중요한 순간에 당신이 믿어야 할 모델이라는 것을 보여주었습니다.