MTEB-BR: A Text Embedding Benchmark for Brazilian Portuguese

문제 정의
브라질 포르투갈어는 2억 명 이상의 원어민이 사용함에도 불구하고, 텍스트 임베딩 모델을 평가하기 위한 포괄적인 네이티브 벤치마크가 존재하지 않습니다. MTEB 및 MMTEB와 같은 현재의 평가 프레임워크는 주로 번역된 코퍼스(예: 영어 MS MARCO를 기계 번역한 mMARCO-PT)에 의존하거나 빈약한 다국어 커버리지를 제공합니다. 저자들은 번역이 번역 노이즈, 도메인 드리프트(domain drift), 관용적 평면화(idiomatic flattening)와 같은 체계적인 아티팩트를 유발하여, 네이티브 텍스트에 대한 모델 간의 실제 성능 차이를 가린다고 주장합니다. 중국어, 프랑스어, 독일어 등에는 언어별 확장판이 존재하지만, 포르투갈어는 기계 번역 데이터를 배제한 전용 네이티브 벤치마크가 부재했습니다.

방법론
본 논문은 단 하나의 포함 기준, 즉 **네이티브 소스(native source)**를 바탕으로 설계된 벤치마크인 MTEB-BR을 소개합니다.

• 태스크 스위트(Task Suite): 이 벤치마크는 분류(classification), 다중 레이블 분류(multilabel classification), 쌍 분류(pair classification), 의미적 텍스트 유사도(STS), 클러스터링(clustering), 검색(retrieval), 재순위화(reranking)의 7가지 MTEB 카테고리에 걸친 22개 태스크로 구성됩니다. 이 태스크들은 법률, 의료, 세무, 과학, 백과사전, 소셜 미디어 도메인을 아우르는 17개의 고유 코퍼스에서 추출되었습니다. 결정적으로, 기계 번역된 데이터셋(특히 mMARCO-PT 및 mkqa-PT)은 구조적으로 제외되었습니다.
• 모델 패널: 저자들은 23M에서 27B 파라미터에 이르는 93개의 모델을 평가했습니다. 여기에는 73개의 오픈 웨이트 모델(디코더-LLM 임베더, 다국어 인코더, 포르투갈어 특화 인코더, Sentence-Transformer 베이스라인 포함)과 20개의 폐쇄형 상용 API(Google, OpenAI, Voyage, Mistral, Amazon 제품)가 포함됩니다.
• 통계적 엄밀성: 표준 점 추정치를 넘어, 저자들은 리더보드를 보완하기 위해 "통계적 계층(statistical layer)"을 도입했습니다. 여기에는 다음이 포함됩니다:
  • 태스크별 부트스트랩 신뢰 구간(10,000회 재표본 추출을 통한 95% CI).
  • 한 모델이 다른 모델을 확실히 능가하는지 결정하기 위한 쌍 부트스트랩 유의성 검정(paired-bootstrap significance testing).
  • 태스크 변별력(태스크가 모델을 얼마나 날카롭게 구분하는지)과 모델 능력을 측정하기 위한 문항 반응 이론(IRT) 분석.
  • 글로벌 HuggingFace MTEB 다국어 리더보드와의 교차 리더보드 상관관계 분석.
• 평가 프로토콜: 메트릭은 표준 MTEB 관례(accuracy, V-measure, nDCG@10, MAP, Spearman correlation)를 따릅니다. 모든 모델은 비교 가능성을 보장하기 위해 512-토큰 컨텍스트 캡(context cap)을 적용하여 평가되었습니다.

주요 결과

• 모델 분리: 이 벤치마크는 전체 모델 쌍의 약 78.7%를 약 12개의 구별 가능한 티어(tier)로 깔끔하게 분리합니다. 그러나 상위 6개 모델은 성능 차이가 통계적으로 구별 불가능한(평균 점수 편차가 0.020 이내인) "수렴된 프런티어 티어(converged frontier tier)"를 형성합니다.
• Open vs. Closed: 자체 호스팅이 가능한 오픈 웨이트 모델(Qwen3-Embedding-8B, Apache-2.0)이 선두 프런티어 티어에 도달하며, 22개 태스크 평균 0.6704로 전체 2위를 기록했습니다. 이는 고품질의 포르투갈어 임베딩을 위해 반드시 상용 API가 필요한 것은 아님을 입증합니다.
• 태스크 변별력: 검색(Retrieval) 태스크가 모델을 분리하는 데 가장 효과적이었으며, 가장 높은 변별력 점수(IRT $a_t$ 값 1.49에서 2.05 사이)를 보였습니다. 반대로, 클러스터링 태스크와 특정 분류 프로브(예: 팩트 체크)는 가장 낮은 변별력을 보였습니다.
• 다국어 상관관계: 글로벌 다국어 리더보드에서의 모델 순위는 포르투갈어 순위를 중간 정도로만 예측합니다(공유된 55개 모델에 대해 Spearman $\rho = 0.75$). 상당한 격차가 존재하는데, 예를 들어 글로벌 3위였던 모델이 MTEB-BR에서는 49위로 떨어졌습니다. 이는 네이티브 벤치마크가 다국어 보드가 놓치는 능력, 특히 네이티브 검색 능력을 측정한다는 것을 시사합니다.
• 포르투갈어 특화 인코더: 포르투갈어 특화 인코더는 일반적으로 검색 태스크에서 일반 다국어 인코더보다 뒤처졌습니다. 그러나 저자들은 이를 언어 전문화의 문제라기보다는 학습 목표(예: 마스크드 언어 모델링 vs. 검색 미세 조정)의 차이로 돌립니다. 검색에 미세 조정된 포르투갈어 모델(Serafim 변체들)은 다국어 모델과 대등한 성능을 보였습니다.

의의 및 주장
본 논문은 MTEB-BR이 실무자들에게 번역된 대리 지표가 아닌 네이티브 증거를 바탕으로 임베딩 모델을 선택할 수 있는 도구를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 네이티브 태스크 스위트: 기계 번역된 데이터를 엄격히 배제하고 네이티브 텍스트에 대한 성능을 더 정확하게 반영하는, 브라질 포르투갈어를 위한 최초의 통합 벤치마크입니다.
2. 통계적 투명성: 통계적 계층(신뢰 구간, 쌍 유의성, IRT)의 도입을 통해, 특히 모델들이 수렴하는 리더보드 상단에서 실제 성능 차이와 통계적 노이즈를 구분할 수 있게 합니다.
3. 비용-품질 인사이트: 본 벤치마크는 오픈 웨이트 모델(Qwen3-Embedding-8B 등)과 특정 상용 API가 최적의 품질 대비 비용 효율(Pareto frontier)을 제공함을 식별하여, 고성능을 위해서는 대규모 독점 API가 필수적이라는 가설에 도전합니다.
4. 글로벌 보드의 한계: 글로벌 리더보드와의 중간 정도의 상관관계는 다국어 벤치마크가 특히 검색 태스크와 같은 언어별 배포를 위한 충분한 대리 지표가 될 수 없음을 경고합니다.

저자들은 향후 언어별 MTEB 확장을 위한 재사용 가능한 통계적 템플릿을 구축하는 것을 목표로 모든 코드(Apache-2.0), 전체 결과 데이터셋(CC-BY 4.0), 그리고 인터랙티브 리더보드를 공개합니다.