Choosing a Text Embedding Model: A Practical Benchmarking and Decision Framework

거대한, 혼란스러운 건초더미 속에서 특정한 바늘 하나를 찾으려 한다고 상상해 보십시오. 하지만 여기 반전이 있습니다. 그 바늘은 금속이 아니라 순수한 '의미'로 만들어졌고, 건초더미는 서로 다른 스타일로 쓰인 수백만 개의 문서로 이루어져 있습니다. 이것이 바로 현대 컴퓨터 과학의 일일 과제인 **검색 증강 생성(Retrieval-Augmented Generation, RAG)**입니다. 이를 해결하기 위해 컴퓨터는 **텍스트 임베딩 모델(Text Embedding Model)**이라는 마법 같은 도구를 사용합니다. 임베딩 모델을 모든 문장, 단락, 또는 책을 고유한 "맛의 코드"(숫자 리스트)로 변환하는 매우 똑똑한 번역가라고 생각하십시오. 만약 두 텍스트의 의미가 비슷하다면, 그들의 맛의 코드는 서로 닮은 맛이 나며 거대한 디지털 지도 위의 가까운 곳에 위치하게 됩니다. 만약 서로 다르다면, 그들의 코드는 멀리 떨어지게 됩니다.

하지만 다양한 종류의 번역가가 있는 것처럼—시에는 뛰어나지만 법률 계약서에는 서툰 번역가도 있고, 오직 한 가지 언어만 구사하는 번역가도 있는 것처럼—임베딩 모델에도 많은 종류가 있습니다. 이러한 검색 시스템을 구축하려는 사람들에게 던져지는 큰 질문은 이것입니다: "어떤 번역가를 고용해야 할까?" 엄청난 비용을 지불하고 절대적으로 최고일 수도 있는 유명인 번역가를 고용할 것인가, 아니면 거의 비슷하게 잘하면서도 훨씬 빠르고 무료인 유능한 지역 프리랜서를 고용할 것인가? 이것이 바로 인도 기술 연구소(IIT) 바라나시의 Madhav S Baidya가 수행한 새로운 연구가 해결하고자 하는 바로 그 퍼즐입니다.

위대한 번역가 대결

이 보고서에서 저자는 새롭고 비싼 상업용 번ist인 T3EM(Text 3 Embedding Model)을 다양한 오픈 소스 무료 대안들과 맞붙였습니다. 목표는 높은 가격표와 느린 속도의 상업용 모델이 실제로 그만한 가치가 있는지, 아니면 무료 모델들이 그 역할을 충분히 잘 수행할 수 있는지 확인하는 것이었습니다.

연구 결과, T3EM은 확실히 검색의 챔피언이었습니다. 네 가지 특정 영어 검색 작업에 대해 테스트했을 때, T3EM은 가장 높은 점수(평균 nDCG@10 = 0.638)를 기록하며 가장 적절한 답을 찾는 데 최고임을 입증했습니다. 하지만 함정이 있습니다. T3EM은 느립니다. 쿼리를 처리하는 데 약 231.6 밀리초(중앙값)가 걸리는데, 이는 가장 빠른 오픈 소스 모델보다 약 7배에서 14배 정도 느린 속도입니다. 게 것이, 오픈 소스 모델은 자신의 컴퓨터에서 무료로 실행할 수 있는 반면, T3EM은 사용하는 데 비용(약 100만 토큰당 $0.025)이 듭니다.

놀라운 언더독: mE5-L

여기서 이야기는 흥ся로워집니다. 연구는 당신에게 항상 비싼 유명인이 필요한 것은 아니라는 사실을 발견했습니다. 오픈 소스 모델인 mE5-L(Multilingual-E5-large)은 무료 옵션 중 명확한 승자였습니다. 이 모델은 0.546의 점수를 기록했는데, 이는 T3EM의 최고 점수에 놀라울 정도로 근접하면서도, 비교했을 때 단 31.0 밀리초 만에 실행되어 거의 즉각적입니다.

저자의 주요 권장 사항은 간단합니다. 무엇이 필요한지 확신이 서지 않는다면, mE5-L로 시작하십시오. 이 모델은 높은 품질과 속도 사이에서 최상의 균형을 제공합니다. 당신이 절대적으로 최고의 품질이 필요하거나, 문서가 매우 길거나(표준 제한 초과), 혹은 비용을 지불하고 조금 더 기다릴 용의가 있는 경우에만 T3EM으로 전환해야 합니다.

"훈련"이 "크기"보다 중요하다

이 논문에서 얻은 가장 중요한 교훈 중 하나는 단순히 크다고 해서 더 좋은 것은 아니며, 모델의 훈련 방식이 크기보다 더 중요하다는 것입니다.

연구는 "문장 유사성"(두 문장이 같은 의미인지 확인하는 것)에 능숙하도록 훈련된 모델들을 테스트하고, 이를 "검색"(질문에 대한 답을 찾는 것)에 사용해 보았습니다. 결과는 처참했습니다. 문장 유사성을 포착하는 데는 뛰어나지만 검색 작업에는 적합하지 않은 LaBSE나 mMPNet 같은 모델들은 검색 작업에서 형편없는 점수(평균 0.188 및 0.243)를 받았습니다.

왜 그럴까요? 질문에 대한 답을 찾는 것은 두 개의 짧은 문장을 비교하는 것과는 다르기 때문입니다. 질문은 보통 짧고 직접적인 반면, 답변은 길고 상세합니다. 두 개의 짧은 문장을 비교하도록 훈련된 모델은 그 간극을 메우는 방법을 알지 못합니다. 이 논문은 검색을 위해 특별히 훈련된 모델(T3EM이나 mE5-L처럼)이, 아무리 거대한 유사성 모델이라 할지라도 유사성 전용 모델보다 항상 우위에 있음을 증명합니다.

"청킹(Chunking)"의 퍼즐

논문은 또한 컴퓨터에 입력하기 전 긴 문서를 어떻게 조각내는지에 대해서도 살펴보았습니다. 단 하나의 프레임만을 보고 영화 전체를 설명하려고 노력한다고 상상해 보십시오. 프레임이 너무 작으면 이야기를 놓치게 됩니다. 너무 크면 컴퓨터가 혼란을 겪습니다.

연구는 이 조각내기, 즉 **청킹(chunking)**의 "스위트 스팟(최적의 지점)"을 찾아냈습니다:

• 너무 작을 때 (16 토큰 미만): 의미가 붕괴됩니다. 컴퓨터는 텍스트가 무엇에 관한 것인지 이해할 수 없습니다.
• 딱 적당할 때 (약 32 토크): 품질이 정점에 달합니다. 이보다 더 크게(64 또는 128 토큰) 만든다고 해서 더 도움이 되지는 않습니다.
• 조각내는 방법: 자연스러운 주제 경계에서 자르는 것(의미론적 청킹)이 무작위 단어 수로 자르는 것보다 낫지만, 이는 청크가 매우 작을 때에만 해당됩니다.

최종 판결

이 논문은 단순히 점수 목록을 제공하는 것이 아니라, 의사 결정 프레임워크를 제공합니다. 우리에게 모든 것에 적합한 단 하나의 "최고" 모델은 없다는 것을 알려줍니다.

• 일반적인 검색 및 챗봇용: mE5-L을 사용하십시오. 빠르고, 무료이며, 거의 최고 수준에 육박합니다.
• 방대하고 복잡한 문서에서 답을 찾아야 할 때: 예산이 있고 조금 더 기다릴 수 있다면 T3EM을 고려하십시오.
• 유사한 문서를 그룹화(클러스터링)할 때: MPNet을 사용하십시오.
• 두 문장이 같은 의미인지 확인할 때: ST5를 사용하십시오.

저자들은 자신이 실제로 무엇을 필요로 하는지 생각하지 않고 단순히 리더보드의 전체 점수가 가장 높은 모델을 선택하는 흔한 실수를 경계하라고 경고합니다. 만약 검색을 위해 유사성 모델을 사용하거나, 그룹화를 위해 검색 모델을 사용한다면, 그 모델이 아무리 유명하더라도 실패할 가능성이 높습니다. 핵심은 도구를 작업에 맞추고, 속도를 사용자의 인내심에 맞추며, 비용을 당신의 지갑 사정에 맞추는 것입니다.