HAKARI-Bench: A Lightweight Benchmark for Comparing Retrieval Architectures and Efficiency Settings under Unified Conditions

HAKARI-Bench 기술 요약

문제 정의
Retrieval-Augmented Generation (RAG) 및 시맨틱 검색의 급격한 도입으로 인해 텍스트 임베딩 모델과 검색 설정의 선택이 매우 중요해졌습니다. 그러나 기존의 대규모 벤치마크(예: MTEB, MMTEB, BEIR)는 포괄적이기는 하지만 계산 비용이 많이 들어, 개발 과정 중 반복적인 평가를 수행하기에는 비실용적입니다. 또한, 차원 축소, 양자화(int8/binary), 리랭킹(reranking)과 같은 프로덕션 단계의 효율성 설정을 동일한 조건 하에서 여러 모델에 걸쳐 비교할 수 있는 인프라가 부족합니다. 이러한 효율성 설정은 검색 품질과 컴퓨팅, 메모리, 지연 시간 사이의 균형을 맞추는 데 필수적이지만, 모델별로 일관되게 보고되는 경우가 드물며, 동일한 조건에서의 교차 모델 비교 연구도 부족한 실정입니다.

방법론
본 논문은 기존의 검색 벤치마크를 통합된 형식을 유지하면서 작고 관리 가능한 데이터셋("Nano-sets")으로 재구성하도록 설계된 경량 평가 인프라인 HAKARI-Bench를 소개합니다.

• Nano-set 구축: 이 벤치마크는 35개의 벤치마크와 43개 언어에 걸쳐 551개의 검색 태스크를 구축합니다. 각 태스크는 원본 벤치마크에서 약 50200개의 쿼리와 1,00010,000개의 문서를 추출하여 축소한 "Nano-set"입니다. 이러한 축소는 MMTEB(상관관계 기반 다운샘플링) 및 NanoBEIR의 원칙을 따르며, 이를 통해 데이터셋의 대표성을 유지하면서 평가 비용을 절감합니다.
• 통합 태스크 형식: 모든 태스크는 코퍼스(corpus), 쿼리, 관련성 레이블(qrels), 그리고 **고정된 상위 후보 세트(fixed top candidate set)**로 구성된 공통 형식을 준수합니다. 후보 세트는 상위 500개의 BM25 결과와 상위 500개의 밀집 검색(dense retrieval) 결과(고정된 참조 모델 사용)를 혼합한 것이며, Reciprocal Rank Fusion(RRF)을 통해 융합되어 최종 100개의 세트를 생성합니다. 안전 장치 규칙을 통해 모든 쿼리는 후보 세트 내에 적어도 하나의 관련 문서를 포함하도록 보장합니다.
• 평가 파이프라인: 이 인프라는 동일한 조건 하에서 다섯 가지 검색 패밀리를 평가합니다:
  1. 후보 생성(Candidate Generation): 전체 코퍼스에서 검색하는 BM25, 밀집(dense), 희소(sparse), 그리고 후기 상호작용(late interaction) 모델.
  2. 리랭킹(Reranking): 고정된 후보 세트를 재정렬하는 모델(cross-encoders 및 LLM 스타일 리랭커 포함).
  3. 효율성 변형(Efficiency Variants): 밀집 임베딩에 적용되는 포스트 인코딩 변환으로, Matryoshka 차원 축소, int8 양자화, binary 양자화, float rescoring을 포함합니다. 희소 표현(Sparse representations) 또한 쿼리 측 및 문서 측 프루닝(pruning)을 통해 평가됩니다.
• 지표 및 집계: 주요 지표는 nDCG@10입니다. 결과는 마이크로 평균(태스크당 동일 가중치)과 매크로 평균(벤치마크당 동일 가중치)을 모두 사용하여 집계하며, 이는 대규모 벤치마크 패밀리에 의한 편향을 방지하기 위함입니다. 시스템은 언어, 도메인, 모델 아키텍처에 따른 다축 필터링을 지원합니다.

주요 기여

1. 경량 멀티링구얼 인프라: HAKARI-Bench는 35개 벤치마크와 43개 언어의 551개 태스크에 대해 다섯 가지 검색 아키텍처(lexical, sparse, dense, late interaction, reranker)를 비교하는 통합 프레임워크를 제공하여 신속하고 반복적인 측정을 가능하게 합니다.
2. 순위 재현성의 경험적 검증: 저자들은 Nano-set이 고충실도 순위 프록시(high-fidelity ranking proxy) 역할을 한다는 것을 입증했습니다. 공식 MTEB retrieval v2, MMTEB v2 retrieval 및 영어 BEIR(전체)와 비교했을 때, Spearman 순위 상관계수가 각각 0.97 이상(0.983, 0.975, 0.973)으로 나타났습니다. 이는 경량 평가가 전체 규모의 평가에서 발견되는 모델의 상대적 순서를 보존함을 확인시켜 줍니다.
3. 교차 모델 효율성 평가: 효율성 설정이 산발적으로 보고되는 기존 벤치마크와 달리, HAKARI-Bench는 지원되는 모든 모델에 대해 동일한 조건 하에서 차원 축소, 양자화 및 리랭킹을 체계적으로 적용합니다. 이를 통해 품질-효율성 파레토 최적(Pareto frontier)을 구체적으로 시각화할 수 있으며, binary 양자화에 대한 강건성이 모델 크기 자체가 아니라 훈련 특성에 의해 결정된다는 점을 밝혀냈습니다.

결과

• 순위 충실도: 본 벤치마크는 대규모 공식 벤치마크의 모델 순위를 높은 상관관계로 성공적으로 재현하여, 모델 선택 및 회귀 탐지(regression detection)를 위한 활용성을 검증했습니다.
• 효율성 트레이드오프:
  • 양자화: Binary 양자화 단독 적용 시 성능이 평균적으로 크게 하락(-6.50 포인트)하는 반면, int8은 완만하게 하락(-1.95 포인트)합니다. 그러나 양자화된 벡터에 의해 검색된 상위 후보들에 float rescoring을 적용하면 성능이 거의 회복됩니다(int8_rescore: -0.09; binary_rescore: -0.93).
  • 희소 프루닝(Sparse Pruning): 문서 측 차원의 공격적인 프루닝은 품질에 미치는 영향이 미미한 반면, 쿼리 측 차원을 16 미만으로 줄이면 성능이 크게 저하됩니다.
  • 리랭킹: 리랭커의 효과는 태스크 범위에 따라 크게 달라집니다. LLM 스타일 리랭커(예: Qwen3-Reranker)는 551개 모든 태스크에서 밀집 모델보다 우수한 성능을 보이지만, 전통적인 cross-encoder는 주로 짧은 쿼리와 짧은 문서 시나리오에서 탁월하며 긴 문서나 복잡한 추론 태스크에서는 어려움을 겪습니다.
• 도메인 특이성: "최적의" 모델은 도메인에 따라 크게 달라집니다. 예를 들어, 특정 밀집 모델이 전체 순위에서 1위를 차지하더라도, 일본어 특화 모델이나 BM25가 특정 언어나 긴 문서 범위에서 1위를 차지할 수 있습니다. 이는 단일 종합 점수만으로는 프로덕션 선택에 불충분함을 시사합니다.

의의 및 주장
본 논문은 HAKARI-Bench를 전체 규모 평가의 대체재가 아니라, 신속한 모델 선택, 회귀 탐지, 그리고 품질-효율성 트레이드오프 분석을 지원하는 고충실도 순위 프록시로 정의합니다. 주요 의의는 다음과 같습니다:

• 효율성 비교의 민주화: 동일한 조건 하에서 효율성 설정(양자화, 차원 축소)에 대한 최초의 체계적인 교차 모델 비교를 제공합니다.
• 반복적 개발 지원: 개발자가 막대한 비용이 드는 전체 벤치마크 없이도 개발 주기 동안 평가를 반복적으로 실행할 수 있도록 합니다.
• 맥락적 모델 선택: 단일 종합 점수를 극대화하는 것에서 벗어나, "모델이 학습하지 못한 도메인이 어디인지"를 식별하는 데 초점을 맞춤으로써 언어, 지연 시간, 문서 길이와 같은 특정 제약 조건에 기반한 적절한 모델 선택을 용이하게 합니다.

저자들은 Nano-set이 모델 순위를 높은 충실도로 재현하지만, 축소된 검색 공간과 hard negative의 부재로 인해 전체 벤치마크와 절대적인 점수 일치를 보장하지는 않는다는 점을 강조합니다. 따라서 본 벤치마크는 절대적인 성능 인증보다는 상대적인 순위 비교 및 설정 비교를 목적으로 합니다.