기술 요약: 하나의 프롬프트만으로는 부족하다: 지시 민감도가 임베딩 모델 평가를 훼손함

문제 제기

지시 미세 조정 (instruction-tuned) 된 임베딩 모델은 검색 증강 생성 (RAG), 의미 검색, 그리고 에이전트 메모리를 포함한 최첨단 자연어 처리 (NLP) 응용 분야에서 표준이 되었습니다. 그러나 BEIR 및 MTEB(대규모 텍스트 임베딩 벤치마크) 와 같은 프레임워크 내의 현재 평가 관행은 작업당 단일 프롬프트를 사용하는 단일 지점 평가에 의존하고 있습니다.

이 논문은 이러한 방법론의 치명적인 결함을 지적합니다: 지시 기반 모델은 본질적으로 지시 (프롬프트) 의 표현 방식에 민감합니다. 오직 하나의 프롬프트만으로 모델을 평가함으로써, 벤치마크는 타당한 지시들 간의 성능 분포를 포착하지 못합니다. 이러한 단일 지점 접근법은 실제 모델 능력을 오인하게 할 위험이 있으며, 프롬프트 축소 (prompt deflation)(성능 과소 평가) 나 프롬프트 과대 평가 (prompt inflation)(성능 과대 평가) 로 이어질 수 있습니다. 더 나아가, 현재 시스템은 개발자가 모델 점수를 극대화하는 프롬프트를 선택적으로 고를 수 있는 "프롬프트 해킹 (prompt hacking)"을 허용하여, 모델 가중치나 학습 데이터를 변경하지 않고도 리더보드 순위를 왜곡할 수 있게 합니다.

방법론

저자들은 임베딩 모델 성능에 대한 프롬프트 변이의 영향을 정량화하기 위해 실증 연구를 수행했습니다.

• 범위: 이 연구는 11 가지 다양한 작업 (검색, 분류, 클러스터링, 의미적 텍스트 유사성 (STS) 을 포괄) 에 걸쳐 6 개의 오픈 가중치 임베딩 모델(Qwen3-Embedding-0.6B, multilingual-e5-large-instruct, KaLM-embedding-multilingual-mini-instruct-v2.5, 그리고 small, base, large 세 가지 BGE 변형 포함) 을 평가했습니다.
• 프롬프트 생성: 11 개 작업 각각에 대해 저자들은 gpt-oss-120b를 사용하여 15 개의 작업별 프롬프트를 합성했습니다. 이러한 프롬프트는 실제 현장 전문가의 사용과 유사하도록 설계되었으며, 표현은 다양하되 일관성 있고 관련성을 유지하도록 구성되었습니다. 저자들은 합성 프롬프트가 인간이 작성한 프롬프트와 비교 가능한 점수 분포를 생성함을 검증했습니다.
• 평가: 모델들은 각 작업당 15 개의 프롬프트를 사용하여 모든 11 개 데이터셋에서 실행되었으며, 그 결과 총 990 회 평가(6 개 모델 × 11 개 작업 × 15 개 프롬프트) 가 이루어졌습니다.
• 분석: 저자들은 다음을 분석했습니다:
  1. 각 모델 - 작업 쌍에 대한 프롬프트 간 점수 분포.
  2. 민감도를 측정하기 위한 변동 계수 (Coefficient of Variation, CV).
  3. 전체 분포에 대한 "기본" MTEB 프롬프트의 위치.
  4. 적대적 프롬프트 선택 시나리오 하에서의 리더보드 순위 안정성.

주요 결과

1. 프롬프트 축소 및 과대 평가

이 연구는 보고된 MTEB 점수가 종종 기대되는 성능을 오인한다는 사실을 발견했습니다:

• 프롬프트 축소: 여러 모델의 경우 (예: TweetSentimentClassification 및 STS22.v2에서의 BGE 변형), 기본 프롬프트는 분포의 하위 꼬리에서 점수를 기록하여 모델의 잠재력을 현저히 과소평가했습니다.
• 프롬프트 과대 평가: 반대로, 일부 모델 (예: MIRACL에서의 Qwen3) 은 분포의 상위 꼬리나 이차 모드에서 보고된 점수를 달성하여 지각된 품질을 인위적으로 부풀렸습니다.

2. 높은 민감도 (RQ1)

모델들은 프롬프트 변이에 대해 상당한 민감도를 보입니다. 중앙 변동 계수 (CV) 는 적당히 26% 수준이었으나, 특정 모델 - 작업 조합은 극단적인 분산을 보였으며 개별 작업 CV 는 **3045%**에 달했습니다. 이는 많은 구성에서 성능이 프롬프트 선택에 대해 견고하지 않음을 시사합니다.

3. 리더보드 불안정성 (RQ2)

이 연구는 리더보드 순위가 프롬프트 선택에 대해 견고하지 않음을 입증했습니다.

• 적대적 선택: 대상 모델에는 최상 성능을 내는 프롬프트를 할당하고 경쟁사에는 최악 (또는 기본) 프롬프트를 할당함으로써, 연구에 포함된 모든 모델을 1 위까지 끌어올릴 수 있었습니다. 예를 들어, 기본 조건 하에서 최하위를 기록했던 bge-small-en-v1.5를 최상위 수행자로 만들 수 있었습니다.
• 비적대적 최적화: 악의적인 의도 없이도, 단일 개발자가 기본 경쟁사 설정에 대해 자신의 프롬프트를 최적화하면 순위가 크게 이동할 수 있습니다 (예: bge-large가 5 위에서 3 위로 이동).

4. 프롬프트 해킹의 만연 (RQ3)

보고된 점수와 관찰된 분포 간의 분석은 대부분의 모델이 중앙 기대 점수보다 훨씬 높은 성능을 보고하는 체계적인 패턴을 드러냈습니다. 저자들은 이를 **"프롬프트 해킹"**이라고 명명합니다: 제출 정책에는 부합하지만 공개되지 않은 자유도를 악용하는 단일 유리한 프롬프트를 선택적으로 보고하는 행위입니다. 이 현상은 통계학의 p-hacking 과 유사합니다.

중요성 및 권장 사항

이 논문은 지시 미세 조정 임베딩 모델에 대해 단일 프롬프트 평가는 불충분하다고 주장합니다. 현재 벤치마킹 패러다임은 진정으로 견고한 모델과 단순히 특정 프롬프트에 운이 좋은 모델을 구별하지 못합니다.

주요 주장:

• 보고된 벤치마크 점수는 종종 타당한 프롬프트에 걸친 성능 분포를 오인합니다.
• 리더보드 순위는 취약하며 모델 자체를 수정하지 않고도 프롬프트 선택을 통해 조작될 수 있습니다.
• "프롬프트 해킹" 현상은 평가에 선택된 특정 프롬프트에 따라 모델이 과대 또는 과소 평가되도록 허용합니다.

권장 사항:
저자들은 벤치마크가 단일 지점 추정에서 다중 프롬프트 평가로 전환해야 한다고 제안합니다. 이는 다음을 통해 달성될 수 있습니다:

1. 여러 프롬프트에 걸쳐 모델을 평가하고 점수 추정치와 함께 점수 분포 또는 견고성 지표를 보고합니다.
2. 모델 개발자가 단일 프롬프트에서의 최고 성능이 아닌 프롬프트 견고성을 최적화하도록 장려합니다.
3. 변동성을 줄이기 위해 제한적이고 표준화된 프롬프트 체계 (Jina v5 시리즈와 유사) 를 채택합니다.

한계

저자들은 몇 가지 한계를 인정합니다:

• 모델 범위: 이 연구는 최대 0.6B 파라미터의 6 개 오픈 가중치 모델에 초점을 맞추었으며, 더 크거나 오픈 소스 모델은 다른 민감도 프로파일을 보일 수 있습니다.
• 샘플 크기: 작업당 15 개의 합성 생성 프롬프트 사용은 인간 프롬프트와 검증되었으나, 실제 세계 프롬프트 엔지니어링의 전체 다양성을 포착하지 못할 수 있습니다.
• 언어: 분석은 영어로 제한되었으며, 다국어 설정은 번역 아티팩트와 언어별 표현으로 인해 추가적인 민감도를 도입할 수 있습니다.
• 실무자 맥락: 벤치마크 유효성에 대한 위협으로 제시되었으나, 저자들은 프롬프트 민감도가 실제로는 자산이 될 수 있음을 지적합니다. 즉, 프롬프트 검색을 통해 최소 비용으로 성능 개선을 얻을 수 있게 해준다는 점입니다.