Why Large Language Models can Secretly Outperform Embedding Similarity in Information Retrieval

이 논문은 LLM 기반의 추론을 활용한 정보 검색 시스템이 임베딩 유사성 기반 시스템보다 잠재적으로 우월할 수 있음을 주장하지만, 기존 TREC-DL 2019 데이터셋의 인간 주석 자체가 '단시안적'인 한계를 지녀 이러한 잠재력을 표준 평가 데이터셋으로 검증할 수 없음을 밝힙니다.

핵심

이 논문은 **"정보 검색 (검색 엔진)"**의 미래를 바꾸고 있는 두 가지 기술, 즉 **'임베딩 (Embedding)'**과 **'대규모 언어 모델 (LLM)'**의 대결을 다룹니다.

저자들은 **"LLM 은 사실 더 똑똑할 수 있는데, 우리가 쓰는 평가 기준 때문에 그 능력을 제대로 보여주지 못하고 있다"**는 놀라운 주장을 펼칩니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 두 명의 검색 전문가: "유사성 탐정" vs "이해력 탐정"

검색 엔진은 사용자의 질문 (쿼리) 에 맞는 문서를 찾아주는 역할을 합니다. 이 논문은 두 가지 방식의 전문가를 비교했습니다.

• 유사성 탐정 (NERS - 임베딩 기반):

  • 방식: "단어가 얼마나 비슷하게 생겼나?"를 봅니다.
  • 비유: 이 탐정은 키워드 매칭에 능합니다. 질문이 "맥도날드 더블치즈버거와 맥더블의 차이"라면, 문서에 '맥도날드', '치즈버거', '맥더블'이라는 단어가 많이 나오면 "아, 이건 정답이야!"라고 생각합니다.
  • 단점: 질문과 문서의 의미는 다르지만, 단어가 비슷하면 정답으로 착각합니다. 반대로, 정답인데 단어가 전혀 다르다면 놓쳐버립니다.

• 이해력 탐정 (LLM-RJS - 언어 모델 기반):

  • 방식: "질문의 의도를 이해하고 논리적으로 추론해 보자."
  • 비유: 이 탐정은 문맥과 논리를 파악합니다. 질문이 "맥도날드 더블치즈버거와 맥더블의 차이"일 때, 문서에 "치즈가 한 조각 더 들어가고 20 센트 비싸다"라고만 적혀 있어도, 단어가 비슷하지 않아도 **"아, 이게 정답이구나!"**라고 추론할 수 있습니다.

2. 실험 결과: 왜 더 똑똑한 탐정이 지는 것일까?

연구진은 실제 검색 데이터 (TREC-DL 2019) 를 가지고 두 탐정에게 검색 과제를 시켰습니다. 결과는 놀라웠습니다.

• 결과: 더 똑똑하고 논리적인 LLM 탐정이, 단순한 단어 매칭을 하는 유사성 탐정보다 더 좋은 성적을 내지 못했습니다.
• 이유: 문제는 LLM 이 못해서가 아니라, '채점하는 사람 (사람 평가자)'이 문제였습니다.

3. 핵심 비유: "눈이 짧은 채점관"

이 논문의 가장 중요한 발견은 **"인간 채점관들도 '단어 유사성'에 너무 집착해서 정답을 놓치고 있었다"**는 점입니다.

• 상황:

  • 질문: "맥더블과 더블치즈버거의 차이는?"
  • 정답 문서: "치즈가 한 조각 더 들어가고 20 센트 비싸다." (단어가 '맥더블'이나 '치즈버거'와 완벽히 일치하지는 않음)
  • LLM 의 판단: "정답이다! (점수 3 점)"
  • 인간 채점관의 판단: "단어가 안 맞네. 관련성 없어. (점수 0 점)"

• 비유:
  마치 수학 시험에서 학생이 "3+3=6"이라고 적었는데, 채점관이 "문제에 3+3 이라고 적힌 게 없으니 오답"이라고 처리하는 것과 비슷합니다.
  LLM 은 논리로 정답을 찾았지만, 인간 채점관은 **단어의 겉모습 (유사성)**만 보고 "틀렸다"고 점수를 뺐습니다.

그래서 LLM 이 아무리 똑똑해도, **인간이 만든 '오류가 있는 정답지' (Short-sighted annotations)**를 기준으로 평가받으면, 오히려 단순한 유사성 탐정보다 성적이 낮게 나오는 것입니다.

4. 결론: 우리는 무엇을 배웠나?

1. LLM 은 실제로 더 똑똑합니다: LLM 은 단어의 겉모습이 달라도 문맥을 이해해 정답을 찾아냅니다.
2. 하지만 평가 기준이 구립니다: 우리가 쓰는 기존 데이터셋 (정답지) 은 인간 채점관들이 만든 '단어 중심'의 편견으로 가득 차 있습니다.
3. 진짜 승자는 LLM 일 수 있습니다: 만약 우리가 "단어 유사성"이 아니라 "진짜 의미"를 기준으로 평가한다면, LLM 기반 검색 시스템이 기존 시스템을 압도할 것입니다.

요약하자면

이 논문은 **"LLM 은 이미 검색 분야에서 더 뛰어난 능력을 가지고 있지만, 우리가 그 능력을 제대로 측정할 수 있는 '자' (평가 기준) 가 아직 구리다"**라고 말합니다.

우리가 더 똑똑한 AI 를 쓰려면, 단순히 "단어가 비슷한가?"를 묻는 것이 아니라, **"질문의 의도를 진짜로 이해했는가?"**를 평가할 수 있는 새로운 기준이 필요하다는 것입니다.

기술 요약

제시된 논문 "Why Large Language Models can Secretly Outperform Embedding Similarity in Information Retrieval"의 기술적 요약입니다.

1. 연구 배경 및 문제 제기 (Problem)

• 정보 검색 (IR) 의 한계: 기존의 신경 임베딩 검색 시스템 (NERS) 은 쿼리와 문서 간의 **의미적 유사성 (Semantic Similarity)**을 기반으로 문서를 순위 매깁니다. 그러나 저자들은 유사성이 '관련성 (Relevance)'을 완전히 대변하지 않는다고 주장합니다.
• 단시성 (Short-sightedness) 문제: 쿼리와 문서가 개념적으로 유사하지 않더라도, 문서가 쿼리에 대한 정답을 제공할 수 있습니다 (예: "맥도날드 맥더블과 더블 치즈버거의 차이"에 대한 질문과 "치즈 한 조각 차이"라는 설명). NERS 는 이러한 경우 유사도가 낮아 관련성을 놓치는 '단시성'의 한계를 가집니다.
• LLM 의 잠재력: 대형 언어 모델 (LLM) 은 언어 이해와 추론 (Reasoning) 을 통해 직접 관련성을 판단할 수 있어 NERS 의 한계를 극복할 가능성이 있습니다. 하지만 기존 연구들은 LLM 기반 관련성 판단 시스템 (LLM-RJS) 이 인간 주석 (Ground Truth) 기준에서 NERS 를 능가하는지 명확히 입증하지 못했습니다.

2. 연구 방법론 (Methodology)

저자들은 TREC-DL 2019 패시지 검색 (Passage Retrieval) 데이터셋을 사용하여 두 가지 실험을 수행했습니다.

• 실험 1: NERS vs LLM-RJS 순위 비교

  • 모델: BM25, Nomic Embed (오픈 소스), Gemini Embedding (클로즈드) 과 같은 NERS 모델과, GPT-5.1, Claude Sonnet 4.5, Llama 시리즈 등 다양한 LLM-RJS 모델을 비교했습니다.
  • 평가 지표: 인간 주석에 기반한 이상적인 순위 (Ideal Ranking) 와 시스템이 생성한 순위 간의 차이를 측정하기 위해 **NDCG (Normalized Discounted Cumulative Gain)**를 사용했습니다.
  • 설정: LLM 은 0-shot 방식으로 쿼리와 문서의 관련성 점수 (0~3) 를 직접 추론하도록 프롬프트되었습니다.

• 실험 2: 추론 (Reasoning) 의 영향 분석

  • 목적: LLM-RJS 가 '추론 (Chain of Thought, CoT)' 능력을 사용할 때 관련성 판단이 어떻게 변하는지 분석.
  • 방법: GPT-5.1 을 사용하여 '추론 없음 (No Reasoning)' 조건과 '추론 있음 (High Reasoning)' 조건에서 관련성 점수를 산출하고, 이를 인간 주석과 직접 비교했습니다.
  • 분석: 인간 주석과 LLM 판단 간의 불일치 (특히 인간은 '무관 (0)'으로, LLM 은 '관련 (1~3)'으로 판단한 경우) 를 심층 분석하여 '단시성'의 원인을 규명했습니다.

3. 주요 기여 (Key Contributions)

1. 성능 비교: TREC-DL 2019 벤치마크에서 최상위 LLM-RJS 모델들이 NERS 모델과 동등한 성능을 보였으나, 기존 표준 평가 지표 (NDCG) 상에서는 명확한 우위를 입증하지 못함을 확인했습니다.
2. 추론의 효과: LLM 에 추론 능력을 추가하면 관련성 점수가 인간 주석보다 더 높게 산출되는 경향이 있음을 발견했습니다. 이는 LLM 이 인간이 놓친 관련성을 포착하고 있음을 시사합니다.
3. 주석의 한계 규명 (핵심 발견): LLM-RJS 가 NERS 를 능가하지 못하는 이유는 LLM 의 능력이 부족해서가 아니라, 인간 주석 (Ground Truth) 자체가 '단시성'에 시달리고 있기 때문임을 증명했습니다.
   • 분석 결과, '거짓 양성 (False Positive)'으로 간주된 94 건 중 89 건은 실제로는 관련성이 높은 문서였으나, 인간 주석자가 유사성 부족으로 관련성을 낮게 평가한 사례였습니다.
4. 평가 패러다임의 재고: LLM-RJS 는 NERS 의 단시성 한계를 극복할 능력이 있으나, 단시성 편향이 있는 인간 주석 데이터셋으로 평가할 경우 그 잠재력이 과소평가됨을 결론지었습니다.

4. 실험 결과 (Results)

• 순위 평가 (실험 1): NDCG@10 기준으로 NERS (특히 Gemini Embedding) 가 가장 효율적이고 비용 대비 성능이 좋았습니다. LLM-RJS 는 성능 면에서 NERS 와 비슷하거나 약간 뒤처졌으며, 추론을 추가해도 NDCG 점수는 크게 향상되지 않았습니다.
• 직접 비교 (실험 2):
  • 인간 주석의 평균 관련성 점수는 0.79 였으나, 추론 없는 LLM-RJS 는 1.03, 추론 있는 LLM-RJS 는 1.23으로 더 높은 관련성을 판별했습니다.
  • 특히 인간은 '무관 (0)'으로 표시한 문서를 LLM (추론 모드) 은 '완벽하게 관련 (3)'으로 판별한 사례가 많았습니다 (예: 맥도블과 더블 치즈버거의 차이 설명).
  • NERS 는 이러한 사례들에서 유사성 점수가 낮아 (평균 0.44) 관련성을 놓쳤지만, LLM-RJS 는 문맥적 추론을 통해 정답을 찾아냈습니다.

5. 의의 및 결론 (Significance)

• 단시성 (Short-sightedness) 의 본질: 정보 검색에서 '유사성 (Similarity)'과 '관련성 (Relevance)'은 다릅니다. NERS 는 유사성에 의존하므로 관련성은 있으나 유사성이 낮은 문서를 검색하지 못합니다.
• 평가 기준의 문제: 현재 LLM-RJS 의 우수성은 인간 주석 데이터셋을 '진실 (Ground Truth)'로 간주하는 표준 평가 방식 때문에 드러나지 않습니다. 인간 주석자 역시 유사성에 의존하는 단시성 편향을 가지고 있기 때문입니다.
• 미래 방향: LLM-RJS 는 추론을 통해 NERS 가 놓치는 관련성을 찾을 수 있는 잠재력이 있습니다. 따라서 향후 IR 연구에서는 단시성이 없는 새로운 평가 데이터셋 구축이나, LLM 의 추론 과정을 활용한 재순위 (Re-ranking) 전략 등 평가 방법론의 변화가 필요함을 강조합니다.

요약하자면, 이 논문은 LLM 기반 검색 시스템이 실제로는 임베딩 기반 시스템보다 뛰어난 관련성 판단 능력을 가지고 있으나, 단시적인 인간 주석 데이터셋의 편향 때문에 그 성능이 표준 벤치마크에서 제대로 평가받지 못하고 있음을 지적한 중요한 연구입니다.