DEO: Training-Free Direct Embedding Optimization for Negation-Aware Retrieval

이 논문은 추가적인 학습이나 모델 업데이트 없이 쿼리를 긍정 및 부정 구성 요소로 분해하여 대비적 목적 함수로 임베딩을 최적화하는 '직접 임베딩 최적화 (DEO)'라는 훈련 없는 방법을 제안함으로써, 부정을 고려한 검색 성능을 획기적으로 향상시킵니다.

핵심

🚫 "제외"라는 말을 이해하는 검색의 새로운 방법: DEO

이 논문은 우리가 검색할 때 자주 하는 실수, 즉 "A 는 보여줘, 하지만 B 는 빼줘" 같은 요청을 검색 엔진이 잘 못 알아듣는 문제를 해결한 새로운 방법을 소개합니다.

이 방법을 DEO(Direct Embedding Optimization) 라고 부르는데, 쉽게 말해 **"검색어를 수정하지 않고, 검색의 '나침반' 방향만 살짝 돌려주는 기술"**입니다.

---

🧐 왜 이런 기술이 필요할까요?

우리가 검색창에 **"2024 년 실적은 제외하고 최신 전망만 보여줘"**라고 입력한다고 상상해 보세요.
기존의 검색 엔진 (LLM 이나 RAG) 은 "2024 년"이라는 단어와 "전망"이라는 단어를 모두 포함하고 있는 문서를 찾아서 혼란을 겪습니다. 마치 **"빨간색 사과를 찾아줘, 하지만 빨간색은 빼줘"**라고 시키는 것과 비슷하죠.

기존에는 이 문제를 해결하기 위해 검색 엔진 자체를 다시 공부시켜야 (파인튜닝) 했습니다. 하지만 이는 많은 돈과 시간, 그리고 고사양 컴퓨터가 필요해서 일반인이 쓰기엔 너무 무거웠습니다.

💡 DEO 는 어떻게 해결할까요? (세 가지 단계)

DEO 는 검색 엔진을 다시 공부시키지 않고, 검색어 자체를 똑똑하게 변신시킵니다. 마치 요리사가 재료를 다듬어서 맛을 내는 것과 같습니다.

1️⃣ 단계: "요리 재료"를 분리하기 (질문 분해)

사용자의 복잡한 질문을 AI(대형 언어 모델) 가 두 가지로 나눕니다.

• ✅ 포함할 것 (Positive): "2025 년 실적 전망", "재무제표"
• ❌ 제외할 것 (Negative): "2024 년 실적", "2024 년 보고서"

비유: 마치 **"초콜릿 케이크를 만들어줘, 하지만 견과류는 넣지 마"**라고 할 때, 요리사가 **"초콜릿과 케이크"**는 따로, **"견과류"**는 따로 담는 것과 같습니다.

2️⃣ 단계: "나침반" 방향 조정 (임베딩 최적화)

이제 검색 엔진은 원래 질문의 의미를 담은 '나침반 (임베딩 벡터)'을 가지고 있습니다. DEO 는 이 나침반을 다음과 같이 움직입니다.

• ✅ 포함할 것 쪽으로 당기기: "2025 년 전망"이라는 방향을 향해 나침반을 당깁니다.
• ❌ 제외할 것 쪽으로 밀어내기: "2024 년 실적"이라는 방향으로는 나침반을 밀어냅니다.
• 원래 의미는 유지하기: 너무 멀리 날아가지 않도록 원래 질문의 의미도 잡아둡니다.

비유: 자석 (검색어) 이 있습니다.

• 좋아하는 자석 (포함 항목) 은 가까이 붙여줍니다.
• 싫어하는 자석 (제외 항목) 은 멀리 밀어냅니다.
• 이렇게 하면 자석의 극성 (방향) 이 자연스럽게 바뀐 것입니다. 이 과정을 학습 없이 (Training-Free) 순식간에 해냅니다.

3️⃣ 단계: 결과 찾기

이제 방향이 바뀐 나침반으로 다시 검색을 합니다. 이제 검색 엔진은 "2024 년"이 포함된 문서는 멀리 치우고, "2025 년"이 포함된 문서를 가장 먼저 찾아냅니다.

---

🌟 이 기술의 놀라운 점

1. 학습 불필요 (Training-Free): 검색 엔진을 다시 가르칠 필요가 없습니다. 기존에 있는 모델을 그대로 쓰면 됩니다.
2. 빠르고 가볍습니다: 고사양 GPU 가 없어도 CPU 에서 몇 초 만에 처리할 수 있습니다.
3. 이미지 검색도 가능합니다: "빨간 차가 없는 사진"을 찾을 때도 똑같이 작동합니다. (텍스트뿐만 아니라 이미지 검색에서도 효과가 입증되었습니다.)
4. 정확도 대폭 상승: 기존 방법보다 검색 결과의 정확도가 10~16% 까지 높아졌습니다.

📊 실제 효과 (숫자로 보는 변화)

• 텍스트 검색: "2024 년 제외" 같은 질문을 했을 때, 원하는 문서를 찾은 확률이 기존보다 약 16% 증가했습니다.
• 이미지 검색: "사람이 없는 사진"을 찾을 때, 원하는 사진을 찾아낸 확률이 약 6% 증가했습니다.

🏁 결론

이 논문은 **"검색 엔진을 다시 공부시키는 대신, 검색어의 '의도'를 더 명확하게 만들어주는 똑똑한 방법"**을 제안했습니다.

앞으로 우리가 **"이건 제외하고, 저건 보여줘"**라고 검색할 때, 검색 엔진이 우리 마음을 더 잘 이해하고, 원하지 않는 결과는 깔끔하게 걸러내어 줄 것입니다. 마치 검색어에 붙은 '불필요한 잡음'을 제거해주는 필터처럼 작동하는 셈입니다.

기술 요약

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 과 검색 증강 생성 (RAG) 의 발전으로 다양한 검색 방법이 등장했으나, 부정 (Negation) 과 배제 (Exclusion) 가 포함된 쿼리를 처리하는 데에는 여전히 한계가 존재합니다.

• 기존 방법의 한계: 기존 연구들은 부정/배제 쿼리를 처리하기 위해 임베딩 모델을 파인튜닝하거나 적응 (Adaptation) 시키는 방식을 사용했습니다. 그러나 이러한 접근법은 대규모 GPU 리소스, 방대한 학습 데이터, 그리고 복잡한 배포 과정을 요구하여 리소스가 제한된 환경에서는 실용성이 떨어집니다. 또한, 파인튜닝은 때로는 검색 성능을 저하시키거나 제어 가능성이 낮다는 단점이 있습니다.
• 핵심 과제: 추가적인 학습 데이터나 모델 업데이트 없이, 부정 및 배제 의도를 정확하게 파악하여 사용자의 의도에 부합하는 콘텐츠를 검색하는 가벼우면서도 효과적인 방법이 필요합니다.

2. 제안 방법: DEO (Direct Embedding Optimization)

저자들은 학습이 필요 없는 (Training-Free) 직접 임베딩 최적화 기법인 DEO를 제안합니다. 이 방법은 모델의 가중치를 변경하지 않고, 추론 시점에 입력 쿼리의 임베딩 벡터 자체를 최적화합니다.

2.1. 주요 단계

1. 쿼리 분해 (Query Decomposition):

   • LLM 을 활용하여 사용자의 입력 쿼리를 긍정 (Positive) 및 부정 (Negative) 하위 쿼리로 명시적으로 분해합니다.
   • 예시: "2024 년 결과는 제외하고 최신 실적 전망을 보여줘"라는 쿼리에 대해, LLM 은 긍정 쿼리 ("2025 년 실적 전망", "재무제표") 와 부정 쿼리 ("2024 년 실적", "2024 년 재무보고서") 를 생성합니다.
   • 이를 통해 사용자의 포함 (Inclusion) 과 배제 (Exclusion) 의도를 구조화합니다.

2. 직접 임베딩 최적화 (Direct Embedding Optimization):

   • 사전 학습된 임베딩 모델 (Encoder) 은 고정 (Frozen) 된 채로, 입력 쿼리의 임베딩 벡터 ($e_u$) 만을 학습 가능한 파라미터로 간주합니다.
   • 대조적 손실 함수 (Contrastive Loss) 를 사용하여 임베딩 공간을 직접 최적화합니다:
     • 인력 (Attraction): 생성된 긍정 하위 쿼리 임베딩 ($e_{p_i}$) 에 가깝게 당깁니다.
     • 반발력 (Repulsion): 생성된 부정 하위 쿼리 임베딩 ($e_{n_j}$) 으로부터 멀어지게 밀어냅니다.
     • 일관성 (Consistency): 원래 쿼리 임베딩 ($e_o$) 과의 거리를 일정 수준 유지하여 원래 의미의 왜곡을 방지합니다.
   • 손실 함수:
     $$L(e_u) = \lambda_p \sum \|e_u - e_{p_i}\|^2 - \lambda_n \sum \|e_u - e_{n_j}\|^2 + \lambda_o \|e_u - e_o\|^2$$
     (여기서 $\lambda_p, \lambda_n, \lambda_o$는 각각 긍정, 부정, 일관성 가중치 하이퍼파라미터입니다.)

3. 검색 수행:

   • 최적화된 임베딩 벡터를 사용하여 기존 검색 시스템 (Faiss 등) 에서 검색을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 학습 불필요 (Training-Free): 추가 데이터나 모델 파인튜닝 없이도 부정/배제 쿼리 처리 성능을 획기적으로 개선합니다.
2. 의도 정밀 매칭: 대조적 손실 (Contrastive Loss) 을 통해 긍정 및 부정 하위 쿼리를 직접 최적화함으로써, 사용자의 부정/배제 의도를 임베딩 공간에서 명확하게 반영합니다.
3. 범용성 (Model & Modality Agnostic): 텍스트 검색뿐만 아니라 멀티모달 (이미지 - 텍스트) 검색 (CLIP 등) 에서도 적용 가능하며, 다양한 임베딩 모델에서 일관된 성능 향상을 보입니다.

4. 실험 결과 (Results)

DEO 는 텍스트 검색 (NegConstraint, NevIR) 과 텍스트 - 이미지 검색 (COCO-Neg) 벤치마크에서 기존 베이스라인을 능가하는 성능을 입증했습니다.

• 텍스트 검색 (NegConstraint):
  • BGE-large-en-v1.5 모델 사용 시, MAP@100 이 0.6299 에서 0.7327 로 (+0.1028, 약 16.3% 향상), nDCG@10 이 0.7139 에서 0.7877 로 (+0.0738, 약 10.3% 향상) 증가했습니다.
  • BGE-M3 모델에서도 일관된 개선을 보였습니다.
• 멀티모달 검색 (COCO-Neg):
  • OpenAI CLIP 모델 사용 시, Recall@5 가 0.4792 에서 0.5392 로 (+6.00% 향상) 개선되었습니다.
  • NegCLIP(부정 인식에 특화된 파인튜닝 모델) 보다도 DEO 를 적용했을 때 추가적인 성능 향상을 보여주어, DEO 가 기존 부정 인식 모델 위에서도 유효함을 입증했습니다.
• 효율성:
  • CPU 환경에서 쿼리당 약 0.016 초 (20 스텝), GPU 환경에서 약 0.033 초의 매우 낮은 지연 시간으로 실시간 적용이 가능합니다.

5. 의의 및 결론 (Significance)

• 실용성: 고비용의 파인튜닝 없이도 부정 및 배제 쿼리에 강한 검색 시스템을 구축할 수 있어, 리소스가 제한된 실제 환경 (Real-world settings) 에 매우 적합합니다.
• 제어 가능성: 하이퍼파라미터 ($\lambda$) 조정을 통해 긍정과 부정 의도의 균형을 사용자가 직접 제어할 수 있습니다.
• 일반화: 텍스트뿐만 아니라 이미지 검색 등 다양한 모달리티에서 부정 개념을 효과적으로 억제하고 관련성을 높이는 것을 확인했습니다.

결론적으로, DEO 는 LLM 을 활용한 쿼리 분해와 임베딩 공간의 직접적인 대조적 최적화를 결합하여, 추가 학습 없이도 부정/배제 쿼리 처리의 성능 한계를 극복한 혁신적인 접근법입니다.