ThinkQE: Query Expansion via an Evolving Thinking Process

ThinkQE 는 LLM 기반 쿼리 확장 시 발생하는 과도한 집중 문제를 해결하기 위해 심층적 의미 탐색과 검색 피드백을 활용한 반복적 정제 전략을 도입하여, 다양한 웹 검색 벤치마크에서 기존 최첨단 방법들보다 우수한 성능을 달성하는 테스트 시간 쿼리 확장 프레임워크입니다.

핵심

🧠 생각하며 찾는 검색의 새로운 방식: 'ThinkQE' 이야기

안녕하세요! 오늘 소개해 드릴 논문은 **"검색을 할 때 단순히 키워드만 나열하는 게 아니라, AI 가 먼저 '생각'을 해보고 결과를 찾아내는 방법"**에 대한 것입니다. 이 방법은 ThinkQE라고 부릅니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "너무 똑똑해서 오히려 실수하는 AI"

예전부터 검색 엔진은 사용자가 입력한 단어 (예: "로버트 그레이") 를 바탕으로 관련 문서를 찾아줬습니다. 최근에는 거대한 AI(대형 언어 모델) 가 검색어를 더 풍부한 문장으로 바꿔주는 '검색어 확장' 기술을 썼습니다.

하지만 기존 AI 는 너무 자신감 넘치는 성격을 가졌습니다.

• 상황: 사용자가 "로버트 그레이는 누구인가?"라고 물었습니다.
• 기존 AI 의 반응: "아, 로버트 그레이는 1792 년 콜럼비아 강을 발견한 항해사야!"라고 단 한 가지 정답만 확신에 차서 말합니다.
• 문제점: 만약 사용자가 '로버트 그레이'라는 이름의 다른 사람 (예: 화가, 음악가) 을 찾고 있었다면? AI 는 그 가능성을 전혀 고려하지 않고 처음 생각난 답만 고집합니다. 마치 한 가지 길만 보고 다른 길은 아예 보지 않는 탐험가처럼요.

2. 해결책: ThinkQE (생각하며 확장하는 검색)

이 논문은 이 문제를 해결하기 위해 두 가지 핵심 전략을 제안합니다.

🌟 전략 1: "잠시 멈추고 생각하기" (Thinking Process)

기존 AI 는 질문을 받자마자 바로 답을 말했지만, ThinkQE 는 답을 말하기 전에 '생각하는 시간'을 가집니다.

• 비유: 친구가 "오늘 뭐 먹지?"라고 물었을 때, 바로 "피자!"라고 외치는 게 아니라,
  • "음... 배고프긴 한데 비싸면 안 되겠지."
  • "혹시 매운 걸 원할 수도 있고..."
  • "오늘 날씨가 비가 오니까 따뜻한 국물이 좋겠네."
  • 이렇게 여러 가능성을 머릿속으로 시뮬레이션한 뒤 "그럼 김치찌개 어때?"라고 제안하는 것과 같습니다.

ThinkQE 는 AI 가 검색어를 만들 때, "이 질문의 다른 의미는 뭐지?", "누가 이걸 찾을지?", "다른 관점은 없을까?"라고 **내부적으로 생각 (Thinking)**을 한 후, 그 생각들을 바탕으로 더 풍부하고 다양한 검색어를 만들어냅니다.

🔄 전략 2: "찾아보고 다시 생각하기" (Evolving Corpus Interaction)

한 번에 모든 걸 다 찾으려 하지 않고, 찾아낸 결과를 보고 다시 질문을 수정합니다.

• 비유: 보물 지도를 들고 보물을 찾는 탐험가를 상상해 보세요.
  1. 1 단계: 지도를 보고 "동쪽 숲에 보물이 있을 거야"라고 생각하며 동쪽으로 간다.
  2. 검색: 동쪽 숲을 뒤져보니 보물은 없고, 대신 '고대 유적'이 나온다.
  3. 반성 (생각): "아, 내가 잘못 생각했네. 보물은 숲이 아니라 유적 근처에 있겠구나."
  4. 2 단계: 생각을 수정해서 "동쪽 숲의 고대 유적 주변"으로 검색어를 바꾼다.
  5. 검색: 이번엔 진짜 보물을 찾는다!

ThinkQE 는 검색을 할 때마다 찾아낸 문서들을 보고 "아, 내가 잘못 생각했구나"라고 스스로 수정하며 검색어를 점점 더 정교하게 만들어갑니다.

3. 왜 이것이 중요한가요? (결과)

이 방법을 실험해 보니 놀라운 결과가 나왔습니다.

• 훈련 없이도 최고: 보통 AI 를 잘 만들려면 엄청난 양의 데이터로 '훈련'을 시켜야 하는데, ThinkQE 는 추가 훈련 없이도 (Zero-shot) 이미 훈련된 최신 AI 모델들보다 더 좋은 성능을 냈습니다.
• 다양한 답을 찾음: 한 가지 답만 고집하지 않고, 여러 가지 가능성 (예: 로버트 그레이가 항해사일 수도 있고, 다른 분야의 인물일 수도 있음) 을 모두 고려해서 더 정확한 문서를 찾아냅니다.
• 비용 효율성: 무거운 AI 모델을 여러 번 돌리는 복잡한 방식보다는, 작은 모델이 '생각'하는 과정을 거치는 것이 더 효율적이었습니다.

4. 한 줄 요약

"ThinkQE 는 검색할 때 AI 가 '답'을 바로 외치는 게 아니라, '생각'을 먼저 하고, 찾은 결과를 보고 '수정'하며 더 정확한 답을 찾아내는 똑똑한 검색 비법입니다."

이 기술은 우리가 인터넷에서 정보를 찾을 때, AI 가 단순히 키워드를 매칭하는 것을 넘어 인간처럼 맥락을 이해하고 다양한 가능성을 탐색하도록 도와줍니다. 앞으로 검색 엔진이 더 똑똑해지고, 우리가 원하는 정보를 더 잘 찾아낼 수 있게 될 거예요! 🚀

기술 요약

1. 문제 정의 (Problem)

기존의 LLM 기반 쿼리 확장 방법들은 다음과 같은 주요 문제점을 가지고 있습니다:

• 탐색 부족 및 다양성 결여: 최근 LLM 기반 방법들은 특정 도메인에 대한 추가 학습 없이도 좋은 성능을 보이지만, 주로 높은 확률의 단일 해석에 집중하는 경향이 있습니다. 이는 쿼리의 다양한 의미나 측면 (facets) 을 놓치게 만들어 검색 결과의 다양성을 저해합니다.
• 과도한 자신감 (Over-confidence): 모델이 내부 지식에 의존하여 너무 확신에 찬 답변을 생성함으로써, 대안적인 해석이나 덜 일반적인 측면을 배제하는 경우가 많습니다.
• 정적 확장 (Static Expansion): 기존 방법들은 한 번의 확장으로 끝나는 정적 방식을 사용하며, 검색된 문서의 피드백을 반영하여 쿼리를 동적으로 수정하지 못합니다.

2. 방법론 (Methodology)

ThinkQE 는 **사고 기반 확장 과정 (Thinking-based Expansion)**과 **진화하는 코퍼스 상호작용 (Evolving Corpus Interaction)**이라는 두 가지 핵심 구성 요소를 결합합니다.

A. 사고 기반 확장 과정 (Thinking-based Expansion)

• 두 단계 프로세스: LLM 이 쿼리를 확장하기 전에 명시적으로 '사고 (Thinking)' 단계를 거치도록 설계되었습니다.
  1. 사고 단계 (Thinking Phase): 원본 쿼리와 검색된 문서를 분석하여 잠재된 개념을 식별하고, 모호함을 해소하며, 정보 요구의 대안적 해석이나 누락된 측면을 찾아냅니다.
  2. 확장 단계 (Expansion Phase): 사고 과정을 바탕으로 새로운 관련 용어와 개념을 도입하여 쿼리 확장 문구를 생성합니다.
• 효과: 이 과정은 모델이 단순한 확률적 완성이 아닌, 심층적인 추론을 통해 더 넓은 의미적 탐색을 하도록 유도합니다.

B. 진화하는 코퍼스 상호작용 (Evolving Corpus Interaction)

• 반복적 정제 루프: ThinkQE 는 단일 번의 확장이 아닌, 여러 라운드 (Round) 에 걸쳐 쿼리를 업데이트합니다.
  1. 검색 (Retrieval): 현재 쿼리로 문서 코퍼스에서 상위 K 개 문서를 검색합니다.
  2. 중복성 필터링 (Redundancy Filtering): 이전 라운드에서 이미 검색되었거나 차단 목록 (Blocklist) 에 있는 문서를 제외하여 새로운 정보를 확보하도록 유도합니다.
  3. 사고 기반 확장: 필터링된 새로운 문서들을 바탕으로 LLM 이 다음 확장 문구를 생성합니다.
  4. 쿼리 업데이트: 새로운 확장 문구를 기존 쿼리에 연결하여 다음 라운드의 입력으로 사용합니다.
• 원본 쿼리 강화: 반복 과정에서 원본 의도가 희석되는 것을 방지하기 위해, 최종 쿼리 재구성 시 원본 쿼리를 확장 분량에 비례하여 반복하여 포함시킵니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: LLM 의 사고 과정 (Chain-of-Thought) 을 쿼리 확장에 명시적으로 통합하고, 검색 피드백을 통해 쿼리를 진화시키는 ThinkQE를 제안했습니다.
2. 학습 불필요한 고성능: 추가 학습 (Training) 이 전혀 필요 없는 Zero-shot 방식임에도 불구하고, 학습이 필요한 밀도 검색기 (Dense Retrievers) 나 재순위화 (Reranking) 모델들을 능가하는 성능을 달성했습니다.
3. 성분 분석을 통한 검증: '사고 과정'과 '코퍼스 상호작용 (반복적 정제)'이 각각 성능 향상에 필수적임을 실험을 통해 입증했습니다. 특히, 사고 과정이 없는 모델이나 정적 확장과 비교하여 ThinkQE 의 우월성을 확인했습니다.

4. 실험 결과 (Results)

ThinkQE 는 TREC DL19, DL20 및 BRIGHT 벤치마크 (StackExchange 도메인) 에서 광범위한 실험을 수행했습니다.

• TREC DL19/DL20: ThinkQE 는 기존 제로샷 쿼리 확장 방법 (HyDE, Query2doc 등) 을 압도적으로 능가했습니다. 특히, QWEN-R1-Distill-14B 모델을 사용한 ThinkQE 는 DeepSeek-R1 에서 증류된 고비용 재순위화 모델 (Rank1-32B, Rank-K-32B) 보다도 높은 성능을 보였습니다.
• BRIGHT 벤치마크: 추론이 필요한 복잡한 검색 작업에서 ThinkQE 는 평균 nDCG@10 에서 36.0 (Phi-4-Reasoning-14B 사용 시) 의 점수를 기록하며, 제로샷 방법 중 가장 우수한 성능을 보였습니다.
• 비교 우위:
  • 학습이 필요한 밀도 검색기 (DPR, ANCE 등) 와 경쟁 가능한 성능을 보였습니다.
  • 계산 비용이 훨씬 더 많이 드는 강화학습 기반 재순위화 모델보다 효율적이면서도 더 나은 성능을 발휘했습니다.
  • 사고 과정 (Thinking) 을 생략한 변형 모델이나 단순 반복 확장에 비해 성능이 크게 향상됨을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 검색의 질적 향상: ThinkQE 는 쿼리의 다양한 의미와 측면을 포착하여 더 풍부하고 다양한 검색 결과를 제공함으로써, 웹 검색의 정확성과 다양성을 동시에 개선합니다.
• 효율성과 효과성의 균형: 추가 학습 없이도 최첨단 (SOTA) 성능을 달성할 수 있어, 리소스가 제한된 환경이나 새로운 도메인 적용에 매우 유리합니다.
• 한계점: 사고 과정과 반복적 상호작용으로 인해 추론 시간 (Latency) 이 증가한다는 점은 단점으로 지적됩니다. 또한, 현재 실험은 영어 웹 검색에 국한되어 있어 다국어 환경에서의 효과는 검증되지 않았습니다.

결론적으로, ThinkQE 는 LLM 의 추론 능력을 검색 시스템에 효과적으로 통합하여, 단순한 키워드 매칭을 넘어 심층적인 의미 탐색이 가능한 차세대 쿼리 확장 기술의 가능성을 제시했습니다.