논문 요약: DS@GT at TREC TOT 2025

1. 문제 정의 (Problem)

이 논문은 TREC Tip-of-the-Tongue (ToT) 트랙의 과제를 다룹니다. ToT 과제는 사용자가 영화, 랜드마크, 유명인 등 이전에 접한 항목을 기억하고 있지만, 정확한 제목이나 이름과 같은 식별자는 기억하지 못하는 상황 ("혀끝에 걸린 상태") 에서 해당 항목을 찾는 기존 항목 검색 (Known-Item Retrieval) 문제를 해결하는 것입니다.

• 도전 과제: 사용자의 쿼리는 종종 길고 복잡한 자연어 설명이며, 다단계 추론, 불확실성 표현, 심지어 잘못된 기억 (False Memories) 을 포함할 수 있습니다. 이러한 특성은 전통적인 키워드 기반 검색 시스템이 처리하기 어렵게 만듭니다.

2. 방법론 (Methodology)

저자들은 2 단계 검색 파이프라인을 제안하며, 다양한 검색 방법의 융합과 학습된 재순위화 (Reranking) 기법을 결합합니다.

2.1 1 단계: 하이브리드 검색 (Hybrid Retrieval)
단일 검색 방법의 한계를 극복하기 위해 세 가지 방법을 병합합니다.

• LLM 기반 검색: LLM(Gemini-2.5-flash 등) 을 사용하여 쿼리에 맞는 위키백과 기사 제목과 관련 점수 (1-5) 를 직접 생성합니다.
• 희소 검색 (Sparse): PyTerrier 를 사용한 BM25 알고리즘.
• 밀집 검색 (Dense): BGE-M3 모델을 사용하여 임베딩 기반 유사도 검색을 수행합니다.
• 주제 인식 멀티 인덱스 밀집 검색: 위키백과 코퍼스를 24 개의 주제 도메인으로 분할하여 각 주제별 FAISS 인덱스를 구축합니다. 쿼리를 분류하여 관련 주제 인덱스만 검색함으로써 검색 공간을 축소하고 효율성을 높입니다.
• 병합 전략: 위 세 가지 방법 (LLM, BM25, Dense) 의 결과를 라운드 로빈 (Round-robin) 전략으로 병합하여 초기 후보군을 생성합니다.

2.2 2 단계: 재순위화 (Reranking)
초기 검색된 문서들을 더 정교하게 순서대로 재배열합니다.

• 학습된 재순위화 (LambdaMART): XGBoost 라이브러리를 사용하여 LambdaMART 모델을 학습시켰습니다.
  • 특징: 밀집/희소 검색 점수, 페이지 조회수, PageRank(네트워크 이론 기반), 쿼리 단어 수 등을 사용합니다.
  • 데이터 증강: 실제 데이터 부족을 해결하기 위해 LLM 을 사용하여 5,000 개의 합성 ToT 쿼리를 생성하여 학습 데이터를扩充했습니다.
• LLM 기반 재순위화: RankLLM 라이브러리를 기반으로 슬라이딩 윈도우 알고리즘을 사용하여 문서 목록을 LLM 컨텍스트에 맞게 그룹화하고, Gemini-2.5-flash 와 같은 강력한 LLM 을 사용하여 리스트 단위 (Listwise) 재순위화를 수행합니다.

2.3 네트워크 기반 특징 (Network-based Features)
위키백과 링크 구조를 기반으로 한 복합 방향 그래프를 구축하여 PageRank, 인/아웃 차수 등을 계산했습니다. 이는 재순위화 모델의 특징으로 사용되었으나, 실험 결과 인기 있는 문서에 대한 편향이 ToT 과제의 핵심 필요 조건과 완전히 일치하지는 않는 것으로 나타났습니다.

3. 주요 기여 (Key Contributions)

1. 하이브리드 검색 전략의 검증: LLM, 희소, 밀집 검색을 융합한 방식이 개별 방법보다 **Recall(환원율)**을 획기적으로 향상시킴을 입증했습니다.
2. 합성 데이터 생성: ToT 쿼리 생성을 위한 프롬프트를 최적화하여 5,000 개의 고품질 합성 데이터를 생성하고, 이를 통해 학습된 재순위화 모델의 성능을 높였습니다.
3. 주제 인식 검색 아키텍처: 위키백과를 24 개 주제로 분할하여 검색 효율성을 높이는 동시에 경쟁력 있는 Recall 을 유지하는 방법을 제시했습니다.
4. 성능 최적화: LLM 기반 재순위화가 전체 성능에서 가장 우수함을 확인했으며, 학습된 LambdaMART 가 계산 비용 효율적인 대안임을 보였습니다.

4. 실험 결과 (Results)

TREC TOT 2025 공식 테스트 세트에서 제안한 시스템들의 성능은 다음과 같습니다.

• 최고 성능 시스템 (gmn-rerank-500):

  • Hybrid Retrieval (LLM + BM25 + Dense) 과 Gemini-2.5-flash를 이용한 리스트 단위 재순위화를 결합.
  • Recall@1000: 0.6559
  • NDCG@1000: 0.4106
  • 이는 단일 검색 방법이나 기존 베이스라인 대비 상당한 개선을 보였습니다.

• 비교 분석:

  • 하이브리드 검색 효과: 개별 검색 방법 (LLM, BM25, Dense) 보다 하이브리드 방식이 모든 데이터셋에서 Recall 을 향상시켰습니다 (예: Dev3 에서 7.8% 향상).
  • 재순위화 효과:
    • LLM Reranker: 가장 높은 성능을 보였으며, 특히 희소 검색 베이스라인 대비 Recall@1000 에서 68% 이상 향상되었습니다.
    • LambdaMART Reranker: Recall 은 크게 향상시켰으나 (예: Dense 기준 0.40→0.58), 정밀도 (Precision) 가 일부 하락하여 NDCG 점수는 LLM 기반보다 낮았습니다. 이는 LambdaMART 가 상위 문서의 위치를 변경하는 경향이 있기 때문입니다.
  • 데이터 소스별 성능: NIST 평가자가 생성한 쿼리에서는 높은 성능 (Recall@1000: 0.89) 을 보였으나, MS-ToT 및 합성 데이터셋에서는 상대적으로 낮은 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 모호한 기억을 가진 사용자의 검색 의도를 충족시키기 위해 **다중 검색 신호의 융합 (Fusion Retrieval)**과 강력한 LLM 기반 재순위화의 중요성을 입증했습니다.

• 실용성: LLM 기반 재순위화가 최상의 성능을 제공하지만, 계산 비용이 높다는 단점이 있습니다. 반면, 학습된 LambdaMART 와 LLM 의 조합은 계산 효율성을 유지하면서도 경쟁력 있는 성능을 달성하는 실용적인 대안이 될 수 있습니다.
• 미래 전망: 주제 기반 인덱싱을 통한 검색 공간 축소와 합성 데이터 활용은 대규모 코퍼스에서의 ToT 검색 시스템 개발에 중요한 통찰을 제공합니다.

결론적으로, DS@GT 팀은 TREC TOT 2025 에서 0.66 Recall과 0.41 NDCG를 기록하며, 복잡한 자연어 쿼리를 처리하는 데 있어 하이브리드 검색과 LLM 재순위화 전략의 유효성을 입증했습니다.