Succeeding at Scale: Automated Dataset Construction and Query-Side Adaptation for Multi-Tenant Search

이 논문은 대규모 멀티테넌트 검색 환경에서 자동화된 파이프라인을 통해 데이터셋을 구축하고, 문서 인덱스를 재구성하지 않고 쿼리 인코더만 효율적으로 미세 조정하는 'DevRev-Search' 프레임워크를 제안하여 확장 가능한 검색 적응을 가능하게 합니다.

핵심

이 논문은 **"대규모 기업용 검색 시스템이 어떻게 더 똑똑하고 빠르게 변할 수 있는지"**에 대한 혁신적인 해결책을 제시합니다.

기존의 방식은 마치 거대한 도서관을 상상해 보세요. 도서관에 책 (데이터) 이 수천 권 있고, 방문객 (사용자) 이 질문을 던집니다. 문제는 이 도서관이 **수천 개의 작은 방 (다중 임대 환경)**으로 나뉘어 있다는 점입니다. 각 방마다 책이 다르고, 방문객의 질문도 다릅니다.

이 논문이 말하는 핵심은 다음과 같은 세 가지 단계로 요약할 수 있습니다.

---

1. 문제: "어둠 속의 데이터"와 "무거운 재정비"

기존 검색 시스템은 두 가지 큰 병목 현상에 직면해 있었습니다.

• 어둠 속의 데이터 (Dark Data): 기업 내부에는 수많은 질문과 답변 기록이 있지만, "이 질문과 이 문서가 정말 관련이 있다"는 **정답 (라벨)**이 없습니다. 마치 도서관 사서가 모든 책을 읽어가며 정답을 찾아야 하지만, 시간이 너무 오래 걸려서 포기한 상황과 같습니다.
• 재정비 세금 (Re-indexing Tax): 검색 엔진을 더 똑똑하게 만들려면, 모든 책 (문서) 의 내용을 다시 분석하고 정리해야 합니다. 도서관이 수천 개나 있다면, 이 작업을 한 번 할 때마다 도서관 전체를 해체하고 다시 지어야 하는 엄청난 비용과 시간이 듭니다.

2. 해결책 1: "AI 사서"가 만드는 자동 데이터 공장

저자들은 사람이 일일이 정답을 적는 대신, 완전 자동화된 공장을 지었습니다.

• 여러 검색기 합동 작전: 먼저 7 가지不同类型的 검색 도구 (전문가 팀) 를 동원해 가능한 모든 답변 후보를 모았습니다. (한 명이 놓친 것을 다른 사람이 찾아내는 방식)
• LLM 판사 (LLM-as-a-Judge): 이렇게 모인 후보들 중, 진짜로 질문에 답이 되는 것만 골라냅니다. 이때 **거대한 AI (LLM)**를 '판사'로 임명했습니다. 이 AI 는 "이 문서가 질문의 답이 될 수 있을까?"를 판단하여 불필요한 쓰레기 데이터를 걸러냅니다.
• 결과: 사람이 일일이 손으로 적지 않아도, 고품질의 학습 데이터가 자동으로 쏟아져 나옵니다. 이를 DevRev-Search라는 새로운 벤치마크 (시험지) 로 만들었습니다.

3. 해결책 2: "책은 그대로, 질문하는 사람만 훈련시키기" (Index-Preserving Adaptation)

이게 이 논문의 가장 창의적인 부분입니다.

• 기존 방식 (비효율적): 도서관의 모든 책 내용을 다시 분석하고 정리 (재인덱싱) 하느라 며칠을 기다려야 했습니다.
• 새로운 방식 (효율적): 책 (문서) 은 절대 건드리지 않습니다. 대신, **질문하는 사람 (사용자) 의 뇌 (쿼리 인코더)**만 훈련시킵니다.
  • 비유: 도서관의 책장을 하나도 움직이지 않고, 방문객에게만 "이 질문을 할 때는 이 책장을 보라"는 새로운 지시만 가르치는 것입니다.
  • 이렇게 하면 책장을 다시 정리할 필요가 없어서 순간적으로 적용이 가능해집니다.

4. 해결책 3: "저비용 고효율" 훈련 (PEFT)

전체 뇌를 다시 훈련시키는 대신, 가장 중요한 부분만 살짝 수정하는 기술을 썼습니다.

• LoRA (Low-Rank Adaptation): 마치 거대한 컴퓨터에 작은 보조 칩만 추가해서 성능을 극대화하는 것과 같습니다. 전체를 바꿀 필요 없이, 아주 적은 파라미터만 조정해도 기존 방식과 비슷하거나 더 좋은 성능을 냅니다.
• 결과: 비용은 1% 수준으로 줄이면서, 검색 정확도는 그대로 유지하거나 오히려 높였습니다.

---

🌟 한 줄 요약

이 논문은 **"수천 개의 기업 검색 시스템을 위해, 사람이 일일이 정답을 적지 않고 AI 가 자동으로 데이터를 만들고, 도서관의 책장은 건드리지 말고 질문하는 사람 (사용자) 의 뇌만 가볍게 훈련시켜서 검색을 똑똑하게 만드는 방법"**을 제안합니다.

이 방식은 기업이 검색 시스템을 업데이트할 때 드는 엄청난 시간과 비용을 획기적으로 줄여주며, 수천 개의 서로 다른 시스템에서도 각자 맞춤형으로 빠르게 적응할 수 있게 해줍니다. 마치 수천 개의 식당이 각자 메뉴를 바꾸지 않고, 웨이터 (질문 처리) 만 교육해서 고객 만족도를 높이는 것과 같은 원리입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대규모 멀티-테넌트 (Multi-tenant) 검색 시스템은 방대한 양의 쿼리 로그를 생성하지만, 도메인 적응 (Domain Adaptation) 을 위한 정제된 관련성 (Relevance) 라벨이 부족하여 방대한 양의 "다크 데이터 (Dark Data)"가 활용되지 못하고 있습니다. 이 문제를 해결하려는 시도는 다음과 같은 두 가지 주요 병목 현상에 직면해 있습니다.

• 데이터 부족 병목 (Data Scarcity Bottleneck): 기업 환경의 데이터는 독점적이며 관련성 라벨이 존재하지 않습니다. 기존 벤치마크 (BEIR 등) 는 이러한 노이즈가 많고 이질적인 엔터프라이즈 데이터의 특성을 포착하지 못합니다.
• 적응 지연 병목 (Adaptation Latency Bottleneck): 기존的双인코더 (Bi-encoder) 구조에서 질의 (Query) 와 문서 (Document) 인코더를 모두 파인튜닝하려면 전체 코퍼스 (Corpus) 의 임베딩을 재생성하고 인덱스를 재구성해야 합니다. 수천 개의 격리된 인덱스를 가진 멀티-테넌트 환경에서는 이 "재인덱싱 비용 (Re-indexing Tax)"이 계산적으로 불가능할 정도로 비쌉니다.

2. 제안된 방법론 (Methodology)

저자들은 DevRev-Search 벤치마크를 구축하고, 재인덱싱 없이 효율적으로 모델을 적응시키는 DevRev-Search 프레임워크를 제안합니다.

A. 자동화된 데이터셋 구축 파이프라인 (Automated Dataset Construction)

수동 주석 없이 고품질의 학습 데이터를 생성하기 위해 다음과 같은 파이프라인을 사용합니다.

1. 다중 검색기 퓨전 (Multi-retriever Fusion): 6 개의 밀집 (Dense) 검색 모델과 1 개의 어휘 (Lexical, BM25) 검색 모델 등 7 개의 다양한 검색기를 사용하여 각 쿼리에 대한 상위 60 개의 문서 청크를 수집합니다.
2. 연합 집계 (Union-based Aggregation): 모든 검색기의 결과를 합쳐 (Union) 후보 집합을 구성하여 단일 모델의 편향을 최소화하고 재현율 (Recall) 을 극대화합니다.
3. LLM-as-a-Judge 필터링: 생성된 후보 집합에 대해 대규모 언어 모델 (LLM) 을 심사관으로 활용하여, 단순한 키워드 매칭이 아닌 실제 답변을 제공하는 관련성 있는 문서만 선별합니다.
4. 품질 검증: 자동화된 프로세스의 정확성을 확인하기 위해 일부 샘플을 수동으로 검증했습니다.

B. 인덱스 보존 적응 전략 (Index-Preserving Adaptation)

재인덱싱 비용을 제거하기 위해 Query-Only Adaptation 전략을 도입합니다.

• 비대칭 파인튜닝: 문서 인코더와 인덱스는 고정 (Frozen) 하고, 질의 (Query) 인코더만 파인튜닝합니다.
• 파라미터 효율적 미세 조정 (PEFT): 전체 모델 파인튜닝 대신 LoRA (Low-Rank Adaptation), 선형/FFN 프로젝션 헤드, 상위 레이어만 언프리즈 (Unfreeze) 하는 등 파라미터 효율적 기법을 적용하여 학습 가능한 파라미터 수를 획기적으로 줄입니다.

3. 주요 기여 (Key Contributions)

1. DevRev-Search 벤치마크: 엔터프라이즈 고객 지원 도메인에 특화된 고품질 검색 벤치마크를 자동화 파이프라인을 통해 구축했습니다.
2. 제로-재인덱싱 적응 (Zero-Reindexing Adaptation): 문서 인덱스를 변경하지 않고 질의 인코더만 적응시켜 멀티-테넌트 환경에서의 빠른 배포와 저비용 적응을 가능하게 했습니다.
3. 효율적 쿼리 적응의 검증: PEFT 기법 (특히 LoRA) 이 전체 파인튜닝과 유사하거나 더 나은 성능을 달성할 수 있음을 증명했습니다.

4. 실험 결과 (Results)

DevRev-Search, SciFact, FiQA-2018 데이터셋에서 실험을 수행한 결과는 다음과 같습니다.

• Query-Only vs. Query-Document (QD): 문서 인코더를 고정하고 질의 인코더만 튜닝하는 방식 (Q) 이 전체 쌍을 튜닝하는 방식 (QD) 과 비교해 성능 손실이 거의 없거나, 특정 모델 (Qwen3-4B on SciFact) 의 경우 재현율 (Recall@10) 에서 오히려 우위를 보였습니다.
• PEFT 성능:
  • LoRA: 최적의 LoRA 설정 (Rank 32~64) 은 전체 파인튜닝과 성능이 일치하거나 SciFact 데이터셋에서 이를 능가했습니다.
  • 레이어 언프리즈: 상위 8 개의 트랜스포머 레이어만 언프리즈하는 것보다 LoRA 가 더 효율적이고 강력한 성능을 보였습니다.
  • 모듈 타겟팅: 모든 모듈을 타겟팅하는 것이 최선이지만, Dense 레이어만 튜닝하는 것만으로도 훌륭한 성능 - 효율성 트레이드오프를 보여주었습니다.
• 비용 효율성: 학습 가능한 파라미터를 전체의 1% 미만 (LoRA 기준) 으로 줄이면서도 높은 검색 품질을 유지하여, 수천 개의 테넌트를 서비스하는 기업 환경에 실용적입니다.

5. 의의 및 결론 (Significance)

이 논문은 대규모 멀티-테넌트 검색 시스템의 핵심 난제인 "데이터 부족"과 "높은 적응 비용"을 동시에 해결하는 통합적인 접근법을 제시합니다.

• 실용성: 수동 주석 없이 자동화된 파이프라인으로 도메인 특화 데이터를 생성하고, 재인덱싱 없이 질의 인코더만 업데이트함으로써 기업 검색 시스템의 확장성을 확보했습니다.
• 기술적 통찰: 인코더의 비대칭적 적응 (Query-Only) 과 PEFT 기법의 결합이 대규모 검색 시스템에서 비용 대비 성능 (Quality-Efficiency Trade-off) 을 최적화하는 핵심 전략임을 입증했습니다.

결론적으로, 이 연구는 엔터프라이즈 검색 환경에서 AI 모델의 지속적인 진화와 적응을 가능하게 하는 확장 가능하고 경제적인 솔루션을 제공합니다.