Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments

이 논문은 대규모 앱 스토어 검색 시스템에서 행동 기반 데이터의 부족을 해결하기 위해 미세 조정된 LLM 을 활용해 텍스트 관련성 라벨을 대량 생성하고, 이를 순위 결정 모델에 통합함으로써 오프라인 성능과 전 세계 A/B 테스트에서 전환율을 유의미하게 향상시켰음을 보여줍니다.

핵심

🍎 핵심 이야기: "앱스토어 사서 (Search Engine) 의 고민과 해결책"

앱스토어에는 수백만 개의 앱이 있습니다. 사용자가 "요리 레시피"라고 검색했을 때, 가장 잘 맞는 앱을 1 번으로 띄워주는 것이 앱스토어 사서의 일입니다.

하지만 여기서 두 가지 큰 문제가 있었습니다.

1. 행동 데이터는 넘쳐나는데 (B): "누가 무엇을 클릭하고 다운로드했는지"는 데이터는 엄청나게 많습니다. (사람들이 많이 클릭한 앱이 인기 있다는 뜻이죠.)
2. 전문가 평가는 귀합니다 (A): "이 앱이 검색어와 의미적으로 얼마나 잘 맞는가?"를 평가하는 것은 인간 전문가가 직접 해야 합니다. 하지만 전문가 인건비가 비싸고 시간이 많이 걸려서 데이터가 턱없이 부족합니다.

결과: 사서는 "인기 있는 앱"은 잘 찾지만, "의미가 맞는 앱"을 찾는 데는 약점이 생겼습니다. 특히 사람들이 잘 검색하지 않는 **희귀한 검색어 (꼬리 질문, Tail Queries)**에서는 인기 데이터도 없어서 더 엉망이 됩니다.

---

🤖 해결책: "AI 비서 (LLM) 를 고용하다"

연구팀은 이 문제를 해결하기 위해 **거대한 AI(대규모 언어 모델, LLM)**를 고용했습니다. 하지만 단순히 AI 를 쓰지 않고, 가장 똑똑하게 쓰는 방법을 찾아냈습니다.

1. 실험: "거인 vs 훈련된 요원"

연구팀은 두 가지 AI 를 비교해 봤습니다.

• 거인 (300 억 개 파라미터): 엄청나게 크고 똑똑해 보이지만, 앱스토어 규칙을 모릅니다.
• 훈련된 요원 (30 억 개 파라미터): 크기는 작지만, 기존에 인간 전문가들이 작성한 평가 데이터를 보고 **철저히 훈련 (Fine-tuning)**을 받은 AI 입니다.

결과: 놀랍게도 작지만 훈련된 요원이 거인보다 훨씬 정확하게 앱을 평가했습니다. 마치 "수만 권의 책을 읽은 일반인"보다 "자신의 업무 매뉴얼을 달달 외운 전문 사무원"이 더 일을 잘하는 것과 같습니다.

2. 대량 생산: "AI 가 평가자 100 만 명을 대신하다"

이제 이 훈련된 AI 를 이용해 수백만 개의 앱 평가 데이터를 만들어냈습니다.

• 인간 전문가가 1 개를 평가하는 데 10 분 걸린다면, AI 는 1 초 만에 수천 개를 평가합니다.
• 이렇게 만들어진 데이터는 인간 전문가의 평가와 거의 똑같은 품질을 가졌습니다.

---

🚀 성과: "두 마리 토끼를 다 잡다"

이제 이 방대한 AI 평가 데이터를 기존 앱스토어 검색 시스템에 넣어 다시 학습시켰습니다. 그 결과는 놀라웠습니다.

• 기존 시스템: "인기 있는 앱"과 "의미가 맞는 앱" 사이에서 타협해야 했습니다. (한쪽을 올리면 다른 쪽이 떨어지는 상황)
• 새로운 시스템 (AI 데이터 추가): 두 마리 토끼를 모두 잡았습니다.
  • 의미적으로 맞는 앱이 더 잘 올라옵니다.
  • 동시에 사람들이 더 많이 다운로드합니다.
  • 이를 기술 용어로 **파레토 개선 (Pareto Improvement)**이라고 하는데, 쉽게 말해 "무엇도 잃지 않고 모두 이득을 본 상태"입니다.

🌟 가장 큰 기적: "잊혀진 질문들 (꼬리 질문)"

가장 큰 성과는 **사람들이 아주 드물게 검색하는 질문 (꼬리 질문)**에서 나왔습니다.

• 이유: "내일 비가 오면 입는 옷"처럼 드문 검색어는 클릭 데이터가 없어서 기존 시스템이 무작위로 앱을 보여줬습니다.
• 해결: 하지만 AI 는 텍스트만 봐도 "이 앱이 검색어와 잘 맞는다"고 판단해 줍니다.
• 결과: 기존 시스템이 무력했던 곳에서, AI 가 강력한 신호를 보내주어 전환율 (앱 다운로드) 이 크게 증가했습니다.

---

📊 요약: 이 논문이 우리에게 주는 교훈

1. 크기보다 훈련: AI 가 무조건 커야 좋은 게 아닙니다. **자신의 업무에 맞춰 훈련 (Fine-tuning)**을 잘 받은 AI 가 훨씬 효율적이고 저렴합니다.
2. 데이터의 부재는 AI 가 채운다: 사람이 할 수 없는 일을 AI 가 대신해 주면, 데이터가 부족한 부분에서도 훌륭한 서비스를 제공할 수 있습니다.
3. 실제 효과: 이 기술은 이론이 아니라, 전 세계 앱스토어 사용자에게 적용되어 실제 다운로드 수를 0.24% 늘렸습니다. (이건 거대 플랫폼에서 엄청난 성과입니다!)

한 줄 결론:

"앱스토어는 이제 AI 비서에게 '수백만 명의 평가자' 역할을 시켜, 우리가 찾지 못했던 숨은 보석 같은 앱들도 찾아내게 되었습니다."

기술 요약

논문 요약: App Store 랭킹 강화를 위한 LLM 생성 판정 데이터의 확장

이 논문은 대규모 상업적 검색 시스템 (Apple App Store) 에서 검색 결과의 관련성 (Relevance) 을 극대화하기 위해, 인간 전문가의 텍스트 관련성 레이블 부족 문제를 해결하고 랭킹 모델을 개선하기 위해 대규모 언어 모델 (LLM) 을 활용한 방법을 제시합니다.

1. 문제 정의 (Problem)

대규모 디지털 마켓플레이스 (예: App Store) 의 검색 랭킹 시스템은 사용자의 만족도를 높이기 위해 두 가지 상충되거나 보완적인 목표를 동시에 최적화해야 합니다.

• 행동적 관련성 (Behavioral Relevance): 사용자가 클릭하거나 다운로드하는 등 실제 행동 데이터에 기반한 관련성. (데이터가 풍부함)
• 텍스트적 관련성 (Textual Relevance): 쿼리와 결과물 간의 의미적 적합성을 인간 전문가가 평가한 관련성. (데이터가 매우 부족하고 생성 비용이 높음)

핵심 문제: 고품질의 텍스트 관련성 레이블은 희소하여 다목적 (Multi-objective) 학습에서 텍스트 관련성 목표가 제대로 작동하지 못하는 병목 현상이 발생합니다. 이는 시스템이 의미적 적합성을 충분히 반영하지 못하게 만듭니다.

2. 제안된 방법론 (Methodology)

저자들은 LLM 을 '판정자 (Judge)'로 활용하여 인간 전문가의 레이블 부족 문제를 해결하고, 이를 생산성 랭커 (Production Ranker) 의 학습 데이터로 통합하는 두 단계의 접근법을 제시합니다.

1 단계: LLM 을 통한 고품질 텍스트 관련성 레이블 생성

• LLM-as-a-Judge: 인간 전문가의 기존 판정 데이터를 기반으로 사내 LLM 을 파인튜닝 (Fine-tuning) 하여, 특정 검색어와 앱 메타데이터를 입력받아 관련성 점수 (1~5 등급) 를 생성하도록 합니다.
• 모델 비교 실험: 사전 학습된 대형 모델 (30B 파라미터) 과 파인튜닝된 소형 모델 (3B 파라미터) 을 비교했습니다.
• 결과: 30 배 더 큰 사전 학습 모델보다 파인튜닝된 3B 모델이 정밀도, 재현율, F1 점수 모든 면에서 월등히 우수한 성능을 보였습니다. 이는 도메인 특화 파인튜닝이 모델 크기의 중요성보다 더 큰 영향을 미친다는 것을 시사합니다.
• 확장: 최적화된 모델을 사용하여 여러 언어와 스토어에 걸쳐 수백만 개의 텍스트 관련성 레이블을 오프라인으로 생성했습니다.

2 단계: 다목적 랭커 학습 파이프라인 통합

• 다목적 최적화 (Multi-Objective Optimization): 행동적 관련성 (다운로드/클릭 데이터) 과 텍스트적 관련성 (인간 및 LLM 생성 레이블) 을 동시에 최적화합니다.
• 데이터 혼합 (Data Mixing): 두 가지 레이블 소스를 단일 학습 세트로 결합하되, 각 목표에 대한 그래디언트가 독립적으로 계산되도록 '엄격한 분리 (Strict Separation)' 방식을 유지합니다.
• 파레토 프론티어 이동: 학습 데이터의 혼합 비율을 하이퍼파라미터로 조절하여 행동적 관련성과 텍스트적 관련성 간의 균형을 찾으며, 기존 모델의 성능 한계를 넘어서는 새로운 최적 해 (Pareto Frontier) 를 탐색합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 실험을 통한 최적 LLM 구성 도출: 사전 학습 모델과 파인튜닝 모델의 성능을 비교하여, 도메인 특화 파인튜닝이 대규모 모델보다 관련성 레이블 생성에 더 효과적임을 입증했습니다.
2. 데이터 확장: 여러 언어와 스토어에 걸쳐 수백만 개의 고품질 텍스트 관련성 레이블을 생성하여 학습 데이터의 양을 획기적으로 늘렸습니다.
3. 파레토 프론티어의 외향적 이동: LLM 생성 레이블을 추가한 랭커는 행동적 관련성과 텍스트적 관련성 모두에서 기존 생산 모델을 우회적으로 지배 (Strictly Dominate) 하는 성능 향상을 보였습니다.
4. 실제 환경 검증: 오프라인 평가뿐만 아니라 전 세계 A/B 테스트를 통해 실제 비즈니스 환경에서의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 오프라인 평가 (LLM 모델): 파인튜닝된 3B 모델은 30B 사전 학습 모델 대비 F1 점수가 약 2 배 이상 높았습니다 (0.800 vs 0.382).
• 오프라인 랭커 평가: LLM 생성 레이블을 추가한 모델 (llm-augmented) 은 기존 생산 모델 (prod) 대비 모든 순위 (NDCG@1, @3, @7) 에서 텍스트 관련성과 행동적 관련성 모두 향상되었습니다. 이는 진정한 파레토 개선 (Pareto Improvement) 을 의미합니다.
• 온라인 A/B 테스트 결과:
  • 전체 전환율 (Conversion Rate): 통계적으로 유의미한 +0.24% 증가를 기록했습니다. (성숙한 산업용 랭커로서 이는 매우 큰 성과입니다.)
  • 테일 쿼리 (Tail Queries) 에서의 효과: 검색 빈도가 낮은 '테일 쿼리'에서 성능 향상이 가장 두드러졌습니다. 이러한 쿼리는 사용자 행동 데이터가 부족하여 기존 모델이 관련성을 판단하기 어려웠으나, LLM 생성 텍스트 레이블이 강력한 신호로 작용하여 관련성 격차를 해소했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 을 단순히 실시간 재랭킹 (Reranking) 도구로 사용하는 것을 넘어, 오프라인 데이터 생성기 (Offline Data Generator) 로 활용하여 생산 시스템의 학습 데이터 자체를 확장하는 새로운 패러다임을 제시합니다.

• 비용 효율성: 거대 모델을 직접 배포하는 대신, 소규모 모델을 파인튜닝하여 고품질 레이블을 대량 생성함으로써 연산 비용과 운영 비용을 절감하면서도 높은 품질을 달성했습니다.
• 산업적 확장성: App Store 와 같은 대규모 시스템에서 레이블 부족 문제를 해결하고, 행동 데이터가 부족한 영역 (테일 쿼리) 에서도 강력한 검색 경험을 제공할 수 있는 실용적인 청사진을 제공합니다.
• 미래 방향: 쌍대 (Pairwise) 또는 리스트 (Listwise) 프롬프트 구성을 통해 더 정교한 레이블 생성 및 모델 성능 향상을 위한 추가 연구가 가능함을 시사합니다.

결론적으로, 이 논문은 LLM 기반의 자동화된 판정 시스템이 인간 전문가의 한계를 보완하고, 다목적 검색 랭킹 시스템의 성능을 근본적으로 향상시킬 수 있음을 입증했습니다.