LocalSUG: Geography-Aware LLM for Query Suggestion in Local-Life Services

이 논문은 지리적 맥락 반영, 노출 편향 감소, 그리고 지연 시간 최적화를 위해 도시 인식형 후보 발굴 전략과 빔 검색 기반 GRPO 알고리즘을 도입한 'LocalSUG'를 제안하여 로컬 라이프 서비스 플랫폼에서 검색 제안의 정확도와 비즈니스 성과를 크게 향상시켰음을 보여줍니다.

핵심

🍕 "LocalSUG": 당신의 도시를 알고, 취향을 읽는 똑똑한 검색 도우미

이 논문은 로컬 라이프 서비스(배달 앱, 맛집 검색, 여행 예약 등) 에서 사용자가 검색창에 글자를 입력할 때, 자동으로 추천해주는 **'검색어 제안 시스템'**을 어떻게 더 똑똑하고 빠르게 만들었는지 설명합니다.

기존 방식은 과거에 많이 검색된 단어만 나열해서 '긴 꼬리' (드물지만 중요한) 검색어를 놓치거나, 도시별 특성을 무시하는 문제가 있었습니다. 이 연구팀은 이를 해결하기 위해 LLM(거대 언어 모델)을 도입했지만, 세 가지 큰 장벽에 부딪혔습니다.

이걸 해결한 LocalSUG라는 시스템을 일상적인 비유로 설명해 드릴게요.

---

🚧 1. 세 가지 큰 장벽 (문제점)

1. **지리적 무감각 **(Geographic Grounding 부재)

   • 비유: 전 세계적으로 유명한 '피자'를 검색했을 때, AI 가 베이징에서는 '도미노 피자'를 추천하고, 마카오에서는 '도미노'가 아예 없는 지역인데도 똑같이 추천하는 꼴입니다. 마치 "서울에 있는 강남역 맛집을 찾아줘"라고 했을 때, AI 가 "서울은 없는데 부산에 있어요"라고 대답하는 것과 비슷하죠.
   • 문제: 전 세계 데이터를 다 먹은 AI 는 특정 도시의 현실 (상점 유무, 지역별 취향) 을 모릅니다.

2. **학습과 실제의 괴리 **(Exposure Bias)

   • 비유: 요리사가 레시피 책 (과거 데이터) 을 보고 요리를 연습할 때는 완벽하지만, 실제 손님이 오면 (실시간 검색) "아, 내가 연습할 때는 한 번에 다 했지만, 실제로는 여러 가지 요리를 동시에 만들어야 하네"라고 당황하는 상황입니다.
   • 문제: AI 는 훈련할 때 '단일 정답'을 맞추는 방식으로 배우는데, 실제 서비스에서는 여러 개의 추천을 나열해서 순위를 매겨야 합니다. 이 차이가 추천의 질을 떨어뜨립니다.

3. **느린 반응 속도 **(Latency)

   • 비유: 손님이 메뉴판을 보고 "피자"라고 말하자마자 10 초 뒤에 "네, 도미노입니다!"라고 대답하면 손님은 이미 배가 고파서 떠났을 겁니다.
   • 문제: 똑똑한 AI 는 계산이 많아 속도가 느려, 실시간으로 추천해주기 어렵습니다.

---

🛠️ LocalSUG 의 해결책 (해법)

연구팀은 이 세 가지 문제를 해결하기 위해 LocalSUG라는 시스템을 만들었습니다.

1. "도시별 맛집 지도"를 먼저 펼쳐놓기 (지리적 기반 후보 발굴)

• 방식: AI 가 아무 생각 없이 피자를 추천하는 게 아니라, 먼저 **"지금 이 도시에서 실제로 인기 있는 피자 가게들"**을 미리 찾아서 리스트에 넣어둡니다.
• 비유: 요리사가 요리를 하기 전에, "오늘 서울 날씨에 어울리는 메뉴는 뭐지?"라고 먼저 확인하고 재료를 준비하는 것과 같습니다. 이렇게 하면 AI 는 베이징에서는 도미노를, 마카오에서는 피자헛을 자연스럽게 추천하게 됩니다.

2. "실전 연습"을 통한 훈련 (Beam-Search-Driven GRPO)

• 방식: AI 를 훈련시킬 때, 실제 서비스에서 쓰이는 방식 (여러 개를 나열해서 순위를 매기는 방식) 과 똑같이 연습시킵니다.
• 비유: 축구 선수가 연습 경기에서 '한 명만 골인'하는 것만 연습하면 안 되고, 실제 경기처럼 11 명이서 팀 플레이를 하며 점수를 따는 연습을 해야 실전에서 잘하는 것과 같습니다.
• 효과: AI 는 이제 "어떤 순서로 추천해야 사용자가 가장 만족할까?"를 스스로 학습하게 되어, 추천의 질과 일관성이 높아집니다.

3. "스피드런" 기술 (품질 인식 가속화)

• 방식: AI 가 모든 단어를 다 계산하지 않고, 중요하지 않은 단어는 과감히 잘라내고 (Vocabulary Pruning), 질 낮은 추천은 중간에 끊어버리는 (Quality-Aware Beam Search) 기술을 썼습니다.
• 비유: 요리사가 모든 재료를 다 다져서 요리하는 게 아니라, 필요한 재료만 빠르게 다져서 1 분 안에 요리를 완성하는 것입니다.
• 효과: 똑똑함은 유지하면서 속도는 2 배 이상 빨라졌습니다.

---

🏆 결과: 실제로 얼마나 잘 작동했나요?

이 시스템을 실제 앱에 적용해 보니 놀라운 변화가 일어났습니다.

• 검색 실패 감소: 사용자가 원하는 게 없어서 검색이 안 되는 경우가 2.56% 줄어듭니다. (예: "이 동네에 있는 특정 피자"를 검색했을 때 결과가 안 나오는 경우가 줄어듦)
• 클릭률 증가: 추천된 메뉴를 클릭하는 비율이 0.35% 증가했습니다.
• 사용자 만족도: 사용자가 검색어를 더 짧게 입력해도 원하는 것을 찾을 수 있게 되어, 입력 노력이 줄어든 것으로 나타났습니다.

💡 한 줄 요약

LocalSUG는 "전 세계적으로 똑똑하지만 도시별 특성을 모르는 AI"를, **"자신이 있는 도시의 맛집과 취향을 완벽하게 아는 현지 전문가"**로 변신시킨 시스템입니다. 그리고 이 전문가가 실전 연습을 통해 실력을 다지고, 스피드런으로 즉각적인 답변을 주는 덕분에, 우리는 더 빠르고 정확하게 원하는 것을 찾을 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem)

로컬 라이프 서비스 플랫폼 (음식 배달, 호텔 예약, 엔터테인먼트 등) 에서 **쿼리 제안 (Query Suggestion)**은 사용자가 입력한 접두어 (prefix) 를 기반으로 후보 쿼리를 생성하여 검색 노력을 줄이고 검색 속도를 높이는 핵심 기능입니다.

기존의 다단계 캐스케이드 시스템 (Recall-Ranking) 은 히스토리 데이터에 의존하여 장미 (Long-tail) 수요나 새로운 의도를 처리하는 데 한계가 있습니다. 반면, 대규모 언어 모델 (LLM) 은 강력한 의미 일반화 능력을 가지고 있지만, 로컬 라이프 서비스에 직접 적용할 때 다음과 같은 세 가지 주요 과제가 존재합니다.

1. 지리적 기반 부재 (Lack of Geographic Grounding): 사용자의 의도는 도시별 상점 가용성과 지역적 선호도에 따라 다릅니다. (예: '피자' 검색 시 베이징에서는 '도미노'가, 마카오에서는 '피자헛'이 제안되어야 함). 전역적으로 학습된 LLM 은 지리적 맥락이 없어 지역적으로 유효하지 않은 추천을 할 수 있습니다.
2. 선호도 최적화에서의 노출 편향 (Exposure Bias): 기존 생성 방법은 시퀀스 단위의 히스토리 로그로 학습되지만, 실제 시스템은 빔 서치 (Beam Search) 를 통해 리스트 단위로 생성 및 랭킹합니다. 이 불일치로 인해 일관성과 랭킹 안정성이 저하됩니다.
3. 온라인 추론 지연 (Online Inference Latency): 로컬 라이프 서비스는 엄격한 실시간 지연 시간 요구사항을 가지며, 고용량 LLM 의 계산 오버헤드는 대규모 배포를 어렵게 만듭니다.

2. 제안 방법론 (Methodology: LocalSUG)

저자들은 위 문제들을 해결하기 위해 LocalSUG라는 엔드 - 투 - 엔드 생성형 쿼리 제안 프레임워크를 제안했습니다. 핵심 구성 요소는 다음과 같습니다.

가. 도시 인지형 후보 마이닝 (City-Aware Candidate Mining)

• 전략: RQ-VAE 와 같은 복잡한 생성 모델 대신, 용어 공발생 (Term Co-occurrence) 기반의 통계적 접근법을 사용합니다.
• 구현: 각 접두어 (prefix) 에 대해 도시별 (City-specific) 및 전역 (Global) 정렬된 후보 리스트를 유지합니다.
• 작동 방식: 프롬프트 구성 시 도시별 리스트를 우선시하여 지리적 관련성을 확보하고, 후보가 부족할 경우 전역 리스트로 채웁니다. 이는 7 일 슬라이딩 윈도우 기반의 로그를 매일 업데이트하여 최신 트렌드를 반영합니다.

나. 빔 서치 주도 GRPO (Beam-Search-Driven GRPO)

• 목적: 학습 (Training) 과 추론 (Inference) 간의 격차를 해소하고 노출 편향을 줄입니다.
• 알고리즘: 그룹 상대적 정책 최적화 (GRPO) 를 빔 서치와 결합합니다. 정책 모델 ($\pi_\theta$) 이 빔 서치를 통해 $G$개의 출력 그룹을 생성하고, 이를 기준 모델 ($\pi_{ref}$) 과 비교하여 보상을 계산합니다.
• 다목적 보상 함수 (Multi-Objective Reward):
  1. Gap Shaping: 상위 K 개 빔에 고품질 결과를 강제하기 위해 하위 후보에 페널티를 부여합니다.
  2. Rank & Hit: 정답 (Ground Truth) 이 포함되었을 때 랭킹에 비례한 보너스를 주고, 정답보다 높은 랭킹의 오답에는 페널티를 줍니다.
  3. Format & Miss: 형식 오류 (중복, 잘못된 토큰) 나 정답 누락 시 페널티를 부과하고 유효한 후보를 보강합니다.
  4. Order-aware Weight: 전환 (Conversion) 이 발생한 샘플에 가중치를 두어 비즈니스 목표를 최적화합니다.

다. 품질 인지형 가속 빔 서치 (QA-BS) 및 어휘 가지치기

• QA-BS (Quality-Aware Accelerated Beam Search):
  • 누적 로그 확률이 임계값 ($\tau$) 이하인 빔은 즉시 제거 (Pruning) 합니다.
  • 유효한 후보가 포화 상태이거나 모든 활성 빔이 임계값 아래로 떨어지면 조기 종료 (Early Stop) 하여 지연 시간을 단축합니다.
• 어휘 가지치기 (Vocabulary Pruning): 3 천 8 백만 건의 로그 분석을 통해 빈도가 낮은 토큰을 제거하고, 모델 헤드 (LM Head) 를 상위 3 만 개의 빈도 토큰으로 제한하여 불필요한 계산을 줄였습니다.

3. 주요 기여 (Key Contributions)

1. 생산 환경 대응 지리적 기반 프레임워크: 로컬 라이프 서비스에 특화된, 다양한 도시 환경에서 안정적인 성능을 보이는 생성형 쿼리 제안 시스템을 구축했습니다.
2. 학습 - 추론 간극 해소: 빔 서치 기반 GRPO 를 도입하여 오프라인 학습과 실시간 리스트 단위 추론을 정렬시켰으며, 다목적 보상 메커니즘을 통해 랭킹 안정성과 다양성을 동시에 개선했습니다.
3. 지연 시간 최적화 및 대규모 배포: QA-BS 와 어휘 가지치기 기술을 통해 0.6B 파라미터 LLM 을 고동시 산업 환경에서 대규모로 배포하는 것을 가능하게 했습니다.
4. 실증적 검증: 오프라인 실험과 대규모 온라인 A/B 테스트를 통해 장미 수요 해결 및 검색 효율성 향상을 입증했습니다.

4. 실험 결과 (Results)

가. 오프라인 평가 (Offline Evaluation)

• 데이터: 350 만 건의 학습 데이터, 5 만 건의 테스트 데이터 (MIX, CLICK, ORDER 세트로 구성).
• 성능: LocalSUG 는 기존 다단계 캐스케이드 (MCA), SFT 기반 모델, OneSug 등 모든 베이스라인을 압도했습니다.
  • HitRate@12: 96.36% (SFT 대비 향상), MRR: 81.13%
  • 다양성 (DIV) 및 품질 (QUA): 모두 높은 수치를 기록하며 형식 오류가 적고 다양한 추천이 가능함을 보였습니다.
• Ablation Study: 보상 함수의 각 구성 요소 (Rank, Hit, Format 등) 를 제거할 때 성능이 저하됨을 확인하여, 다목적 보상 설계의 중요성을 입증했습니다.

나. 온라인 A/B 테스트 (Online A/B Testing)

• 환경: 실제 트래픽의 10% 에 대해 1 주간 배포.
• 주요 지표 개선:
  • Few/No-Result Rate: 2.56% 감소 (검색 실패율 감소).
  • PV CTR (클릭률): 0.35% 증가.
  • 콘텐츠 탐색 (Unique Item Exposure): 7.50% 증가 (장미 상품 노출 확대).
  • 사용자 노력: 평균 SUG 입력 길이 0.75% 단축.
• 인간 평가: 전문가 3 인이 평가한 결과, LocalSUG 는 'Bad' 및 'Fair' 비율이 낮고 'Good' 비율이 높아 사용자 경험을 크게 향상시켰습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 을 로컬 라이프 서비스와 같은 지연 시간에 민감한 산업 환경에 성공적으로 적용한 사례입니다.

• 지리적 맥락의 통합: 단순한 텍스트 생성이 아닌, 도시별 상점 가용성을 고려한 지리적 기반 생성을 통해 실제 비즈니스 가치를 창출했습니다.
• 학습 - 추론 정렬: 빔 서치 기반 GRPO 를 통해 생성 모델의 추론 특성을 학습 과정에 반영함으로써, 기존 생성 모델의 불안정성을 해결했습니다.
• 효율성: 0.6B 와 같은 경량 모델을 최적화 기법 (QA-BS, Pruning) 과 결합하여 고동시 환경에서도 실시간 성능을 보장했습니다.

결론적으로 LocalSUG 는 생성형 AI 가 산업 생태계의 피드백 루프를 깨고 장미 수요를 충족시키는 데 있어 강력한 잠재력을 가지고 있음을 보여주었으며, 향후 더 대규모 모델의 온라인 배포 가능성을 열어주었습니다.