A Unified Structured Query Understanding Framework for Industrial Semantic Search

"산업적 의미 검색을 위한 통합 구조화된 쿼리 이해 프레임워크"에 대한 상세 기술 요약입니다.

문제 정의

LinkedIn 의 Job Search 와 같은 대규모 수직 분야를 중심으로 한 산업적 의미 검색 시스템은 전통적으로 분리된 엔티티 태거, 쿼리 리라이터, 의도 분류기 등 이질적인 구성 요소들의 파편화된 캐스케이드 파이프라인에 의존해 왔습니다. 개별적으로 최적화 가능함에도 불구하고, 이러한 아키텍처는 높은 유지 관리 오버헤드를 초래하고, 쿼리 유형 간 일관되지 않은 동작을 유발하며, 롱테일 시나리오에서 오류를 증폭시킵니다.

이 문제는 현대적 의미 쿼리의 특성으로 인해 더욱 악화됩니다. 현대적 의미 쿼리는 종종 장황하고, 고엔트로피이며, 다중 제약 조건을 갖기 때문입니다 (예: "easy apply remote data entry clerk" 또는 "salary > $X or remote in US"). 레거시 시스템에서는 고립된 구성 요소들이 복잡한 의존성을 해결하는 데 어려움을 겪어, 종종 엔티티를 과도하게 추출하거나 잠재적 의도를 놓칩니다. 또한, 통합 모델링은 데이터 부족과 평가 측면에서 상당한 병목 현상에 직면합니다. 쿼리 이해 레이블은 환각 필터 방지와 같은 엄격한 제품 정책 요구 사항으로 인해 생성 비용이 매우 높으며, 많은 실패 모드는 미묘하여 표준 자동 지표를 통해 포착하기 어렵습니다.

방법론

저자들은 이질적인 기능들을 단일 **소형 언어 모델 (SLM)**로 통합하여 스키마 제약 생성을 수행하는 통합 구조화된 쿼리 이해 프레임워크를 제안합니다. 이 시스템은 두 가지 비동기 환경에서 작동합니다.

1. 온라인 추론 엔진 (학생):

   • 단일 패스 스키마 제약 생성에 최적화된 모놀리식 SLM(구체적으로 15 억 파라미터 모델).
   • 입력: 사용자 쿼리 ($q$) 와 멤버 프로필, 위치, 세션 히스토리를 구성하는 컨텍스트 벡터 ($c$).
   • 출력: 단일 순전파로 생성된 구조화된 아티팩트 $y = \{r, t, w, s, \dots\}$:
     • $r$: 라우터 (태깅, 리라이팅, 신뢰 차단과 같은 다운스트림 실행기를 게이트하는 이산적 결정).
     • $t$: 태그 (제목, 회사, 위치, "Easy Apply"와 같은 구조화된 제약 조건).
     • $w$: 리라이트 (선택적 자연어 정제, 예: "near my location"을 특정 도시로 해결).
     • $s$: 안전/신뢰 결정.
   • 서빙: 시스템은 JSON/TypeScript 스키마를 강제하여 잘못된 출력을 방지하기 위해 가이드드 문법 디코딩 (xgrammar) 을 사용합니다. 제한된 GPU 리소스 상에서 엄격한 저지연 제약 조건 (중앙값 지연 시간 < 300ms) 을 충족하기 위해 클라이언트 측 배치 및 접두어 캐싱을 사용합니다.

2. 쿼리 일루미네이터 (교사 및 심판):

   • 데이터 및 평가 병목 현상을 해결하는 80 억 파라미터 모델을 사용하는 고용량 오프라인 프레임워크.
   • 교사 역할: 지도 미세 조정 (SFT) 및 **지식 증류 (KD)**를 위한 고충실도 스키마 준수 타겟을 생성합니다. 증류 과정은 80 억 파라미터 교사의 추론 능력을 15 억 파라미터 학생에게 전이하여, 작은 서빙 풋프린트를 유지하면서 추론 격차를 해소합니다.
   • 심판 역할: 오프라인 테스트를 위한 대리 평가자로 작동합니다. 추출 정밀도, 쿼리 위생과 같은 루브릭에 기반하여 정책 기반 프롬프트 템플릿을 사용하여 참조에 대한 후보 출력을 점수화하고 구조화된 오류 분류를 생성합니다. 이는 인간 레이블이 부족한 상황에서 확장 가능한 평가를 가능하게 합니다.

학습 전략:
이 프레임워크는 다중 작업 지시 튜닝 패러다임을 활용합니다. 모델은 스키마 제약 출력에 대한 SFT 를 통해 학습된 후, 교사로부터 증류를 거칩니다. 다중 작업 접근 방식 (라우팅, 태깅, 리라이팅을 공동 최적화) 은 정규화제 역할을 하여 지배적인 어휘 패턴에 대한 과적합을 방지하고 롱테일 쿼리에서의 일반화를 개선합니다.

주요 기여

1. 통합 구조화된 쿼리 이해: 파편화된 다단계 파이프라인을 스키마 제약 생성을 수행하는 단일 SLM 으로 대체하여 오류 전파 및 유지 관리 비용을 줄입니다.
2. 정책 기반 감독 및 평가: 자동 주석/증류를 위한 교사이자 확장 가능하고 정책 정렬된 오프라인 평가를 위한 대리 심판 역할을 하는 쿼리 일루미네이터라는 이중 목적 프레임워크를 도입합니다.
3. 구조화된 생성을 위한 확장 가능한 서빙: 가이드드 디코딩, 스키마 유효성 검사, 클라이언트 측 배치를 특징으로 하는 프로덕션 서빙 스택을 기술하며, 현실적인 QPS 부하 하에서 검증되었습니다.
4. 크로스 도메인 확장성: 동일한 아키텍처를 최소한의 적응으로 **의미 기반 사람 검색 (SPS)**에 적용하여 프레임워크의 이식성을 입증함으로써 도메인 중립적 특성을 증명했습니다.

실험 결과

이 프레임워크는 LinkedIn 의 Job Search 시스템 (>10M 문서, >10K QPS) 과 People Search 사례 연구를 통해 광범위한 오프라인 및 온라인 테스트로 검증되었습니다.

• 오프라인 품질:

  • 다국어 성능: 증류된 15 억 파라미터 학생 모델은 영어, 독일어, 스페인어, 프랑스어 전반에 걸쳐 높은 정밀도와 재현율을 달성하여 더 큰 교사의 품질 대부분을 회복했습니다.
  • 다중 작업 vs 단일 작업: 단일 도구 미세 조정과 비교하여 공동 최적화는 위치 추출 F1 을 0.885 에서 0.924 로 향상시켜 긍정적 전이를 입증했습니다.
  • 대리 심판 검증: 쿼리 일루미네이터는 인간 전문가에 대해 0.77 의 코헨의 $\kappa$ (천장 0.83) 를 달성했으며, 99.96% 의 JSON 파싱 안정성을 보여 신뢰할 수 있는 개발 신호로 그 유용성을 검증했습니다.

• 온라인 A/B 테스트 (Job Search):

  • 신뢰성: 주로 개선된 라우팅 및 태깅 신뢰성에 힘입어 요청 실패를 17.13% 줄였습니다.
  • 참여도: Apply-to-viewport 비율 (+0.14%), 검색 세션 (+0.74%), 성공적인 apply-or-save 행동 (+0.49%) 등 주요 지표에서 통계적으로 유의미한 개선을 보였습니다.
  • 지연 시간: 시스템은 버스트성 작업 부하 하에서도 엄격한 지연 시간 예산 (태깅의 경우 중앙값 < 300ms, Facet 제안의 경우 약 110ms) 을 유지했습니다.

• 크로스 도메인 (People Search):

  • 의미 기반 사람 검색에 적용된 결과, 시스템 트래픽의 70.1% 를 의미 경로로 라우팅했습니다.
  • 오프라인 등급 관련성 (GR@10) 은 검색 시스템이 구조화된 쿼리를 소비할 때 탐색적 쿼리의 경우 +75%, 내비게이션 쿼리의 경우 **+57%**의 막대한 향상을 보였습니다.

• 다운스트림 영향:

  • 기존 임베딩 기반 검색 (EBR) 시스템에 구조화된 태그를 주입하여 (검색기 재학습 없이) 상위 50 개 검색 지표에서 정밀도 +1.8%, 재현율 +2.2% 를 개선했습니다.

의의 및 주장

이 논문은 라우팅, 태깅, 리라이팅, 신뢰 처리를 단일 스키마 제약 SLM 으로 통합하는 것이 산업적 의미 검색을 위한 파편화된 파이프라인보다 실행 가능하고 우월한 대안이라고 주장합니다. 그 의의는 다음과 같습니다.

• 운영 효율성: 제한된 하드웨어에서 엄격한 저지연 제약을 충족하면서 유지 관리 오버헤드와 오류 전파를 획기적으로 줄입니다.
• 확장성: 합성 감독 및 정책 기반 평가를 통해 인간 레이블링에만 의존하지 않고 빠른 반복을 가능하게 하는 쿼리 일루미네이터를 통해 데이터 병목 현상을 해결합니다.
• 일반화: 출력 스키마만 재정의하면 다른 수직 분야 (Job Search 에서 People Search 로) 와 언어 간에 통합 아키텍처가 성공적으로 이식될 수 있음을 입증합니다.

저자들은 이 접근 방식이 생성 모델의 표현력과 산업적 검색의 신뢰성 요구 사항 사이의 균형을 효과적으로 유지하면서, 쿼리 이해를 더 확장 가능하고 확장성이 있으며 프로덕션 완성도가 높은 시스템으로 변환한다고 결론지었습니다.