기술 요약: Fortress – 검색 추천 안정화 사례 연구

문제 정의

검색 및 추천 시스템에서 예측 모델은 종종 시간적 불안정성을 겪습니다. 이는 특정 입력 특징이 동일한 쿼리 - 엔티티 쌍에 대해 서로 다른 시간대에 걸쳐 출력 점수가 크게 변동할 때 발생합니다. 이러한 변동성은 다단계 시스템에서 하류 의사결정에 필수적인 일관된 예측이 필요할 때 모델의 신뢰성과 사용자 경험을 저하시킵니다.

최근 대규모 언어 모델 (LLM) 과 BERT 기반의 시맨틱 특징의 발전은 문맥적 관련성과 일반화를 개선했지만, 종종 쿼리나 엔티티를 완전히 커버하지는 못합니다. 반면, 참여 기반 특징(클릭 및 검색과 같은 유기적 사용자 행동에서 파생된) 은 강력한 예측력을 제공하지만 시간적 불일치를 초래하기 쉽습니다. 본 연구가 다루는 핵심 과제는 참여 신호의 높은 예측 정확도와 그것이 초래하는 점수 변동성 사이의 트레이드오프입니다.

방법론: Fortress 프레임워크

저자들은 시간에 걸쳐 일관되지 않은 예측 점수에 기여하는 특징을 식별하고 제거함으로써 모델의 안정성과 정확성을 향상시키기 위해 Fortress라는 일반 프레임워크를 제안합니다. 이 프레임워크는 특정 특징이 고립된 스냅샷에서는 예측력이 있을지라도 시간 경과에 따라 평가될 때 변동성을 유발할 수 있다는 통찰에 기반합니다.

Fortress 는 다음 네 단계 프로세스를 따릅니다:

1. 데이터 수집: 시스템은 서로 다른 기간에 걸쳐 동일한 엔티티의 점수 변동을 포착하는 시간적으로 분할된 데이터셋인 역사적 스냅샷을 수집합니다.
2. 불안정 샘플 식별: 이 방법은 이러한 스냅샷 간에 높은 점수 분산을 보이는 샘플을 식별합니다. 구체적으로, 변동 계수 (CV) 가 가장 높은 샘플의 75 백분위수를 대상으로 합니다.
3. 특징 격리 및 제거: 식별된 고분산 샘플에 대해 각 개별 특징의 CV 를 계산합니다. 가장 높은 CV 를 가진 특징은 제거 대상 후보로 플래그가 지정됩니다. 프레임워크는 탐욕적 탐색 접근법을 사용합니다: 후보 특징을 반복적으로 제거하고 모델을 재학습합니다. 핵심적으로, 특징 제거는 검증 세트에서 베이스라인 대비 통계적으로 유의미한 PR-AUC 개선이 발생할 때만 진행됩니다.
4. 모델 재학습: 최종 모델은 감소된 특징 세트 (불안정을 유발하는 특징 제외) 와 사용 가능한 모든 역사적 스냅샷을 사용하여 재학습됩니다.

이 접근법은 특징 부분집합이 검증 성능에 기반하여 선택되는 '래퍼 (wrapper)' 특징 선택 방법의 범주에 속합니다.

실험 설정

이 프레임워크는 상업용 앱 마켓플레이스 내의 대규모 쿼리 - 앱 관련성 모델에서 검증되었습니다. 작업은 쿼리 - 앱 쌍을 관련 (GOOD/EXCELLENT) 또는 비관련 (BAD) 으로 분류하는 것이었습니다.

• 데이터: 데이터셋은 일별 스냅샷으로 구성되었으며, 70% 는 훈련, 15% 는 검증, 15% 는 테스트 세트로 분할되었습니다. 약 40% 의 쌍이 BAD 로 레이블링되었습니다.
• 특징: 모델은 두 가지 주요 카테고리를 활용했습니다:
  • 시맨틱 표현 (SR): LLM 기반 특징 (전용 파운데이션 모델 사용) 과 DistilBERT 기반 특징 (트리플릿 손실을 사용한 투터 아키텍처). 이러한 특징은 참여와 무관한 콘텐츠 기반 관련성을 제공합니다.
  • 참여 특징: 비개인화되고 매우 집계된 역사적 사용자 상호작용 (클릭, 검색). 이러한 특징은 하루에 여러 번 갱신되었으며 점수 불안정성의 주요 원인이었습니다.
• 모델: 속도와 노이즈에 대한 견고성으로 인해 XGBoost 분류기가 사용되었습니다.
• 지표:
  • PR-AUC: 분류 성능을 평가하기 위해 사용.
  • 변동 계수 (CV): 스냅샷 간 예측 점수의 표준편차를 평균으로 나눈 값으로 정의되며, 점수 안정성을 측정하는 데 사용됨.

주요 결과

실험은 참여 특징을 추가하면 분류 성능이 향상되지만 동시에 점수 변동성이 증가함을 보여주었습니다. Fortress 는 이러한 트레이드오프를 성공적으로 완화했습니다:

• 안정성 개선: 모든 특징을 사용한 베이스라인과 비교하여 Fortress 는 변동 계수 (CV) 를 3.44% 감소시켰습니다 (0.5462 에서 0.5274 로).
• 정확도 개선: 이 프레임워크는 PR-AUC 를 0.24% 증가시켰습니다 (0.9572 에서 0.9595 로), 이는 "모든 특징" 베이스라인과 "모든 특징을 사용한 다중 스냅샷" 접근법을 모두 능가했습니다.
• 시스템 수준 영향: 향상된 안정성의 하류 효과로 Fortress 는 최종 추천 단계에 한 스냅샷에는 나타나지만 다른 스냅샷에는 없는 쌍인 "플립 - 플롭" 비율을 전 세계적으로 25.8% 감소시켰습니다. 지역별 감소율은 14.7% 에서 49.6% 사이였습니다.
• 특징 분석: 이 연구는 단일 스냅샷에서는 유익한 일부 특징이 시간 경과에 따른 평가 시 성능을 저하시킨다는 것을 확인하여, 견고한 특징 선택을 위한 시간적 다중 스냅샷 분석의 필요성을 재확인했습니다.

중요성과 주장

이 논문은 Fortress 를 내재된 변동성을 관리하면서 참여 신호를 통합하는 원칙적인 방법으로 위치시킵니다. 저자들은 다음과 같이 주장합니다:

1. 일반 적용 가능성: 쿼리 - 앱 관련성 작업에서 시연되었지만, 이 기술은 사용자 - 항목 추천과 같이 시간이 지남에 따라 동일한 엔티티를 평가하는 스코어링 모델이 필요한 모든 시나리오에 광범위하게 적용 가능합니다.
2. 시스템 신뢰성: 다단계 검색 및 랭킹 파이프라인에서 프로덕션 스코어의 변동성은 전파되어 시스템 역학에 크고 원치 않는 변화를 초래할 수 있습니다. Fortress 는 신뢰성과 성능을 보장하는 데 필수적인 스코어링 안정성을 유지함으로써 이를 해결합니다.
3. 균형 잡힌 최적화: 이 프레임워크는 시맨틱 특징의 일반화와 참여 특징의 예측력 사이의 긴장 관계를 성공적으로 해결하여 더 안정적이고 더 정확한 모델을 이끌어냅니다.

이 연구는 고품질 사용자 경험을 제공하기 위해서는 추천 시스템이 관련성 있을 뿐만 아니라 시간 경과에 따라 일관되고 예측 가능한 결과를 산출해야 한다고 결론지었습니다.