SOLARIS: Speculative Offloading of Latent-bAsed Representation for Inference Scaling

이 논문은 추론 시뮬레이팅 디코딩에서 영감을 받아 SOLARIS 라는 새로운 프레임워크를 제안하여, 메타의 광고 시스템에서 실시간으로 대규모 추천 모델의 추론을 가능하게 하고 수익 지표 0.67% 향상을 달성했다고 요약할 수 있습니다.

핵심

🌞 SOLARIS: 거대한 추천 AI 의 '예상 주문' 시스템

메타 (Meta) 의 연구진이 개발한 SOLARIS라는 새로운 기술을 쉽게 설명해 드릴게요. 이 기술은 우리가 매일 보는 페이스북, 인스타그램 광고가 얼마나 똑똑하고 빠르게 작동하는지 비약적으로 높여줍니다.

1. 문제: "너무 똑똑하지만, 너무 느린 AI"

상상해 보세요. 거대한 도서관에 있는 **초고성능 AI(기반 모델, Foundation Model)**가 있습니다. 이 AI 는 전 세계 모든 사람의 취향을 분석해서 "누가 무엇을 좋아할지"를 100% 정확히 예측할 수 있습니다.

하지만 이 AI 는 너무 무겁고 느립니다.

• 현실: 광고를 보여줄 때, 사용자의 요청이 들어오면 이 무거운 AI 가 "잠깐만요, 계산 중입니다"라고 답하면 광고는 1 초도 안 돼서 사라져버립니다. (지연 시간 문제)
• 기존 해결책: 그래서 사람들은 이 거대한 AI 를 버리고, 가볍지만 똑똑하지 않은 **작은 AI(수직 모델, Vertical Model)**만 쓰거나, 거대 AI 의 답을 미리 가르쳐서 작은 AI 가 흉내 내게 했습니다. 하지만 이 방법은 정보의 75% 는 잃어버리는 '불완전한 학습'이었습니다.

2. 해결책: SOLARIS 의 '예상 주문' (Speculative Offloading)

SOLARIS 는 이 문제를 해결하기 위해 식당 주방에 비유할 수 있는 똑똑한 방식을 도입했습니다.

🍽️ 비유: "손님이 오기 전에 미리 요리하기"

• 기존 방식: 손님이 메뉴를 주문하고 나서야 주방장이 재료를 꺼내서 요리합니다. (지연 발생)
• SOLARIS 방식: 주방장 (거대 AI) 은 **"아마도 A 손님은 치킨을, B 손님은 파스타를 주문할 거야"**라고 미리 추측합니다. 그리고 손님이 실제로 주문하기 전에 미리 요리를 해두거나, 최소한 반조리 상태로 준비해 둡니다.

이게 바로 SOLARIS의 핵심입니다.

1. 미리 계산 (Speculative Precomputation): 거대 AI 가 "앞으로 몇 시간 안에 누가 무엇을 볼지"를 미리 예측해서, 그 결과를 미리 계산해 둡니다.
2. 비동기 작업: 이 계산은 사용자가 광고를 볼 때 방해하지 않고, 배경에서 조용히 일어납니다.
3. 즉시 제공: 사용자가 광고를 보러 왔을 때, 미리 준비된 요리 (AI 의 예측 결과) 를 바로 내줍니다. 그래서 속도는 빠르지만, 거대 AI 의 똑똑함은 그대로 유지됩니다.

3. 만약 예상과 다르면? (계층적 특징 보충)

물론, "내가 치킨을 먹을 거라고 예상했는데 파스타를 주문할 수도 있죠?"라는 문제가 생깁니다. SOLARIS 는 이럴 때를 대비해 3 단계의 안전장치를 마련했습니다.

1. 정확한 예상 (Hit): 미리 계산한 결과가 맞다면? 완벽한 요리를 바로 줍니다. (가장 좋음)
2. 사용자 취향 평균 (Aggregated): 특정 메뉴를 못 준비했다면? "이 사람은 평소 치킨과 파스타를 다 좋아했으니, 두 가지 맛을 섞어서 줘야겠다"라고 사용자의 최근 취향 평균을 제공합니다.
3. 비슷한 사람 참고 (Similarity): 아예 그 사람의 취향을 모른다면? "이 사람과 취향이 비슷한 C 친구가 좋아했던 메뉴를 참고해서 줘야겠다"라고 비슷한 친구의 취향을 빌려옵니다.

이렇게 하면 거대 AI 의 지식을 50% 에서 90% 이상까지 끌어올려서, 거의 모든 상황에 똑똑한 추천을 해줄 수 있게 됩니다.

4. 실제 성과: "메타의 광고 수익 1 억 달러 증가"

이 기술을 메타의 광고 시스템에 적용한 결과는 놀라웠습니다.

• 속도: 사용자는 느려진 것을 전혀 느끼지 못했습니다. (지연 시간 없음)
• 정확도: 광고 클릭률 (CTR) 과 구매 전환율 (CVR) 이 모두 향상되었습니다.
• 수익: 전 세계적으로 광고 수익이 약 0.67% 증가했는데, 이는 **약 1 억 달러 (약 1,300 억 원)**에 해당하는 거대한 금액입니다.

📝 한 줄 요약

SOLARIS는 "너무 무거워서 쓸 수 없었던 거대 AI 의 지능을, '미리 예상해서 준비해 두는' 방식으로 가져와서, 우리가 광고를 볼 때 빠르고 똑똑한 추천을 가능하게 만든 혁신적인 기술입니다."

이제 여러분이 페이스북이나 인스타그램을 볼 때, "아, 이 광고는 SOLARIS 가 미리 준비해 둔 거였구나!"라고 생각하시면 됩니다.

기술 요약

1. 문제 정의 (Problem)

최근 추천 시스템 (RecSys) 의 확장 법칙 (Scaling Laws) 으로 인해 이전보다 훨씬 복잡한 기반 모델 (Foundation Models, FM) 이 등장했습니다. 이러한 모델은 방대한 데이터와 다양한 특징을 학습하여 오프라인 평가에서 뛰어난 성능을 보이지만, 실시간 서빙 (Real-time Serving) 에는 다음과 같은 치명적인 한계가 있습니다.

• 연산 비용과 지연 시간: FM 을 실시간으로 추론하는 것은 계산 비용이 너무 많이 들고 지연 시간 (Latency) 요구 사항을 충족하기 어렵습니다.
• 기존 지식 전수 (Knowledge Distillation) 의 한계:
  • 낮은 전수율 (Transfer Ratio): 기존 소프트 라벨 (Soft-label) 기반 증류는 일반적으로 20~25% 의 전수율만 달성하며, 특정 작업에 과도하게 종속적입니다.
  • 추론 시 지식 공유 부재: 지식 전수가 학습 단계에서만 이루어져, 추론 (Inference) 시점에 FM 의 풍부한 지식을 활용할 기회를 놓칩니다.

따라서, FM 의 높은 성능을 유지하면서도 실시간 지연 시간을 준수하여 대규모 추천 시스템에 적용할 수 있는 방법론이 절실히 필요했습니다.

2. 제안 방법론: SOLARIS (Methodology)

저자들은 SOLARIS (Speculative Offloading of Latent-bAsed Representation for Inference Scaling) 라는 새로운 프레임워크를 제안했습니다. 이는 LLM 의 'Speculative Decoding' 아이디어를 추천 시스템에 적용한 것으로, FM 의 추론을 비동기적으로 앞당겨 수행하는 것이 핵심입니다.

핵심 구성 요소

1. 직접 임베딩 기반 전수 (Direct Embedding-based Transfer):

   • 기존 소프트 라벨 대신, FM 의 마지막 공유 레이어에서 추출한 사용자 - 아이템 상호작용 임베딩 (User-Item Interaction Embeddings) 을 직접 하위 모델 (Vertical Models, VM) 로 전달합니다.
   • 이를 통해 더 풍부하고 일반화 가능한 표현을 학습하며, 전수율을 크게 향상시킵니다.

2. 추측적 임베딩 사전 계산 (Speculative Embedding Precomputation):

   • 비동기 백그라운드 작업: 모든 사용자 - 아이템 쌍에 대해 실시간으로 FM 을 실행하는 대신, 백그라운드에서 FM 을 사용하여 미래 요청에서 발생할 가능성이 높은 사용자 - 아이템 쌍의 임베딩을 미리 계산 (Precompute) 합니다.
   • 검증기 모델 (Verifier Model): 현재 수직 모델 (VM) 의 예측 점수를 기반으로 어떤 사용자 - 아이템 쌍이 캐시에 저장될 가치가 있는지 필터링합니다. 관련성이 높은 상위 20% 만 선택하여 계산 자원을 집중합니다.
   • TTL 기반 캐시 무효화: 사용자의 선호도가 짧은 시간 내에 일관성을 유지한다는 가정 하에, 계산된 임베딩을 TTL(Time-to-Live) 을 가진 캐시에 저장하여 추론 시 재사용합니다.

3. 계층적 특징 보강 (Hierarchical Feature Enrichment):

   • 사전 계산된 임베딩의 커버리지가 100% 가 불가능하므로 (시스템 규모상), 커버리지 공백을 메우기 위해 두 가지 전략을 사용합니다.
   • 집계된 사용자 임베딩 (Aggregated User Embedding): 최근 24 시간 내 해당 사용자의 다른 아이템들과의 상호작용 임베딩을 평균화하여 현재 아이템에 대한 임베딩으로 대체합니다.
   • 유사도 기반 임베딩 (Similarity-Based Embedding): KNN(K-Nearest Neighbors) 을 사용하여 유사한 사용자의 임베딩을 찾아와 대체합니다. (협업 필터링 원리 적용)

3. 주요 기여 (Key Contributions)

• 추론 시간 지식 전수 (Inference-time Knowledge Distillation): 학습 단계뿐만 아니라 실시간 서빙 중에도 FM 의 지식을 VM 이 활용할 수 있게 하여, 지연 시간 증가 없이 성능을 극대화했습니다.
• 높은 전수율 달성: 기존 증류 방식 (2025%) 대비 **2 배 이상 높은 전수율 (4244%)** 을 달성했습니다.
• 확장성 및 생산성: 메타 (Meta) 의 광고 시스템 (하루 수십억 건의 요청) 에 성공적으로 배포되었으며, 기존 멀티 스테이지 랭킹 파이프라인과 원활하게 통합됩니다.

4. 실험 결과 (Results)

메타의 실제 광고 환경에서 SOLARIS 를 평가한 결과는 다음과 같습니다.

• 비즈니스 성과: 전 세계 광고 수익 (Ads Revenue) 에서 0.67% 의 증가를 기록했습니다. (약 1 억 달러 규모의 가치에 해당)
• 모델 성능 향상:
  • 10 개 이상의 생산 모델에서 상대적 로그 손실 (Relative Log Loss) 0.2% 개선.
  • Facebook Feed, Reels, Instagram 등 다양한 CTR(클릭률) 및 CVR(전환률) 태스크에서 일관된 성능 향상.
  • 커버리지 증가: 기본 사전 계산만으로는 40% 의 커버리지를 보였으나, 집계 및 유사도 기반 보강 전략을 통해 90% 이상의 커버리지를 달성했습니다.
• 전수율 (Transfer Ratio): Instagram 태스크에서 42%, Facebook 제품군에서 44% 의 전수율을 기록하여 기존 방식 대비 2 배 개선됨을 입증했습니다.

5. 의의 및 결론 (Significance)

SOLARIS 는 대규모 기반 모델 (Foundation Models) 을 실시간 추천 시스템에 적용하는 데 있어 지연 시간과 계산 비용이라는 장벽을 극복한 획기적인 접근법입니다.

• 지식 공유의 패러다임 전환: 단순한 모델 압축 (Distillation) 을 넘어, 추론 시점에 동적으로 풍부한 표현 (Representations) 을 전달하는 새로운 방식을 제시했습니다.
• 실용성: 메타와 같은 초대규모 플랫폼에서 검증된 바와 같이, 이론적 모델이 아닌 실제 비즈니스 환경 (수십억 건의 트래픽) 에서 즉각적인 수익 창출 효과를 입증했습니다.
• 미래 방향: 현재는 최종 랭킹 단계에 국한되어 있지만, 초기 단계 (Retrieval 등) 로의 확장 및 A2A(광고 간) 전략 등을 통해 더 넓은 커버리지와 수익 잠재력을 확보할 계획입니다.

결론적으로 SOLARIS 는 고비용의 대형 모델을 "비동기적 예측"과 "계층적 보강"을 통해 실시간 시스템에 효율적으로 통합함으로써, 차세대 추천 시스템의 표준 아키텍처로 자리매김할 가능성을 보여줍니다.