기술 요약: 사용자 이벤트 시퀀스에 대한 행동 기반 파운데이션 모델의 스케일링 법칙

문제 정의

파운데션 모델은 추천, 결제, 사기 탐지, 커머스와 같은 도메인에서 사용자 행동 시퀀스에 점점 더 많이 적용되고 있습니다. 그러나 이러한 행동 모델은 LLM(대규모 언어 모델)과 달리, 연산량 할당을 가이드할 수 있는 확립된 스케일링 법칙이 부족합니다. 핵심적인 구조적 차이점은 다음과 같습니다. LLM 토큰은 일반적으로 불투명한 어휘 ID인 반면, 행동 이벤트는 풍부한 특징(텍크스트, 메타데이터, 시각적 특징, 타임스탬프 등 포함)을 가집니다. 결과적으로 현대적 시스템은 **특징 기반 이벤트 임베더(feature-based event embedder)**가 원시 아이템 특징을 밀집 벡터로 매핑하고, **디코더 전용 트랜스포머 컨텍스추얼라이저(decoder-only transformer contextualizer)**가 이 임베딩들의 시퀀스를 모델링하는 2단계 구조를 채택합니다.

이 구조는 표준 텍스트 LM에는 존재하지 않는 독특한 스케일링 과제를 도입합니다. 구체적으로, 임베더는 추론 과정에서 모든 후보 아이템에 대해 재계산되어야 하므로 대규모 카탈로그 환경에서는 비용이 매우 많이 듭데듭니다. 일반적인 관행은 2단계 학습 레시피를 사용합니다: 인배치 샘플드 소프트맥스(in-batch sampled softmax)를 이용한 공동 학습(joint training)을 먼저 수행한 후, 임베더를 고정하고 더 큰 규모의 샘플 네거티브(sampled negatives) 풀을 사용하여 컨텍스추얼라이저를 학습시키기 위해 임베딩을 캐싱합니다. 이 설정은 보정(calibration)이 필요한 네 가지 결합된 하이퍼파라미터(노브)를 생성합니다:

1. 임베더 점유율(Embedder Share): 임베더와 컨텍스추얼라이저에 할당되는 파라미터의 비율.
2. 임계 배치 크기(Critical Batch Size): 데이터 효율성을 극대화하는 배치 크기.
3. 모델/데이터 할당(Model/Data Allocation): 모델 크기($N$)와 데이터 토큰($D$) 사이의 최적의 연산 예산 분할.
4. 네거티브 샘플링(Negative Sampling): 임베더를 고정한 후 사용하는 추가 샘플 네거티브의 수($K$).

방법론

본 연구는 단일 실제 리테일 상호작용 코퍼스(검색, 조회, 클릭, 구매 결합)를 대상으로 약 600회의 학습 실행을 통한 포괄적인 경험적 조사를 수행합니다. 실험은 $C \in [10^{15}, 10^{19}]$ FLOPs의 연산 예산 범위를 아우릅니다.

실험 설계는 다른 요소들을 고정하거나 체계적으로 스윕(sweep)하면서 네 가지 축을 격리합니다:

• 아키텍처: 임베더 파라미터 점유율($s = p_e/N$)을 0%에서 50%까지, 그리고 컨텍스추얼라이저 깊이를 변화시킵니다.
• 배치 크기: 글로벌 배치 크기($B$)를 64에서 2048까지 스윕하여 다양한 지표에 대한 임계 배치 크기($B_{crit}$)를 식별합니다.
• 모델/데이터 할당: iso-FLOP 프런티어에서 학습하여 다양한 예산에 대한 최적의 $N$과 $D$를 결정하며, 이를 "Chinchilla" 휴리스틱($D/N \approx 20$)과 비교합니다.
• 네거티브 샘플링: 두 번째 학습 단계에서 사용하는 추가 샘플 네거티브의 수($K$)를 0에서 2백만 개까지 변화시킵니다.

평가 프로토콜: 본 연구는 두 가지 평가 체계를 구분합니다:

1. 1단계 (In-batch): 배치 내의 고유 타겟에 대해 평가하며, 이는 학습 분포와 일치합니다.
2. 2단계 (Full-Catalogue): 전체 캐싱된 제품 카탈로그에 대해 평가하며, 이는 실제 배포되는 검색 설정을 시뮬레이션합니다.
   지표로는 교차 엔트로피 손실(cross-entropy loss), 퍼플렉시티(perplexity), Recall@k, NDCG@k, MRR@10, 그리고 커버리지(coverage)가 포함됩니다.

주요 기여 및 결과

1. 계산 최적화된 임베더는 작다

풍부한 특징을 가진 입력에는 거대한 인코더가 필요할 것이라는 직관과는 반대로, 본 연구는 최적의 임베더 점유율이 네 차원의 연산 규모 범위 내에서 놀라울 정도로 작고 안정적이라는 것을 발견했습니다.

• 발견: 최적의 파라미터 점유율은 $s^\star \approx 2\%$입니다 (구체적으로 지표와 예산에 따라 $1.1\% - 3.7\%$ 사이).
• 메커니즘: 이는 두 가지 비대칭성에 의해 유도됩니다:
  1. 연산 비대칭성: 임베더의 짧은 컨텍스트 길이와 트랜스포머의 시퀀스 길이로 인해, 임베더 파라미터는 아이템당 컨텍스추얼라이저 파라미터보다 약 24배 더 자주 호출됩니다.
  2. 데이터 분포 비대칭성: 카탈로그 내의 인기 아이템은 수백에서 수천 번 반복되어 임베더를 높은 빈도의 암기(memorization)에 노출시키는 반면, 컨텍스추얼라이저는 동일한 이벤트 윈도우를 거의 두 번 다시 보지 않습니다.
• 시사점: 작은 임베더는 파라미터가 단계당 더 비싸고 더 반복적인 데이터 분포를 보이기 때문에 연산 최적화에 유리합니다.

2. 스케일링은 초기에 데이터 집약적이며, 이후 Chinchilla로 수렴한다

행동 모델은 특히 낮은 연산 예산에서 텍스트 LM과 다른 스케일링 역학을 보입니다.

• 발견: 최적의 데이터 대 파라미터 비율($D/N$)은 초기에는 $\approx 344$($10^{15}$ FLOPs 기준)로 매우 높았다가, $10^{19}$ FLOPs에 도달하면 $\approx 36$으로 감소합니다.
• 추세: 연산량이 증가함에 따라 이 비율은 텍스트 LM의 Chinchilla 휴리스틱($D/N \approx 20$)에 근접합니다.
• 지수: 피팅된 모델 크기 지수는 $N^\star \propto C^{0.617 \pm 0.025}$이며, 이는 다양한 랭킹 지표(Recall, NDCG)에서 일관되게 나타납니다.

3. 평가 지표가 스케일링 법칙을 정의한다

중심적인 발견은 평가 지표의 선택이 "연산 최적화 레시피"를 근본적으로 바꾼다는 것입니다.

• 임계 배치 크기 ($B_{crit}$): 지표마다 최적의 배치 크기에 대해 의견이 갈립니다. Loss와 Recall@10은 $B_{crit} \approx 570$을 공유하지만, 위치 가중치 지표(NDCG@10, MRR@10)는 $B_{crit} \approx 200\text{--}275$에서 더 빨리 포화됩니다.
• 네거티브 샘플링 ($K$): 최적의 네거티브 수는 지표 의존적입니다. Loss 계열 지표는 더 큰 $K$(종종 $>10^6$)를 선호하는 반면, 랭킹 지표는 더 작은 $K$(종종 $10^5$)를 선호합니다.
• Loss와 랭킹의 불일치: 샘플드 소프트맥스 학습 손실은 항상 전체 카탈로그 랭킹 품질의 신뢰할 수 있는 대리 지표는 아닙니다. 2단계에서 학습 손실과 랭킹 지표 간의 상관관계는 연산 예산과 특정 지표에 따라 부호가 바뀔 수 있습니다.

4. 네거티브 샘플링은 연산 제약에서 메모리 제약으로 전환된다

• 작은 예산: 최적의 $K$는 수십만 단위이며 지표에 따라 달라집니다.
• 대규모 예산 ($10^{19}$ FLOPs): 최대 규모에서는 $K$가 증가함에 따라 모든 주요 지표가 테스트된 최대치($2M$)까지 계속 개선됩니다. 이때 능동적인 제약 조건은 FLOPs에서 후보 축 메모리(candidate-axis memory)(소프트맥스 로짓의 메모리 풋프린트)로 이동합니다.
• 시사점: 대규모 환경에서 네거티브 샘플링은 순수한 연산 할당 문제가 아니라 메모리 엔지니어링 문제입니다.

의의 및 주장

본 논문은 행동 기반 파운데이션 모델의 경우, 평가 지표 자체가 스케일링 법칙의 일부라고 주장합니다. 단일 손실 함수가 아키텍처와 학습 레시피를 가이드하기에 충분한 텍스트 LM과 달리, 행동 모델은 실무자가 스케일링 법칙을 맞추기 전에 타겟 지표를 먼저 선택해야 합니다. 지표를 변경하면 최적의 임베더 점유율, 배치 크기, 네거티브 샘플링 전략이 모두 변할 수 있습니다.

본 연구는 표준 이벤트 임베더 $\to$ 트랜스포머 스택을 훈련하는 실무자를 위한 보정된 "레시피"를 제공합니다:

1. 아키텍처: 작은 임베더(전체 파라미터의 $\approx 2\%$)를 사용하십시오.
2. 데이터: 낮은 연산량에서는 데이터 집약적인 할당($D/N$)을 사용하고, 높은 연산량에서는 Chinchilla로 수렴하도록 하십시오.
3. 배치 크기: 특정 타겟 지표에 따라 튜닝하십시오(랭킹 지표는 낮게, Loss 지표는 높게).
4. 네거티브 샘플링: 대규모 네거티브 샘플링을 메모리 제한 문제로 취급하십시오. 표준 배포를 위해 $K$를 수십만 단위로 사용하되, $10^{19}$ FLOPs 규모에서는 연산량이 아닌 메모리 제약이 추가적인 이득을 제한한다는 점을 인식하십시오.

저자들은 스케일링 지수(연산량에 따라 $N$과 $D$가 어떻게 성장하는가)는 지표 전반에 걸쳐 비교적 견고하지만, 실행 가능한 레시피(실제 배포할 셀)는 선택한 평가 지표에 매우 민데리다는 점을 강조합니다.