기술 요약: 10억 규모 용량의 사용자 표현 학습을 위한 밀집 법칙(Densing Law)을 향하여

1. 문제 정의

산업 현장의 사용자 표현 학습(User Representation Learning)에서 성능은 전통적으로 사용자 인구수 증가, 행동 시퀀스 길이 연장, 그리고 모델 용량 확대를 통해 스케일링되어 왔습니다. 그러나 본 논문은 **"원시 행동 스케일링 벽(Raw Behavioral Scaling Wall)"**이라 명명된 임계 현상을 식별합니다.

10억 규모의 Alipay 데이터에 대한 실증적 분석 결과, 특정 임계치(예: 사용자 수 > 0.03B, 히스토리 > 60일, 파라미터 > 0.2B)를 넘어서면 단순히 원시 데이터의 양이나 모델 크기를 늘리는 것만으로는 수익이 급격히 감소하는 한계가 나타납니다. 이러한 지점 이후에는 다음과 같은 현상이 발생합니다:

• 중복성 지배(Redundancy Dominance): 추가되는 데이터는 새로운 태스크 관련 신호를 제공하기보다, 반복적이고 정보량이 낮은 이벤트(예: 습관적인 결제)를 주로 도입합니다.
• 손실-품질 해리(Loss-Quality Dissociation): 더 큰 모델은 중복된 세부 사항을 학습함으로써 사전 학습 손실(Pre-training Loss)은 낮추지만, 다운스트림 정확도(예: CTR 예측, 검색)를 개선하는 데는 실패합니다.
• 병목 현상의 이동(Bottleneck Shift): 제한 요인은 더 이상 모델 용량이 아니라 입력값의 **정보 밀도(Information Density)**입니다. 원시 행동 시퀀스는 인코더가 추가적인 가치를 효율적으로 추출하기에는 너무 많은 노이즈와 중복을 포함하고 있습니다.

핵-과제는 원시 데이터 스케일링이 포화 상태에 도달했을 때, 어떻게 효과적으로 사용자 표현을 스케일링할 것인가이며, 구체적으로 데이터 스케일과 최소 충분 토큰화 용량 사이의 정량적 관계를 규명하는 것입니다.

2. 방법론

본 논문은 **용량 중심의 스케일링(Volume-oriented scaling)**에서 **밀도 중심의 스케일링(Density-oriented scaling)**으로의 전환을 제안하며, 이를 세 가지 주요 구성 요소로 구현합니다.

A. 잔차 양자화를 통한 행동 밀집화 (Behavioral Densing via Residual Quantization)

스케일링 벽 문제를 해결하기 위해, 저자들은 **잔차 양자화 변분 오토인코더(RQ-VAE)**를 행동 토크나이저로 채택합니다.

• 프로세스: 길고 다양한 출처의 원시 행동 로그(PayBill, SPM, MiniProgram)를 연속적인 임베딩으로 매핑한 후, 다단계 잔차 양자화를 통해 압축된 형태의 조밀한 이산적(Discrete) 세만틱 토큰으로 변환합니다.
• 메커니즘: 이는 반복적인 원시 시퀀스를 고정된 길이의 이산 코드 시퀀스로 변환합니다. 초기 코드북은 거시적 세만틱스(예: 소비 카테고리)를 포착하고, 후기 단계는 잔차 변이(예: 가맹점 선호도)를 정교화합니다.
• 목표: 다운스트림 인코더 구조를 변경하지 않고도 각 입력 단위의 정보 밀도를 높이고 중복성을 억제하는 것입니다.

B. 행동 밀집 법칙 (The Behavioral Densing Law)

저자들은 데이터 스케일과 최적의 토큰화 용량 사이의 관계를 규정하는 정량적 법칙을 공식화합니다.

• 정의: 이 법칙은 주어진 행동 스케일($s$)에 대해 파레토 최적(Pareto-optimal)의 성능을 달ato하기 위해 필요한 **최소 충분 용량($C^*$)**을 정의합니다.
• 이론적 공식화: 다운스트림 효용($U$)과 표현 비용($C$) 사이의 균형을 맞추는 파레토 최적화 문제로부터 유도된 이 법칙은, 최적의 용량이 행동 복잡성의 멱법칙(Power law)에 따라 성장한다고 가정합니다.
• 경험적 공식:
  $$\ln C^*(s) = \beta + \alpha \ln(s/s_0)$$
  여기서 $s$는 데이터 스케일(사용자 수 또는 시간 지평)을 나타내며, $\alpha$는 데이터 다양성과 토큰화 방법의 표현 공간 효율성에 의존하는 계수입니다.
• 검증: 다양한 데이터 소스(PayBill, SPM, MiniProgram) 및 토큰화 방법(RQ-VAE, VQ-VAE, SARQ)에 걸친 실험을 통해, 최소 충분 용량이 이 로그 스케일링 궤적을 따른다는 것을 확인했습니다.

C. 적응형 길이 게이팅 네트워크 (Adaptive-Length Gated Network, ALGN)

스케일 수준의 용량 선택에서 인스턴스 수준의 할당으로 나아가기 위해, 본 논문은 밀집 법칙에서 영감을 받은 새로운 토큰화 방법인 ALGN을 제안합니다.

• 동기: 고정된 길이의 토큰화는 사용자 행동의 이질성이 다양하기 때문에 최선이 아닙니다(어떤 기간은 정보가 풍부하지만, 어떤 기간은 일상적입니다).
• 메커니즘: ALGN은 각 사용자 샘플에 대한 세만틱 ID의 길이를 동적으로 결정합니다. 각 양자화 단계에서 게이팅 네트워크는 다음을 평가합니다:
  1. 잔차 노름(Residual Norm): 설명되지 않은 정보의 양.
  2. 누적 불확실성(Cumulative Uncertainty): 현재 세만틱 경로의 모호함.
  3. 한계 비용(Marginal Cost): 또 다른 코드 단계를 추가하는 데 드는 비용.
• 결정 규칙: 기대되는 한계 효용(높은 잔차/불확실성)이 한계 비용을 초과하는 경우에만 토크나이저가 다음 단계로 진행합니다. 이는 가변 길이 토큰을 생성하여, 복잡한 행동에는 더 많은 용량을 할당하고 중복된 행동에는 더 적은 용량을 할당하게 합니다.

3. 주요 기여

1. 스케일링 진단: 본 논문은 "원시 행동 스케일링 벽"을 실증적으로 식별하여, 산업용 사용자 표현 학습이 심각한 중복 포화 현상을 겪고 있음을 보여줍니다. 또한 고정된 데이터 하에서 모델 파라미터를 일정 수준 이상 늘리는 것이 손실-품질 해리로 이어진다는 것을 입증했습니다.
2. 행동 밀집 법칙: 토큰화 구성을 위한 예측 가능한 "레시피"를 공식화했습니다. 이 법칙은 최소 충분 토큰화 용량이 데이터 볼륨에 따라 어떻게 스케일링되는지 정량화하여, 10억 규모 환경에서의 설정 선택을 위한 원칙적인 가이드를 제공합니다.
3. 적응형 토큰화 (ALGN): 행동 복잡성에 따라 용량을 적응적으로 할당하는 가변 길이 토큰화 전략을 도입했습니다. ALGN은 성능과 효율성 모두에서 고정 길이 베이스라인 및 기존의 적응형 방법들을 능가합니다.

4. 실험 결과

제안된 방법들은 세 가지 다운스트림 태스크(분류: Linear Probing, 텍스트 기반 검색, 사용자 간(U2U) 검색)에 대해 10억 규모의 Alipay 데이터셋에서 평가되었습니다.

• 스케일링 벽 돌파: 토큰화된 표현(RQ-VAE)은 특히 포화 영역(더 긴 히스토리, 더 많은 사용자 인구)에서 원시 시퀀스 모델링보다 일관되게 우수한 성능을 보였습니다. 원시 데이터의 성능은 평탄해진 반면, 토큰화된 데이터는 지속적인 이득을 보여주었습니다.
• 효율성 이득:
  • ALGN vs. 베이스라인: ALGN은 가장 우수한 베이스라인인 SARQ 대비 성능은 높이면서(예: AUC +1.07%) 용량 사용량은 13.23% 줄였습니다.
  • 스케일링 기울기: ALGN을 적용하면 밀집 법칙의 스케일링 기울기가 약 0.77(RQ-VAE)에서 ~0.59로 감소하였으며, 이는 표현 공간의 더 효율적인 활용을 의미합니다.
• 일반화 가능성: 밀집 법칙은 서로 다른 데이터 소스(PayBill, SPM, MiniProgram)와 토큰화 아키텍처(RQ-VAE, VQ-VAE, SARQ) 전반에서 유효하게 유지되었으며, 스케일링 계수는 데이터 소스 내부의 고유성과 상관관계를 보였습니다.

5. 의의 및 주장

본 논문은 "더 많은 데이터와 더 큰 모델이 항상 더 나은 표현을 만든다"는 가설에 대한 최초의 체계적이고 대규모적인 실증적 테스트를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 패러다임 전환: 단순히 더 많은 원시 데이터를 수집하는 것에서 기존 데이터의 정보 밀도를 최적화하는 것으로의 전환을 주장합니다. 이는 무분별한 데이터 스케일링이라는 계산적, 환경적으로 비용이 많이 드는 관행에 대한 원칙적인 대안을 제시합니다.
• 실무적 가이드라인: 식별된 포화 임계치(예: 사용자 0.03B, 60일)는 데이터 보존 정책 및 훈련 예산 할당에 관해 산업 현장의 실무자들에게 구체적인 지침을 제공합니다.
• 이론적 토대: 행동 밀집 법칙을 구축함으로써, 본 논문은 사용자 표현 학습을 휴리스틱한 튜닝에서 정량적 추정의 영역으로 이동시켜, 특정 데이터 규모에 필요한 최적의 토큰화 용량을 예측할 수 있는 이론적 프레임워크를 제공합니다.
• 비용-성능 경계: 본 연구는 밀집화되고 토큰화된 입력을 사용하는 더 작은 인코더가 더 긴 원시 히스토리를 가진 더 큰 모델보다 더 뛰어난 성능을 낼 수 있음을 보여줌으로써, 성능-비용 경계를 효과적으로 이동시킵니다.

저자들은 현재 연구가 단일 데이터 모달리티(텍스트 기반 행동 로그)에 집중되어 있으며, 밀집 법칙의 다른 모달리티(예: 비디오 소비)에 대한 일반화 가능성은 추가 검증이 필요함을 겸허히 언급하였습니다.