기술 요약: 더 확장하고, 덜 축소하기: 추천을 위한 밀집 확장에서의 유효 랭크 동역학 형성

1. 문제 제기

본 논문은 밀집 추천 모델을 확장하는 맥락에서 발생하는 임베딩 붕괴 (embedding collapse) 문제를 다룹니다. 최근 RankMixer와 같은 아키텍처는 토큰 믹싱과 토큰별 피드포워드 네트워크 (P-FFN) 를 교대로 적용하여 추천 시스템을 확장하는 데 성공을 거두었지만, 근본적인 한계를 안고 있습니다: 학습된 표현들이 저차원 부분 공간에 집중되는 경향이 있다는 점입니다.

이러한 현상을 임베딩 붕괴라고 하며, 이는 모델의 표현력을 제한하고 확장을 통해 제공된 확장된 표현 공간을 충분히 활용하지 못하게 합니다. 저자들은 RankMixer 의 특정 아키텍처가 계층 전반에 걸쳐 유효 랭크에서 **"감쇠 진동 궤적 (damped oscillatory trajectory)"**을 유발한다고 규명했습니다:

• 토큰 믹싱 모듈은 유효 랭크를 약간 증가시킵니다.
• P-FFN 모듈은 이후 유효 랭크를 축소합니다.

이러한 교번 행동은 단조로운 랭크 감소를 보이는 기존 추천기보다 modest 한 개선을 제공하지만, 모델 깊이가 증가함에 따라 붕괴를 근본적으로 방지하지는 못합니다. 논문은 토큰 믹싱의 경직된 비모수적 특성과 P-FFN 의 표준 활성화 함수가 이러한 스펙트럼 불안정성의 주된 원인이라고 주장합니다.

2. 방법론: RankElastor

이러한 한계를 해결하기 위해 저자들은 **spectrum-robust representations(스펙트럼 강건한 표현)**를 생성하고 붕괴를 이론적으로 완화할 수 있도록 설계된 새로운 심층 추천 아키텍처인 RankElastor를 제안합니다. 핵심 철학은 "더 확장하고, 덜 축소하기 (Expand More, Shrink Less)"이며, 두 가지 주요 아키텍처 혁신을 통해 달성됩니다:

A. 매개변수화된 풀 토큰 믹싱 (Parameterized Full Token Mixing)

RankMixer 에서 토큰 믹싱은 비모수적인 블록 전치 (block-transpose) 연산을 통해 구현됩니다. 저자들은 이를 일반화하여 그리드 스케일을 가장 미세한 해상도 ($d=1$) 로 줄이는 학습 가능한 믹싱 연산자를 도입합니다.

• 메커니즘: 고정된 순열 대신 RankElastor 는 평탄화된 표현에 대한 밀집 선형 변환을 사용합니다: $vec(M^\top) = LN((W + I)vec(X^\top))$. 여기서 $W$는 학습 가능한 믹싱 행렬입니다.
• 이론적 근거: 정리 3.1 은 거친 입자의 블록 믹싱 (여기서 $d^* > 1$) 이 풀 믹싱 ($d^* = 1$) 보다 엄격하게 표현력이 낮음을 보여줍니다. 표준 믹싱의 블록-크로네커 제약은 모델이 특히 입력 표현이 이미 스펙트럼적으로 붕괴되었을 때, 미세한 고차원 좌표 상호작용을 표현하는 것을 방해합니다. 풀 믹싱은 이 제약을 제거하여 더 풍부한 상호작용을 가능하게 합니다.

B. GLU 개선 P-FFN

저자들은 RankMixer 의 표준 GELU 기반 P-FFN 을 GLU 스타일의 게이트된 피드포워드 모듈로 대체합니다.

• 메커니즘: 새로운 모듈은 게이트된 활성화 함수를 활용합니다: $Z_t = (GELU(M_t W_1) \odot (M_t W_2))W_3 + M_t W_r$.
• 이론적 근거: 정리 3.2 는 GLU 개선 P-FFN 이 더 강력한 유효 랭크 회복 능력을 제공함을 증명합니다. 특히 저차원 입력에서 유효 랭크를 결정론적 또는 확률적으로 축소할 수 있는 표준 FFN 과 달리, GLU 게이트의 곱셈적 특성은 2 차 상호작용을 유도합니다. 이는 은닉 너비가 특정 확장 조건을 만족할 경우, 모듈이 통계적으로 스펙트럼 강건성을 유지하고 유효 랭크의 가법적 증가 ($\delta > 0$) 를 유도할 수 있게 합니다.

3. 주요 기여

1. RankMixer 분석: 논문은 RankMixer 의 핵심 모듈 (토큰 믹싱 및 P-FFN) 이 스펙트럼 강건성을 공동으로 제약하여 임베딩 붕괴의 불완전한 완화로 이어진다는 경험적 증거와 이론적 근거를 제시합니다.
2. RankElastor 아키텍처: 매개변수화된 풀 믹싱과 GLU 개선 P-FFN을 통합한 새로운 아키텍처를 제안합니다. 저자들은 이러한 구성 요소의 스펙트럼 강건성에 대한 이론적 보장을 제공하며, 이들이 더 표현력 있는 변환을 가능하게 하고 랭크 축소를 방지함을 보여줍니다.
3. 경험적 검증: 산업 규모 벤치마크에 대한 광범위한 실험을 통해 RankElastor 가 CTR 예측에서 RankMixer, DCNv2, xDeepFM 을 포함한 강력한 베이스라인보다 일관되게 우월한 성능을 발휘하면서도 더 높은 유효 랭크를 유지하고 우수한 파라미터 확장 행동을 보임을 입증했습니다.

4. 실험 결과

저자들은 Criteo와 Avazu라는 두 개의 대규모 산업 데이터셋에서 RankElastor 를 평가했습니다.

• 예측 성능: RankElastor 는 두 데이터셋 모두에서 가장 강력한 베이스라인 (RankMixer) 대비 AUC 를 0.001 이상 향상시켜 최첨단 (state-of-the-art) 결과를 달성했습니다. 이러한 향상은 산업용 CTR 벤치마크에서 통계적으로 유의미한 것으로 간주됩니다.
• 임베딩 붕괴 완화:
  • 유효 랭크: RankElastor 는 모든 계층에서 RankMixer 보다 일관되게 더 높은 평균 유효 랭크를 유지했습니다.
  • 동역학: RankMixer 가 FFN 계층에서 상당한 축소와 함께 감쇠 진동 궤적을 보인 반면, RankElastor 는 믹싱 동안 더 강력한 확장을 보이고 FFN 단계에서는 훨씬 덜 심각한 축소를 보여 안정적인 스펙트럼 진화를 이끌었습니다.
• 확장 행동: 깊이와 너비를 변화시킨 스케일링 법칙 실험은 RankElastor 가 RankMixer 보다 더 효과적으로 확장됨을 보여주었습니다. 깊이와 너비의 동시 확장은 더 큰 성능 향상을 가져와 확장 가능한 패러다임으로서의 잠재력을 확인시켰습니다.
• 일반화: 이 모델은 행동 시퀀스 모델링 작업 (KuaiVideo 및 TaobaoAd) 에서도 테스트되었으며, 여기서도 베이스라인을 능가하여 이 접근 방식이 표준 CTR 예측을 넘어 일반화됨을 시사했습니다.
• 효율성: 제안된 아키텍처는 매개변수화된 믹싱으로 인해 RankMixer 대비 10–15% 정도의 런타임 증가를 초래하지만, 동등한 GPU 메모리 사용량을 유지합니다.

5. 의미 및 주장

본 논문은 RankElastor 가 토큰 변환 기반 추천기를 정제하기 위한 원칙적인 방향을 제시한다고 주장합니다. 경직된 비모수적 연산에서 학습 가능한 미세 입자 믹싱과 게이트된 활성화로 전환함으로써, 이 아키텍처는 모델 깊이와 표현 붕괴 간의 트레이드오프를 성공적으로 분리합니다.

저자들은 그들의 작업이 표현 붕괴에 대한 스펙트럼적 관점을 제공하며, "감쇠 진동 궤적"이 원래 RankMixer 설계의 고유한 속성임을 규명했다고 강조합니다. RankElastor 는 단순한 점진적 개선이 아니라, 확장된 표현 공간이 붕괴되는 대신 효과적으로 활용되도록 보장함으로써 추천 시스템에서 밀집 확장의 잠재력을Unlock 하는 견고하고 확장 가능한 패러다임으로 제시됩니다.

논문은 결론적으로, 이러한 발견이 특정 아키텍처 클래스에 국한되지만, 스펙트럼 동역학에 대한 통찰과 "더 확장하고, 덜 축소하기" 원칙이 더 표현력 있는 토큰 믹싱 메커니즘과 스펙트럼 보존 비선형 모듈에 대한 향후 연구의 기초를 제공한다고 명시합니다.