🤖 AI

Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design

이 논문은 일반화된 도트 프로덕트 어텐션(Generalized Dot-Product Attention) 및 계층적 시드 풀링(Hierarchical Seed Pooling)과 같은 저수준 최적화와 연산 스킵(Computation Skip)과 같은 고수준 혁신을 통해 낮은 스케일링 효율성 문제를 해결함으로써 예측 가능한 스케일링 법칙을 확립하고, 스케일링 효율을 두 배로 높여 Meta 광고에서 상당한 생산적 임팩트를 달성한 대규모 추천 시스템을 위한 통합 아키텍처인 Kunlun을 소개한다.

원저자: Bojian Hou, Xiaolong Liu, Xiaoyi Liu, Jiaqi Xu, Yasmine Badr, Mengyue Hang, Sudhanshu Chanpuriya, Junqing Zhou, Yuhang Yang, Han Xu, Qiuling Suo, Laming Chen, Yuxi Hu, Jiasheng Zhang, Huaqing Xiong, Y

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bojian Hou, Xiaolong Liu, Xiaoyi Liu, Jiaqi Xu, Yasmine Badr, Mengyue Hang, Sudhanshu Chanpuriya, Junqing Zhou, Yuhang Yang, Han Xu, Qiuling Suo, Laming Chen, Yuxi Hu, Jiasheng Zhang, Huaqing Xiong, Yuzhen Huang, Chao Chen, Yue Dong, Yi Yang, Shuo Chang, Xiaorui Gan, Wenlin Chen, Santanu Kolay, Darren Liu, Jade Nie, Chunzhi Yang, Ellie Wen, Jiyan Yang, Huayu Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한, 초고속 디지털 마켓플레이스(Meta가 광고에 사용하는 것과 같은)를 운영하고 있다고 상상해 보십시오. 매초 수백만 명의 사람들이 스크롤을 내리고 있으며, 시스템은 각 사용자가 어떤 광고를 클릭할지 추측해야 합니다. 이 추측을 하기 위해 시스템은 두 가지 유형의 단서(Clues)를 사용하는 '두뇌'(머신러닝 모델)를 사용합니다:

스토리 (시퀀스/Sequence): 사용자가 최근에 무엇을 했는가 (예: "신발을 클릭하고, 모자를 클릭한 다음, 배낭을 클릭했다").
스냅샷 (컨텍스트/Context): 사용자가 지금 어떤 상태인가 (예: "비가 오고 있다", "그들은 뉴욕에 있다", "그들은 25세이다").

오랫동안, 이 '스토리'와 '스냅샷'을 모두 효율적으로 처리할 수 있는 '두뇌'를 구축하는 것은 마치 네모난 바퀴를 달고 레이스카를 운전하는 것과 같았습니다. 작동은 했지만, 매우 느렸고 엄청난 양의 연료(컴퓨팅 파워)를 낭비했습니다. 연구자들은 이 문제를 **"낮은 스케일링 효율성(poor scaling efficiency)"**이라고 부릅니다. 기본적으로, 시스템을 더 똑똑하게 만들기 위해 더 크게 만들려고 할 때, 추가되는 비용만큼 빠르게 똑똑해지지 않았다는 뜻입니다.

여기, Kunlun이 등장합니다. 다양한 봉우리들을 하나로 통합하는 산맥의 이름을 딴 Kunlun은 이러한 네모난 바퀴 문제를 해결하기 위해 설계된 새로운 아키텍처입니다. 논문은 Kunlun이 두 가지 수준, 즉 "부품(low-level)"과 "교통 관리(high-level)" 차원에서 시스템을 최적화함으로써 이 문제를 해결한다고 주장합니다.

Kunло한이 어떻게 작동하는지 일상적인 비유를 통해 설명하겠습니다:

1. 저수준(Low-Level) 수정 사항: 엔진 고치기

기존 시스템은 비효로적인 부품들을 가지고 있어, 데이터가 도착하기를 기다리는 동안 컴퓨터의 '엔진'(GPU)이 유휴 상태로 머물게 만들었습니다. Kunlun은 이를 고성능 부품으로 교체합니다:

GDPA (개인화된 번역가):
- 문제점: 기존 시스템은 '스냅토리'를 '스냅샷'을 기반으로 번서할 때, 시간을 낭비하는 서투르고 단계적인 과정을 거쳤습니다.
- 해결책: Kunlun은 GDPA(Generalized Dot-Product Attention)를 사용합니다. 이것은 단순히 단어 대 단어로 번역하는 것이 아니라, 문장 전체의 맥락을 즉각적으로 이해하는 번역가와 같습니다. 단계들을 하나로 융합하여 컴퓨터가 멈추거나 시작할 필요 없이 엔진이 훨씬 더 매끄럽게 돌아가도록 만듭니다.
HSP (요약가):
- 문제점: 사용자들은 긴 기록(수천 번의 클릭)을 가지고 있습니다. 기존 시스템은 모든 클릭을 개별적으로 읽으려 했고, 이는 너무 과도했습니다.
- 해결책: HSP(Hierarchical Seed Pooling)는 스마트한 편집자와 같습니다. 500페이지짜리 전기를 일일이 읽는 대신, 책을 읽고 10페이지짜리 요약본을 만든 뒤, 다시 1페이지짜리 초록을 만드는 방식입니다. 이는 긴 이력을 시스템이 과부하 없이 실제로 사용할 수 있는 압축적이고 강력한 요약본으로 응축합니다.
슬라이딩 윈도우 어텐션 (지역적 집중):
- 문제점: 기존 시스템은 사용자가 과거에 했던 아주 첫 번째 행동과 지금 하고 있는 행동을 비교하려고 시도했습니다. 하지만 보통은 작년에 무엇을 했는지보다 지난주에 무엇을 했는지가 훨씬 더 중요합니다.
- 해결책: **슬라이딩 윈도우 어텐션(Sliding Window Attention)**은 시스템에 "전체 역사를 다 보지 말고, 최근 몇 페이지에만 집중하라"고 지시합니다. 이는 최근의 상호작용에 집중함으로써 예측의 정확도는 유지하면서도 막대한 컴퓨로 파워를 절약합니다.

2. 고수준(High-Level) 수정 사항: 스마트한 교통 제어

훌륭한 엔진을 가졌더라도, 잘못된 길로 가거나 모든 빨간불에 멈춰 선다면 연료를 낭비하게 됩니다. Kunlun은 자원이 배분되는 방식을 바꿉니다:

CompSkip (급행 차선):
- 문제점: 기존 시스템은 필요하지 않은 경우에도 모든 단계에서 똑같이 무거운 작업을 수행하도록 강제했습니다.
- 해결책: CompSkip은 스마트한 신호등 시스템과 같습니다. 이 시스템은 어떤 단계는 완전한 '자기 점검'(Self-Attention)이 필요하지 않고, 어떤 단계는 완전한 '요약'(HSP)이 필요하지 않다는 것을 알아차립니다. 교차하는 레이어(layer)에서 불필요한 단계들을 건너뜁니다. 자동차가 직진 중이라면 매 초마다 백미러를 확인할 필요가 없는 것과 같습니다. 이를 통해 엄청난 양의 에너지를 절약합니다.
이벤트 레벨 개인화 (VIP 대우):
- 문제점: 기존 시스템은 '클릭'(강한 신호)을 '노출'(단순히 광고를 봄)과 동일하게 취급했습니다. 즉, 가치가 낮은 이벤트에도 자원을 낭비했습니다.
- 해결책: Kunlun은 중요한 이벤트에 VIP 대우를 해줍니다. 사용자가 무언가를 구매하려는 상황(고가치 이벤트)이라면, 시스템은 더 많은 컴퓨팅 파워와 더 깊은 분석을 할당합니다. 반면 단순한 브라우징 중이라면, 더 가볍고 빠른 방식을 사용합니다. 이는 마치 식당에서 VIP 고객에게는 풀 코스 요리를 제공하고, 그냥 지나가는 사람에게는 빠른 커피 한 잔을 제공하는 것과 같습니다.

결과: "스케일링 법칙 (The Scaling Law)"

논문은 이러한 수정 사항들을 결합함으로써, Kunlun이 업계가 어려움을 겪었던 목표인 **예측 가능한 스케일링 법칙(Predictable Scaling Laws)**을 달로 달성했다고 주장합니다.

과거에는 컴퓨팅 파워를 두 배로 늘린다고 해서 반드시 지능이 두 배가 되지는 않았습니다. 하지만 Kunlun에서는 그 관계가 예측 가능하고 효율적입니다.

효율성 증대: 최신 슈퍼컴퓨터(NVIDIA B200 GPU)에서, Kunlun은 이전 방식보다 하드웨어를 두 배 더 효율적으로 사용합니다 (사용률이 17%에서 37%로 상승).
실제 세계의 영향: 이것은 단순한 실험실 실험이 아닙니다. Meta는 주요 광고 모델에 Kunlun을 이미 배치했습니다. 그 결과는? 주요 비즈니스 지표에서 1.2%의 개선을 이뤄냈습니다. 매일 수십억 개의 결정이 내려지는 광고의 세계에서, 이 작은 퍼센티지는 엄청난 승리입니다.

요약하자면: Kunlun은 추천 시스템을 구축하는 더 똑똑하고, 더 가볍고, 더 조직적인 방법입니다. 네모난 바퀴 때문에 연료를 낭비하는 것을 멈추고, 불필요한 정차를 건너뛰며, 가장 중요한 단서에 VIP 대우를 제공함으로써, 시스템이 커질수록 훨씬 더 똑똑해질 수 있도록 만듭니다.

기술 요약: Kunlun – 대규모 추천 시스템을 위한 스케일링 법칙 확립

1. 문제 정의

현대적인 추천 시스템, 특히 대규모 광고 분야에서는 순차적 사용자 행동(예: 클릭 히스토리)과 비순차적 컨텍스트 피처(예: 사용자 인구통계학적 특성, 광고 메타데이터)의 결합 모델링이 필요합니다. 거대 언어 모델(LLM)에서는 스케일링 법칙(계산 투자와 모델 성능 사이의 예측 가능한 수학적 관계)이 잘 확립되어 있는 반면, 이처럼 이질적인 피처 혼합을 다루는 추천 시스템에서는 여전히 미해결 과제로 남아 있습니다.

저자들은 낮은 스케일링 효율성을 주요 장벽으로 지목합니다. 스케일링 효율성은 단위 계산 투자당 성능 개선율로 정의됩니다. 본 논문은 기존의 최첨단(SOTA) 시스템들이 예측 가능한 파워 로(power-law) 스케일링을 달전하지 못하는 이유가 두 가지 결정적인 병목 현상 때문이라고 주장합니다.

비효율적인 모듈: 기존 아키텍처는 LLM의 40~~60%에 비해 흔히 3~~15% 수준에 머무는 낮은 모델 FLOPs 활용도(MFU)를 보입니다. 이는 이질적인 피처 공간으로 인한 작은 임베딩 차원, 불규칙한 텐서 형태, 그리고 메모리 제한적(memory-bound) 연산 때문에 발생합니다.
비효der 효율적인 자원 할당: 모든 구성 요소를 동일하게 무작정 확장하는 것은 차원의 저주를 초래합니다. 서로 다른 레이어와 이벤트 유형(예: 클릭 vs 노출)은 서로 다른 계산 패턴으로부터 이득을 얻기 때문입니다.

2. 방법론: Kunlun 아키텍처

이러한 과제를 해결하기 위해 저자들은 저수준 모듈 최적화와 고수준 계산 재할당이라는 두 가지 수준의 체계적인 **모델-효율성 공동 설계(model-efficiency codesign)**를 통해 설계된 통합 아키텍처인 Kunlun을 제안합니다.

2.1 아키텍처 개요

Kunlun은 각 레이어가 두 가지 주요 구성 요소를 통해 순차 및 비순차 피처를 모두 처리하는 다층 아키텍처를 채택합니다.

Kunlun Transformer 블록: 멀티 헤드 셀프 어텐션(MHA)과 일반화된 도트 프로덕트 어텐션(GDPA)이 강화된 개인화 피드 포워드 네트워크(PFFN)를 사용하여 컨텍스트 인지적 순차 모델링을 수행합니다.
Kunlun Interaction 블록: 가중치 생성(Weight Generation), 계층적 시드 풀링(HSP), 그리고 글로벌 인터랙션 모듈을 통해 양방향 정보 교환을 촉진합니다.

2.2 저수준 모듈 최적화

이러한 최적화는 MFU를 개선하기 위해 계산 효율성을 목표로 합니다.

일반화된 도트 프로덕트 어텐션 (GDPA): 저자들은 PFFN을 멀티 헤드 어텐션 연산자로 재구성했습니다. 메모리 병목을 일으키는 별도의 행렬 곱셈 대신, GDPA는 변환 과정을 단일 커널로 융합합니다(FlashAttention과 유사). 여기서 순차 토큰은 쿼리(Query) 역할을 하고, 비순차적 컨텍스트에서 유도된 가중치는 키(Key)와 값(Value) 역할을 합니다. 이를 통해 효율적인 GPU 활용이 가능하며 안정적인 PFFN 적층이 가능해집니다.
계층적 시드 풀링 (HSP): 긴 시퀀스( $T > 1000$ )를 효율적으로 요약하기 위해, HSP는 표준적인 'Pooling by Multihead Attention'에서 사용하는 무작위 학습 가능 쿼리 대신 계층적 프로세스를 사용합니다. 먼저 시드 레벨 표현을 학습한 다음, SumKronLinear(크로네커 곱 기반 레이어)를 사용하여 이를 압축합니다. 이는 파라미터 효율성을 달성하면서(일반적인 설정에서 파라미터를 약 14배 감소) 교차 차원 표현력을 유지합니다.
슬라이딩 윈도우 어텐션: 추천 시퀀스의 강한 국소성 편향(최근 상호작용이 더 예측력이 높음)을 인식하여, 셀프 어텐션을 로컬 윈도우로 제한합니다. 이는 복잡도를 $O(T^2)$ 에서 $O(Tw)$로 줄여 처리량(throughput)을 크게 향상시킵니다.

2.3 고수준 계산 재할당

이 전략들은 모델 전체의 자원 배분을 최적화합니다.

계산 스킵 (CompSkip): LLM의 레이어 중복성에서 영감을 받아, Kunlun은 "한 층 건너뛰기" 패턴을 구현합니다. 짝수 층은 셀프 어텐션을 건너뛰고 새로운 HSP 요약을 계산하며, 홀수 층은 HSP와 PFFN을 건너뛰고 셀프 어텐션을 계산합니다. 이를 통해 모델 품질을 유지하면서 FLOPs를 약 43% 감소시킵니다.
이벤트 레벨 개인화: 서로 다른 이벤트 유형(예: 클릭 vs 노출)에 서로 다른 하이퍼파라미터(모델 차원, 헤드 수, 요약 토큰, 레이어 깊이, 윈도우 크기)를 할당합니다. 가치가 높은 이벤트에는 더 큰 구성을 할당하고, 가치가 낮은 이벤트에는 더 작은 구성을 사용하여 자원이 신호의 중요도에 비례하여 할당되도록 합니다.
Mixture of Wukong Experts: 글로벌 인터랙션 모듈은 여러 "Wukong" 모듈(피처 인터랙션 모델)이 병렬로 작동하는 Mixture-of-Experts(MoE) 방식을 채택합니다. 이를 통해 단일 레이어 내에서 전문가(expert)들 사이에 계산을 분산시켜 수평적 확장을 가능하게 합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다.

문제 정의: 대규모 추천 시스템에서의 스케일링 효율성 문제를 공식화하고, 비효율적인 모듈과 자원 할당을 예측 불가능한 스케일링의 근본 원인으로 식별했습니다.
아키텍처 설계: 저수준 최적화(GDPA, HSP, Sliding Window)와 고수준 혁신(CompSkip, 이벤트 레벨 개인화)을 통합하여 순차 및 비순차 모델링을 단일화한 Kunlun을 소개했습니다.
스케일링 법칙: 순차-비순차 결합 모델링에 대한 최초의 예측 가능한 파워 로(power-law) 스케일링 동작을 입증하였으며, 기존 최첨단 방식(InterFormer) 대비 2배의 스케일링 효율성 개선을 달성했습니다.
배포 효과: 주요 Meta 광고 모델에 성공적으로 배포되어 측정 가능한 프로덕션 개선을 이끌어냈습니다.

4. 실험 결과

저자들은 NVIDIA B200 GPU를 사용하여 대규모 내부 Meta 광고 데이터셋(70B 이상의 샘플)에서 Kunlun을 평가했습니다.

스케일링 효율성: Kunlun은 MFU를 17%에서 **37%**로 증가시켰습니다. 스케일링 효율성(성능 개선과 계산량 사이의 기울기) 측면에서, Kunlun은 현재 최첨단 방식인 InterFormer보다 2배 더 높은 개선을 보여주었습니다.
성능 이득: 다양한 계산 규모(6 ~ 180 GFLOPs)에 걸쳐 Kunlun은 일관되게 베이스라인을 능가했습니다. 가장 큰 규모(180 GFLOPs)에서 Kunlun은 InterFormer의 0.50% 대비 0.79%의 NE(정규화 엔트로피) 이득을 달성했습니다.
절제 연구 (Ablation Studies):
- GDPA를 제거하면 MFU가 34%로 감소하고 NE가 0.04% 저하되었습니다.
- HSP를 제거하면(PMA로 복구) QPS는 8.8% 향상되었으나 NE는 0.08% 저하되었습니다.
- CompSkip를 제거하면 NE 이득 없이 FLOPs가 43.1% 증가하여, 스킵 전략의 효율성을 검증했습니다.
프로덕션 영향: Meta 광고 모델에 배포된 후, Kunlun은 탑라인 지표(topline metrics)에서 1.2%의 개선을 전달하여, 대규모 환경에서의 탁월한 온라인 임팩트와 우수한 ROI를 입증했습니다.

5. 의의 및 주장

본 논문은 Kunlun이 계산 효율성을 유지하면서 추천 시스템을 전례 없는 규모로 확장할 수 있는 원칙적인 프레임워크를 구축한다고 주장합니다. 알고리즘적 유효성과 하드웨어 활용도를 체계적으로 다룸으로써, 저자들은 복잡하고 이질적인 추천 작업에서도 예측 가능한 파워 로 스케일링이 가능하다는 것을 입증했습니다.

이 연구는 저수준 모듈 효율성(GDPA 및 HSP를 통해)과 고수준 적응형 자원 할당(CompSkip 및 이벤트 레벨 개인화를 통해)의 결합이 거대 규모 모델의 잠재력을 끌어올리는 데 필수적임을 역설합니다. 이를 통해 자원 계획 및 아키텍처 결정을 위한 신뢰할 수 있는 외삽(extrapolation)이 가능해지며, 추천 시스템을 휴리스틱한 스케일링에서 예측 가능한 법칙 기반의 성장으로 전환시킵니다. Meta에서의 성공적인 배포는 이러한 이론적 이득이 실제 프로덕션 가치로 직결됨을 입증합니다.