🤖 machine learning

SpecFormer: Mitigating Embedding and Attention Collapse via Spectral-Aware Transformer for Recommendation

이 논문은 학습 가능한 스펙트럼 연화(spectral softening), 스펙트럼 연화 어텐션(spectrum-softened attention), 그리고 스펙트럼 잔차 위치 인코딩(spectral residual position encoding)을 채택함으로써 추천 시스템 특유의 임베딩 및 어텐션 붕괴를 완화하는 스펙트럼 인식 트랜스포머 아키텍처인 SpecFormer를 소개하며, 이를 통해 공개 벤치마크와 실제 상용 배포 모두에서 우수한 성능과 확장성을 달성한다.

원저자: Yu Cui, Yi Xu, Jiahao Wang, Hao Zhang, Yu Zhang, Xiaoyi Zeng, Can Wang, Jinxin Hu, Jiawei Chen

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yu Cui, Yi Xu, Jiahao Wang, Hao Zhang, Yu Zhang, Xiaoyi Zeng, Can Wang, Jinxin Hu, Jiawei Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 다음에 무엇을 사고 싶어 할지 추측하도록 아주 똑똑한 로봇을 가르치고 있다고 상상해 보세요. 이 로봇은 당신이 즐겨 찾는 쇼핑 앱의 '추천 상품' 목록 뒤에 숨겨진 디지털 두뇌인 '추천 시스템'입니다. 오랫동안 이 로봇을 만드는 가장 좋은 방법은 '트랜스포머(Transformer)'라고 불리는 특별한 종류의 수학을 사용하는 것이었습니다. 트랜스포머는 당신이 클릭했던 모든 것을 살펴보고 그 사이의 연결 고리를 찾아내려는 매우 조직적인 사서와 같다고 생각할 수 있습니다. 트랜스포머는 글을 쓰거나 사진을 보는 것처럼 정보가 매끄럽고 자연스럽게 흐르는 분야에서 매우 뛰어난 능력을 발휘합니다. 하지만 과학자들이 이 똑같은 사서에게 거대한 온라인 상점을 운영하게 하려고 했을 때, 문제가 발생했습니다. 로봇은 혼란에 빠졌고, 당신이 좋아할 만한 드물거나 독특한 아이템들은 무시한 채, 오직 가장 인기 있고 지루한 물건들에만 주목하기 시작했습니다. 그것은 마치 사서가 너무 많은 책의 양에 압도되어 흥미로운 책들을 읽는 것을 멈추고, 베스트셀러의 제목만을 계속해서 외치는 것과 같았습니다. 이 논문은 다음과 같은 질문을 던집니다. 왜 쇼핑에서는 이런 일이 발생하는가? 그리고 어떻게 하면 로봇이 단순히 인기 있는 제품들만 보는 것이 아니라, 상점 전체로부터 실제로 배울 수 있도록 고칠 수 있을까?

제장 대학교와 알리바바의 위 퀴이(Yu Cui)와 동료들이 이끄는 연구진은 문제가 사서의 지능이 아니라 데이터의 '노이즈'에 있다는 것을 발견했습니다. 도서관에서는 책들이 어느 정도 유사성을 띠지만, 쇼핑 앱의 데이터는 거칠고 무질서합니다. 어떤 아이템은 하루에도 수백만 번씩 팔리는 반면(‘헤드’), 어떤 아이템은 일 년에 단 몇 번만 팔리기도 합니다(‘테일’). 연구진은 이러한 무질서한 롱테일 분포가 '스펙트럴 콜랩스(spectral collapse, 스펙트럼 붕괴)'를 일으킨다는 것을 발견했습니다. 로봇의 뇌를 손전등 빛이라고 상상해 보세요. 정상적이라면 빛줄기는 방 전체를 비추기 위해 넓게 퍼져야 합니다. 하지만 이 쇼핑 앱들에서는 빛줄기가 작고 눈부시게 밝은 하나의 점으로 압축되어 버립니다. 로봇은 가장 밝고 인기 있는 아이템들만 보게 되고, 그 외의 모든 것에는 '눈이 멀게' 됩니다. 더 심각한 것은, 로봇의 뇌에 더 많은 층(layer)을 쌓아 더 똑똑하게 만들수록 이 실명 현상이 더 악화되었다는 점입니다. 이는 악순고리였습니다. 로봇은 희귀한 아이템을 무시했고, 새로운 것을 배우지 못했으며, 그다음 단계에서 그들을 보는 능력이 더욱 나빠졌습니다.

이를 해결하기 위해 연구팀은 SpecFormer라는 새로운 종류의 로봇 뇌를 구축했습니다. SpecFormer는 손전등 빛이 하나의 점으로 압축되도록 내버려 두는 대신, 특별한 '스펙트럴 소프트닝(spectral softening, 스펙트럼 연화)' 렌즈를 사용합니다. 이것은 마치 그 눈부시고 집중된 빛줄기를 부드럽게 분산시켜 방의 어두운 구석까지도 빛이 닿게 만드는 마법의 확산기(diffuser)와 같습니다. 이를 통해 로봇은 드문 롱테일 아이템들에 대해서도 인기 있는 아이템들만큼이나 주의를 기울일 수 있습니다. 연구진은 여기서 멈추지 않고, 로봇에게 "잠깐, 인기 있는 것들을 완전히 잊어버리지는 말고, 그저 균형을 맞추라는 뜻이야"라고 상기시켜 주는 지도와 같은 역할을 하는 '잔차 위치 인코딩(residual position encoding)'을 추가했습니다.

결과는 인상적이었습니다. 연구진이 거대한 이커머스 플랫폼의 실제 데이터를 사용하여 SpecFormer를 테스트했을 때, 이 모델은 단순히 더 잘 작동하는 것을 넘어, 구조가 깊어질수록 실제로 더 똑똑해졌습니다. 다른 모델들이 너무 복잡해지면 무너지는 것과 달리, SpecFormer는 계속해서 개선되었습니다. 수백만 명의 사용자를 대상으로 한 실제 테스트에서, 이 새로운 모델은 웹사이트 속도를 단 5밀리초(ms)만 늦추면서도 광고 클릭 수를 1.34% 증가시켰고, 실제 주문 수를 16.72%나 끌어올렸습니다. 이 논문은 이러한 '붕괴' 문제를 해결함으로써, 우리가 마침내 깊고 강력하며 사람들이 실제로 사고 싶어 하는 다양하고 무질서하며 경이로운 전체 범위를 이해할 수 있는 추천 시스템을 구축할 수 있다고 시사합니다.

기술 요약: SpecFormer

문제 정의
Transformer 아키텍처는 자연어 처리(NLP) 및 컴퓨터 비전(CV) 분야에서 놀라운 성공을 거두었으나, 이를 추천 시스템(RS)에 직접 적용할 경우 때때로 잘 설계된 단순한 모델보다 성능이 떨어지는 등 최적이 아닌 결과를 초래하곤 합니다. 저자들은 이러한 병목 현상이 추천 시나리오 특유의 현상인 심각한 **임베딩 및 어텐션 붕괴(embedding and attention collapse)**에서 비롯된다고 지적합니다.

NLP 토큰의 상대적으로 연속적이고 매끄러운 의미 공간과 달리, 추천 데이터(사용자 프로필, 아이템 ID, 컨텍스트)는 높은 이질성과 심각한 롱테일 분포를 보입니다. 이는 몇 개의 주요 특이값(principal singular values)이 행렬을 지배하고 나머지 미세한 스펙트럼 성분은 사실상 소멸되는 "스펙트럼 붕계(spectral collapse)"를 유발합니다. 본 논문은 이것이 다음과 같은 **악순 цикла(vicious cycle)**을 촉발한다고 이론적으로 증명합니다:

순전파(Forward Propagation): 붕괴된 입력 임베딩은 어텐션 행로를 주성분에 의해 지배되는 희소하고 낮은 계수(low-rank)의 형태로 퇴화시켜 특징의 변별력을 상실하게 합니다.
역전파(Backward Propagation): 이 낮은 계수의 어텐션 행렬을 통해 흐르는 그래디언트는 거의 전적으로 지배적인 스펙트럼 부공간(subspaces)에 투영됩니다. 이로 인해 미세한 스펙트럼 방향은 "그래디언트 기아(gradient starvation)"를 겪으며 업데이트가 거의 이루어지지 않습니다.
이 순환은 층(layer)이 쌓임에 따라 붕괴를 가속화하여, 추천 작업 내에서 Transformer가 깊이(depth)를 효과적으로 확장하는 것을 방해합니다.

방법론: SpecFormer
이러한 문제를 해결하기 위해 저자들은 동적으로 완화된 스펙트럼 도메인 내에서 특징 상호작용을 수행하여 붕괴를 완화하도록 설계된 스펙트럼 인지형 Transformer인 SpecFormer를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소를 도입합니다:

학습 가능한 스펙트럼 완화(Learnable Spectral Softening): 어텐션 계산 전, 입력 토큰 임베딩은 특이값에 대해 멱법칙(power-law) 완화 변환을 거칩니다. 학습 가능한 파라미터 $\tau$ ( $\tau < 1$ )는 작은 특이값보다 큰 특이값을 더 공격적으로 압축합니다. 이는 특이값 분포를 동적으로 평탄하게 만들어, 표현 에너지를 재분배함으로써 꼬리 부분의 특징(tail features)을 활성화하고 주성분의 지배력을 억제합니다.
스펙트럼 완화 어텐션(Spectrum-softened Attention): 모델은 쿼리( $Q$ )와 키( $K$ ) 행렬을 위해 완화된 임베딩을 사용하여 어텐션 가중치를 계산하는 한편, 밸류( $V$ ) 행렬에는 원래의 (완화되지 않은) 임베딩을 유지합니다. 이 설계는 특징 상호작용이 더 균일한 스펙트럼 공간에서 모델링되도록 하여 단일 성분이 어텐션 점수를 지배하는 것을 방지하는 동시에, 출력 집계 시 원시 정보를 보존합니다.
스펙트럼 잔차 위치 인코딩(Spectral Residual Position Encoding): 스펙트럼 완화가 정보량이 많은 지배적 성분을 의도치 않게 처벌하는 것을 방지하기 위해, 저자들은 특이값의 테일러 전개(Taylor expansion)로부터 유도된 학습 가능한 바이어스 항을 도입했습니다. 이 항은 구조적 잔차(structural residual)로서 작용하여 상호작용을 최대 특이값( $\sigma_1^2$ )에 고정하고 주요 추천 패턴을 보존합니다. 또한, 원래의 공간 신호를 안정화하고 보존하기 위해 완화되지 않은 임베딩으로부터 계산된 공간 잔차 항이 추가됩니다.

주요 기여

이론적 통찰: 본 논문은 데이터의 이질성과 롱테일 분포로 인해 발생하는 임베딩 붕괴와 어텐션 붕괴 사이의 악순환을 이론적으로 증명함으로써, 추천 시스템에서 Transformer가 실패하는 근본 원인을 체계적으로 밝혀냈습니다.
새로운 아키텍처: SpecFormer는 학습 가능한 스펙트럼 완화, 스펙트럼 완화 어텐션, 스펙트럼 잔차 위치 인코딩을 통해 스펙트럼 관점에서 붕계 병목 현상을 본질적으로 해결하는 최초의 Transformer 아키텍처로 제안되었습니다.
확장 능력(Scaling Capability): 깊이가 증가함에 따라 성능이 저하되는 표준 Transformer와 달리, SpecFormer는 층을 쌓을수록 어텐션 행렬의 유효 계수(effective rank)와 추천 성능을 모두 능동적으로 개선하며 효과적으로 확장할 수 있음을 보여줍니다.

실험 결과
저자들은 하나의 산업용 데이터셋(선도적인 이커머스 플랫폼 제공)과 두 개의 공개 벤치마크(Criteo 및 Avazu)에서 SpecFormer를 평가했습니다.

오프라인 성능: SpecFormer는 전통적인 모델(DeepFM, AutoInt), Transformer 기반 모델(OneTrans, RankMixer), 그리고 스펙트럼 기반 접근 방식(WhitenRec, FEDIN)을 포함한 최신 기술(SOTA) 베이스라인들을 크게 앞질렀습니다. 모든 데이터셋에서 가장 높은 AUC 및 GAUC 점수를 달성했습니다.
절제 연구(Ablation Studies): 스펙트럼 완화 모듈을 제거했을 때 성능이 급격히 하락하여 특이값 분포를 평탄하게 만드는 것의 필요성을 입증했습니다. 마찬가지로, 잔차 바이어스를 제거하거나 대안적인 Value 행렬 설계를 사용할 경우 최적의 결과를 얻지 못해, 제안된 구성 요소들의 시너지 효과를 확인했습니다.
확장 분석: 층의 수(3~9개)를 변화시킨 실험에서, 표준 Transformer(OneTrans)는 깊이가 깊어짐에 따라 심각한 성능 저하와 어텐션 계수 붕괴를 겪은 반면, SpecFormer는 AUC와 분수 유효 계수(fractional effective rank) 모두에서 꾸준한 상승 추세를 유지했습니다.
온라인 배포: SpecFormer는 실제 상업용 광고 플랫폼에 배포되었습니다. 10%의 트래픽을 대상으로 한 대규모 A/B 테스트에서, 고도로 최적화된 DLRM 베이스라인 대비 클릭률(CTR)은 +1.34% 증가, 주문량은 +16.72% 증가를 달성했으며, 추론 지연 시간(latency)은 단 5ms만 증가했습니다.

의의
본 논문은 추천 데이터에 내재된 스펙트럼 붕괴를 해결함으로써 추천을 위한 Transformer의 성능 병목을 근본적으로 타파했다고 주장합니다. 특징 상호작용 모델링을 동적으로 완화된 스펙트럼 도메인으로 전환함으로써, SpecFormer는 최첨단 성능을 달 수 있었을 뿐만 아니라, 이질적이고 롱테일인 데이터 환경에서 어텐션 메커니즘의 빠른 붕괴로 인해 그동안 제한되었던 추천 시스템용 Transformer의 깊이 확장 잠재력을 실현했습니다. 성공적인 산업적 배포는 그 실용적 타당성과 비즈니스 영향력을 입증합니다.

유사한 논문