UniDot: A Unified Network for Sequence Modeling and Feature Interaction in Large-scale Recommendation

현대적인 콘텐츠와 광고의 광활한 디지털 풍경 속에서, 추천 엔진은 우리 일상의 보이지 않는 큐레이터 역할을 합니다. 이들은 어떤 영상을 다음에 보여줄지, 어떤 제품을 제안할지, 혹은 어떤 기사를 강조할지를 결정하며, 종종 눈 깜짝할 사이에 수백만 가지의 가능성을 처리합니다. 수십 년 동안 이러한 시스템은 결정을 내리기 위해 두 가지 뚜렷한 사고방식에 의존해 왔습니다. 첫 번째 방식은 연령, 위치 또는 제품 카테고리와 같이 사용자와 아이템의 정적인 세부 정보를 살펴보고, 이러한 특정 특징들이 어떻게 겹치는지 패턴을 찾으려 노력합니다. 두 번째 방식은 시간의 흐름을 관찰하며, 사용자의 클릭과 조회 기록을 분석하여 진화하는 관심사를 이해합니다. 두 방법 모두 강력하지만, 산업 현장의 시스템들은 전통적으로 이들을 분리하여 나란히 실행하며 그 결합된 지혜가 충분하기를 바랐습니다. 이러한 분리는 간극을 만들어냅니다. 즉, 시스템이 사용자의 과거 행동이 어떻게 특정 새로운 아이템에 대한 반응을 실시간으로 직접적으로 형성하는지를 파악하는 데 어려움을 겪게 만듭니다.

린룽청(Rongcheng Lin)이 이끄는 메타(Meta)의 연구진은 'UniDot'이라 불리는 새로운 아키텍처를 통해 이 격차를 해소하고자 했습니다. 그들의 목표는 정적인 세부 정보와 흐르는 사용자 행동의 역사를 별개의 문제로 취급하는 대신, 이를 동시에 처리할 수 있는 단일하고 통합된 시스템을 구축하는 것이었습니다. 그들은 이 두 유형의 정보를 '토큰(tokens)', 즉 데이터 포인트의 디지털 표현이라는 관점을 통해 접근했습니다. 이 새로운 프레임워크에서는 사용자의 프로필, 아이템의 상세 정보, 심지어 과거 행동의 시퀀스까지 모두 이러한 토큰으로 변환됩니다. 설계의 핵심 통찰은 사용자와 아이템을 매칭하는 데 사용되는 수학적 연산이 과거의 행동을 현재의 선택에 대해 가중치를 두는 데 사용되는 연산과 근본적으로 동일하다는 점입니다. 이 공유된 메커니즘을 인식함으로써, 연구진은 이 두 정보의 흐름이 직접적이고 지속적으로 상호작용할 수 있는 모델을 구축했습니다.

결과물인 UniDot은 두 가지 서로 다른 프로세스가 함께 이동하며 끊임없이 정보를 교환하는 이중 차선 고속도로처럼 작동합니다. 한 차선인 '토큰 혼합 버스(token-mixing bus)'는 사용자와 아이템의 정적 프로필 데이터를 혼합하는 데 집중합니다. 다른 차선인 '시퀀스 검색 버스(sequence-retrieval bus)'는 사용자의 기록을 스캔하여 관련 있는 과거 사건을 찾는 데 집중합니다. 이 차선들을 고립시키거나 마지막 단계에서만 병합하는 대신, UniDot은 이들이 함께 진화하도록 허용합니다. 처리의 모든 단계에서 두 차선은 상태를 공유하며, 정적 프로필이 이력을 읽는 방식에 영향을 미치고, 이력이 프로필을 이해하는 방식을 정교하게 다듬도록 합니다. 이러한 지속적인 교환은 시스템이 사용자의 과거와 현재 상황을 별개로 보는 것이 아니라, 이들이 서로를 어떻게 형성하는지를 보게 함으로써 단순한 관찰 이상의 결과를 보장합니다.

시스템의 효율성과 정밀함을 유지하기 위해, 연구진은 'FM 고속도로(FM Highway)'라고 불리는 전용 경로를 도입했습니다. 이 경로는 가장 중요한 상호작용을 위한 직통 급행 노선 역할을 합니다. 많은 딥러닝 모델에서 가장 기본적이고 중요한 신호, 구체적으로 사용자와 아이템 특징 사이의 직접적인 매칭은 복잡한 처리 과정을 거치면서 희석되거나 손실될 수 있습니다. FM 고속도로는 이러한 복잡함을 우회하여 이러한 직접적인 매칭을 최종 의사 결정 단계로 바로 전달합니다. 이러한 설계 선택은 가장 근본적인 연결의 명확성을 보존하여, 시스템이 사용자의 클릭이나 구매를 유도하는 단순하고 직접적인 관계를 결코 놓치지 않도록 보장합니다.

연구진은 엄격한 시간 제한 하에 가능한 최고의 추천 시스템을 구축해야 하는 주요 산업 경연 대회인 TAAC × KDD Cup 2026에서 이 아키텍처를 테스트했습니다. UniDot은 0.83217이라는 높은 점수를 기록하며 준우승을 차지했습니다. 이 결과는 수동으로 만든 복잡한 규칙이나 특징(feature)이 아니라 주로 아키텍처 자체에 의해 도출되었다는 점에서 매우 유의미했습니다. 연구진은 두 가지 전통적인 접근 방식을 하나의 일관된 구조로 통합함으로써 사용자 행동의 더 미세한 뉘가야스(nuance)를 포착할 수 있음을 입증했습니다. 또한, 두 버전의 모델을 동시에 학습시켜 서로 배우게 하는 기술을 통해 성능을 더욱 향 향상시켰으며, 이는 사용자 데이터를 저장하기 위한 메모리 크기를 두 배로 늘리지 않고도 시스템이 더 견고한 솔루션을 찾도록 도왔습니다.

UniDot의 성공은 추천 시스템의 미래가 더 많은 별개의 구성 요소를 추가하는 것이 아니라, 그것들을 더 긴밀하게 엮어내는 데 있다는 것을 시사합니다. 사용자의 정적인 세부 정보와 동적인 이력의 흐름을 단일하고 통합된 프로세스의 일부로 취급함으로써, 시스템은 더 정확한 예측을 할 수 있습니다. 연구진은 이러한 개선의 핵심이 모델을 더 크게 만드는 것이 아니라, 서로 다른 유형의 정보를 연결하는 방식에 있어 더 똑똑해지는 것임을 발견했습니다. 이 시스템은 과거와 현재가 서로 직접 대화할 수 있게 할 때, 그 결과가 사용자가 진정으로 원하는 바에 대한 더 명확한 이해로 이어진다는 것을 증명했습니다. 이러한 접근 방식은 더 빠르고 효율적일 뿐만 아니라 인간 행동의 복잡한 현실에 더 잘 부합하는 추천 엔진을 구축하기 위한 유망한 길을 제시합니다.