Field-Aware RankMixer with Dual-Stream Bilinear Fusion for the Tencent UNI-REC Challenge

당신이 거대하고 북적이는 디지털 시장을 걷고 있다고 상상해 보세요. 매 초마다 수백만 명의 사람들이 물건을 둘러보고, 클릭하고, 구매합니다. 이 시장이 원활하게 돌아가도록 유지하기 위해, 그 배후의 컴퓨터들은 믿을 수 없을 정도로 똑똑한 탐정이 되어야 합니다. 그들은 단순히 당신이 지금 무엇을 보고 있는지뿐만 아니라, 당신이 지금까지 클릭했던 모든 것, 그것을 얼마나 오래전에 했는지, 그리고 당신이 어떤 종류의 사람인지를 기억하여 당신이 다음에 무엇을 사고 싶어 할지 추측해야 합니다. 이것이 바로 **추천 시스템(recommender systems)**의 세계입니다.

이 시스템들을 두 가지 주요 업무를 수행하는 존재로 생각해 보세요. 첫째, 그들은 당신의 이력(history), 즉 당신이 만졌던 모든 품목의 일기장과 같은 기록을 살펴봄으로써 변화하는 당신의 관심사를 파악합니다. 둘째, 그들은 당신의 나이, 시간대, 또는 당신이 보고 있는 특정 아이템의 세부 사항처럼 순간순면 변하지 않는 **정적 사실(static facts)**을 살펴봅니다. 까다로운 점은 이 두 종류의 정보가 보통 컴퓨터 뇌의 서로 다른 동네에 살고 있다는 것입니다. 이들이 서로 효율적으로 대화하게 만드는 것은, 마치 빠르게 흐르는 강물(당신의 이력)을 진흙탕으로 만들지 않고 정지해 있는 깊은 호수(당신의 정적 사실)와 완벽하게 섞이도록 만드는 것과 같습니다. 이 혼합을 제대로 해내는 것이 매우 중요한데, 이는 당신이 실제로 좋아할 만한 광고를 보여줄지 아니면 무시할 광고를 보여줄지를 결정하며, 이는 플랫폼이 얼마나 많은 돈을 버는지와 당신이 얼마나 행복한지에 영향을 미치기 때문입니다.

"Field-Aware RankMixer with Dual-Stream Bilinear Fusion with the Tencent UNI-REC Challenge"라는 논문에서, 한 연구팀은 바로 이 혼합 문제를 해결했습니다. 그들은 KDD Cup 2026이라는 고위급 경쟁에 참여했는데, 이 대회의 목표는 사용자가 클릭한 광고를 구매할 가능성이 얼마나 높은지를 예측하는 것이었습니다. 그들의 솔루션인 FA-RankMixer 모델은 재료를 그냥 솥에 던져 넣는 것이 아니라, 재료를 각각 분리하고, 개별적으로 양념을 친 다음, 매우 구체적인 방식으로 블렌딩하는 숙련된 셰프처럼 행동합니다.

이들의 레시피가 어떻게 작동하는지 여기 있습니다. 먼저, 모델은 당신의 행동 이력을 살펴봅니다. 당신의 과거 클릭을 하나의 거대하고 흐릿한 덩어리로 취급하는 대신, 모델은 "타겟 인식(target-aware)" 렌즈를 사용합니다. 예를 들어 당신이 특정 신발을 보고 있다면, 모델은 이렇게 묻습니다. "이 신발을 고려할 때, 당신의 과거 클릭 중 실제로 관련이 있는 것은 무엇인가?" 모델은 당신의 최근 관심사와 예전의 관심사를 구분하며, 지난주에 좋아했던 것이 6개월 전에 좋아했던 것보다 더 중요할 수 있음을 깨닫습니다. 이는 탐정이 오래된 단서들을 머릿속 한구석에 담아두면서도 가장 최근의 단서에 집중하는 것과 같습니다.

다음으로, 모델은 모든 정보를 "토큰(tokens)"으로 정리합니다. 토큰을 "사용자 연령", "시간대", 또는 "스니커즈 클릭함"과 같이 특정 정보를 나타내는 작은 카드라고 생각해 보세요. 연구진은 이 카드들을 그냥 한데 뭉쳐버리면 각 카드의 정체성을 잃게 된다는 점을 발견했습니다. 그래서 그들은 필드 인식(Field-Aware) 시스템을 만들었습니다. 이는 "연령" 카드는 한 더미에, "시간" 카드는 다른 더미에 두어 서로 혼동되지 않도록 하는 분류 기계와 같습니다. 이 더미들은 그 후 RankMixer라고 불리는 특별한 엔진으로 전달됩니다. 이 엔진은 카드들이 방대한 양의 추가 메모리 없이도 서로 대화할 수 있게 해주는 고속 믹서와 같으며, 이를 통해 시스템은 당신의 이력과 현재 광고 사이의 복잡한 관계를 이해할 수 있습니다.

하지만 모델은 여기서 멈추지 않습니다. 모델은 두 명의 셰프가 동시에 주방에서 일하는 것과 같은 듀얼 스트림(Dual-Stream) 방식을 사용합니다. 한 명의 셰프("Deep" 스트림)는 매우 복잡하며 카드를 깊은 층에서 섞어 미묘하고 숨겨진 패턴을 찾으려 노력합니다. 다른 한 명의 셰프("Shallow" 스트림)는 더 단순하며 재료를 더 직접적으로 살펴봅니다. 마지막으로, 그들은 두 셰프의 결과를 결합하기 위해 쌍선형 융합(Bilinear Fusion) 기술을 사용합니다. 이것은 딥 셰프의 복잡한 풍미와 샬로우 셰프의 신선한 풍미를 완벽하게 블렌딩하는 특별한 소스와 같습니다. 이를 통해 최종 예측은 단순히 똑똑할 뿐만 아니라 안정적이고 정확해집니다.

연구진은 3,400만 건 이상의 클릭이 포함된 거대한 데이터셋을 통해 모델을 테스트했습니다. 그들은 자신들의 방법이 기본 모델에서 시작하는 것보다 예측 정확도를 크게 향상시켰다는 것을 발견했습니다. 구체적으로, 가중치 쌍 풀링(Weighted Pair Pooling)(단순히 평균을 내는 것이 아니라 신호가 얼마나 강한지에 주목하는 방식)과 SWA(모델의 가중치를 마지막에 평균 내어 더 견고하게 만드는 방식)와 같은 기술을 사용하여 성능 점수(AUC)를 총 약 14.7포인트 높였습니다.

흥미롭게도, 연구팀은 단순히 모델을 "더 넓게" 만드는 것(더 많은 뉴런을 추가하는 것)이 항상 더 좋게 만드는 것은 아니라는 점을 발견했습니다. 한 시점에는 모델을 더 넓게 만드는 것이 오히려 성능을 떨어뜨리기도 했습니다. 대신, 핵심은 다양한 필드를 위한 더 구체적인 "토큰"을 사용하여 정보를 더 지능적으로 조직하는 것이었습니다. 이는 AI의 세계에서, 정보를 더 똑똑하게 조직하는 방법이 단순히 더 큰 뇌를 갖는 것보다 종종 더 강력하다는 것을 시사합니다.

결국, 그들의 FA-RankMixer 모델은 경쟁에서 9위를 차지하며, 사용자 이력과 정적 사실을 혼합하는 이 특정한 방식이 대규모 광고 분야에서 매우 잘 작동한다는 것을 증명했습니다. 모델이 상당히 크고 상당한 컴퓨팅 파워를 요구하지만, 연구진은 향-후 연구가 모델이 가장 중요한 필드에만 집중하도록 가르쳐서, 예측의 날카로움을 유지하면서도 에너지를 절약하는 방식으로 효율성을 높이는 데 집중할 수 있다고 제안합니다. 그들의 연구는 서로 다른 유형의 데이터를 그들이 마땅히 받아야 할 구체적인 정성을 다해 다룰 때, 훨씬 더 똑똑하고 도움이 되는 추천 시스템의 결과가 나온다는 것을 보여줍니다.