Tlow: Flow-based Item Tokenizer for Recommendation

소셜 미디어 피드부터 온라인 상점에 이르기까지 현대 생활의 광활한 디지털 풍경 속에서, 추천 시스템은 우리가 다음에 무엇을 보고 싶어 하거나 사고 싶어 할지를 제안하는 보이지 않는 가이드 역할을 합니다. 수십 년 동안 이러한 시스템은 모든 개별 아이템(노래, 책, 혹은 신발 한 켤레 등)에 무작위적이고 의미 없는 숫자를 할당하는 단순하지만 투박한 방식에 의존해 왔습니다. 컴퓨터는 사람들이 이러한 숫자들과 어떻게 상호작용하는지를 바탕으로 이 숫자들을 인식하는 법을 배웁니다. 하지만 이 접근 방식에는 두 가지 주요한 결함이 있습니다. 첫째, 아이템의 수가 수백만 또는 수십억 개로 늘어남에 따라 시스템이 비대해지고 느려지며, 이 무작위 숫자들을 저장하는 데만 엄청난 양의 메모리가 필요하게 됩니다. 둘째, 새로운 아이템에 취약합니다. 만약 어떤 제품이 방금 출시되어 클릭이나 구매 이력이 없다면, 시스템은 이를 낯선 이로 취급하여 누구에게도 추천할 수 없게 됩니다. 이를 해결하기 위해 연구자들은 단어를 무작위 숫자가 아닌 그 의미에 따라 이해하는 거대 언어 모델의 작동 방식에 주목하기 시작했습니다. 아이템을 문장의 단어처럼 의미 있는 '토큰'의 시퀀스로 변환함으로써, 시스템은 모든 아이템 간에 지식을 공유할 수 있게 되어 특히 새로 들어온 아이템에 대해 더 똑똑하고 빠르게 대응할 수 있습니다.

칭화대학교와 텐센트의 연구진은 이 아이디어를 'Tlow'라는 새로운 도구를 통해 한 단계 더 발전시켰습니다. 이전의 시도들은 아이템을 의미 있는 토큰으로 바꾸는 과정에서 처리 속도가 느려지거나 그룹화가 혼란스러워지는 등의 난관에 부딪히곤 했지만, Tlow는 '플로우(flow)'라고 알려진 수학적 개념을 기반으로 한 신선한 접근 방식을 도입했습니다. 마치 무질서하고 불균형하게 뭉쳐 있는 사람들의 혼란스러운 군중을 정리한다고 상상해 보십시오. 만약 그들을 깔끔한 행과 열로 정렬하려 한다면, 그들의 위치가 엉키고 불규칙하기 때문에 매우 어려울 것입니다. Tlow는 이 전체 군중을 모든 사람이 일정한 간격으로 떨어져 있고 이웃으로부터 독립된 완벽하고 질서 정연한 원형으로 재편하는 부드럽고 지능적인 힘처럼 작동합니다. 데이터의 세계에서 이는 아이템의 복잡하고 무질서한 수학적 묘사를, 모든 정보 조각이 다른 조각과의 혼란스러운 연결 없이 홀로 독립적으로 존재하는 깨끗하고 표준화된 형식으로 변환하는 것을 의미합니다.

데이터가 이처럼 깨끗하고 조직된 상태가 되면, 연구자들은 마치 카드 한 덱을 깔끔한 슈트별로 분류하듯 데이터를 작고 뚜렷한 부분들로 쉽게 나눌 수 있습니다. 각 부분에는 특정 코드가 부여되어 모든 아이템에 대한 고유한 토큰 시퀀스를 생성합니다. 데이터가 먼저 완벽한 형태로 매끄럽게 다듬어졌기 때문에, 이 코드들은 놀라운 명확성으로 아이템의 진정한 본질을 포착합니다. 예를 들어, 음악 앨범 컬렉션을 대상으로 테스트했을 때 기존 방식들은 원시 데이터가 무질서한 방식으로 유사하다는 이유만으로 헤비메탈 앨범을 재즈 레코드와 혼동하곤 했습니다. 그러나 Tlow는 장르를 뚜렷하게 구분하여, 팝 앨범은 팝으로, 재즈 앨범은 재즈로 인식되도록 보장했습니다. 이러한 명확성은 추천 시스템이 단순히 무작위 ID를 암기하는 것이 아니라, 아이템의 의미를 구성하는 원자적 구성 요소들을 이해할 수 있게 해줍니다.

연구진은 스포츠 용품부터 뷰티 제품, 음악에 이르기까지 아마존의 네 가지 서로 다른 제품 카테고리에서 이 방법을 테스트했습니다. 모든 경우에서 Tlow를 사용한 시스템은 더 복잡한 단계별 디코딩 과정을 사용하는 기존의 최선책들을 능가했습니다. 개선 정도는 상당했으며, 새로운 시스템은 사용자가 다음에 무엇을 원할지 예측하는 데 있어 더 높은 정확도를 보여주었습니다. 결정적으로, 이 시스템은 서로 다른 카테고리 간의 아이템을 추천하거나 사진과 텍스트를 함께 다루는 것과 같이 더 어려운 상황에서도 그 가치를 입증했습니다. 데이터가 다양한 출처와 형태에서 오는 이러한 복잡한 시나리오에서, 데이터를 균일한 표준으로 재편하는 Tlow의 능력은 다른 시스템들이 놓친 연결 고리를 찾아내게 해주었습니다.

이 기술의 진정한 시험대는 세계 최대 규모의 소셜 미디어 플랫폼 중 하나인 위챗(WeChat)에 배치되어 사용자들이 새로운 사진과 기사를 발견하도록 돕는 것이었습니다. 수백만 건의 일일 상호작용이 발생하는 라이브 실험에서, Tlow의 토큰화된 코드를 사용하는 시스템은 무작위 ID에 의존하는 기존 시스템보다 성능이 월등히 뛰어났습니다. 결과는 놀라웠습니다. 새로운 시스템은 새로운 아이템에 대한 사용자 클릭률을 10% 이상 높였습니다. 이는 새로운 콘텐츠는 사용자 상호작용 이력이 없기 때문에 컴퓨터가 추천하기 가장 어렵다는 점에서 매우 중요한 성과입니다. 과거의 행동이 아닌 콘텐츠 자체의 내재된 의미에 의존함으로써, Tlow는 플랫폼이 게시 직후의 신선하고 관련성 높은 사진들을 사용자에게 즉시 보여줄 수 있도록 했습니다. 연구진은 이러한 접근 방식이 단순히 새로운 아이템이 주목받도록 돕는 것뿐만 아니라 전반적인 사용자 경험을 개선했다는 점을 발견했으며, 이는 무질서한 데이터를 깨끗하고 표준화된 형태로 변환하는 것이 기계가 인간처럼 세상을 이해하게 만드는 강력한 방법임을 증명했습니다.