MILCR: Mutual information and local consistency regularized flow matching for sequential recommendation

디지털 시대에 우리의 온라인 생활은 선택의 흔적을 남깁니다. 우리가 구매하는 책, 시청하는 영상, 방문하는 식당 등이 그것입니다. 컴퓨터에게 있어 이러한 흔적을 파악하는 것은 '순차적 추천(sequential recommendation)'이라 불리는 분야의 임무입니다. 목표는 단순하면서도 어렵습니다. 한 사람이 과거에 했던 행동을 보고 그가 다음에 무엇을 원할지 추측하는 것입니다. 수년 동안 이 작업을 수행해 온 최고의 도구들은 사용자의 이력을 면밀히 살펴 패턴을 찾아내고 다음 논리적 단계를 제안하는 세심한 사서와 같았습니다. 그러나 최근에는 더 창의적인 시도를 하는 새로운 세대의 도구들이 등장했습니다. 단순히 패턴을 찾는 데 그치지 않고, 이 생성형 모델들은 순수한 무작위성에서 시작하여 이를 특정 추천으로 서서히 형상화함으로써 사용자의 미래 욕구를 밑바닥부터 그려내고자 합니다.

친구의 완벽한 초상화를 그리려고 노력한다고 상상해 보십시오. 하지만 당신은 빈 화면과 정적(static)으로 가득 찬 화면에서 시작해야만 합니다. 당신은 얼굴이 나타날 때까지 단계적으로 정적을 제거해 나가야 합니다. 이것이 현대의 생성형 시스템이 작동하는 방식입니다. 이들은 무작위 노이즈에서 시작하여 일련의 수학적 단계를 통해 그 혼돈을 명확한 예측으로 변환합니다. 이러한 접근 방식은 큰 유망함을 보여주었지만, 인간 행동의 무질서한 현실에 적용될 때 특정한 문제에 직면합니다. 사람들의 상호작용 이력은 종나 짧고 흩어져 있는 경우가 많기 때문에, 이 모델들은 혼란을 겪을 수 있습니다. 모델이 사용자의 실제 이력보다는 처음에 시작했던 무작위 노이즈에 너무 과하게 의존하게 되거나, 모든 서로 다른 사용자를 하나의 흐릿한 평균치로 뭉뚱그려 버려 추천에 유용한 고유한 세부 사항들을 잃어버릴 수도 있습니다.

베이징 공업대학교의 연구진은 이러한 결함들을 해결하기 위해 MILCR이라 불리는 새로운 방법을 개발했습니다. 그들의 연구는 이러한 생성형 모델이 희소한 데이터로부터 어떻게 학습하는지를 정교화하는 데 집중했습니다. 연구진은 주요 문제가 두 가지라는 점을 확인했습니다. 모델이 서로 다른 사용자 선호도를 구별하는 데 어려움을 겪고 있으며, 초기 무작위 노이즈가 최종 결과에 너무 많은 영향을 미치게 한다는 것이었습니다. 이를 해결하기 위해 그들은 '이중 점검 시스템' 역할을 하는 학습 과정을 도입했습니다. 먼저, 복잡한 학습이 시작되기 전에 모델의 기본 구성 요소들이 이미 체계적으로 정리되어 있도록 시스템을 준비시킵니다. 그다음, 주요 학습 단계에서는 두 가지 과업을 교대로 수행하는 영리한 전략을 사용합니다. 한 가지 과업은 모델이 무작위 노이즈를 무시하도록 가르쳐, 사용자의 실제 이력에 엄격히 의존하게 만듭니다. 다른 한 가지 과업은 모델이 예측에 도달하는 경로가 매끄럽고 안정적이도록 보장하여, 예측을 수행하는 과정에서 시스템이 흔들리거나 불규칙하게 튀는 것을 방지합니다.

연구진은 이 새로운 접근 방식을 온라인 도서 리뷰부터 영화 평점까지 다양한 다섯 가지 실제 데이터셋에 대해 테스트했습니다. 그들은 기존의 검증된 기술 기반 모델과 최신 생성형 모델을 포함한 여러 강력한 모델들과 자사의 시스템을 비교했습니다. 결과는 새로운 방법이 경쟁 모델들을 일관되게 능가했다는 것을 보여주었습니다. 예를 들어, 장난감 구매 데이터셋에서 이 새로운 시스템은 이전의 최고 모델보다 다음 아이템을 정확히 예측하는 능력이 17% 이상 향상되었습니다. 또한 상호작용이 매우 적은 사용자들을 다룰 때도 훨씬 더 신뢰할 수 있는 모습을 보였는데, 이는 다른 모델들이 흔히 실패하는 시나리오입니다. 시스템의 내부 작동 방식을 분석함으로써, 연구팀은 자신들의 방법이 무작위 노이즈에 대한 모델의 의존성을 성공적으로 줄였으며, 서로 다른 사용자의 표현을 하나로 섞이지 않게 하고 뚜렷하고 명확하게 유지했음을 확인했습니다.

이 연구의 성공은 창의성과 절제 사이의 균형을 맞추는 능력에 달려 있습니다. 생성형 접근 방식은 시스템이 새로운 가능성을 상상할 수 있게 해주지만, 새로운 규제 기법들은 그 상상이 사용자의 실제 이력에 근거하도록 만드는 가드레일 역할을 합니다. 연구진은 시작 단계의 노이즈와 최종 결과 사이의 연결성을 최소화함으로써, 모델이 무작위의 시작보다 사용자의 과거 행동을 더 신뢰하도록 학습한다는 것을 발견했습니다. 마찬가지로, 예측 과정의 단계들 사이의 일관성을 강제함으로써 시스템이 계산 중간에 길을 잃지 않도록 보장했습니다. 이러한 기술들의 조합은 모델이 이전보다 훨씬 더 잘 실세계의 희소하고 무질서한 데이터를 처리할 수 있게 해주었습니다.

궁극적으로 이 연구는 컴퓨터가 인간의 선호도를 이해하는 방식에 대한 더 명확한 길을 제시합니다. 이는 무작위성에서 시작하는 것이 강력한 아이디어를 생성하는 방법이 될 수 있지만, 현실 세계에서 유용하기 위해서는 세심한 제약이 필요하다는 것을 보여줍니다. 이 새로운 시스템은 단순히 추측하는 것이 아니라, 사용자의 진정한 관심사라는 '신호'와 그것을 찾아내는 수학적 과정의 '노이즈'를 구분하는 법을 배웁니다. 온라인 상호작용이 더욱 복잡하고 다양해짐에 따라, 데이터가 제한적인 상황에서도 추천이 개인화되고 정확하며 진정으로 도움이 될 수 있도록 하기 위해 이러한 도구들은 필수적일 것입니다. 이 연구는 추천 시스템의 미래가 단순히 더 많은 데이터를 생성하는 것이 아니라, 사람들의 고유하고 때로는 불완전한 이야기들에 대한 깊은 존중을 바탕으로 더 지능적으로 데이터를 생성하는 데 있음을 시사합니다.