HCGRec: Hint-Conditioned Generative Recommendation with Semantic IDs

당신이 로봇에게 궁극의 퍼스널 쇼퍼가 되도록 가르치려 한다고 상상해 보세요. 당신은 로봇이 이전에 무엇을 샀는지 살펴보고, 다음에 당신이 무엇을 원할지 정확히 예측하기를 원합니다. 옛날 방식에서 로봇은 수백만 개의 아이템이 담긴 거대한 리스트를 보며, 마치 교사가 시험지 더미를 채점하듯 하나하나 점수를 매기려 했을 것입니다. 하지만 그것은 느리고 지루한 일입니다. 더 새롭고 멋진 아이디어는 로봇이 정답을 직접 "쓰게" 만드는 것입니다. 이 방식은 당신이 다음에 원하는 아이템을 하나의 비밀 코드, 즉 "시맨틱 ID(Semantic ID)"라고 불리는 숫자나 기호의 짧은 문자열로 취급합니다. 로봇은 이야기 속의 문장을 완성하듯 단어 하나하나를 써 내려가며 이 코드를 학습합니다.

문제는 이 "코드를 쓰는" 방식이 교통 체증에 갇힐 수 있다는 점입니다. 예를 들어 로봇이 "1-2-3-4"라는 코드를 쓰려고 한다고 가정해 봅시다. 만약 첫 번째 숫자에서 실수를 해서 "1" 대신 "9"를 썼다면, 로봇은 이제 잘못된 길 위에 서 있는 것입니다. 아무리 나머지 숫자들을 열심히 쓰려고 노력해도, 시작을 잘못된 동네에서 했기 때문에 결코 올바른 집에 도착할 수 없습니다. AI 학습의 세계에서 이는 로봇이 노력을 기울였음에도 불구하고 정답을 찾지 못했기 때문에 아무런 공로를 인정받지 못하고, 결국 학습을 멈추게 된다는 것을 의미합니다. 이 논문인 HCGRec는 바로 이 교통 체증 문제를 다룹니다. 이 논문은 로봇이 정답 전체를 알지 못하더라도, 올바른 길로 돌아올 수 있도록 돕는 영리한 트릭을 제안하여 로봇이 자신의 실수를 통해 실제로 배울 수 있게 합니다.

AI의 뇌 속에서 일어나는 교통 체증

이 해결책을 이해하기 위해, 이러한 AI 쇼퍼들이 보통 어떻게 학습하는지 살펴보겠습니다. 먼저, 그들은 "지도 미세 조정(Supervised Fine-Tuning, SFT)"이라는 기초 교육을 받습니다. 이것은 로봇이 교과서를 읽는 것과 같습니다. 선생님은 정답을 주며 "보렴, 이런 상황이 오면 이렇게 써야 한단다"라고 말합니다. 로봇은 강제로 정답지를 보게 될 때 올바른 코드를 복사하는 법을 익힙니다.

하지만 현실 세계에서 로봇은 스스로 추측해야 합니다. 여기서 "보상 기반 사후 학습(Reward-Based Post-Training)"이 등장합니다. 로봇은 코드를 추측하고, 만약 맞히면 금메달(보상)을 받습니다. 틀리면 아무것도 얻지 못합니다. 효율적으로 학습하기 위해, AI는 한 번에 여러 가지 추측(그룹)을 시도하고 이를 비교합니다. 만약 어떤 추측이 다른 것들보다 더 낫다면, 그 추측에는 보너스가 주어집니다.

여기서 논문은 큰 문제를 발견했습니다: 바로 "제로 보상(Zero-Reward)"의 함정입니다.

코드들이 트리 구조(넓은 카테고리에서 시작하여 점점 더 구체적으로 들어가는 구조)로 만들어졌기 때문에, 만약 AI가 첫 번째 가지를 잘못 선택하면 돌이킬 수 없는 상태가 됩니다. 설령 16개의 서로 다른 결말을 시도하더라도, 시작을 잘못했기 때문에 모두 틀리게 됩니다. AI는 이 모든 시도에 대해 제로 보상을 받게 됩니다. AI가 모두 보상이 0인 추측 그룹을 마주하게 되면, 어떤 것이 "덜 틀렸는지"를 구분할 수 없습니다. 이는 마치 주차장에서 뱅글뱅글 돌며 운전을 배우려는 것과 같습니다. 목적지에 도달하지 못하기 때문에 전혀 나아지지 않는 것입니다. 논문에서는 이를 "유한 실행 도달 불가능(finite-rollout unreachable)" 그룹이라고 부릅니다. 실험 결과, 학습 그룹의 70% 이상이 유용한 피드백을 전혀 받지 못하는 이 무익한 상태에 갇혀 있었습니다.

해결책: 속임수가 아닌 "힌트"

저자인 강닝 장(Kangning Zhang)과 그의 팀은 HCGRec(힌트 조건부 생성 추천)이라는 프레임워크를 고안했습니다. 그들의 아이디어는 단순하지만 강력합니다: AI가 완전히 길을 잃었을 때만 아주 작은 힌트를 주는 것입니다.

당신이 "단어 맞히기" 게임을 하고 있다고 상상해 보세요. 만약 당신이 막혔을 때, 친구가 "A로 시작해"라고 속삭여 줄 수 있습니다. 단어 전체를 알려준 것은 아니지만, 이제 당신은 올바른 동네에 있다는 것을 알게 되었습니다. 이제 당신은 스스로 단어의 나머지를 알아낼 수 있습니다.

HCGRec도 이와 똑같이 작동하지만, 약간의 차이가 있습니다:

1. 진단: AI가 본격적인 어려운 학습을 시작하기 전에, 팀은 빠른 테스트를 수행합니다. 그들은 AI에게 묻습니다. "너 스스로 정답에 도달할 수 있니?"
2. 힌트: 만약 AI가 "아니요, 저는 잘못된 가지에 갇혔어요"라고 답하면, 시스템은 경로를 되찾을 수 있는 가장 짧은 힌트를 제공합니다. 이것은 코드의 첫 번째 숫자 하나일 수도 있습니다.
3. 도전: 이제 AI는 나머지 코드(접미사, suffix)를 스스로 생성해야 합니다. 올바른 동네에서 시작했기 때문에, 이제 정답을 찾아내고 보상을 받을 실질적인 기회를 갖게 됩니다.

이 과정은 쓸모없는 '제로 보상' 그룹을 유용한 '학습 그룹'으로 바꿔 놓습니다. AI는 마침내 자신의 다양한 결말을 비교하고 어떤 것이 더 나은지 배울 수 있게 됩니다.

비법: 누가 공로를 인정받는가?

논문은 또한 공로를 나누는 방식에 대한 까다로운 세부 사항을 지적합니다. 만약 AI에게 힌트(예: 첫 번째 숫자)가 주어졌다면, 그 숫자는 추측한 것이 아니라 시스템이 제공한 사실입니다. 따라서 AI는 자신이 실제로 추측하지 않은 숫자에 대해 "정책적 공로(policy credit)"를 받아서는 안 됩니다.

그래서 저자들은 **힌트 인지적 공로 분해(Hint-Aware Credit Decomposition)**를 도입했습니다. 그들은 학습을 두 부분으로 나눕니다:

• 힌트 부분: 시스템은 표준적인 "지도 학습"(마치 선생님이 학습지를 교정하는 것과 같은 방식)을 사용하여 AI가 힌트가 옳다는 것을 인식하도록 가르칩니다.
• 생성 부분: AI는 자신이 실제로 쓴 부분(코드의 나머지 부분)에 대해서만 "보상" 공로를 받습니다.

이를 통해 AI는 힌트 덕분에 올바른 경로를 유지하는 법을 배우면서도, 여로 여정의 나머지 부분을 잘 추측하는 법을 동시에 배울 수 있습니다.

연구 결과

연구팀은 악기, 예술 및 공예, 비디오 게임이라는 세 가지 실제 쇼핑 데이터셋을 통해 테스트를 진행했습니다. 그들은 자신들의 방식을 기존의 학습 방식들과 비교했습니다.

• 결과: HCGRec는 특히 리스트 깊숙이 있는 아이템(예: 50번째 최적의 매치)을 찾는 데 있어 AI의 추천 능력을 유의미하게 향 Improves 시킨다는 것을 보여주었습니다.
• "제로 그래디언트(Zero-Gradient)" 해결: 가장 흥fast한 발견은 "막힌" 학습 그룹을 70% 이상에서 20% 미만으로 줄였다는 점입니다. 이는 AI가 운 좋은 경우뿐만 아니라 거의 모든 시도로부터 실제로 배우고 있음을 의미합니다.
• 균형: 그들은 "힌트"가 너무 길어서는 안 되며(그렇지 않으면 전체 답을 주는 것이 됨), 힌트에 대한 "공로"가 너무 무거워져서도 안 된다(그렇지 않으면 AI가 추측하기를 멈춤)는 것을 발견했습니다. 약간의 가이드가 가장 효과적이었습니다.

이것이 중요한 이유

이 논문은 AI 추천의 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 이 "생성형" 쇼퍼들을 훈련하는 현재 방식에 숨겨진 결함이 있음을 시사합니다. 즉, 불가능한 상황에서 배우려고 시간을 낭비하고 있다는 것입니다. AI가 길을 잃었는지 확인하고 아주 작고 표적화된 자극을 주는 것만으로도, 학습 과정을 훨씬 더 효율적으로 만들 수 있습니다. 이는 학생에게 풀 수 없는 수학 문제를 억지로 풀라고 강요하는 대신, 첫 줄을 적을 수 있게 도와줌으로써 나머지 문제를 끝까지 풀 수 있게 만드는 것과 같습니다. 결과적으로, 길이 험난해지더라도 올바른 경로를 찾는 법을 아는 더 똑똑하고 빠른 학습자를 만들 수 있습니다.