기술 요약: UniSID – 생성형 광고 추천을 위한 엔드투엔드 시맨틱 ID 생성

1. 문제 정의

생성형 추천 (Generative Recommendation, GR) 은 추천을 다음 토큰 예측 작업으로 프레임화하여 대규모 아이템을 이산적 시퀀스로 토큰화하는 데 **시맨틱 ID(Semantic IDs, SIDs)**에 의존함으로써 강력한 패러다임으로 부상했습니다. 그러나 기존 GR 접근법은 주로 **잔차 양자화 (Residual Quantization, RQ)**에 기반한 2 단계 캐스케이드 압축 패러다임을 활용합니다. 이 파이프라인에서 아이템은 먼저 밀집 임베딩으로 인코딩된 후 (1 단계), 이산적 SID 로 양자화됩니다 (2 단계).

저자들은 이러한 지배적인 2 단계 패러다임에 내재된 세 가지 한계를 식별했습니다:

1. 목적 불일치: 임베딩 학습 단계는 시맨틱 풍부함을 최적화하는 반면, SID 생성 단계는 이산 토큰 예측을 최적화합니다. 이러한 분리는 엔드투엔드 공동 최적화를 방해하여 비최적의 SID 표현을 초래합니다.
2. 시맨틱 저하: SID 는 사전 훈련된 임베딩에서만 생성되므로, 이 과정은 원시 아이템 기능 (예: 멀티모달 신호 또는 구조화된 속성) 을 직접 활용할 수 없습니다. 이 병목 현상은 중요한 시맨틱의 손실을 초래하고 SID 충실도를 감소시킵니다.
3. 오류 누적: RQ 는 잔차를 근사함으로써 임베딩을 계층적으로 양자화합니다. 양자화 노이즈는 레벨 간에 누적되며, 깊은 레이어는 이전 단계의 잔차만 관찰하므로 정보가 점진적으로 희소해지고 깊은 레벨에서 노이즈가 많고 신뢰도가 낮은 SID 가 생성됩니다.

핵심 연구 질문은 이 2 단계 캐스케이드 압축 패러다임에서 벗어나는 통합된 엔드투엔드 SID 생성 프레임워크를 설계할 수 있는지 여부입니다.

2. 방법론: UniSID

저자들은 원시 광고 데이터에서 임베딩과 SID 를 직접 공동 최적화하는 생성형 광고 추천을 위한 통합 프레임워크인 UniSID를 제안합니다. 이 프레임워크는 세 가지 주요 구성 요소로 구성됩니다:

2.1 광고 강화 입력 스키마

시맨틱 저하를 해결하기 위해 UniSID 는 이질적인 광고 신호를 공유 **멀티모달 대규모 언어 모델 (Multimodal Large Language Model, MLLM)**이 처리하는 통합 토큰 시퀀스로 선형화합니다. 입력에는 다음이 포함됩니다:

• 광고 지시 프롬프트: 모델이 SID 와 임베딩을 생성하도록 명시적으로 안내합니다.
• 비구조화 모달리티: 시각 콘텐츠 (이미지) 및 텍스트 설명 (제목/설명).
• 구조화된 광고 속성: 산업 및 계층적 카테고리 정보 (예: 일상용품 → 식기류 → 음료용품 → 물컵) 로 원시 이미지/텍스트에 내재된 시맨틱 모호성을 해결합니다.
• 학습 가능 토큰: 입력에 추가된 일련의 학습 가능한 SID 토큰과 임베딩 토큰.

MLLM 은 이러한 입력을 숨겨진 상태로 인코딩합니다. SID 헤드는 SID 토큰의 표현을 SID 공간으로 투영하고, 임베딩 헤드는 임베딩 토큰 표현을 아이템 임베딩 공간으로 투영합니다. 중요하게도, 임베딩 토큰은 선행 SID 시퀀스에 조건부이므로 원시 데이터와 coarse-to-fine 시맨틱 정보를 모두 통합할 수 있습니다.

2.2 통합 SID 및 임베딩 생성

잔차를 계층적으로 양자화하는 RQ 방법과 달리, UniSID 는 동일한 전체 컨텍스트 광고에서 직접 다층 SID 의 각 레이어를 예측합니다. 이는 모든 SID 레이어가 완전한 광고 정보에 접근하도록 하여 점진적인 정보 희소화를 완화합니다.

• 모델은 $L$개의 시맨틱 레이어에 대한 로짓 (logits) 을 출력합니다.
• 이산 SID 토큰은 각 레이어의 로짓에 대한 argmax 연산을 통해 얻어집니다.
• 최종 SID 는 이러한 레이어별 토큰의 연결입니다.

2.3 멀티 그레들리티 대비 학습

서로 다른 SID 레벨 간 시맨틱 일관성을 강제하기 위해 저자들은 멀티 그레들리티 대비 학습 전략을 도입했습니다.

• 고정된 긍정 집합 대신, 이 방법은 각 시맨틱 레벨 $l$에서 광고 관련성에 따라 긍정 관계를 적응적으로 결정합니다.
• 긍정 집합 ($P_l$) 은 레벨 $l$에서 동일한 시맨틱 카테고리를 공유하는 아이템으로 구성됩니다.
• 손실 함수 ($\mathcal{L}_{sid}$) 는 각 그레들리티 레벨에서 독립적으로 최적화되어, 세밀한 SID 가 coarse 레벨의 노이즈를 흡수하지 않도록 하고 계층적 일관성이 유지되도록 합니다.
• 표준 대비 손실 ($\mathcal{L}_{emb}$) 또한 아이템 임베딩에 적용됩니다.

2.4 요약 기반 광고 재구성

SID 가 원시 데이터에 명시적으로 존재하지 않는 잠재적 고수준 시맨틱을 포착하도록 장려하기 위해 요약 기반 재구성 메커니즘이 제안되었습니다.

1. 요약 생성: 고정된 LLM 이 구조화된 광고 속성을 고수준 시맨틱 요약 ($s^{sum}_i$) 으로 요약하여 암시적 정보 (예: 타겟 오디언스 의도) 를 추론합니다.
2. 재구성: 모델은 SID 임베딩과 아이템 임베딩을 연결하고, 재구성 헤드를 통해 투영한 후 LLM 을 사용하여 다음 토큰 예측을 통해 시맨틱 요약을 재구성합니다.
3. 목적: 이 과정 ($\mathcal{L}_{rec}$) 은 보조 감독 신호로 작용하여 SID 가 차별적이고 고수준의 시맨틱 기능을 인코딩하도록 강제합니다.

2.5 공동 최적화

총 훈련 목적 함수는 세 가지 구성 요소를 결합합니다:
$$\mathcal{L}_{total} = \mathcal{L}_{sid} + \mathcal{L}_{emb} + \lambda \mathcal{L}_{rec}$$
이 통합 설계는 SID 와 임베딩이 서로를 상호 강화하도록 하여 2 단계 파이프라인의 목적 불일치를 방지합니다.

3. 주요 기여

1. 한계 식별: 이 논문은 지배적인 2 단계 RQ 패러다임의 한계인 목적 불일치, 시맨틱 저하, 오류 누적을 공식적으로 식별하고 분석합니다.
2. UniSID 프레임워크: 광고 강화 입력 스키마와 전체 컨텍스트 다층 예측을 활용하여 원시 데이터에서 SID 와 임베딩을 공동 최적화하는 새로운 엔드투엔드 프레임워크.
3. 시맨틱 보존 메커니즘: 레벨별 시맨틱 일관성을 강제하기 위한 멀티 그레들리티 대비 학습 도입과 잠재적 고수준 시맨틱을 포착하기 위한 요약 기반 재구성 메커니즘 도입.
4. 실증적 검증: 산업 광고 데이터셋과 공개 벤치마크에 대한 포괄적인 평가.

4. 실험 결과

저자들은 두 개의 산업 광고 데이터셋 (Ad-60W, Ad-100W) 과 공개 벤치마크 (Amazon Beauty) 에서 UniSID 를 평가했습니다.

• SID 품질: Ad-60W 데이터셋에서 UniSID 는 세 가지 시맨틱 레이어에 걸쳐 V-Measure(클러스터링 품질) 에서 가장 강력한 베이스라인 (RQ-Kmeans) 대비 1.86% 에서 3.09% 향상을 달성했습니다.
• 다음 광고 예측: Ad-100W 데이터셋에서 UniSID 는 RQ-Kmeans 대비 Hit Rate(HR@5) 를 4.62% 향상시켰습니다.
• 임베딩 검색: Ad-60W 데이터셋에서 UniSID 는 최첨단 멀티모달 임베딩 방법 (예: VLM2Vec2) 을 능가하여 Recall@1 에서 45.46% 의 막대한 향상을 보였습니다.
• 공개 벤치마크: Amazon Beauty 데이터셋에서 TIGER 프레임워크에 통합되었을 때, UniSID 는 최상의 베이스라인 (TIGER-LETTER) 대비 Recall@5 를 11.83% 향상시켰습니다.

Ablation Study는 다음을 확인했습니다:

• 공동 훈련은 SID 와 임베딩 생성 간의 상호 강화가 둘 다를 향상시키므로 단일 작업 훈련보다 우수합니다.
• 멀티 그레들리티 대비 손실은 계층적 시맨틱 구조를 보존하는 데 표준 분포 매칭 손실 (KL, JS) 및 BCE 손실보다 우수합니다.
• 요약 기반 재구성은 모델이 암시적이고 고수준의 시맨틱 기능을 포착하도록 안내함으로써 SID 품질을 크게 향상시킵니다.

사례 연구는 UniSID 가 생성한 SID 가 명시적 속성뿐만 아니라 요약 메커니즘에서 추론된 암시적 고수준 시맨틱 (예: "편안함", "패션", "전문적인 이미지") 을 성공적으로 재구성할 수 있음을 보여주었습니다.

5. 의의 및 주장

이 논문은 UniSID가 분리된 2 단계 압축 패러다임에서 통합된 엔드투엔드 접근법으로의 중요한 전환을 나타낸다고 주장합니다. 원시 광고 데이터에서 SID 를 직접 유도함으로써, 이 방법은 잔차 양자화에 내재된 정보 손실과 오류 누적을 효과적으로 완화합니다.

저자들은 그들의 접근 방식이 다음과 같다고 주장합니다:

• 복잡하고 이질적인 광고 환경에서 생성형 추천을 위한 더 견고하고 확장 가능한 솔루션을 제공합니다.
• ID 의 품질과 하류 추천 성능을 모두 향상시키기 위해 SID 가 세밀한 세부 사항과 잠재적 고수준 시맨틱을 모두 포착할 수 있게 합니다.
• 대규모 산업 데이터셋과 표준 공개 벤치마크 모두에서 잘 수행되는 강력한 일반화 능력을 보여줍니다.

이 연구는 UniSID 가 현재 SID 생성 방법의 내재적 한계를 성공적으로 극복하여 표현 학습과 생성형 추천의 목적을 정렬하는 통합 프레임워크를 제공한다고 결론지었습니다.