기술 요약: NaviGen – 개인화된 멀티모달 생성을 위한 사용자 행동 탐색

1. 문제 정의

본 논문은 현대 인공지능 생성 콘텐츠(AIGC) 파이프라인의 결정적인 공백을 다룹니다. 현재의 텍스트-이미지 및 텍스트-비디오 생성기들은 고충실도의 출력을 생성하지만, 이는 잘 정돈된 텍는 지시어(textual instructions)에 의존합니다. 그러나 실제 엔드 유저는 구체적인 시각적 세부 사항을 명확히 표현하는 경우가 드뭅니다. 그들의 선호도는 클릭, 조회, 구매와 같은 상호작용 이력 속에 암묵적으로 존재합니다.

이는 "선호도-지시어 간극(Preference-to-Instruction Gap)"을 발생시킵니다. 기존 방식들은 완벽한 프롬프트가 존재한다고 가정하거나 일반적인 프롬프트 확장(prompt expansion)에 의존하며, 사용자의 구체적이고 암묵적인 행동 이력을 구체적이고 생성 가능한 지시어로 변환하는 데 실패합니다. 저자들은 두 가지 핵심 과제를 식별했습니다:

1. 표현의 간극 (C1): 사용자의 행동을 LLM이 읽을 수 있는 형태로 어떻게 인코딩할 것인가? 이때 지나치게 장황해지거나 의미론적으로 불투명해지지 않으면서 행동 구조를 보존해야 합니다.
2. 역량의 간극 (C2): 모델에게 선호도 추론을 바탕으로 구체적인 생성 지시어를 작성하는 기술을 어떻게 갖추게 할 것인가? 이는 표준적인 사전 학습이나 행동 데이터만으로는 자연스럽게 습득되지 않는 능력입니다.

2. 방법론: NaviGen

저자들은 사용자 상호작용 시퀀스를 실행 가능한 AIGC 지시어로 변환하는 통합 프레케임워크인 NaviGen을 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다.

A. 이중 식별자 행동 인코딩 (Dual-Identifier Behavior Encoding)

표현의 간극을 메우기 위해, NaviGen은 단일 토큰 스트림 내에서 이중 식별자 체계를 사용하여 사용자의 이력 내 각 아이템을 인코딩합니다:

• 협업 식별자 (Collaborative Identifier, CID): 아이템의 메타데이터에서 유도된 3단계 잔차 벡터 양자화(residual vector quantization) 토큰 시퀀스입니다. 이는 상호작용 그래프 내 아이템의 역할과 협업 패턴을 포착하며, 압축된 형태의 행동 기질(behavioral substrate) 역할을 합니다.
• 텍스트 식별자 (Textual Identifier, TID): 원래의 캡션에서 압축된 간결한 의미론적 구절(예: 주체, 장면, 속성)의 가변 길이(최대 10개 용어) 순서 리스트입니다. 이는 제어 가능한 의미론적 가교 역할을 합니다.
• 결합 (Coupling): CID와 TID는 결합되어 행동 신호와 의미론적 근거를 동시에 제공하며, 이를 통해 모델이 원문 텍스트에 압도되지 않고 선호도에 대해 추론할 수 있게 합니다.

B. 2단계 학습 파이프라인

NaviGen은 역량의 간극을 좁히기 위해 지도 미세 조정(SFT) + 강화 학습(RL) 파이프라인을 채택합니다.

1단계: 추론이 주입된 SFT (Reasoning-Infused SFT)

• 콜드 스타트 초기화 (Cold-Start Initialization): 백본을 동결하고 보조 작업(CID2TID, TID2CID, CID2CID)에 대해서만 학습하여 안정적인 표현 획득을 보장함으로써 CID 임베딩을 초기화합니다.
• 추론 증강 전체 미세 조정 (Reasoning-Augmented Full Finetuning): 진화적 탐색(evolutionary search) 과정을 통해 생성된 지시어를 포함하는 합성 데이터셋에서 모델을 학습시킵니다. LLM 판독기가 후보 지시어를 선택하고 (교차 및 돌연변이를 통해) 진화시켜 사용자 의미론과 일치하도록 만듭니다.
• 사고의 사슬 (Chain-of-Thought, CoT): 학습 데이터에는 사용자의 선호도가 이력을 따라 어떻게 진화하는지 설명하는 추론 흔적(예: "사용자가 유머러스한 엘프 상호작용에서 로맨틱한 갈등으로 이동함")이 포함되어, 모델이 단순히 이력을 패러프레이징하는 것이 아니라 트렌드를 추론하도록 가르칩니다.

2단계: 다중 작업 강화 학습 (GRPO)
모델은 두 가지 상보적인 보상 신호를 사용하는 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 통해 추가 최적화됩니다:

1. 계층적 CID 보상 (Hierarchical CID Reward): 예측된 다음 아이템의 CID를 세 가지 수준의 세밀도(조대함에서 정밀함까지)에서 평가하며, 정확한 변종의 정밀도보다 패밀리 수준의 정확도를 우선시합니다.
2. 지시어 인식 보상 (Instruction-Aware Reward): 다음 세 가지 요소를 포함하는 삼각형 자기 일관성 체크입니다:
   • 품질 (Quality): 구체성, 창의성 및 시각적 생성 가능성 (LLM 판독기에 의해 평가됨).
   • 정렬 (Alignment): 생성된 지시어가 타겟 의미론에 고정되어 있는지, 자체 예측과 자기 일관성을 유지하는지, 그리고 정답(ground truth)과 일치하는지를 확인합니다.

3. 주요 기여

1. NaviGen 프레임워크: 행동 모델링과 제어 가능한 콘텐츠 생성을 연결하여, 암묵적인 사용자 이력을 생성 준비가 된 지시어로 변환하는 통합 파이프라인을 구축했습니다.
2. 이중 식별자 표현: 잔차 양자화된 CID(행동 기질)와 순서가 있고 길이가 유연한 TID(의미론적 가교)를 단일 토큰 스트림 내에서 결합하는 새로운 체계를 제시했습니다.
3. SFT+RL 학습 전략: 인간이 작성한 지시어가 필요 없는 방법으로, 감독 합성을 위한 진화적 탐색과 계층적 및 삼각형 보상을 적용한 GRPO를 활용하여 폐쇄 루프 자기 일관성을 강제합니다.
4. 실증적 검증: 제품, 게임, 숏폼 비디오 도메인 전반에서 개인화된 이미지/비디오 생성 품질, 차기 아이템 예측 정확도, 지시어 구체성 측면에서 개선된 성능을 입증했습니다.

4. 실험 결과

저자들은 세 가지 데이터셋(Product - Amazon 리뷰, Games - Amazon 리뷰, Short Videos - OpenOneRec 벤치마크)에서 NaviGen을 평가했습니다.

• 개인화 생성 성능: NaviGen은 대부분의 non-oracle 비교에서 최첨단(SOTA) 결과를 달est했습니다.
  • 이미지: 모든 도메인에서 참신성(Novelty), 미학(Aesthetic), 관련성(Relevance) 측면에서 앞섰으며, 특히 게임과 숏폼 비디오에서 강력한 성능을 보였습니다.
  • 비디오: 12개의 non-oracle 비교 중 9개에서 최고의 성과를 거두며, 프레임 수준의 일관성과 선호도 특화 관련성 사이의 균형을 맞추었습니다.
  • Oracle과의 비교: "Oracle"(정답 타겟 의미론에 조건화된 모델)이 가장 높은 관련성을 달성했지만, NaviGen은 Product 및 Short Video 이미지의 미학 점수에서 Oracle을 능가했습니다. 이는 타겟 의미론만으로는 우수한 지각적 품질을 보장하지 못함을 시사합니다.
• 협업 식별자 예측: NaviGen은 Product 및 Short Video 도메인에서 Recall@20 및 NDCG@20를 중심으로 강력한 베이스라인(SASRec, TIGER, LC-Rec, OneRec)보다 뛰어난 차기 아이템 CID 예측 성능을 보였습니다.
• 절제 연구 (Ablation Studies): TID 근거, CID 초기화, 추론 감독 또는 GRPO 최적화를 제거했을 때 성능이 일관되게 저하되었으며, 이는 생성 품질과 행동 모델링 모두에 각 구성 요소가 필수적임을 확인해 줍니다.

5. 의의 및 주장

본 논문은 NaviGen이 암묵적 사용자 행동에서 제어 가능한 멀티모달 합성으로 가는 통합된 경로를 구축한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 입력 병목 현상 해결: 엔드 유저가 상세한 프롬프트를 작성할 수 없다는 근본적인 한계를 자동화된 행동 신호의 고품질 지시어 변환을 통해 해결합니다.
• 행동과 의미론의 분리: 행동 코딩(CID)과 의미론적 근거(TID)를 분리함으로써, 모델이 선호도 예측을 단순한 최종 목표가 아닌 중간 추론 단계로 취급하게 하여 더 견고한 일반화를 가능하게 합니다.
• AIGC 유용성 증대: 이 프레임워크는 다운스트림 생성기가 단순히 고충실도 콘텐츠를 만드는 것을 넘어, 개별 사용자의 취향에 구체적으로 부합하는 콘텐츠를 생산할 수 있게 합니다.

저자들은 본 연구가 "창의적 제어를 위한 보조 레이어"임을 명시하며, 상호작용 이력 사용에 관한 사용자의 명시적 동의와 개인정보 보호 조치가 실제 배포에 필요함을 강조하며 신중한 입장을 유지합니다.