Generative Retrieval via Diffusion Transformer with Metric-Ordered Sequence Training and Hybrid-Policy Preference Optimization

기술 요약: Metric-Ordered Sequence Training 및 Hybrid-Policy Preference Optimization을 통한 확산 트랜스포머 기반 생성적 검색

문제 정의: 패턴 보존형 속성 검색 (Pattern-Preserving Attribute Retrieval)

본 논문은 실제 운영 중인 검색 시스템의 특정 한계점을 다룹니다: 즉, 타겟 속성(예: 품질, 안전성, 정책 준수)을 충족하는 것과 시드 집합(seed set)에 의해 정의된 미세한 패턴(예: 특정 시각적 스타일, 주제, 또는 실패 모드)을 보존하는 것 사이의 긴장 관계입니다.

표준적인 접근 방식들은 이 두 목표 사이의 균형을 맞추는 데 실패합니다:

• **시드 임베딩 평균화(Averaging seed embeddings)**는 패턴은 보존하지만, 종종 속성 밀도가 낮은 영역에 도달하여 원하는 속성이 결여된 평범한 아이템들을 검색하게 됩니다.
• **글로벌 속성 검색(Global attribute retrieval)**은 타겟 속성을 가진 아이템은 찾아내지만, 관련 없는 패턴으로 표류하여 무관한 변체(variant)들이 결과에 범람하게 만듭니다.

저자들은 이를 패턴 보존형 속성 검색으로 공식화합니다. 목표는 속성-긍정(attribute-positive)적이면서 동시에 시드 패턴을 따르는 상위-$K$개의 이웃을 검색할 수 있는 쿼리 임베딩을 생성하는 것입니다. 이들은 속성 실패와 패턴 표류를 모두 페널티로 부여하는 주요 교차 지표인 Joint@K를 정의합니다.

방법론: MO-DiT+HPPO

제안된 프레임워크인 MO-DiT+HPPO(Metric-Ordered Diffusion Transformer with Hybrid-Policy Preference Optimization)는 특정 패턴 클러스터 내에 머물면서 저밀도 영역에서 고밀도 영역으로 임베딩 공간을 탐색하도록 설계된 단계별 학습 파이프라인입니다.

1. 아키텍처: 연속적 생성적 검색기 (Continuous Generative Retriever)

핵심 모델은 동결된 멀티모달 임베딩 공간에서 작동하는 **확산 트랜스포머(Diffusion Transformer, DiT)**입니다.

• 입력: 일련의 아이템 임베딩(시드 집합)이 컨디션 토큰(condition tokens) 역할을 합니다.
• 출력: 플로우 매칭(flow matching)을 통해 생성된 연속적인 쿼리 임베딩입니다.
• 메커니즘: 모델은 단위 초구체(unit hypersphere) 상의 측지선(geodesic path)을 따라 가우시안 노이즈를 타겟 임베딩으로 운송하는 속도장(velocity field)을 학습합니다. 이산적(discrete) 생성적 검색과 달리, 유효하지 않은 식별자를 환각(hallucination)하는 것을 방지하며 직접적으로 연속적인 벡터를 합성합니다.

2. Metric-Ordered 시퀀스 구축

밀집된 온라인 라벨링 없이 모델에게 "개선"의 방향을 가르치기 위해, 저자들은 다음과 같이 학습 궤적을 구축합니다:

• 클러스터링: 속성-긍정 아이템들을 클러스터링하여 잠재적 패턴 프록시(latent pattern proxies)를 정의합니다.
• 희소 라벨링(Sparse Labeling): 소수의 아이템에 대해 "검색 밀도"(상위-$K$ 이웃 중 속성을 만족하는 비율)를 온라인으로 라벨링합니다.
• 예측 및 정렬: 경량 메트릭 예측기를 학습시켜 전체 풀(pool)에 점수를 매깁니다. 패턴 클러스터 내의 아이템들은 낮은 속성 밀도에서 높은 속성 밀도로 정렬됩니다.
• 결과: 학습 시퀀스는 평범한 인-패턴(in-pattern) 아이템에서 고-속성 밀도 영역으로 이동하는 궤적을 나타냅니다.

3. 단계별 학습 파이프라인

이 프레임워크는 동일한 DiT 백본과 플로우 매칭 목적 함수를 사용하지만, 서로 다른 데이터와 감독 타겟을 사용하는 4단계로 진행됩니다:

• 1단계: 대규모 Raw-Sequence 사전 학습: 자연스러운 시퀀스(예: 사용자 행동 스트림)를 사용하여 일반적인 연속적 검색 사전 지식(prior)을 확립하며, 이때 메트릭 정렬은 수행하지 않습니다.
• 2단계: 공유 멀티 도메인 Metric-Ordered CPT (Continuation Pretraining): 구축된 메트릭 정렬 시퀀스를 통해 모든 도메인에서 학습합니다. 모델은 낮은 밀도에서 높은 밀도 궤적을 따라 다음 아이템을 예측하는 법을 배우며, "메트릭 개선 방향"을 일반적인 능력으로 내재화합니다.
• 3단계: 도메인 특화 Tail-Centroid SFT (Supervised Fine-Tuning): 입력 프리픽스(앞부분 $m$개의 아이템)를 고밀도 테일(뒷부분 $L-m$개의 아이템)의 **중심점(centroid)**에 매핑합니다. 단일 최상위 아이템 대신 중심점을 사용함으로써 노이즈와 이상치에 대한 민감도를 줄입니다.
• 4단계: HPPO (Hybrid-Policy Preference Optimization): 모델을 실제 온라인 목적 함수(Joint@K)에 정렬합니다.
  • 하이브리드 후보 풀: 두 가지 소스에서 후보를 생성합니다: (1) 결정론적인 테일-중심점 구축물(정적, 패턴 보존형) 및 (2) "가이던스 스케일 팬(guidance-scale fan)"을 통해 샘플링된 정책 생성 쿼리(패턴과 속성 간의 트레이드오프를 조절함).
  • 라벨링: 실제 온라인 검색(Joint@K 및 Same@K)을 사용하여 후보들을 점수화합니다.
  • Pareto Pair 필터: 선호 쌍(preference pairs)을 필터링하는 핵심 구성 요소입니다. "승자"(더 높은 Joint@K)는 "패자"에 비해 Same-Pattern Share(순도)를 감소시키지 않는 경우에만 수용됩니다. 이는 모델이 관련 없는 패턴으로 표류하여 속성 점수를 얻는 것을 방지합니다.
  • 최적화: 동결된 SFT 참조 모델에 의해 정규화된, 레퍼런스 앵커 기반 선호도 손실(DPO와 유사)을 사용합니다. 여기서 점수는 음의 플로우 매칭 손실입니다.

주요 기여

1. 정형화: 패턴 보존형 속성 검색과 Joint@K 교차 지표를 정의했습니다.
2. Metric-Ordered Sequences: 희소한 온라인 라벨을 속성 개선의 방향을 인코딩하는 대규모 인-패턴 학습 궤적으로 변환하는 방법을 도입했습니다.
3. 단계별 프레임워크: 공유된 멀티 도메인 CPT 이후 도메인 특화 테일-중심점 SFT를 수행하는 것이 다양한 도메인에서 검색 성능을 향상시킨다는 것을 입증했습니다.
4. HPPO: 연속적 확산 검색을 위한 선호도 최적화를 적응시켰으며, 하이브리드 후보 풀과 트레이드오프 인식 Pareto pair 필터를 활용하여 속성 이득이 패턴 순도를 희생시키지 않도록 보장했습니다.
5. 평가 프로토콜: 아이템 및 패턴 홀드아웃 분할과 쌍별 부트스트랩(paired-bootstrap) 유의성 검정을 포함한 엄격한 평가 프로토콜을 수립했습니다.

결과

본 논문은 엄격한 홀드아웃 프로토콜 하에 4개의 대규모 속성 도메인(D1–D4)에서 접근 방식을 평가합니다.

• 성능: MO-DiT+HPPO 파이프라인은 강력한 사전 학습된 생성적 검색기와 단순 평균 베이스라인을 크게 능가합니다.
• 유의성: Joint@K의 이득은 8개 도메인 분할 셀 중 7개에서 크고 통계적으로 유의미합니다(paired-bootstrap). 가장 어려운 도메인의 패턴 분할에서도 방법론은 미미한 수준의 동률(tie)을 기록하며 견고함을 보여주었습니다.
• Ablation 연구:
  • Pareto Filter: 필터를 제거하면 모델이 속성-패턴 프런티어를 따라 미끄러져 내려갑니다(속성은 얻지만 순도는 잃음). 필터는 프런티어를 바깥쪽으로 밀어내어, Same-Pattern Share를 유지하거나 증가시키면서 Joint@K를 개선합니다.
  • Candidate Policy: 정적(테일-중심점) 후보와 정책 생성(가이던스-팬) 후보는 서로 보완적임이 확인되었습니다. 하이브리드 풀은 두 방식 중 하나만 사용할 때보다 더 나은 결과를 냅니다.
  • Ordering: 메트릭 정렬 학습은 비정렬 또는 단일 도메인 베이스라인보다 우수한 성능을 보입니다.

의의 및 주장

본 논문은 MO-DiT+HPPO가 연속적 생성적 검색에서 속성 만족과 패턴 보존 사이의 긴장 관계를 성공적으로 해결한다고 주장합니다. 검색을 연속 공간에서의 생성 문제로 취급하고, 일반적인 사전 지식에서 특정 메트릭 정렬 궤적으로 이동하는 단계적 접근 방식을 사용함으로써, 시스템은 특정 패턴의 고밀도 영역을 타겟팅하는 쿼리를 합성하는 법을 배웁니다.

저자들은 Pareto pair 필터가 "보상 해킹(reward hacking, 패턴을 희생하여 속성을 얻는 행위)"을 방지하는 핵심 요소임을 강조합니다. 이 프레임워크는 값비싼 사전 학습은 공유하면서, 최종 정렬(HPPO)은 계산 비용이 적고 학습된 프록시 보상이 아닌 실제 온라인 메트릭에 의존하기 때문에 실용적인 도메별 리프레시(refresh)가 가능합니다. 이 연구는 오프라인 생성 모델링과 온라인 검색 목적 함수 사이의 간극을 메우며, 시드 패턴의 특정 의도를 잃지 않으면서 콘텐츠 발견, 변체 탐지, 데이터셋 큐레이션과 같은 다운스트림 태스크를 위한 시드 집합을 확장할 수 있는 방법을 제공합니다.