기술 요약: 동적 보상 최적화를 통한 다중 참조 이미지 생성의 스케일링

문제 정의

개인화된 이미지 생성 기술은 크게 발전했으나, **다중 참조 이미지 생성(Multi-Reference Image Generation, MRIG)**은 여전히 도전적인 과제로 남아 있습니다. MRIG는 다양한 유형(예: 피사체, 포즈, 스타일, 조명, 배경)의 여러 참조 이미지를 하나의 일관된 출력물로 효과적으로 통합하는 것을 요구합니다. 기존 연구는 다음과 같은 두 가지 주요 한계로 인해 어려움을 겪고 있습니다:

1. 불충분한 평가: 현재의 벤치마크는 일반적으로 참조 이미지의 수가 적거나 단일 참조 유형에 국한된 단순한 작업에 집중되어 있습니다. 이러한 벤치마크는 수많은 다양한 참조를 통합해야 하는 시나리오를 평가할 만큼 복잡성이 부족하며, 특정 참조 유형에 대한 성능을 평가하지 못하는 거친 입도의 지표에 의존하는 경우가 많습니다.
2. 오픈 소스 모델의 성능 저하: 주요 오픈 소스 모델들은 복잡한 MRIG 시나리오에서 어려움을 겪습니다. 몇 개의 참조 이미지를 사용할 때는 적절히 작동하지만, 혼합된 유형의 참조 이미지 수가 증가함에 따라 성능이 급격히 저하되어 최첨단(SOTA) 폐쇄형 모델과의 상당한 격차를 보입니다.

방법론: DyRef 프레임워크

이러한 문제를 해결하기 위해 저자들은 동적 보상 최적화를 통해 MRIG 역량을 확장하도록 설계된 2단계 학습 프레임워크인 DyRef를 제안합니다.

1단계: 지도 미세 조정 (Supervised Fine-Tuning, SFT)

첫 번째 단계는 모델이 복잡한 MRIG 작업을 처리할 수 있는 기본 능력을 갖추도록 합니다.

• 베이스라인: 저자들은 Qwen-Image-Edit-2511(듀얼 스트림 MMDiT 백본)을 학습 베이스라인으로 활용합니다.
• 데이터: 텍스트-이미지(T2I) 모델을 통해 타겟 이미지를 생성하고, 세그멘테이션 및 편집 모델을 사용하여 그에 대응하는 참조 이미지(피사체, 배경, 스타일, 조명, 포즈)를 도출하는 파이프라인을 통해 약 14,000개의 학습 샘플을 구축했습니다.
• 학습: 모델은 복잡한 다중 참조 입력과 타겟 출력 사이의 근본적인 매핑을 학습하기 위해 Flow Matching 손실과 함께 LoRA를 사용하여 미세 조정됩니다.

2단계: 동적 보상 최적화 (Dynamic Reward Optimization)

두 번째 단계는 인간의 선호도와 정렬하고 어려운 샘플에 대한 성능을 개선하기 위해 강화 학습(구체적으로 Flow-GRPO)을 사용합니다. 이 단계에서는 두 가지 새로운 구성 요소를 도입합니다:

1. 난이도 인지형 어드밴티지 재가중치 (Difficulty-aware Advantage Reweighting, DAR):

   • 동기: 표준 RL 학습은 단순한 샘플(적은 수의 참조)에 의해 주도되는 경향이 있는 반면, 복잡한 샘플(많은 혼합 유형 참조)은 낮은 초기 보상 점수로 인해 학습 신호가 불충분합니다.
   • 메커니즘: DAR은 그룹 내 샘플의 평균 보상 점수를 기반으로 그룹 가중치를 할당함으로써 최적화 목표를 동적으로 조정합니다. 이는 모델이 어려운 케이스(수많은 혼합 유형 참조가 포함된 경우)에 집중하도록 가중치를 높이는 동시에, 성능이 좋은 단순 샘플에 과적합되는 것을 방지합니다.

2. 변별적 보상 스케일링 (Discriminative Reward Scaling, DRS):

   • 동기: 표준 시각적 인코더(예: CLIP, SigLIPv2)의 보상 신호는 종종 좁은 분포를 보이며, 고품질 샘플과 저품질 샘플이 유사한 점수를 받아 정책 업데이트를 위한 그래디언트 신호가 약해지는 문제가 발생합니다.
   • 메커니즘: DRS는 원시 보상 점수에 변환 함수를 적용하여 그룹 내 보상 차이를 확대합니다. 이러한 증폭은 우수한 샘플이 열등한 샘플보다 현저히 높은 보상을 받도록 보장하여 더욱 효과적인 정책 최적화를 촉진합니다.

보상 신호

프레임워크는 하이브리드 보상 시스템을 활용합니다:

• 스타일 정렬: 스타일 관련 작업을 가이드하기 위해 CSD(스타일 유사도 지표)를 사용합니다.
• 의미론적 일관성: 생성된 이미지와 타겟 이미지 사이의 의미론적 일관성을 측정하기 위해 SigLIPv2(또는 CLIP)를 사용합니다.

주요 기여

1. OmniRef-Bench: 저자들은 5가지 참조 유형(피사체, 배경, 스타일, 조명, 포즈)과 최대 4개의 동시 참조 유형을 다루는 395개의 전문가 주석 사례로 구성된 새로운 벤치마크를 도입합니다. 이는 객관적인 정량적 지표와 각 참조 유형에 대한 세밀한 기준을 가진 멀티모달 거대 언어 모델(MLLM) 기반 평가를 결합한 하이브리드 평가 전략을 특징으로 합니다.
2. DyRef 프레임워크: SFT를 DAR 및 DRS와 결합하여 복잡한 MRIG 작업에서 오픈 소스 모델과 폐쇄형 모델 간의 성능 격차를 성공적으로 메우는 2단계 학습 접근법을 제공합니다.
3. 실증적 검증: 광범한 실험을 통해 DyRef가 OmniRef-Bench에서 기존 오픈 소스 모델(예: OmniGen2, DreamOmni2, BAGEL)을 객관적 지표에서 최소 12%, MLLM 평가에서 29% 이상 상회하며, 단일 이미지 편집 벤치마크에도 잘 일반화됨을 입증했습니다.

실험 결과

• OmniRef-Bench 성능: DyRef는 객관적 지표에서 기존 오픈 소스 모델(예: OmniGen2, DreamOmni2, BAGEL)보다 최소 12% 우수하며, MLLM 평가에서는 29% 더 높은 성능을 보입니다. 특히, 스타일 및 포즈 관련 지표에서 Nano Banana Pro 및 Seedream 4.5와 같은 SOTA 폐쇄형 모델에 필적하는 결과를 달ach합니다.
• 일반화: 이 방법은 단일 이미지 편집 벤치마크(ImgEdit 및 DreamBench++)에서도 성능을 향상시켜, 다중 참조 능력의 강화가 기본적인 이미지 편집 기술을 저해하지 않음을 보여줍니다.
• 강건성: 이 접근 방식은 다양한 모델 규모(9B 및 20B 파라미터 모델에서 테스트됨)에 걸쳐 효과적임을 보여주며, 본 적 없는 참조 유형에 대해서도 성능을 유지합니다.
• 사용자 연구: 인간 전문가를 대상으로 한 연구는 MLLM 기반 평가가 인간의 선호도와 잘 일치함(피어슨 상관계수 0.9)을 확인하였으며, DyRef가 생성한 이미지가 폐쇄형 베이스라인에 비해 높은 순위를 차지함을 보여줍니다.

의의 및 주장

본 논문은 참조의 복잡성과 개수가 증가함에 따라 관찰되는 오픈 소스 모델의 결정적인 성능 저하 문제를 해결하는 것이 이 연구의 주요 기여라고 주장합니다. 저자들은 OmniRef-Bench를 도입함으로써 복잡한 MRIG 시나리오를 엄격하게 평가할 수 있는 필수적인 도구를 제공하고, 기존 방법들의 한계를 드러냈습니다. DyRef를 통해, 저자들은 동적 보상 최적화(특히 DAR 및 DRS)가 다양한 참조 규모에 따른 성능 편차를 효과적으로 완화할 수 있음을 입증했습니다.

저자들은 본 연구를 고품질의 복잡한 다중 참조 이미지 생성을 오픈 소스 모델을 통해 접근 가능하게 만드는 단계로 규정합니다. 이는 다양한 시각적 요소의 일관된 통합이 필수적인 전문 시각 디자인 및 광고 분야에서 매우 중요합니다. 저자들은 DyRef가 격차를 크게 좁혔음에도 불구하고, 극단적인 시나리오에서의 지시 이행(instruction following) 및 특징 분리(feature disentanglement)와 관련하여 복잡한 MRIG는 여전히 해결해야 할 과제로 남아 있음을 인정합니다.