Seeing What Matters: Visual Preference Policy Optimization for Visual Generation

이 논문은 기존 GRPO 의 단일 스칼라 보상 한계를 극복하고, 사전 학습된 비전 백본을 활용해 공간적·시간적 구조를 반영한 픽셀 단위 이득 맵을 생성함으로써 시각 생성 모델의 정밀한 정렬과 일반화 성능을 향상시키는 '시각적 선호 정책 최적화 (ViPO)'를 제안합니다.

핵심

1. 문제점: "모든 것을 똑같이 혼내거나 칭찬하는 선생님"

지금까지 AI 그림을 가르칠 때 (강화 학습), 우리는 그림 한 장 전체에 대해 하나의 점수만 매겼습니다.

• 비유: 학생이 그림을 그렸는데, 선생님이 "이 그림은 80 점이야!"라고 말하며 화면 전체에 똑같은 점수를 붙인다고 상상해 보세요.
• 문제: 그림 속에는 '잘 그린 얼굴'도 있고, '망친 배경'도 있을 수 있습니다. 그런데 점수가 전체에 똑같이 적용되면, AI 는 "아, 얼굴을 고쳐야 하나? 아니면 배경을 고쳐야 하나?"를 구분하지 못합니다. 결과적으로 잘못된 부분만 고쳐야 하는데, 엉뚱한 부분까지 수정하거나, 중요한 디테일을 놓치는 경우가 생깁니다.

2. 해결책: "세부 사항을 잘 아는 '시각적 선호도' 지도"

이 논문에서 제안한 ViPO는 이 문제를 해결하기 위해 **"어떤 부분이 중요한지 알려주는 지도"**를 만들어냅니다.

• 비유: 이제 선생님은 그림 한 장 전체에 점수를 주는 대신, 화면 속 각 부분마다 다른 점수를 매깁니다.
  • "주인공의 눈은 100 점! (잘 그렸으니 더 잘해)"
  • "배경의 나무는 50 점! (조금 어색하니까 고쳐야 해)"
  • "하늘은 80 점! (그대로 유지)"
• 어떻게 하나요? AI 는 이미 훈련된 '눈' (시각 모델) 을 통해 그림을 보고, **"사람이 가장 주목할 만한 부분 (주인공, 중요한 사물)"**과 **"그저 배경일 뿐인 부분"**을 자동으로 구별합니다. 이를 **PSM(지각 구조화 모듈)**이라고 부릅니다.

3. 작동 원리: "집중력을 필요한 곳에 쏟는 훈련"

이제 AI 는 이 '지도'를 보고 학습합니다.

• 기존 방식 (GRPO): "전체 그림이 부족해. 전체를 다시 그려봐!"라고 말하며 전체적인 수정을 강요합니다.
• 새로운 방식 (ViPO): "주인공 얼굴은 훌륭하지만, 손가락이 이상하네? 손가락 부분만 집중해서 고쳐봐!"라고 구체적인 지시를 내립니다.
• 효과: AI 는 불필요한 부분 (배경 등) 에 에너지를 낭비하지 않고, 사람의 눈이 가장 잘 보이는 중요한 부분에 집중하여 수정합니다.

4. 실제 결과: "더 자연스럽고 아름다운 그림"

이 방법을 적용한 결과, 다음과 같은 변화가 일어났습니다.

• 자연스러운 조화: 예를 들어, "남자가 무언가를 들고 있는 그림"을 그릴 때, 기존 방식은 남자와 들고 있는 물체가 어색하게 떨어지거나 겹치는 경우가 많았습니다. 하지만 ViPO 는 **"남자와 물체의 연결 부분"**을 중요하게 여겨, 마치 실제 사진처럼 자연스럽게 표현합니다.
• 동영상의 자연스러움: 영상을 만들 때도, 말리는 말의 다리가 두 개로 나뉘거나 부러지는 같은 실수가 줄어들었습니다. 중요한 움직임 부분에 집중력을 쏟았기 때문입니다.
• 실수 방지: "빨간색으로 칠해줘"라는 명령을 받았을 때, 기존 방식은 그림 속 사람 얼굴까지 빨갛게 변형시켜 망치는 경우가 있었지만, ViPO 는 배경이나 옷 같은 부분만 빨갛게 칠하고 사람의 얼굴은 원래 모양을 유지했습니다.

5. 요약

이 논문은 **"AI 가 그림을 그릴 때, 전체를 다스리는 거창한 점수표 대신, 사람 눈이 가장 잘 보는 '중요한 부분'을 찾아내어 그곳에만 집중해서 가르치는 새로운 방법"**을 제안했습니다.

마치 명품 수선공이 옷 전체를 다 뜯어고치는 대신, 가장 눈에 띄는 단추 하나만 정성스럽게 다듬어 옷을 완벽하게 만드는 것과 같습니다. 덕분에 AI 가 만든 그림과 영상은 훨씬 더 사람이 보기 좋고, 자연스럽으며, 실수가 적어졌습니다.

기술 요약

1. 문제 정의 (Problem)

최근 강화 학습 (RL) 은 시각 생성 모델 (이미지, 비디오) 을 인간의 선호도와 정렬시키는 데 강력한 도구로 자리 잡았습니다. 특히 **그룹 상대적 정책 최적화 (Group Relative Policy Optimization, GRPO)**는 생성 모델의 품질을 향상시키는 데 널리 사용되고 있습니다.

그러나 기존 GRPO 파이프라인에는 다음과 같은 근본적인 한계가 존재합니다:

• 단일 스칼라 보상 (Single Scalar Reward): 기존 방법은 각 이미지나 비디오 샘플에 대해 전체 콘텐츠에 대한 하나의 스칼라 값 (보상) 만을 할당합니다.
• 구조적 정보 무시: 시각 콘텐츠가 가진 풍부한 공간적 (Spatial) 및 시간적 (Temporal) 구조를 무시합니다. 이는 생성된 콘텐츠 내의 국소적 결함 (artifacts) 을 수정하거나 미세한 지각적 단서 (fine-grained perceptual cues) 를 모델링하는 것을 방해합니다.
• 균일한 가중치: 모든 픽셀이 동일한 스칼라 보상을 공유한다는 가정은, 시각적 품질에 기여도가 다른 영역들 (예: 중요한 주제와 배경) 에 대해 차별화된 학습을 불가능하게 만듭니다. 이로 인해 관련 없는 영역에 잘못된 경사 (gradient) 가 전파되어 최적화가 비효율적이거나 결과가 저하될 수 있습니다.

2. 제안 방법론: ViPO (Visual Preference Policy Optimization)

이러한 한계를 극복하기 위해 저자들은 **시각적 선호도 정책 최적화 (ViPO)**를 제안합니다. ViPO 는 GRPO 의 변형으로, 단순한 스칼라 피드백을 **구조화된 픽셀 단위 (pixel-level) 의 이점 (advantage)**으로 변환합니다.

핵심 구성 요소

1. 지각 구조화 모듈 (Perceptual Structuring Module, PSM):

   • 사전 훈련된 비전 백본 (Vision Backbone, 예: DINOv2, SAM 등) 을 사용하여 생성된 콘텐츠의 공간적 및 시간적 지각적 중요도를 파악합니다.
   • 시각적 선호도 추출기 (Visual Preference Extractor, VPE): 생성된 이미지/프레임의 특징 맵을 추출하여 공간 조직과 고수준 시맨틱 정보를 포착합니다.
   • 시각적 선호도 할당기 (Visual Preference Allocator, VPA): 추출된 특징을 주성분 분석 (PCA) 등을 통해 압축하고, 분산 가중치 (variance-weighted) 를 적용하여 **할당 맵 (Allocation Map)**을 생성합니다. 이 맵은 각 영역이 인간 시각 선호도에 얼마나 중요한지를 나타냅니다.
   • 특징: 이 과정은 픽셀 수준의 밀집 레이블 (dense annotations) 이나 명시적 영역 주석이 필요하지 않습니다.

2. 구조화된 이점 재분배 (Structured Advantage Redistribution):

   • 기존 GRPO 의 단일 스칼라 이점 ($A_i$) 을 PSM 에서 생성된 할당 맵 ($M$) 과 결합하여 **공간 및 시간적으로 분해된 이점 ($A^p_i = M(p) \cdot A_i$)**으로 변환합니다.
   • 이를 통해 모델은 시각적으로 중요한 영역 (예: 사물의 윤곽, 동적 움직임) 에 학습 압력을 집중시키고, 배경이나 덜 중요한 영역에는 상대적으로 적은 압력을 가할 수 있습니다.

3. 목표 함수:

   • ViPO 는 표준 GRPO 의 목적 함수를 확장하여, 각 공간/시간 위치 $p$에 대해 지역적 확률 비율 ($\rho^p_{t,i}$) 과 구조화된 이점 ($A^p_i$) 을 기반으로 손실을 계산합니다. 이는 기존 GRPO 의 안정성을 유지하면서 미세한 정렬을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. ViPO 프레임워크 제안: 시각 콘텐츠 생성을 위해 재설계된 GRPO 프레임워크를 제안했습니다. 이는 스칼라 보상을 공간 및 시간적으로 인식하는 구조화된 피드백으로 변환하여 이미지와 비디오 생성 모두에 적용 가능한 세밀한 최적화를 가능하게 합니다.
2. 지각 구조화 모듈 (PSM) 개발: 사전 훈련된 비전 백본을 활용하여 지각적 관련성 단서를 추출하고, 픽셀 수준의 지도 없이도 이점을 재분배할 수 있는 모듈을 고안했습니다.
3. 광범위한 실험 및 검증: 이미지 및 비디오 벤치마크에서 ViPO 가 기존 GRPO (Vanilla GRPO, DanceGRPO 등) 를 일관되게 능가함을 입증했습니다. 특히 도메인 내 (in-domain) 정렬 성능 향상과 도메인 외 (out-of-domain) 일반화 능력에서 우수한 결과를 보였습니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델:
  • 이미지: FLUX.1-dev 모델을 HPSv2.1, PickScore, ImageReward 등을 사용하여 평가.
  • 비디오: Wan2.1-T2V-14B 모델을 VideoAlign 및 VBench 를 사용하여 평가.
• 정량적 성능:
  • 이미지: ViPO (특히 DINOv2 기반) 는 HPSv2.1, PickScore, ImageReward 등 모든 지표에서 기존 GRPO 보다 높은 점수를 기록했습니다.
  • 비디오: 시각 품질 (VQ), 모션 품질 (MQ), 시맨틱 일관성 등 VBench 지표에서 Wan2.1 과 DanceGRPO 를 모두 상회했습니다.
• 정성적 성능:
  • ViPO 는 더 풍부한 디테일, 더 사실적인 렌더링, 그리고 인간 미학과 물리적 타당성에 부합하는 결과를 생성했습니다.
  • 기존 GRPO 는 때때로 불필요한 배경 디테일 추가나 객체의 구조적 왜곡 (예: 말의 다리 중복, 깨진 형태) 을 초래했으나, ViPO 는 이러한 아티팩트를 줄이고 의미 있는 구조를 보존했습니다.
• 규칙 기반 보상 실험 (Redness Reward):
  • '빨간색'을 강조하는 단순한 규칙 기반 보상을 사용했을 때, 기존 GRPO 는 의미 있는 콘텐츠가 붕괴되는 현상이 발생했으나, ViPO 는 구조적 무결성을 유지하면서 색상 변화에 적응했습니다. 이는 ViPO 가 전역적 경사 신호에 덜 취약함을 보여줍니다.

5. 의의 및 결론 (Significance)

• 공간적 신용 할당 문제 해결: RL 기반 생성 모델에서 발생하는 "어떤 부분이 좋은 결과에 기여했는가?"에 대한 공간적 신용 할당 (Spatial Credit Assignment) 문제를 해결했습니다.
• 효율성과 호환성: ViPO 는 아키텍처에 구애받지 않으며 (architecture-agnostic), 기존 GRPO 파이프라인에 플러그 앤 플레이 (plug-and-play) 방식으로 쉽게 통합될 수 있습니다.
• 향후 연구 방향: 이 연구는 생성 모델이 인간의 지각적 선호도를 더 정교하게 이해하고 반영할 수 있는 새로운 방향을 제시합니다. 특히 고차원 생성 작업에서 구조화된 피드백과 영역 인식 정책 학습의 중요성을 부각시켰습니다.

요약하자면, ViPO는 생성된 이미지의 전역적 품질뿐만 아니라 어떤 영역이 중요한지를 인지하고 해당 영역에 학습을 집중시킴으로써, 인간이 선호하는 더 자연스럽고 일관된 시각 콘텐츠를 생성하는 혁신적인 방법론입니다.