Unified Reward Model for Multimodal Understanding and Generation

이 논문은 이미지 및 비디오 생성과 이해를 아우르는 대규모 인간 선호도 데이터셋을 기반으로 구축된 최초의 통합 보상 모델 'UnifiedReward'를 제안하여, 다양한 시각 작업 간의 시너지 효과를 통해 인간 선호도에 부합하는 멀티모달 모델 정렬을 달성함을 보여줍니다.

핵심

이 논문은 **"UnifiedReward(유니파이드리워드)"**라는 새로운 인공지능 시스템을 소개합니다. 이 시스템은 AI 가 만든 그림이나 영상을 사람이 좋아할 만한지, 아니면 싫어할지 판단하는 '전문 심사위원' 역할을 합니다.

기존의 AI 는 그림을 그리는 AI 와 영상을 만드는 AI, 그리고 그림을 설명하는 AI 가 각각 따로따로 심사위원을 고용하고 있었어요. 하지만 이 논문은 **"하나의 똑똑한 심사위원이 모든 일을 다 잘할 수 있다"**는 아이디어를 제시합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제점: "각자 따로 노는 심사위원들"

지금까지 AI 를 가르칠 때는 다음과 같은 문제가 있었습니다.

• 그림 심사위원: 그림만 잘 봤지, 영상은 못 봤어요.
• 영상 심사위원: 영상은 잘 봤지만, 그림의 디테일은 놓쳤어요.
• 이유: 각자 다른 데이터로 훈련받았기 때문에, 서로의 영역을 잘 이해하지 못했어요.

마치 요리사가 있는데, 스시 요리사는 일본 음식만 평가하고, 파스타 요리사는 이탈리아 음식만 평가하는 것과 비슷합니다. 만약 스시 요리사가 파스타를 평가하면 "소스 양이 좀 많네"라고만 말하지, "면발이 쫄깃하지 않아" 같은 깊은 평가를 못 할 수 있죠.

2. 해결책: "만능 심사위원 (UnifiedReward)"

저자들은 이 문제를 해결하기 위해 **모든 것을 한 번에 배우는 '만능 심사위원'**을 만들었습니다.

• 비유: 이 심사위원은 미식가이자 영화 평론가이자 사진 작가를 모두 한 몸에 갖춘 사람입니다.
• 시너지 효과: 이 심사위원은 "그림을 잘 보는 능력"이 "영상 평가"에도 도움을 주고, "영상의 흐름을 이해하는 능력"이 "그림의 구성"을 평가하는 데도 도움을 준다고 말합니다.
  • 예시: 영화에서 한 장면을 잘 찍은 걸 보면, 그 장면의 구성이 좋은 그림임을 알 수 있죠. 반대로, 좋은 그림의 색감을 알면 영상 속 색감도 잘 평가할 수 있습니다. 서로의 실력이 서로를 도와주는 '상호 보완' 효과가 일어나는 것입니다.

3. 작동 방식: "선별과 정제 과정"

이 만능 심사위원은 어떻게 AI 를 가르칠까요? 세 단계로 나뉩니다.

1. 대량 데이터 학습: 사람 thousands 명이 "이 그림이 더 예쁘다", "이 영상 설명이 더 자연스럽다"라고 남긴 수많은 의견들을 모아 심사위원을 훈련시킵니다.
2. AI 의 작품 선별 (2 단계 필터링):
   • 1 단계 (순위 매기기): AI 가 만든 그림 10 개를 보고 "A 와 B 중 뭐가 더 낫지?"라고 두 개씩 짝을 지어 비교합니다. (비유: 예선전)
   • 2 단계 (점수 매기기): 그중에서 진짜로 좋은 것만 골라내서 점수를 줍니다. (비비: 본선 진출자 확정)
   • 이 과정을 통해 가장 좋은 것과 가장 나쁜 것을 명확하게 가려냅니다.
3. AI 교정 (DPO): 이렇게 가려낸 '좋은 예시'와 '나쁜 예시'를 AI 에게 보여줍니다. "이건 칭찬받고, 이건 지적받아야 해"라고 가르쳐서 AI 가 사람 취향에 맞게 스스로 고쳐나가게 합니다.

4. 결과: "모든 분야에서 더 잘하는 AI"

실험 결과, 이 방식을 쓰니 놀라운 일이 벌어졌습니다.

• 그림을 그리는 AI는 더 예쁜 그림을 그렸고,
• 영상을 만드는 AI는 더 자연스러운 영상을 만들었으며,
• 그림을 설명하는 AI는 더 정확한 설명을 하게 되었습니다.

마치 한 명의 천재 코치가 축구, 농구, 야구 선수를 모두 지도했을 때, 선수들이 서로의 기술을 배우며 모두 실력이 급상승한 것과 같습니다.

요약

이 논문은 **"각자 따로 훈련된 AI 심사위원들 대신, 모든 시각 작업을 한 번에 배우는 통합 심사위원을 만들어서, AI 가 사람의 취향을 더 잘 이해하도록 가르쳤다"**는 내용입니다.

이 방법은 AI 가 그림, 영상, 설명 등 다양한 분야에서 사람처럼 더 똑똑하고 자연스럽게 행동하도록 만드는 핵심 열쇠가 될 것입니다.

기술 요약

논문 개요: UNIFIEDREWARD

이 논문은 멀티모달 (이미지 및 비디오) 이해와 생성 작업에 대한 **인간 선호도 정렬 (Human Preference Alignment)**을 위한 최초의 통합 보상 모델인 UNIFIEDREWARD를 제안합니다. 기존에는 특정 작업 (예: 이미지 생성 전용, 비디오 이해 전용) 에 맞춰 훈련된 보상 모델이 주류였으나, 본 연구는 다양한 시각 작업을 통합적으로 학습함으로써 상호 시너지 효과를 얻고 더 강력한 보상 신호를 제공하는 것을 목표로 합니다.

---

1. 문제 제기 (Problem Statement)

• 작업 특화적 한계: 기존 보상 모델들은 특정 작업 (이미지 생성, 비디오 생성, 이미지 이해 등) 에만 최적화되어 있어 다양한 시각 응용 분야로의 적응성이 제한적입니다.
• 데이터 부족: 포괄적인 인간 선호도 데이터셋이 부재하여, 다양한 작업에 걸쳐 통합된 보상 모델을 훈련하기 어렵습니다.
• 상호 연결성 간과: 시각 작업들 (이미지 이해, 생성, 비디오 분석 등) 은 본질적으로 밀접하게 연결되어 있음에도 불구하고, 기존 연구들은 이를 분리하여 학습했습니다. 저자들은 이미지 이해 능력이 생성 평가에, 그리고 이미지 평가가 비디오 프레임 분석을 통한 비디오 평가에 시너지 효과를 줄 수 있다고 주장합니다.

2. 방법론 (Methodology)

제안된 파이프라인은 크게 세 가지 단계로 구성됩니다 (그림 1, 그림 3 참조).

가. 통합 보상 모델 훈련 (Unified Reward Model Training)

• 데이터 구축: 이미지/비디오 생성 및 이해 작업을 아우르는 대규모 인간 선호도 데이터셋 (약 236K 샘플) 을 구축했습니다. 기존 데이터셋 (EvalMuse, HPD, LLaVA-Critic, VideoDPO 등) 을 통합 및 전처리하여 **Pairwise Ranking (쌍별 순위)**과 Pointwise Scoring (점수 매기기) 두 가지 태스크를 모두 포함합니다.
• 모델 아키텍처: 강력한 시각 이해 능력을 가진 사전 훈련된 VLM(Visual Language Model, 예: LLaVA-OneVision 7B) 을 베이스로 사용합니다.
• 학습 전략: 모델에 평가 능력을 추가적인 판별 기술로 통합하여, 지시어 (Instruction) 에 따라 쌍별 순위 또는 점수를 예측하도록 미세 조정 (Fine-tuning) 합니다. 이해 작업의 경우 질문과 응답을, 생성 작업의 경우 캡션과 생성된 이미지를 입력으로 받습니다.

나. 선호도 데이터 구축 (Preference Data Construction)

훈련된 UNIFIEDREWARD 를 활용하여 고품질의 선호도 데이터를 자동 생성하는 2 단계 필터링 전략을 도입합니다.

1. 데이터 생성: VLM 또는 확산 모델 (Diffusion Model) 이 여러 후보 출력 (N 개) 을 생성합니다.
2. 쌍별 순위 (Pair Ranking): N 개의 출력을 N/2 개의 쌍으로 묶어 UNIFIEDREWARD 로 비교하여 '선택 (Chosen)' 리스트와 '거부 (Rejected)' 리스트로 나눕니다.
3. 점수 선별 (Point Sifting): 두 리스트의 모든 항목에 대해 점수를 매깁니다. 최종적으로 '선택' 리스트 중 최고 점수 항목과 '거부' 리스트 중 최저 점수 항목을 선택하여 고품질의 선호도 쌍 (Preference Pair) 을 구성합니다.
   • 이 방식은 상대적 비교 (Ranking) 와 절대적 품질 평가 (Scoring) 를 결합하여 노이즈가 적은 데이터를 확보합니다.

다. 모델 정렬 (Model Alignment)

구축된 선호도 데이터를 사용하여 **직접 선호도 최적화 (Direct Preference Optimization, DPO)**를 수행합니다.

• 생성 모델 (Diffusion): SDXL-Turbo, T2V-Turbo 등에 적용하여 생성 품질을 향상시킵니다.
• 이해 모델 (VLM): LLaVA-OneVision, LLaVA-Video 등에 적용하여 답변의 정확성과 인간 선호도 정렬을 개선합니다.

---

3. 주요 기여 (Key Contributions)

1. 최초의 통합 보상 모델: 이미지와 비디오의 이해 및 생성 작업을 동시에 평가할 수 있는 최초의 통합 보상 모델 (UNIFIEDREWARD) 을 개발했습니다.
2. 범용 정렬 파이프라인: 시각 이해 및 생성 모델 모두에 적용 가능한 새로운 선호도 정렬 파이프라인을 제시했습니다. 이는 기존에 미개척되었던 분야입니다.
3. 작업 간 시너지 효과 입증: 다양한 시각 작업을 통합적으로 학습함으로써 단일 작업 학습보다 성능이 크게 향상됨을 실험적으로 증명했습니다. 특히, 데이터가 부족한 작업 (예: 비디오 생성) 에서도 다른 작업의 지식이 전이되어 성능이 개선되었습니다.

---

4. 실험 결과 (Experimental Results)

• 보상 모델 성능:
  • 이미지 이해: VLRewardBench 에서 기존 SOTA 모델 (LLaVA-Critic, GPT-4o 등) 을 능가하는 성능을 보였습니다.
  • 이미지/비디오 생성: GenAI-Bench 및 VideoGen-RewardBench 에서 기존 보상 모델 (PickScore, HPSv2, VisionReward 등) 보다 높은 정확도를 기록했습니다. 특히 비디오 생성 평가 데이터가 상대적으로 적음에도 불구하고 멀티태스크 학습을 통해 우수한 성능을 발휘했습니다.
• DPO 정렬 성능:
  • 이해 작업: LLaVABench, ShareGPTVideo 등 다양한 벤치마크에서 기존 DPO 방법론보다 일관되게 높은 점수를 기록했습니다.
  • 생성 작업: SDXL-Turbo 와 T2V-Turbo 에 적용 시, 생성된 이미지의 품질과 시맨틱 일관성이 기존 방법 (Pick-a-Pic, VideoDPO) 보다 우수함을 정량적/정성적 (Fig. 4, 5) 으로 입증했습니다.
• 시너지 분석:
  • 단일 작업 학습 대비 통합 학습이 전반적인 정확도를 크게 향상시켰습니다 (예: 이미지 이해 + 비디오 이해 학습 시 정확도 5.3% 향상).
  • 데이터 양을 맞춘 제어 실험 (Budget-matched control) 을 통해 성능 향상이 단순히 데이터 양 증가 때문이 아니라 작업 간 시너지에서 비롯됨을 확인했습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 범용성과 확장성: UNIFIEDREWARD 는 이미지와 비디오, 이해와 생성이라는 다양한 영역을 하나의 모델로 통합하여 처리함으로써, 시각 AI 모델의 정렬 과정에 있어 더 강력하고 유연한 도구를 제공합니다.
• 효율성: 별도의 작업별 보상 모델을 훈련할 필요 없이 하나의 통합 모델을 통해 다양한 작업의 선호도 정렬을 수행할 수 있어 자원 효율성이 높습니다.
• 미래 전망: 이 연구는 멀티모달 AI 의 발전 방향을 '작업 특화'에서 '통합적 이해'로 전환시키는 중요한 이정표가 될 것으로 기대됩니다. 특히, 생성 모델의 품질을 높이는 데 있어 인간 선호도를 반영한 정렬의 중요성을 다시 한번 강조하며, 향후 더 복잡한 멀티모달 작업에도 적용 가능한 기반을 마련했습니다.