💬 NLP

SRUM: Fine-Grained Self-Rewarding for Unified Multimodal Models

SRUM은 외부 보상 모델이나 인간이 라벨링한 데이터 없이도 시각적 생성 충실도를 크게 향상시키기 위해 모델 자체의 이해 모듈을 내부 평가자로 활용하는 글로벌-로컬 이중 보상 시스템을 갖춘 통합 멀티모달 모델을 위한 자기 보상형 사후 학습 프레임워크를 도입한다.

원저자: Weiyang Jin, Yuwei Niu, Jiaqi Liao, Chengqi Duan, Aoxue Li, Shenghua Gao, Xihui Liu

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weiyang Jin, Yuwei Niu, Jiaqi Liao, Chengqi Duan, Aoxue Li, Shenghua Gao, Xihui Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 재능 있는 예술가이자 동시에 매우 엄격한 미술 비평가가 있다고 상상해 보세요. 이 예술가는 **통합 멀티모달 모델(Unified Multimodal Model, UMM)**이라는 단 하나의 컴퓨터 프로그램 안에 살고 있습니다.

여기서 논문이 지적하는 문제는 다음과 같습니다.
이 예술가는 그림을 비평하는 데는 매우 뛰어납니다. 만약 당신이 그림을 보여주며 "이것이 '파란 테이블 위의 빨간 사과'라는 묘사와 일치하나요?"라고 묻는다면, 그들은 즉시 실수를 찾아낼 수 있습니다. 하지만 당신이 그들에게 정확히 그 그림을 그려보라고 요청하면, 그들은 종종 실수를 저지릅니다. 사과를 초록색으로 그리거나 테이블의 위치를 잘못 잡기도 합니다. 그들의 "비평가 뇌"는 "예술가 손"보다 더 똑똑합니다.

SRUM(Unified Multimodal Models를 위한 자기 보상 학습)은 이 간극을 해결하는 새로운 훈련 방법입니다. 이는 모델이 인간 교사나 별도의 컴퓨터 프로그램으로부터 자신의 작품을 채점받는 대신, 자신의 "비평가 뇌"를 사용하여 "예술가 손"을 코칭하도록 가르칩니다.

SR-UM이 작동하는 방식은 다음과 같이 간단한 단계로 나뉩니다.

1. "시도, 판단, 그리고 수정" 루프

인간이 그림을 채점하기를 기다리는 대신, 모델은 스스로 이를 수행합니다:

1단계 (예술가): 모델은 프롬프트(예: "파란 테이블 위의 빨간 사과")에 따라 이미지를 그리려고 시도합니다.
2단계 (비평가): 모델 내부의 "이해" 모듈이 방금 그린 그림을 살펴봅니다. 이것은 내부적인 판사 역할을 합니다. 단순히 "좋음" 또는 "나쁨"이라고 말하는 것이 아니라, 점수를 매기고 왜 그런지에 대해 설명합니다.
3단계 (교훈): 모델은 이 스스로 생성된 점수를 사용하여 미래의 그림을 조정합니다. 만약 비평가가 "사과가 너무 초록색이다"라고 말한다면, 예술가는 다음번에 사과를 더 붉게 만들기 위해 학습합니다.

2. "전역 및 지역" 성적표

논문은 단순한 "잘했어"라는 말만으로는 충분하지 않다고 주장합니다. 정말 잘하기 위해서는 예술가에게 두 가지 구체적인 피드백이 필요하며, SRUM은 이를 제공합니다:

전역 보상 (전체적인 모습): 이것은 방 안을 돌아다니는 갤러리 관장과 같습니다. 그들은 전체 장면이 말이 되는지 확인합니다. 테이블이 실제로 사과 아래에 있는가? 하늘이 지면 위에 있는가? 이는 전체적인 레이아웃이 올바른지 보장합니다.
지역 보상 (세부 사항): 이것은 돋보기와 같습니다. 특정 사물들을 확대해서 봅니다. 사과가 실제로 빨간색인가? 테이블의 나무 질감이 사실적인가? 이는 큰 그림이 놓칠 수 있는 작고 구체적인 실수들을 바로잡습니다.

이 두 가지를 결집함으로써, 모델은 완전한 성적표를 받게 됩니다: "방의 모습은 맞지만(전역), 사과를 더 붉게 만들어야 한다(지역)."

3. 이것이 왜 중요한가

보통 AI가 그림을 더 잘 그리도록 훈련하려면 다음과 같은 것들이 필요합니다:

이미지를 보고 그것이 좋은지 나쁜지 말해줄 수 있는 수천 명의 인간 전문가.
또는, 판사 역할을 할 별도의 거대한 AI 프로그램.

SRUM은 이 두 가지의 필요성을 제거합니다. 모델은 자신의 내부 지식을 사용하여 스스로를 채점합니다. 이것은 마치 학생이 연습 에세이를 쓰고, 자신이 공부했던 교재를 사용하여 스스로 에세이를 채점한 다음, 더 좋은 성적을 받기 위해 에세이를 다시 쓰는 것과 같습니다.

결과

논문은 복잡한 작업, 예를 들어 특정 개수의 물체를 그리거나 3D 공간에 아이템을 배치하는 작업(예: "노란 사과 위의 빨간 바나나")에 대해 테스트했습니다.

SRUM 이전에는 모델이 이해력은 좋았으나 이러한 복잡한 장면을 그리는 데는 서툴렀습니다.
SRUM 이후에는 모델의 드로잉 능력이 크게 향상되었습니다. 모델은 자신의 강력한 이해력을 더 나은 생성 능력으로 전환하는 법을 배웠습니다.

요약하자면: SRUM은 멀티모달 모델이 자신의 "뇌"를 사용하여 자신의 "손"에게 전체적인 모습과 아주 작은 세부 사항을 모두 체크하는 이중 시스템을 통해 그림을 더 잘 그리는 법을 가르치는 자기 개선 시스템입니다.

기술 요약: SRUM - 통합 멀티모달 모델을 위한 미세 조정된 자기 보상(Fine-Grained Self-Rewarding)

1. 문제 정의

통합 멀티모달 모델(Unified Multimodal Models, UMMs)은 시각-언어 이해와 생성을 단일 프레임워크 내에 통합함으로써 크게 발전했습니다. 그러나 근본적인 역설이 존재합니다: 현재 UMM의 이해 능력은 종종 생성 능력보다 뛰어납니다. 모델은 생성된 이미지가 복잡한 프롬프트와 일치하지 않는다는 것을 정확히 식별할 수 있지만(강력한 이해력을 입증), 정작 동일한 프롬프트로부터 충실한 이미지를 생성하는 데는 능력이 부족할 수 있습니다.

이러한 격차는 "교사"(이해 모듈)가 "학생"(생성 모듈)보다 더 유능하다는 것을 시사합니다. 기존의 사후 학습(post-training) 방법들은 외부 보상 모델, 인간 선호도 레이블, 또는 규칙 기반 보상에 의존하는 경우가 많으며, 이는 자원 집약적이고, 정제된 쌍 데이터(paired data)를 필요로 하거나, 다양한 태스크에 대한 보편성이 부족합니다. 본 논문은 그 해결책이 모델 자체의 아키텍처 내에 있다고 주장합니다: 즉, 외부의 감독 없이 모델 내부의 이해 모듈을 활용하여 생성 모듈을 가이드하고 개선하는 것입니다.

2. 방법론: SRUM 프레임워크

저자들은 모델이 자신의 생성을 스스로 평가하고 보상하는 시너지 피드백 루프를 생성하는 사후 학습 프레임워크인 **SRUM (Self-Rewarding for Unified Multimodal Models)**을 제안합니다. 이 과정은 세 가지 주요 단계로 구성됩니다:

A. 자기 보상 데이터 생성 (Self-Rewarding Data Generation)

UMM은 텍스트 프롬프트를 기반으로 후보 이미지를 생성하기 위해 "생각(think)" 모드(Chain-of-Thought)를 활용합니다. 미세한 평가를 용이하게 하기 위해, 모델은(일부 아키텍처의 경우 SAM과 같은 외부 세그멘테이션 도구의 도움을 받거나, 다른 경우에는 네이티브 그라운딩을 사용하여) 관련 영역에 대한 바운딩 박스(bounding box)를 생성합니다. 결정적으로, 외부 구성 요소는 오직 위치 파악(localization)을 돕는 용도로만 사용되며, 의미론적 점수 산정(semantic scoring)은 전적으로 UMM 자체의 이해 모듈에 의해 수행됩니다.

B. 글로벌-로컬 이중 보상 시스템 (Global-Local Dual Reward System)

상세한 개선을 위한 전체적인 점수의 불충분함을 해결하기 위해, SRUM은 두 단계의 보상 메커니즘을 채택합니다:

로컬 보상 (Local Reward): 객체 수준의 충실도, 속성 결합(attribute binding), 그리고 시각적 아티팩트(visual artifacts)를 $[-1.0, 1.0]$ 의 엄격한 척도로 평가합니다. 신뢰성을 높이기 위해 CoT와 유사하게 해석 가능한 근거를 이끌어내는 필수적인 "Reason" 필드를 포함합니다. 인간의 시각적 민감도를 반영하기 위해 심각한 왜곡에는 비선형 페널티가 적용됩니다.
글로벌 보상 (Global Reward): 전체적인 구도, 공간적 정렬, 그리고 장면의 타당성을 평가합니다. 특정 구도 지침이 없는 프롬프트의 경우, 공정성을 보장하기 위해 중립적인 점수 범위를 적용합니다.

이 점수들은 로컬 영역을 위한 조밀한 보상 맵( $R$ )과 전체 이미지를 위한 글로벌 스칼라( $\alpha$ )로 변환됩니다. 이 단계 동안 이해 모듈은 고정(frozen)된 상태로 유지되며, 오직 평가자로서만 기능합니다.

C. 보상 가중치 학습 (Reward-Weighted Training)

핵심 학습 목표는 이해 모듈의 통찰력을 생성 모듈의 파라미터로 변환하는 것입니다. 손실 함수( $\mathcal{L}_{Total}$ )는 두 가지 항을 결합합니다:

보상 가중치 손실 ( $\mathcal{L}_r$ ): 이 항은 flow 기반 프레임워크에서의 표준 속도 예측 손실(velocity prediction loss)을 조절합니다. 이는 예측된 속도와 타겟 속도 사이의 제곱 오차에 글로벌 및 로컬 보상의 곱( $\alpha \cdot R$ $α \cdot R$ )을 가중치로 부여합니다.
- 피드백이 긍정적이면 ( $\alpha \cdot R > 0$ ), 모델은 현재의 생성을 유지하도록 권장됩니다.
- 피드백이 부정적이면 ( $\alpha \cdot R < 0$ ), 모델은 변화를 촉진하도록 페널티를 받습니다.
참조 제약 (Reference Constraint): 아티팩트가 없는 잠재 변수(latent)의 타겟 속도와의 제곱 $\ell_2$ 거리에 대해 페널티를 주는 정규화 항입니다. 이는 "보상 해킹(reward hacking)"을 방지하고 학습 안정성을 보장하며, 이는 DPO와 같은 방법론의 개념과 일치합니다.

최종 목적 함수는 다음과 같습니다:
$\mathcal{L}_{Total} = \mathcal{L}_r + \lambda_c \cdot \mathcal{L}_{ref}$
여기서 $\lambda_c$ 는 실험에서 0.5로 최적화된 하이퍼파라미터입니다.

3. 주요 기여

UMM을 위한 최초의 포괄적인 자기 보상 프레임워크: 본 논문은 외부 보상 모델이나 인간의 레이블 없이 모델 내부의 능력을 사용하여 UMM의 이해-생성 간 격차를 메우기 위해 특별히 설계된 최초의 사후 학습 프레임워크를 소개합니다.
글로벌-로컬 이중 보상 설계: 저자들은 높은 수준의 구도 평가와 미세한 객체 수준의 피드백을 결합한 새로운 보상 구조를 제안합니다. 이러한 다중 스케일 가이드는 복잡한 생성 태스크에 결정적임을 보여줍니다.
입증된 일반화 성능: 프레임워크는 다양한 UMM 아키텍처(Bagel, BLIP3o)에 걸쳐 검증되었으며, 인도메인(구도 관련) 및 아웃오브도메인(추론 기반) 설정 모두에서 강력한 전이성을 보여주었습니다.

4. 실험 결과

저자들은 QwenVL-2.5를 주요 평가자로 사용하여 T2I-CompBench와 T2I-ReasonBench 벤치마크에서 SRUM을 평가했습니다.

성능 향상:
- T2I-CompBench에서, SRUM은 Bagel (CoT) 베이스라인의 전체 점수를 82.18에서 88.37로 개선했습니다.
- T2I-ReasonBench에서, 점수는 43.82에서 46.75로 증가했습니다.
- 공간 추론, 3D 공간 관계, 그리고 복잡한 구도 태스크에서 상당한 개선이 관찰되었습니다.
어블레이션 연구 (Ablation Studies): 로컬 또는 글로벌 보상 중 하나라도 제거하면 성능이 크게 저하되어, 두 스케일 모두의 필요성을 확인했습니다. 참조 제약(reference constraint)을 제거하면 성능이 저하되어, 안정성에 대한 역할을 입증했습니다.
외부 보상과의 비교: SRUM은 외부 VLM(예: QwenVL-7B/32B)을 보상 모델로 사용하는 방법들보다 우수한 성능을 보였습니다. 내부 스코어러는 더 나은 캘리브레이션과 수용된 샘플 및 거부된 샘플 간의 분리 능력을 보여주었으며, 이는 내재적인 다중 스케일 설계가 단순히 외부 파라미터를 확장하는 것보다 더 효과적임을 시사합니다.
효율성: 자기 보상 과정은 계산 효율적이며, NVIDIA H100에서 6,000개의 후보 이미지를 스코어링하는 데 4시간 미만이 소요됩니다. 이는 표준 지도 미세 조정(SFT)과 비교했을 때 무시할 만한 수준의 오버헤드입니다.
이해 능력의 보존: 이 방법은 MME, MM-Vet, MMMU와 같은 벤치마크에서 모델의 핵심 이해 능력을 저하시키지 않았으며, 일부 경우(MMVP) 성능이 약간 향상되었습니다.

5. 의의 및 주장

본 논문은 SRUM이 UMM이 자기 개선을 달est할 수 있도록 하는 강력한 패러다임을 구축한다고 주장합니다. 이해 모듈을 내부 교사로 취급함으로써, 이 프레임워크는 이해와 생성 사이의 간극을 성공적으로 메웁니다.

저자들은 이 접근 방식이 다음과 같음을 강조합니다:

외부 데이터로부터의 개선 분리: 노동 집약적인 인간 레이블링이나 외부 보상 모델에 대한 의존성을 제거합니다.
다중 스케일 정교화 가능: 이중 보상 시스템은 공간 관계 및 속성 결합과 관련된 전통적인 T2I 모델의 특정 실패 모드를 해결합니다.
확장 가능한 경로 제공: 이 방법은 다양한 UMM 설계에 적용 가능하며 견고한 일반화 능력을 보여주어, 자기 수정형 멀티모달 시스템에 대한 미래 연구의 실행 가능한 경로를 제시합니다.

본 연구는 SRUM이 예비적인 탐색 단계임에도 불구하고, 단일 모델 내에서 이해와 생성의 시너지 발전을 위한 유망한 방향으로서 '자기 보상'의 원칙을 검증한다고 결론짓습니다. 향후 연구에는 스코어링 모듈을 위한 프롬프팅 전략의 정교화와 해당 방법의 데이터 규모 확장 등이 포함될 수 있습니다.