기술 요약: STBridge

문제 정의

통합 멀티모달 모델(Unified Multimodal Models, UMMs)은 단일 아키텍처 내에서 시각적 이해와 시각적 생성을 통합하는 것을 목표로 합니다. 그러나 아키텍처의 통합이 반드시 의미론적 일관성을 보장하는 것은 아닙니다. 모델이 대상 상태를 텍스트로는 올바르게 설명(이해)하면서도, 시각적으로는 일치하지 않는 이미지를 생성(생성)하거나 그 반대의 경우가 발생하는 결정적인 "이해-생성 정렬 격차(understanding-generation alignment gap)"가 존재합니다.

저자들은 BAGEL과 같은 기존 UMM들이 공유된 사용자 의도(user intent)를 중심으로 이 두 가지 능력을 조정하는 데 실패하는 경우가 많다는 점을 지적합니다. 구체적으로, 이미지 편집 작업에서 모델은 다음과 같은 세 가지 반복적인 실패 패턴을 보입니다:

1. 생성 미스(Generation Miss): 모델이 의도한 편집 내용을 텍스트로는 올바르게 설명하지만, 이를 시각적으로 구현하는 데 실패함.
2. 이해 미스(Understanding Miss): 모델이 올바른 이미지를 생성하지만, 텍스트 출력에서는 실현된 변화를 제대로 설명하지 못함.
3. 정보 커버리지 부족(Insufficient Information Coverage): 두 출력 모두 대략적인 의도는 포착하지만, 세밀한 디테일(엔티티, 속성, 공간 관계 및 국소적 세부 사항)에서 서로 어긋남.

기존 방식들은 일반적으로 이해와 생성을 별개의 출력 목표로 최적화하며, 두 경로를 공통의 대상 상태(target state)에 고정하기 위한 명시적인 메커니즘이 부족합니다.

방법론: STBridge

이 격차를 메우기 위해, 저자들은 이해와 생성을 동일한 대상 시각 상태의 두 가지 양식적 표현으로 취급하는 후속 학습(post-training) 프레임워크인 STBridge(Shared-Target Alignment)를 제안합니다. 핵심 공식은 공유된 타겟 $I_t$(편집된 이미지)를 의미론적 앵커로 사용하는 것입니다. 이해 경로는 이 타겟을 타겟 캡션($c^*_t$)으로 표현하고, 생성 경로는 이를 편집된 이미지($I_t$)로 실현합니다.

STBridge는 3단계의 후속 학습 절차를 채택합니다:

1. 공유 타겟 정렬 (지도 학습 기반 미세 조정, SFT)

이 단계는 타겟 캡션과 타겟 이미지 사이의 대응 관계를 구축합니다.

• 데이터: 타겟 이미지를 설명하는 VLM(Qwen3.5-35B-A3B)에 의해 생성된 타겟 캡션이 추가된 PickNano-250K 데이터셋을 사용합니다.
• 목표: 모델이 소스 이미지 $I_s$와 지시문 $x$로부터 타겟 캡션 $c^*_t$를 예측하도록 학습하고(교차 엔트로피 손실 사용), 그 후 $I_s$, $x$, $c^*_t$를 조건으로 하여 타겟 이미지 $I_t$를 생성하도록 학습합니다(플로우 매칭 손실 사용).
• 목표: 텍스트 타겟 표현과 시각적 타겟 실현을 동일한 공유 타겟에 결합하여, 이들이 서로 관련 없는 출력으로 학습되는 것을 방지합니다.

2. 타겟 표현 최적화 (강화 학습)

이 단계는 텍스트 표현이 편집과 관련된 차이점을 정확하게 포착하도록 정교화합니다.

• 데이터: 변환된 시각적 이해 데이터(예: 깊이, 그라운딩, 대응 작업 등을 편집 스타일의 입력으로 변환한 것)와 네이티브 이미지 편집 데이터를 포함한 15.3K개의 혼합 세트를 사용합니다.
• 보상 메커니즘: Diff Reward를 도입합니다. 전역적인 캡션-이미지 유사도를 측정하는 대신(이는 변경되지 않은 배경 영역에 의해 지배될 수 있음), VLM이 후보 캡션이 시사하는 시각적 차이를 소스 이미지와 비교하여 추론합니다. 이 추론된 차이는 소스와 타겟 이미지 간의 실제 차이와 비교됩니다.
• 알고리즘: 이미지 생성 브랜치를 동결(frozen)한 상태에서 타겟 캡션 정책을 최적화하기 위해 GRPO(Group Relative Policy Optimization)를 사용합니다.

3. 타겟 실현 최적화 (강화 학습)

이 단계는 정교화된 타겟 표현을 충실히 실현하도록 시각적 생성을 최적화합니다.

• 과정: 타겟 캡션 정책을 동결합니다. 생성 브랜치는 예측된 타겟 캡션을 조건으로 편집된 이미지를 생성합니다.
• 보상 메커니즘: VLM 판별사가 평가하는 **실현 지향적 편집 보상(Realization-oriented Editing Reward)**을 사용합니다. 이 보상은 편집 성공 여부, 지시문 세부 사항 충실도, 소스 보존, 시각적 품질, 그리고 전반적인 선호도의 다섯 가지 차원을 종합합니다. 게이팅 메커니즘을 통해 편집이 성공하고 소스 콘텐츠가 보존되었을 때만 높은 보상이 주어집니다.
• 알고리즘: 생성 브랜치를 최적화하기 위해 MixGRPO를 사용합니다.

주요 기여

1. 정렬 격차 진단: 본 논문은 UMM에서 이해와 생성 사이의 불일치를 식별하고 정량화하며, 아키텍처의 통합만으로는 특히 미세한 차원에서 의미론적 일관성을 달하는 데 불충분함을 입증했습니다.
2. STBridge 프레임워크: 이해와 생성을 동일한 타겟 상태의 두 가지 표현으로 통합하여 명시적인 의미론적 앵커를 설정하는 공유 타겟 정렬 프레임워크를 제 제안합니다.
3. 3단계 후속 학습: 타겟 표현과 시각적 실현을 점진적으로 정렬하는 순차적 학습 절차(SFT에 이은 두 단계의 RL)를 설계했습니다.
4. 새로운 보상 설계: 타겟 표현을 정교화하기 위한 Diff Reward(편집 관련 변화에 집중)와 시각적 충실도를 최적화하기 위한 다차원적 실현 지향적 보상을 도입했습니다.

실험 결과

STBridge는 시각적 이해, 이미지 생성 및 이미지 편집 벤치마크에서 BAGEL 초기화 모델과 비교 평가되었습니다.

• 시각적 이해: STBridge-RL은 BLINK에서 +5.15, OddGridBench에서 +5.14, MMVP에서 +2.70의 유의미한 향상을 달성했습니다. 이는 타겟 표현과 실현을 정렬하는 것이 순수 이해 작업에도 도움이 됨을 시사합니다.
• 이미지 생성: 지식 기반 생성(knowledge-informed generation)인 WISE 벤치마크에서 STBridge-RL은 전체 점수를 +1.20 개선했으며, 특히 공간(Space, +10.33)과 생물학(Biology, +21.50) 분야에서 눈에 띄는 성과를 보였습니다.
• 이미지 편집:
  • ImgEdit: 전체 점수를 +0.46 개선했습니다.
  • RISE: 복잡한 지식 가이드 편집에서 상당한 개선을 보여주었으며, 전체 점수를 15.80%에서 36.80%로 +21.00 상승시켰습니다.
• 정렬 분석: 모델의 타겟 캡션과 생성된 이미지 사이의 일관성을 직접 평가한 결과, 정렬 점수가 BAGEL의 0.5740에서 STBridge-RL의 0.9000으로 상승했으며, 가장 큰 개선은 미세한 속성과 공간 관계에서 나타났습니다.

의의 및 주장

본 논문은 **공유 타겟 정렬(shared-target alignment)**이 UMM의 이해와 생성 사이의 격차를 메우는 효과적인 후속 학습 전략이라고 주장합니다. 결과는 다음을 입증합니다:

• 이해와 생성을 별개의 출력으로 취급하면 의미론적 괴리가 발생합니다.
• (타겟 캡션과 타겟 이미지를 통해) 공유된 타겟 상태를 강제함으로써 모델이 묘사하는 것과 생성하는 것 사이에 학습 가능한 관계를 형성할 수 있습니다.
• 이 접근 방식은 편집 성능뿐만 아니라 일반적인 시각적 이해와 지식 기반 생성 능력까지 향상시키며, 이는 "공유 타겟 채널"이 모델의 전체 멀티모달 역량에 도움이 되는 강력한 학습 신호를 제공함을 시사합니다.

저자들은 아키텍처의 통합이 필수적인 단계이긴 하지만, 모델의 언어적 출력과 시각적 출력이 동일한 타겟 의미론에 의해 제어되도록 하려면 STBridge와 같은 명시적인 정렬 메커니즘이 필요하다고 결론짓습니다.