기술 요약: 통합 멀티모달 모델을 위한 의미 생성적 튜닝

문제 제기

통합 멀티모달 모델 (UMM) 은 단일 아키텍처 내에서 시각적 이해와 시각적 생성을 통합하여 양방향 지식 전이를 용이하게 하는 것을 목표로 합니다. 그러나 기존의 훈련 패러다임은 최적화 발산으로 고통받고 있습니다. 이해 작업은 일반적으로 희소 텍스트 감독 (예: VQA) 에 의해 주도되는 반면, 생성 작업은 밀집 픽셀 수준 목적 (예: 픽셀 재구성) 에 의존합니다. 이 분리된 전략은 정렬되지 않은 표현 공간을 초래하여 두 능력을 고립시키고 상호 강화 효과를 방해합니다.

최근 픽셀 공간 재구성을 생성적 대리자로 사용하여 이 격차를 해소하려는 시도는 최적의 결과를 내지 못했습니다. 본 논문은 픽셀 단위의 완벽한 재구성을 최적화하는 것이 모델로 하여금 저주파 텍스처 세부 사항과 세분화된 노이즈에 집중하게 하여, 견고한 시각적 이해와 추론에 필요한 고수준 의미 정보를 방해한다고 주장합니다. 결과적으로 기존 UMM 은 공유 아키텍처를 보유하고 있음에도 불구하고 최적화 과정이 단절되어 진정한 시너지를 달성하지 못하는 경우가 많습니다.

방법론: 의미 생성적 튜닝 (SGT)

저자들은 **의미 생성적 튜닝 (SGT)**을 제안합니다. 이는 저수준 픽셀 재구성을 고수준 의미 작업으로 대체하는 새로운 사후 훈련 패러다임입니다.

1. 계층적 시각 작업 분류

본 연구는 다양한 시각 작업을 생성적 대리자로서의 효능에 대해 체계적으로 조사합니다. 작업은 세 가지 수준으로 분류됩니다:

• 저수준: 에지 감지, 노이즈 제거, 초해상도.
• 중수준: 깊이 추정, 인페인팅.
• 고수준: 이미지 분할, 객체 감지.

BAGEL 및 OmniGen2 와 같은 모델에 대한 실증적 평가를 통해 저자들은 고수준 의미 작업, 특히 이미지 분할이 이해와 생성 모두에서 가장 큰 성능 향상을 가져온다고 관찰합니다. 텍스처를 과도하게 강조하는 저수준 작업과 달리, 분할은 시각적 이해의 추론 요구 사항과 정렬되는 구조적 의미를 제공합니다.

2. SGT 프레임워크

SGT 는 이미지 분할을 주요 생성 목표로 활용합니다. 프레임워크는 다음과 같이 작동합니다:

• 입력: RGB 이미지와 간결한 텍스트 지시문.
• 과정: 모델은 비전 인코더를 통해 이미지를 처리하여 의미 토큰 ($z_{vit}$) 을 추출하고, 구조적 세부 사항을 위해 VAE 인코더를 통해 ($z_{vae}$) 처리합니다.
• 목적: 원시 RGB 이미지를 재구성하는 대신, 모델은 입력 이미지와 텍스트를 조건으로 하여 분할 지도 (또는 기타 고수준 의미 표현) 를 생성하도록 훈련됩니다.
• 통합: SGT 는 표준 지도 미세 조정 (SFT) 데이터 (예: VQA 지시문) 와 결합됩니다. 저자들은 최적의 집계 성능을 위해 VQA 와 분할 데이터 간의 배치 내 비율을 1:2 로 찾는 것이 가장 효과적임을 발견했습니다.

3. 기작 분석

본 논문은 SGT 가 작동하는 이유에 대한 세 가지 주요 기작적 통찰을 제공합니다:

• 특성 선형 분해성: SGT 는 시각적 임베딩의 선형 분해성을 크게 향상시킵니다. t-SNE 시각화는 SGT 로 훈련된 모델이 의미적으로 유사하지만 구조적으로 다른 객체들 (예: 직립형 피아노 vs 그랜드 피아노) 에 대해 더 컴팩트한 클래스 내 클러스터와 더 명확한 클래스 간 분리를 생성함을 보여줍니다.
• 주의 할당: SGT 는 모델의 언어적 사전 지식에 대한 과도한 의존을 완화합니다. 이는 더 깊은 트랜스포머 레이어에서의 주의 역학을 시각 토큰에 더 집중되도록 전환하여 환각을 줄입니다.
• 중요 토큰 증폭: 생성 과정에서 SGT 는 모델이 중요한 의미 토큰 (객체, 색상, 위치) 에 대한 주의를 강화하고 관련 없는 단서를 억제하여 공간 및 속성 제약을 더 잘 준수하도록 합니다.

주요 결과

주류 UMM 아키텍처 (BAGEL 및 OmniGen2) 와 다양한 벤치마크에 대한 광범위한 평가는 SGT 의 효능을 입증합니다:

• 시각적 이해: SGT 는 시각 중심 지각, 공간 추론, 그리고 환각 저항성 전반에 걸쳐 일관되게 성능을 향상시킵니다.
  • CV-Bench에서 SGT-BAGEL 은 기준선 BAGEL 대비 6.02% 의 성능 향상을 달성했습니다.
  • 공간 추론 (VSR, SIBench) 과 환각 저항성 (POPE, HallusionBench) 에서 개선이 관찰되었습니다.
• 시각적 생성: 이 패러다임은 생성적 레이아웃 충실도를 향상시킵니다.
  • SGT-Gen2 는 GenEval 에서 90.0% 점수를 기록하여 기준선을 능가했습니다.
  • 정성적 분석은 공간 및 색상 지시를 포함하는 복잡한 프롬프트에 대한 우수한 준수를 보여줍니다.
• 절대 실험 연구:
  • 고수준 작업 (분할) 은 중수준 (깊이) 과 저수준 (에지, 재구성) 작업보다 일관되게 우월한 성과를 냅니다.
  • SGT 를 SFT 데이터와 결합하는 것이 최상의 결과를 낳는 반면, 생성적 튜닝에만 의존하는 것은 수학, OCR 과 같은 지식 집약적 작업에서 약간의 저하를 초래합니다. 이는 SGT 가 독립적인 지식 주입기가 아닌 근본적인 정렬 전략임을 시사합니다.

중요성과 주장

본 논문은 픽셀 공간 재구성에 대한 기존 의존을 넘어 UMM 을 위한 생성적 사후 훈련에 대한 첫 번째 체계적 조사를 제시한다고 주장합니다.

• 패러다임 전환: 본 연구는 픽셀 수준이 아닌 의미 수준 (분할을 통해) 에서 멀티모달 능력을 정렬하는 것이 우월하다고 주장합니다. 이 접근 방식은 저수준 노이즈를 필터링하고 이해와 생성 간의 진정한 시너지를 촉진합니다.
• 일반화 가능성: SGT 의 이점은 다양한 모델 아키텍처 (트랜스포머 혼합 vs 하이브리드 인과 - 확산) 와 파라미터 규모 전반에 걸쳐 견고한 것으로 입증되었습니다.
• 근본적 역할: 저자들은 SGT 를 모든 훈련 데이터를 대체하는 것이 아니라 중요한 정렬 전략으로 위치시킵니다. 표준 이해 및 생성 데이터와 통합될 때, SGT 는 범용 멀티모달 학습에 필수적인 구조적 추상화를 포착하는 공유 의미 공간을 구축함으로써 UMM 의 잠재력을 최대한 발휘하게 합니다.

본 논문은 SGT 가 지각 능력과 생성 충실도를 크게 향상시키지만, 새로운 논리적 추론 능력이나 지식을 본질적으로 도입하지는 않으므로 다양한 데이터 소스를 포함하는 균형 잡힌 훈련 레시피의 필요성을 재확인한다고 결론지었습니다.