기술 요약: Slot-MLLM: 멀티모달 LLM 을 위한 객체 중심 시각 토큰화

1. 문제 제기

최근 생성형 멀티모달 대규모 언어 모델 (MLLM) 들은 이미지와 텍스트를 함께 자기회귀적으로 모델링할 수 있도록 이산적 시각 토큰을 채택해 왔습니다. 이러한 패러다임은 단일 다음 토큰 예측 프레임워크 내에서 이해와 생성을 통합하지만, 기존 시각 토큰화기들은 다음과 같은 중대한 한계에 직면해 있습니다:

• 객체 수준의 구조 부재: 대부분의 토큰화기는 패치 기반이거나 전역적 의미 감독에 의존합니다. 이로 인해 객체 수준의 추론과 제어 가능한 생성에 필수적인 구조적 구성성을 유지하는 데 어려움을 겪습니다.
• 비효율성과 경직성: UniTok 및 TokenFlow 와 같은 접근 방식들은 종종 고정된 그리드 표현에 의존하여 과도하게 긴 시각 시퀀스를 초래합니다. 다른 방법들은 패치 특징의 휴리스틱 클러스터링 또는 병합에 의존할 뿐, 원칙적인 비지도 개체 발견을 수행하지는 못합니다.
• 통합의 어려움: 슬롯 어텐션 (Slot Attention) 은 장면을 고정된 개수의 토큰으로 분해함으로써 객체 중심 표현을 위한 원칙적인 귀납적 편향을 제공하지만, 이를 생성형 MLLM 에 실용적으로 적용하는 것은 여전히 열린 과제로 남아 있습니다. 이는 고품질 이미지 생성, 언어 의미와의 강력한 정렬, 대규모 데이터셋에서의 학습 안정성을 동시에 충족해야 합니다.

2. 방법론

저자들은 SlotTok(객체 중심 시각 토큰화기) 과 이를 LLM 과 통합한 통합 모델인 Slot-MLLM을 제안합니다.

A. SlotTok: 객체 중심 시각 토큰화기

SlotTok 은 2 단계 학습 과정을 통해 이미지를 $N$개의 일관된 슬롯으로 정보를 집계하는 컴팩트한 이산적 객체 중심 토큰 집합으로 인코딩합니다:

1. 아키텍처:

   • 슬롯 인코더 (Slot Encoder): 쿼리 기반 트랜스포머를 기반으로 하며, DINOv2 와 같은 비전 인코더에서 추출한 시각 특징을 입력받아 슬롯 어텐션을 사용하여 정보를 $N$개의 일관된 슬롯으로 집계합니다. 각 슬롯은 고유한 객체나 영역을 나타내도록 설계되었습니다. 자기회귀 MLLM 과 정렬하기 위해 인과적 자기 어텐션 레이어를 포함합니다.
   • 벡터 양자화기 (Vector Quantizer): 연속적인 슬롯 임베딩은 경량 트랜스포머 블록을 갖춘 잔차 벡터 양자화기 (RVQ) 를 사용하여 이산화되며, 이산 코드에서 임베딩을 재구성하여 컴팩트한 토큰 예산 하에서 높은 재구성 품질을 보장합니다.
   • 시각 디코더 (Visual Decoder): 슬롯 토큰에서 이미지를 재구성하는 확산 기반 디코더 (unCLIP-SD) 입니다. 이는 세 가지 조건부 경로를 활용합니다: 의미적 안내를 위한 전역 벡터, 고정된 UNet 교차 어텐션을 위한 슬롯 컨텍스트 임베딩, 그리고 전체 슬롯 임베딩을 수신하는 학습 가능한 어댑터 교차 어텐션 레이어.

2. 학습 전략:

   • 1 단계 (연속 학습): UNet 의 원래 교차 어텐션 레이어는 고정된 채로 슬롯 인코더, 트랜스포머 블록, 어댑터 레이어를 학습합니다. 목적 함수는 다음 다섯 가지 손실의 조합으로 구성됩니다:
     • 이미지 재구성 손실 (확산): 노이즈 예측 오차를 최소화합니다.
     • CLIP 정렬 손실: 전역 슬롯 임베딩을 CLIP 이미지 임베딩과 정렬합니다.
     • 이미지 - 텍스트 대비 손실: 슬롯 임베딩을 텍스트 임베딩과 정렬하여 의미적 호환성을 보장합니다.
     • 이미지 기반 텍스트 생성 손실: 슬롯을 조건부로 텍스트 토큰을 예측합니다.
     • 어텐션 안내 손실: UNet 의 어댑터 교차 어텐션 맵을 인코더의 슬롯 어텐션 맵과 정렬시키는 새로운 손실입니다. 이는 외부 감독 없이 확산 디코더가 슬롯을 객체 정렬된 방식으로 소비하도록 보장합니다.
   • 2 단계 (이산화): 슬롯 인코더와 시각 디코더는 고정됩니다. 오직 RVQ 와 재구성 트랜스포머만 학습되어 연속 임베딩을 근사하는 이산 코드를 학습하며, 학습된 객체 정렬을 유지합니다.

B. Slot-MLLM: 통합 멀티모달 모델링

Slot-MLLM 은 SlotTok 을 단일 자기회귀 프레임워크에 통합합니다:

• 토큰 표현: 이미지는 $N \times K$개의 이산 인덱스로 변환됩니다 (여기서 $K$는 RVQ 코드북의 수입니다). 이를 평탄화하여 <boi> 와 <eoi> 토큰으로 경계된 "두 번째 언어"로 LLM 어휘에 추가합니다.
• 하이브리드 시각 입력: 이해 작업의 경우, 모델은 미세한 시각 정보를 보존하고 양자화 오류를 피하기 위해 MLP 를 통해 LLM 은닉 공간으로 투영된 사전 양자화된 연속 슬롯 임베딩을 사용합니다. 생성 작업의 경우, 모델은 자기회귀적 다음 토큰 예측을 가능하게 하는 이산 슬롯 토큰을 사용합니다.
• 학습: 모델은 이미지 - 텍스트 쌍 및 인터리브 데이터에 대한 멀티모달 사전 학습을 거친 후, 이해, 생성, 편집을 위한 지시 따르기 데이터셋에 대한 지도 미세 조정 (SFT) 을 수행합니다.

3. 주요 기여

1. SlotTok: 슬롯 어텐션을 사용하여 구조적 충실도를 유지하면서 이미지를 의미 있는 소수의 토큰으로 압축하는 새로운 객체 중심 시각 토큰화기.
2. 실용적 학습 전략: 사전 학습된 확산 사전 지식을 저하시키지 않으면서 객체 중심 표현과 이산 토큰화를 학습하는 2 단계 학습 접근법으로, 슬롯 - 객체 정렬을 안정화하기 위해 어텐션 안내를 활용합니다.
3. Slot-MLLM: 슬롯 어텐션이 다양한 실제 이미지용 LLM 에 효과적으로 통합될 수 있음을 입증한 최초의 대규모 실증적 검증. 객체 중심 토큰화가 이해와 생성 모두를 위한 통합 자기회귀 모델링을 가능하게 함을 보여줍니다.

4. 실험 결과

이미지 재구성과 토큰 품질

• 재구성: SlotTok 은 32 개의 슬롯을 사용하는 반면 LaViT 와 SEED 와 같은 확산 기반 토큰화기는 256 개 이상의 패치를 사용함에도 불구하고 경쟁력 있는 재구성 품질 (PSNR, SSIM, CLIP-T) 을 달성합니다.
• 객체 중심성: 정성적 분석과 무작위 교체 실험은 SlotTok 토큰이 중복되지 않고 구별됨을 보여줍니다. 토큰의 50% 를 교체하면 성능이 크게 저하되어 각 슬롯이 특정 시각적 세부 사항을 인코딩함을 확인합니다.
• 어텐션 맵: SlotTok 의 어텐션 맵은 개별 객체에 명확하게 집중하는 반면, LaViT 와 같은 베이스라인은 분산된 어텐션이나 이동된 객체 위치를 보입니다.

멀티모달 이해와 생성

• 이해: Slot-MLLM 은 제로샷 벤치마크 (GQA, MME, POPE, NaturalBench) 에서 통합 베이스라인 (LaViT, SEED-LLaMA) 을 능가하며, 특히 객체 인식 및 속성 바인딩이 필요한 작업에서 두드러집니다.
• 생성 및 편집: Slot-MLLM 은 텍스트 - 이미지 생성 (GenEval, T2I-CompBench) 과 로컬라이즈된 이미지 편집 (MagicBrush, GIE-Bench) 에서 베이스라인을 일관되게 능가합니다. 텍스트 프롬프트에 기반하여 배경 일관성을 유지하고 특정 객체를 조작하는 데 뛰어난 능력을 보여줍니다.
• 확장성: 백본 LLM 을 확장 (7B 에서 14B 로) 할 때 성능이 일관되게 향상되어 아키텍처가 더 강력한 모델과 호환됨을 나타냅니다.

애블레이션 연구

• 슬롯 어텐션: 슬롯 어텐션을 제거하고 표준 교차 어텐션으로 대체하면 객체 수준 지표 (ARI, mIoU) 와 하류 작업 성능이 크게 저하되어 귀납적 편향의 필요성을 확인합니다.
• 안내 손실: 어텐션 안내 손실을 제거하면 픽셀 수준의 재구성 (PSNR) 은 향상되지만 객체 정렬과 하류 생성/편집 성능은 저하되어, 원본 충실도와 의미적 구조 간의 트레이드오프를 강조합니다.
• 슬롯 수: 슬롯을 32 개를 넘어 증가 (예: 64 개) 시키면 재구성 지표는 향상되지만 객체 중심 지표 (ARI, mIoU) 는 저하되어 과도한 슬롯이 일관된 객체를 과도하게 분할함을 시사합니다.

5. 중요성과 주장

본 논문은 객체 중심 슬롯 어텐션이 실제 이미지용 생성형 MLLM 에 효과적으로 통합될 수 있음을 입증한 최초의 대규모 실증적 검증을 제공한다고 주장합니다.

저자들은 다음과 같이 논합니다:

• 높은 재구성 충실도만으로는 MLLM 에 충분하지 않으며, 시각 토큰은 언어 개념과 정렬되는 객체 인식 표현을 제공해야 합니다.
• 객체 중심 토큰화는 단순한 표현 선택이 아니라 효율적이고 제어 가능한 멀티모달 생성을 위한 핵심 촉진제입니다.
• 제안된 방법은 기존 패치 기반 또는 전역 감독 토큰화기에 비해 생성 품질, 계산 효율성 (토큰 압축을 통해), 그리고 미세한 구조적 제어 사이에서 우수한 균형을 달성합니다.

이 연구는 차세대 통합 MLLM 을 위해 언어 감독과 정렬되도록 슬롯 어텐션을 적응시키고 객체 중심 표현을 강화하는 것이 필수적임을 확립합니다.