DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models

다음은 "DeltaV: 통합 대규모 멀티모달 모델에서의 시각적 상태 업데이트를 통한 사고(Thinking with Visual State Updates in Unified Large Multimodal Models)" 논문의 상세 기술 요약입니다.

문제 정의

인터리브드(interleaved) 멀티모달 추론을 시도하는 현재의 통합 대규모 멀티모달 모델(ULMM)들은 중간 시각적 상태를 전체 이미지 형태로 생성하려는 경향이 있습니다. 이러한 패러다임은 두 가지 결정적인 비효율성을 초래합니다:

1. 시각적 토큰 중복성(Visual-Token Redundancy): 연속적인 추론 단계들은 상당한 양의 시각적 콘텐츠를 공유합니다. 매 단계마다 전체 이미지를 생성하는 것은 변화하지 않은 영역까지 반복적으로 모델링하게 되어, 텍스트 추론 단계에 비해 막대한 시-각적 토큰 오버헤드를 발생시킵니다.
2. 희석된 감독(Diluted Supervision): 모든 단계에서 전체 상태를 재구성함으로써, 학습 신호가 지속적인 콘텐츠와 추론을 이끄는 희소하고 결정적인 변화 사이로 분산됩니다. 이는 최적화의 편향을 추론에 중요한 상태 전이가 아닌 저수준의 재구성에 집중하게 만듭니다.

기존 방식들은 시각 정보를 잠재 토큰(latent tokens)으로 압축하거나(해석 가능성 희생), 도구 증강 파이프라인에 의존합니다(엔드투엔드 결합 부족). 통합 모델 내에서도 픽셀 수준 생성의 계산 비용이 의미론적 추론을 압도하여 확장성을 제한하기도 합니다.

방법론: DeltaV

저자들은 인터리브드 추론을 독립적인 전체 이미지 생성이 아닌 시각적 상태 전이(visual state transitions) 과정으로 재정의하는 DeltaV 프레임워크를 제안합니다. DeltaV는 단계 $t$에서 $Z_t$(전체 상태)를 예측하는 대신, 과거 상태들에 조건화된 $\Delta Z_t$(시각적 업데이트)를 예측합니다.

1. 시각적 업데이트를 이용한 통합 자기회귀 모델링
DeltaV는 추론 궤적 $Y$를 초기 시각 상태 $Z_0$와 가변 길이의 시각 업데이트 토큰 시퀀스 $\Delta Z_t$로 분해합니다:
$$Y = \{Z_0, X_1, \Delta Z_1, X_2, \Delta Z_2, \dots\}$$
여기서 $X_t$는 텍스트 토큰을 나타냅니다. 이 공식화는 학습 목표를 상태 재구성에서 **전이 모델링(transition modeling)**으로 전환하여, 모델이 추론 궤적을 진전시키는 데 필요한 시각적 증거에만 집중하도록 강제합니다.

2. TSIM-Tok: 변동 인지형 토큰화(Variation-Aware Tokenization)
이를 구현하기 위해 DeltaV는 두 가지 핵심 구성 요소로 이루어진 시각적 토크나이저인 TSIM-Tok을 도입합니다:

• TSIM 라우터 (Temporal Similarity Router): 이 모듈은 시각적 변화의 크기에 따라 각 업데이트에 할당될 토큰 예산을 동적으로 배분합니다. 이 모듈은 현재 시각적 특징을 이전 상태들의 가중치 기반 히스토리와 비교하여 시간적 유사도(Temporal Similarity, TSIM) 점수를 계산합니다. 가중치는 시간적 근접성(최근 상태가 더 중요함)과 정보 용량(더 많은 토큰을 가진 상태가 더 풍부한 참조를 제공함)을 고려합니다.
  • 라우터는 오프라인 캘리브레이션 절차를 사용하여 TSIM 점수를 토큰 예산에 매핑합니다. 이는 토큰 수와 재구성 충실도(SS림, SSIM) 사이의 관계를 나타내는 곡선을 피팅하고, **한계 이득(marginal gain)**이 임계값 아래로 떨어지는 지점의 예산을 선택합니다. 이를 통해 복잡한 변화에는 더 많은 토큰을 할당하고, 미미한 업데이트에는 더 적은 토큰을 할당하여 효율성을 보장합니다.
• 시각적 업데이트 표현 모듈: 이 모듈은 학습 가능한 쿼리를 사용하여 시각 상태를 베이스 토큰($Z_0$)과 가변 길이의 업데이트 토큰($\Delta Z_t$)으로 인코딩합니다. 이는 $Z_0$와 모든 이전 업데이트($\Delta Z_{<t}$)에 조건화되어 $\Delta Z_t$의 생성을 보장하며, 안정적인 콘텐츠를 재생성하지 않고도 시간적 일관성을 유지합니다.

3. StructCoT 데이터셋
기존의 인터리브드 추론 데이터셋이 규모와 도메인 다양성 측면에서 제한적임을 인식하여, 저자들은 StructCoT을 구축했습니다.

• 규모: 105만 개의 샘플.
• 범위: 44개 태스크 도메인을 커버하며, 전략적 계획, 공간/체화된 계획, 논리/추상 추론, 수학/알고리즘 추론, 과학/도메인 추론, 시각 탐색, 이미지 복원/직소 퍼즐의 7가지 추론 카테고리로 구성됩니다.
• 목적: 일반화 가능한 시각적 업데이트 패턴과 추론 구조에 대한 광범위한 감독을 제공하기 위함입니다.

주요 기여

1. DeltaV 프레임워크: 인터리브드 추론을 업데이트 중심의 시각적 상태 모델링으로 명시적으로 공식화한 최초의 통합 멀티모달 추론 프레임워크입니다. 이는 전체 이미지 생성을 컴팩트하고 변동을 인지하는 시각적 업데이트로 대체합니다.
2. TSIM 라우터: 토큰 할당을 실제 시각적 변화의 크기에 정렬시키는 새로운 메커니즘으로, 재구성 이득이 감소할 때 토큰 할당을 중단함으로써 중복성을 줄입니다.
3. StructCoT 데이터셋: 일반화 가능한 업데이트 중심의 멀티모달 추론을 지원하도록 설계된 대규모의 다양한 데이터셋으로, 기존 벤치마크의 범위를 크게 확장했습니다.

실험 결과

실험은 Zebra-CoT 데이터셋(아블레이션 및 도메인 내 평가용)과 외부 벤치마크(일반화 성능 측정용)에서 수행되었습니다.

• 효율성: 시각적 업데이트 패러다임은 재구성 충실도를 저해하지 않으면서도 전체 이미지 생성 대비 새로 생성되는 시각적 토큰을 평균 55.6% 감소시켰습니다.
• 추론 성능:
  • DeltaV는 전체 이미지 생성 베이스라인 대비 멀티모달 추론 성능을 3.3% 향상시켰습니다.
  • 도메인 내 평가(Zebra-CoT 및 StructCoT)에서 DeltaV-2B 모델은 훨씬 더 큰 규모의 오픈 소스 모델들을 평균 8.4% 차이로 압도했습니다.
  • 외부 멀티모달 추론 및 이해 벤치마크에서 DeltaV-2B는 동급 규모의 Qwen3-VL-2B를 5.9% 상회했습니다.
• 아블레이션 연구:
  • 토큰 할당: TSIM 라우터(Slope-based)는 무작위 예산 할당 및 가치 기반 임계값 설정 방식보다 우수한 성능을 보여, 한계 효용이 예산 책정의 더 우월한 기준임을 확인했습니다.
  • 재구성 일관성: 정성적 분석 결과, 전체 이미지 모델은 "의미론적 드리프트(semantic drift)"(예: 단계 간 정체성이나 형태의 변화)를 겪는 반면, DeltaV는 히스토리 정보에 업데이트를 접지(grounding)함으로써 일관된 시각적 상태를 유지합니다.
  • 일반화: 시각적 업데이트 학습은 텍스트 전용 베이스라인에 비해 일반적인 이해 벤치마크(예: MMBench, MathVista)에서 성능을 개선하여, 모델이 전이 가능한 멀티모달 표현을 학습함을 시사합니다.

의의 및 주장

본 논문은 현재 인터리브드 추론의 병목 현상이 픽셀 수준의 생성 자체가 아니라, 모든 추론 단계를 전체 이미지 생성 작업으로 취급하는 패러다임에 있다고 주장합니다. 시각적 상태 전이 관점으로 전환함으로써 DeltaV는 다음을 달ر성합니다:

• 높은 효율성: 변화만을 모델링함으로써 토큰 오버헤드를 획기적으로 줄입니다.
• 더 나은 추론 신호: 중복된 콘텐츠가 아닌, 추론을 이끄는 희소하고 결정적인 변화에 감독을 집중합니다.
• 개선된 일관성: 다단계 추론 체인 전반에 걸친 오류 누적과 의미론적 드리프트를 완화합니다.

저자들은 DeltaV가 더 효율적이고 일반화 가능한 통합 멀티모달 지능을 향한 경로를 제시하며, 미래의 시스템은 태스크 요구 사항에 따라 적응형으로 중간 표현(컴팩트한 업데이트 vs 전체 이미지 vs 외부 도구)을 선택해야 한다고 결론짓습니다.