기술 요약: MUSE – 위상 직교성을 통한 시각 토큰화에서의 매니폴드 불일치 해결

1. 문제 제기: 제로섬 트레이드오프

통합된 시각 토큰화는 단일 잠재 공간 내에서 이미지 이해와 생성 간의 간극을 해소하는 것을 목표로 합니다. 그러나 기존 접근법 (예: UniTok, TokenFlow, UniLIP) 은 근본적인 매니폴드 불일치에 직면해 있습니다. 이 논문은 두 가지 상충하는 기하학적 목표 사이의 "제로섬 게임"을 식별합니다:

• 의미 불변성 ($\mathcal{M}_S$): 이해를 위해 필수적인 이 목표는 배경이나 질감 같은 불필요한 변이를 잠재 공간이 "축소"하도록 유도하여 개념을 안정화합니다.
• 구조 등변성 ($\mathcal{M}_T$): 고충실도 생성을 위해 필수적인 이 목표는 공간 배치, 자세, 고주파 세부 사항을 보존하기 위해 공간이 "펼쳐진" 상태를 유지해야 한다고 요구합니다.

현재 방법들은 픽셀 및 의미 손실의 가중 합과 같은 단순한 결합 최적화를 통해 둘 다 충족하려 시도합니다. 저자들은 이것이 파괴적 간섭을 유발한다고 주장합니다. 픽셀 기울기는 세부 사항을 위해 매니폴드를 펼치는 반면, 의미 기울기는 불변성을 위해 이를 축소하기 때문입니다. 그 결과 지각적 양극화가 발생하여, 모델들은 고주파 노이즈 (픽셀 중심) 를 생성하거나 흐릿한 추상화 (의미 중심) 를 만들어내며, 구조적 일관성의 "누락된 중간 영역"을 포착하지 못합니다.

2. 방법론: 위상 직교성

저자들은 MUSE(구조적 임베딩을 통한 매니폴드 통합) 를 제안합니다. 이는 손실을 균형 있게 맞추는 것이 아니라, 트랜스포머 아키텍처 내에서 최적화 경로를 물리적으로 분리함으로써 이 갈등을 해결하는 프레임워크입니다.

핵심 가설: 기울기 직교성

MUSE 는 기울기 직교성 가설에 기반을 두고 있으며, 이는 의미 및 구조적 목표가 본질적으로 트랜스포머 블록의 직교 부분 공간에 존재한다고 가정합니다:

• 특징 값 ($W_V$): 본질적으로 의미 콘텐츠를 수용합니다.
• 어텐션 위상 ($W_Q, W_K$): 본질적으로 구조적 관계와 기하학을 수용합니다.

표준 최적화는 이러한 기울기를 공유 도메인으로 강제하여 간섭을 일으킵니다. MUSE 는 기울기를 본연의 부분 공간으로 라우팅함으로써 직교성을 강제하고, 파괴적 간섭을 상호 강화로 전환합니다.

아키텍처: 시너지 블록

MUSE 는 표준 트랜스포머 레이어를 처리를 분기시키는 시너지 블록으로 대체합니다:

1. 위상 스트림: $W_Q$와 $W_K$를 사용하여 인접 행렬 $A$(어텐션 맵) 를 계산합니다. 이 스트림은 토큰이 어떻게 관련되는지 (기하학) 를 정의하기 위해 구조적 목표에 의해서만 최적화됩니다.
2. 의미 스트림: $W_V$를 사용하여 특징 콘텐츠를 업데이트하고 고정된 구조적 맵 $A$를 통해 이를 집계합니다. 이 스트림은 토큰이 무엇을 나타내는지 (콘텐츠) 를 정의하기 위해 의미적 목표에 의해 최적화됩니다.

학습 커리큘럼

이 프레임워크는 매니폴드를 점진적으로 정렬하기 위해 3 단계 학습 프로토콜을 사용합니다:

• 1 단계 (구조): 구조적 위상 정렬. 인코더의 어텐션 위상을 KL-발산 손실 ($\mathcal{L}_{topo}$) 을 사용하여 자기지도형 교사 (DINOv3) 와 정렬합니다. 이는 의미 간섭 없이 기하학적 발판 ($\mathcal{M}_T$) 을 확립합니다.
• 2 단계 (의미): 능동적 의미 고정. 텍스트 임베딩에 대한 노이즈 대비 추정 (NCE) 을 사용하여 ($\mathcal{L}_{anchor}$) 확립된 위상에 의미 개념을 주입합니다. 이는 위상을 방해하지 않으면서 특징 값을 의미 매니폴드 ($\mathcal{M}_S$) 에 고정합니다.
• 3 단계 (시너지): 시너지 튜닝. 픽셀 재구성 손실로 엔드 - 투 - 엔드 학습을 위해 백본의 잠금을 해제합니다. 구조적 격리는 재구성 기울기가 위상을 정제하고 의미 기울기가 값을 정제하도록 보장하여 상호 악화를 방지합니다.

3. 주요 기여

1. 매니폴드 불일치 식별: 이 논문은 통합 토크나이저의 실패를 의미에 대한 "축소"와 구조에 대한 "펼침" 사이의 기하학적 갈등, 즉 제로섬 트레이드오프로 귀결된다고 규정합니다.
2. 위상 직교성 프레임워크: MUSE 는 의미를 특징 값에, 구조를 어텐션 위상에 고정함으로써 최적화를 분리하는 새로운 아키텍처 메커니즘을 도입합니다. 이는 물리적으로 기울기 간섭을 제거합니다.
3. 상호 강화: 이전 방법들이 성능을 트레이드오프하는 것과 달리, MUSE 는 구조적으로 정렬된 재구성이 의미 지각을 능동적으로 정제할 수 있음을 보여줍니다.

4. 실험 결과

ImageNet-1K 및 ADE20K 에 대한 광범위한 실험이 이 접근법을 검증합니다:

• 트레이드오프 극복: MUSE 는 새로운 파레토 프론티어를 달성합니다. 이는 전문 생성 품질 (gFID 3.08) 과 일치하면서도 이해 측면에서 통합 베이스라인을 크게 능가합니다 (선형 프로브 85.2%).
• 교사 모델 능가: 독특하게도 MUSE 는 자체 교사 백본 (InternViT-300M) 을 선형 프로브에서 능가합니다 (85.2% 대 82.5%). 이는 구조적 정렬 과정이 의미 특징을 희석하는 것이 아니라 정제함을 증명합니다.
• 통합 멀티모달 모델 (UMM): UMM(예: MUSE-3B) 에 통합될 때, 이 모델은 공간 제어 (GenEval-Position 0.89) 및 편집 일관성 측면에서 전문 모델을 능가하면서도 견고한 이해 (MMVP 74.8) 를 유지합니다.
• 애블레이션 연구: 구조적 위상 정렬을 제거하면 "의미 실명"과 구조적 붕괴가 발생합니다. MUSE 의 물리적 분리는 별도의 인코더를 사용하는 "투 스트림" 상한선과 비교 가능한 성능을 달성하며, 매개변수 오버헤드는 미미합니다 (1.03 배 대 2.0 배).

5. 중요성 및 주장

이 논문은 매니폴드 불일치가 통합 모델에서 지각 - 생성 간극의 근본 원인이라고 주장합니다. 구조를 직교적인 교량으로 취급함으로써 MUSE 는 제로섬 게임을 해결하여 단일 토크나이저가 고충실도 재구성과 견고한 의미 이해를 동시에 달성할 수 있게 합니다.

저자들은 그들의 접근법이 단순히 상충하는 목표를 균형 있게 맞추는 것이 아니라, 이를 간섭하지 않는 부분 공간으로 분리한다고 강조합니다. 이는 상호 강화를 가능하게 하여, 생성의 구조적 제약이 의미 이해를 능동적으로 향상시키고, 의미적 기반이 생성의 일관성을 개선합니다. 이 연구는 단순한 손실 정규화나 멀티스트림 아키텍처보다 아키텍처적 분리가 파레토 효율적인 통합을 위한 더 효과적인 경로임을 시사합니다.