기술 요약: 마지막 레이어를 넘어: 비주얼 토크나이저를 위한 다중 레이어 표현 융합

1. 문제 제기

현재 최첨단 비주얼 토크나이저, 특히 DINOv2 와 같은 프리트레인된 비전 파운데이션 모델 (VFMs) 을 백본으로 활용하는 토크나이저들은 치명적인 단일 레이어 정보 병목 현상에 시달리고 있습니다. 기존 방법들은 잠재 공간을 정의하기 위해 최종 인코더 레이어의 특징만을 독점적으로 추출합니다. 이러한 마지막 레이어의 특징은 고수준 의미론에 최적화되어 있지만, 점진적인 의미 추상화를 통해 저수준 비주얼 디테일 (텍스처, 에지, 색상 그라디언트) 을 체계적으로 폐기합니다.

최근 분석에 따르면, 저수준 정보는 최종 레이어에서 수동적인 잔차 연결을 통해 감쇠된 잔차로만 생존하며, 레이어가 거듭될수록 손실률이 증가합니다. 결과적으로 단일 레이어 토크나이저는 중간 레이어에 분포된 풍부한 계층적 정보를 폐기하여, 재구성 충실도와 하류 생성의 품질을 모두 제한합니다. 또한, NLP 토크나이저의 어휘 크기 스케일링과 유사한 예측 가능한 스케일링 법칙을 따라 비주얼 토크나이저의 "표현 풍부함"을 증가시킬 수 있는지에 대한 여부는 여전히 열린 질문으로 남아 있습니다.

2. 방법론: DRoRAE

저자들은 프리즈된 디코더와 하류 생성 모델과의 호환성을 유지하면서 모든 인코더 레이어의 특징을 집계하도록 설계된 경량 융합 모듈인 **DRoRAE(Depth-Routed Representation AutoEncoder)**를 제안합니다.

핵심 아키텍처

DRoRAE 는 프리즈된 VFM 백본과 디코더 사이에 학습 가능한 융합 모듈을 삽입합니다. 이 과정은 세 가지 핵심 메커니즘을 포함합니다:

1. 레이어별 전문가 (Layer-wise Experts): $L$개의 인코더 레이어 각각은 전용 전문가 네트워크 (2 층 MLP) 와 연결됩니다. 이러한 전문가들은 백본의 레이어 정규화로 정규화되어 변동성 차이를 처리하도록, 이질적인 레이어 특징을 공통 스케일로 투영합니다.
2. 에너지 제약 라우팅 (Energy-Constrained Routing): 소프트맥스 정규화를 사용하는 표준 전문가 혼합 (MoE) 과 달리, DRoRAE 는 에너지 제약 라우팅 메커니즘을 사용합니다. 라우터 네트워크는 모든 레이어에 대한 토큰별 가중치를 생성합니다. 핵심적으로, 이 공식화는 음수 가중치를 허용하여 라우터가 단순히 승자를 선택하는 것이 아니라 해로운 레이어 기여를 능동적으로 억제 (노이즈 제거) 할 수 있게 합니다. 출력은 가중치 벡터의 $\ell_2$-노름으로 정규화되어 출력 에너지를 제한합니다.
3. 점진적 보정 (Incremental Correction): DRoRAE 는 융합된 표현 ($z_{fuse}$) 으로 원래 마지막 레이어 출력 ($z_{base}$) 을 대체하는 대신, 출력을 점진적 보정으로 공식화합니다:
   $$z_{final} = LN_{bb}(z_{base} + \beta \cdot (z_{fuse} - z_{base}))$$
   여기서 $\beta$는 융합 강도를 제어합니다. 이 잔차 공식은 융합된 잠재 공간이 원래 분포에 고정되도록 하여 하류 생성 호환성을 깨뜨릴 수 있는 임의의 이동을 방지합니다.

3 단계 분리 학습 전략

프리즈된 디코더가 기대하는 잠재 분포를 이동시키는 문제를 해결하기 위해, 저자들은 점진적인 학습 전략을 제안합니다:

• 1 단계 (디코더 학습): 표준 단일 레이어 RAE 베이스라인으로 디코더를 학습하여 강력한 "디코딩 능력"을 확립하고 목표 분포를 정의합니다.
• 2 단계 (융합 모듈 학습): 백본과 1 단계 디코더를 프리즈합니다. 융합 모듈만 학습합니다. 프리즈된 디코더는 암시적 분포 제약으로 작용하여, 융합 모듈이 디코더가 이미 역변환할 수 있는 보완적 정보를 학습하도록 강제함으로써 분포 이동을 방지합니다.
• 3 단계 (디코더 미세 조정): 최적화된 융합 모듈을 프리즈하고 디코더를 언프리즈합니다. 디코더를 미세 조정하여 풍부한 잠재 공간을 완전히 활용하고, 생성에 해를 끼치지 않으면서 재구성 품질을 극대화합니다.

3. 주요 기여

1. 병목 현상의 식별: 본 논문은 기존 표현 오토인코더가 저수준 디테일이 단순히 감쇠된 잔차에 불과한 마지막 인코더 레이어에만 의존함으로써 계층적 비주얼 정보를 폐기한다는 점을 규명했습니다.
2. DRoRAE 아키텍처: 에너지 제약 라우팅 (음수 가중치 허용) 과 점진적 보정을 통해 모든 인코더 레이어를 적응적으로 집계하는 경량 (~29M 파라미터) 깊이 라우팅 융합 모듈.
3. 학습 전략: 디코더를 공동 적응시키기 전에 프리즈된 디코더의 제약 하에서 융합을 학습함으로써 생성 호환성을 보장하는 3 단계 분리 학습 프로토콜.
4. 스케일링 법칙 발견: 본 논문은 융합 용량 (전문가 용량 및 융합된 레이어 수로 정의됨) 과 재구성 품질 사이에 로그 - 선형 스케일링 법칙 ($R^2=0.86$) 을 확립했습니다. 이는 NLP 의 어휘 크기와 유사하게 비주얼 토크나이저를 위한 새로운 예측 가능하게 확장 가능한 차원으로서 "표현 풍부함"을 규명합니다.

4. 실험 결과

실험은 재구성과 클래스 조건부 생성에 대해 ImageNet-256(256x256) 에서 수행되었으며, 텍스트 - 이미지 합성에 대해서는 CC12M-LLaVA-Next 에서 수행되었습니다.

• 재구성: DRoRAE 는 RAE 베이스라인 대비 재구성 지표를 크게 개선합니다. rFID 는 0.57 에서 0.29로 감소하고, PSNR 은 18.8 에서 24.32 dB로 증가하며, LPIPS 는 0.256 에서 0.134로 개선됩니다.
• 클래스 조건부 생성: AutoGuidance 가 적용된 DiTDH-XL 생성기를 사용하여 DRoRAE 는 Inception Score(IS) 와 정밀도/재현율을 유지하거나 약간 개선하면서 생성 FID(gFID) 를 1.74 에서 1.65로 개선합니다.
• 텍스트 - 이미지 합성: 이러한 이득은 텍스트 - 이미지 작업으로 이전되어, DRoRAE 는 객체, 카운팅, 공간 차원 전반에 걸쳐 RAE(0.56) 대비 0.60 의 GenEval 점수를 달성하며 동등하거나 약간 더 나은 성능을 보입니다.
• 어블레이션 연구:
  • 에너지 제약 라우팅: 노이즈가 있는 레이어의 능동적 억제를 허용함으로써 소프트맥스 라우팅보다 우수한 성능을 보입니다.
  • 점진적 보정: 생성 호환성에 필수적입니다. 이를 사용하지 않으면 재구성은 약간 개선되지만 하류 확산 학습 손실이 크게 증가하여 분포 불일치를 나타냅니다.
  • 학습 전략: 2 단계 제약 없이 결합 학습을 수행하면 동일한 생성 품질을 달성하지 못하여 분리 접근법의 필요성을 확인시켜 줍니다.

5. 중요성과 주장

본 논문은 DRoRAE 가 다중 레이어 융합이 단일 레이어 추출에서 손실된 고주파 디테일을 복구하는 표현 기반 토크나이저를 위한 실용적이고 효과적인 업그레이드임을 보여준다고 주장합니다.

이 연구의 주요 중요성은 비주얼 토크나이저를 위한 예측 가능한 스케일링 법칙의 발견에 있습니다. "표현 예산"을 증가시키는 것 (더 많은 융합된 레이어 또는 더 큰 전문가 용량을 통해) 이 재구성 품질에서 로그 - 선형 개선을 가져온다는 것을 보여줌으로써, 저자들은 표현 풍부함이 NLP 의 어휘 크기와 비교 가능한 확장 가능한 차원이라고 주장합니다. 이는 비주얼 토크나이징의 향후 개선이 아키텍처 변경이나 더 큰 데이터셋에만 의존하는 것이 아니라, 융합 용량을 확장함으로써 체계적으로 확보될 수 있음을 시사합니다.

본 연구는 현재 실험이 DINOv2-B 를 활용하지만, 해당 방법론은 더 큰 인코더와 잠재적으로 비디오 토크나이징에도 일반화될 수 있으며, 비주얼 생성 시스템을 강화하기 위한 근본적인 방향으로 다중 레이어 융합을 위치 짓는다고 결론지었습니다.