💻 computer science

WinTok: A Win-Win Hybrid Tokenizer via Decomposing Visual Understanding and Generation with Transferable Tokens

WinTok 는 사전 훈련된 기반 모델에서 추출한 학습 가능한 의미 토큰과 픽셀 토큰을 결합하여 이해와 생성을 분리하는 하이브리드 시각 토크나이저로, 기존 통합 접근법보다 훨씬 적은 학습 데이터로 두 작업 모두에서 뛰어난 성능을 달성합니다.

원저자: Yiwei Guo, Shaobin Zhuang, Zhipeng Huang, Canmiao Fu, Chen Li, Jing Lyu, Yali Wang

게시일 2026-05-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yiwei Guo, Shaobin Zhuang, Zhipeng Huang, Canmiao Fu, Chen Li, Jing Lyu, Yali Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 번에 두 가지 매우 다른 일을 하도록 로봇을 가르치려 한다고 상상해 보세요: 그림을 말로 설명하는 것 (이해) 과 그 그림을 처음부터 다시 그리는 것 (생성).

문제는 이 두 가지 일이 서로 다른 "언어"를 필요로 한다는 점입니다.

그림을 설명하려면 로봇은 고수준의 추상적 개념 (예: "슬픈 개"나 "화창한 해변") 이 필요합니다. 모든 단일 픽셀의 정확한 색상을 알 필요는 없습니다.
그림을 다시 그리려면 로봇은 저수준의 정밀한 세부 사항 (예: 하늘의 정확한 푸른 색조나 털의 질감) 이 필요합니다. 개가 "슬픈지"는 상관없고 픽셀만 중요할 뿐입니다.

옛날 방식: "모든 일을 하지만 하나도 잘하지 못하는" 접근법
이전 시도들은 로봇이 두 가지 일을 모두 수행하도록 단일 세트의 "토큰"(디지털 구성 블록) 을 사용하도록 강요했습니다. 이는 요리사에게 같은 칼로 야채를 다듬는 일과 섬세한 수술을 모두 하라고 요구하는 것과 같습니다. 그 결과는 타협이었습니다: 로봇은 설명도 그리는 것도 보통 수준이 되었지만, 어느 하나도 뛰어나지는 않았습니다.

새로운 해결책: WinTok("전문가 팀" 접근법)
이 논문은 로봇이 서로 협력하지만 분리되어 유지되는 두 가지 다른 도구 세트를 제공함으로써 이 문제를 해결하는 새로운 시스템인 WinTok을 소개합니다. 두 개의 전문 팀을 갖춘 건설 부대로 생각하세요:

픽셀 팀 (예술가들): 이 팀은 "픽셀 토큰"을 처리합니다. 그들은 미세한 세부 사항, 질감, 색상에 전적으로 집중하는 화가 팀과 같습니다. 그들의 유일한 임무는 최종 이미지가 원본과 정확히 일치하도록 하는 것입니다. 그들은 생성에 뛰어납니다.
의미 팀 (철학자들): 이 팀은 "학습 가능한 토큰"을 처리합니다. 그들은 전체 그림을 보고 주요 아이디어 ("개다", "행복하다") 를 요약하는 미술 비평가 팀과 같습니다. 그들은 붓질에 신경 쓰지 않고 의미만 포착합니다. 그들은 이해에 뛰어납니다.

그들이 어떻게 협력하는지: "비대칭 증류"
여기가 교묘한 부분입니다: "철학자들"(의미 팀) 을 처음부터 몇 년 동안 훈련시키지 않고도 얼마나 똑똑하게 만들 수 있을까요?

저자들은 비대칭 토큰 증류라는 기법을 사용합니다. 유명하고 세계적 수준의 미술 비평가 (사전 훈련된 "기반 모델") 가 그림을 보고 로봇의 의미 팀에게 그림의 "본질"을 속삭이는 상황을 상상해 보세요. 로봇 팀은 듣고 배우며 그 전문가의 이해를 모방하려고 노력합니다.

반전: 그 전문가는 "예술가들"(픽셀 팀) 에게 새로운 것을 가르치지 않습니다. 그들은 자신이 잘하는 일 (세부 사항 그리기) 만 계속합니다.
결과: 의미 팀은 전문가로부터 배웠기 때문에 의미의 대가가 되고, 픽셀 팀은 세부 사항의 대가로 남습니다. 그들은 서로 방해하지 않고 나란히 일합니다.

결과: 윈 - 윈
두 팀이 명확하고 분리된 역할을 가지기 때문에 로봇은 타협할 필요가 없습니다.

이해를 위해: "이 사진에 누가 있나요?"나 "분위기는 어떤가요?"와 같은 질문에 답하기 위해 의미 팀의 요약을 사용합니다. 이전 최고의 시스템보다 분류 정확도가 11.2% 향상되었습니다.
생성을 위해: 이미지를 다시 그리기 위해 픽셀 팀의 세부 사항을 사용합니다. 재구성 품질은 최고의 시스템과 똑같이 좋았지만, 훨씬 적은 학습 데이터(10 억 개 대신 5 천만 개 이미지) 로 달성했습니다.

한 줄 요약
WinTok 은 모든 일을 한 명의 요리사가 하려고 했던 식당이 멈춘 것과 같습니다. 대신, 다듬기와 접시 차리기에 뛰어난 수석 요리사(생성) 와 맛과 재료를 설명하는 데 뛰어난 음식 비평가(이해) 를 고용했습니다. 그들이 가장 잘하는 일을 하도록 함으로써, 이 식당은 더 적은 재료 (데이터) 를 사용하면서도 더 좋은 음식 (이미지) 을 제공하고 더 좋은 리뷰 (설명) 를 작성합니다.

WinTok 기술 요약

문제 제기
통합 멀티모달 모델은 단일 자기회귀 프레임워크 내에서 시각적 이해와 생성을 연결하는 것을 목표로 합니다. 그러나 이러한 작업은 시각적 토큰화에 상충되는 요구 사항을 부과합니다. 시각적 이해는 추상적 개념을 포착하기 위해 고수준의 연속적 의미 추상화가 필요인 반면, 시각적 생성은 정밀한 픽셀 재구성과 고충실도 합성을 보장하기 위해 저수준의 이산적 토큰에 의존합니다. 기존 접근 방식은 다음과 같은 딜레마에 직면해 있습니다:

이중 인코더: 각 작업에 별도의 토크나이저를 사용하면 충돌을 피할 수 있지만, 모델 복잡성이 크게 증가하고 진정한 통합을 이루지 못합니다.
통합 인코더: 의미 추상화와 픽셀 재구성을 모두 처리하도록 단일 토큰 세트를 강제하면 최적화 충돌이 발생하여 어느 작업도 최적의 결과를 달성하지 못하는 성능 트레이드오프가 초래됩니다.

방법론: WinTok
저자들은 단일 통합 인코더 내에서 두 가지 고유한 토큰 유형을 사용하여 명시적으로 작업을 분해함으로써 시각적 이해와 생성 목표를 분리하면서도 통합된 아키텍처를 유지하도록 설계된 간결한 하이브리드 토크나이저인 WinTok을 제안합니다. 핵심 혁신은 다음과 같습니다:

하이브리드 토큰화 아키텍처:
- 통합 인코더: 비전 트랜스포머 (ViT) 가 입력 이미지를 수신합니다.
- 픽셀 토큰: 인코더는 입력 이미지 패치에서 픽셀 토큰을 생성합니다. 이러한 토큰은 풍부한 지역적 세부 정보를 유지하며 시각적 생성에 최적화됩니다.
- 학습 가능한 의미 토큰: 학습 가능한 토큰 세트를 추가 입력으로 통합 인코더에 도입합니다. 이러한 토큰은 시각적 이해를 위한 고수준의 전역적 의미를 포착하도록 최적화됩니다.
- 퓨전: 픽셀 토큰과 학습 가능한 토큰은 연결되어 통합 인코더에 의해 처리되며, 이를 통해 상호 보완적인 맥락 정보를 적응적으로 통합할 수 있습니다.
비대칭 토큰 증류:
무작위로 초기화된 학습 가능한 토큰에 강력한 판별력을 부여하기 위해 저자들은 비대칭 토큰 증류 메커니즘을 도입합니다:
- 사전 훈련된 비전 기반 모델 (예: SigLIP2) 이 "의미 교사" 역할을 합니다.
- 교사는 입력 이미지에서 의미 토큰을 추출합니다.
- 교사의 토큰과 모델의 학습 가능한 토큰 모두에 전역 풀링을 적용하여 전역 벡터를 얻습니다.
- 코사인 유사도 손실은 교사의 의미 지식을 계승하도록 학습 가능한 토큰의 최적화를 안내하여, 교사가 생성 파이프라인의 일부가 되지 않아도 표현 능력을 효과적으로 이전합니다.
훈련 목표:
- 의미 손실: 풀링된 학습 가능한 토큰과 교사의 의미 토큰 간의 거리를 최소화합니다.
- 픽셀 손실: 픽셀 토큰은 멀티 코드북 양자화 (MCQ) 모듈을 통해 양자화되고 디코더를 사용하여 재구성됩니다. 최적화에는 픽셀 재구성 손실, 코드북 학습 손실, 지각 손실 및 적대적 손실이 포함됩니다.

주요 기여

이전 가능한 토큰을 통한 분리: WinTok 은 의미 추상화를 위해 학습 가능한 토큰을 사용하고 재구성을 위해 픽셀 토큰을 사용하여 이해와 생성 간의 내재적 충돌을 해결함으로써 이중 인코더의 복잡성을 피합니다.
비대칭 증류: 이 방법은 학습 가능한 토큰이 기반 모델에서 강력한 의미 표현을 계승하도록 하여, 생성 충실도를 훼손하지 않고 이해 능력을 향상시킵니다.
효율성: 이 접근 방식은 강력한 베이스라인에 비해 훨씬 적은 훈련 데이터 (5 천만 장의 이미지) 와 축소된 코드북 크기로 높은 성능을 달성합니다.

실험 결과
10 개의 벤치마크에서 평가된 결과, WinTok 은 재구성, 이해, 생성 분야에서 일관된 개선을 보여줍니다:

재구성 및 분류: ImageNet-1K 검증 세트에서 WinTok 은 Top-1 분류 정확도 **82.0%**를 달성하여 강력한 베이스라인인 UniTok 보다 11.2% 더 높은 성능을 보입니다. 5 천만 장 (50M) 대 10 억 장 (1B) 의 훈련 데이터와 더 작은 코드북 용량 ( $2^{48}$ 대 $2^{96}$ ) 을 사용했음에도 불구하고 rFID 0.41로 UniTok 과 비교할 만한 경쟁력 있는 재구성 품질을 유지합니다.
멀티모달 이해: LLM(Qwen3-8B) 과 통합된 WinTok 은 POPE 벤치마크에서 UniTok 보다 3.3% 더 높은 성능을 보이며 GQA, TextVQA, MMBench 에서도 경쟁력 있는 결과를 달성합니다.
시각적 생성: 텍스트-이미지 생성 작업 (GenEval 및 DPG-Bench) 에서 WinTok 은 UniTok(GenEval 에서 0.76 대 0.59) 보다 우세하며 대규모 확산 모델 및 기타 자기회귀 시스템과 비교해도 경쟁력 있는 성능을 보입니다.
어블레이션 연구: 실험은 학습 가능한 토큰 수를 늘리면 두 작업 모두 개선됨을 확인합니다. 또한 역할을 반전시키는 것 (재구성을 위해 학습 가능한 토큰 사용) 은 성능을 심각하게 저하시켜 의미와 픽셀 책임을 분리하는 특정 설계 선택을 검증합니다.

의의 및 주장
이 논문은 WinTok 이 시각적 이해와 생성의 상이한 요구 사항을 효과적으로 균형 있게 조정함으로써 통합 멀티모달 모델링을 위한 유망한 방향을 제시한다고 주장합니다. 이러한 목표를 이전 가능한 토큰을 통해 분해함으로써 WinTok 은 이중 아키텍처의 오버헤드 없이 두 작업 모두에 혜택을 주는 "윈 - 윈" 성능을 달성합니다. 저자들은 현재 구현이 5 천만 샘플 데이터셋과 특정 아키텍처 선택에 제한되어 있지만, 하이브리드 인코딩 전략이 훈련 코퍼러스 확장 및 통합 아키텍처 공동 설계에 특히 유용한 유연한 기반을 제공한다고 언급합니다.

WinTok 기술 요약

유사한 논문