UniCompress: Token Compression for Unified Vision-Language Understanding and Generation

이 논문은 이해와 생성 작업을 통합하는 비전 - 언어 모델의 계산 효율성을 극대화하기 위해 학습 가능한 글로벌 메타 토큰을 활용한 경량화 모듈식 토큰 압축 알고리즘 'UniCompress'를 제안하며, 이를 통해 이미지 토큰 수를 최대 4 배 줄이고 추론 지연 및 훈련 비용을 크게 절감하면서도 성능 저하를 최소화함을 보여줍니다.

핵심

🎨 유니컴프레스 (UniCompress): 그림을 더 작게, 더 똑똑하게 만드는 마법 상자

이 논문은 인공지능이 그림을 보고 이해하는 것과 그림을 그리는 것을 동시에 할 때 겪는 큰 문제를 해결한 새로운 방법을 소개합니다.

🧩 문제: 그림이 너무 '방대'해서 무거워요!

상상해 보세요. 인공지능이 그림을 볼 때, 그 그림을 작은 레고 블록 (토큰) 수천 개로 쪼개서 분석한다고 가정해 봅시다.

• 이해 (Understanding): 그림 속의 개가 "개"인지, 배경이 "바다"인지 알기 위해 레고 블록을 살펴봅니다.
• 생성 (Generation): 그림을 그릴 때, 이 레고 블록 하나하나를 하나씩 맞춰서 완성도를 높입니다.

지금까지의 기술은 그림을 표현하기 위해 **너무 많은 레고 블록 (약 1,000 개 이상)**을 사용했습니다. 이는 마치 거대한 트럭으로 우편물을 배달하는 것과 같습니다.

• 단점: 메모리를 많이 먹고, 시간이 오래 걸리며, 작은 스마트폰이나 로봇 같은 제한된 장비에서는 실행조차 어렵습니다.
• 기존 해결책의 실패: 단순히 레고 블록 수를 줄이면 (예: 1,000 개 → 250 개), 그림을 '이해'하는 데는 괜찮지만, 그림을 '그릴' 때는 디테일이 뭉개져서 엉망이 됩니다. 마치 지도를 너무 축소해서 도시 이름은 알 수 있어도, 길까지 찾지 못하는 것과 비슷합니다.

---

✨ 해결책: 유니컴프레스 (UniCompress)

저자들은 이 문제를 해결하기 위해 **"유니컴프레스"**라는 새로운 장치를 제안했습니다. 이 장치는 그림을 압축하고 다시 풀어주는 스마트한 번역기 역할을 합니다.

🛠️ 작동 원리: "요약본"과 "전체 지도"의 조합

이 방법은 그림을 다룰 때 두 가지 핵심 요소를 사용합니다.

1. 전체적인 분위기 잡기 (글로벌 메타 토큰):

   • 비유: 그림을 볼 때, 수천 개의 세부 사항보다 먼저 **"이 그림은 '바다 위를 나는 사람'에 대한 이야기구나"**라는 핵심 요약을 먼저 잡는 것입니다.
   • 이 요약본은 아주 작지만, 그림의 전체적인 맥락 (배경, 주제, 분위기) 을 완벽하게 기억하고 있습니다.

2. 세부 사항을 압축해서 전달 (압축기):

   • 비유: 레고 블록 1,000 개를 4 배 더 큰 블록 250 개로 합치는 것입니다. (예: 2x2 개의 작은 블록을 하나로 합침).
   • 이렇게 하면 데이터 양이 줄어듭니다. 하지만 단순히 합치는 것만으로는 디테일이 사라집니다.

3. 완벽한 복원 (자동 생성 해독기):

   • 비유: 이제 **요약본 (전체 분위기)**을 손에 들고, **압축된 블록 (세부 사항)**을 바탕으로 원래의 정교한 그림을 다시 그려냅니다.
   • 인공지능은 "아, 이 부분은 바다야 (요약본)"라는 힌트를 받으면서, 압축된 블록들을 원래의 정교한 디테일로 ** autoregressive(한 글자씩 이어가며)**하게 풀어냅니다.

🚀 왜 이것이 특별한가요?

• 플러그인 방식 (Plug-and-Play): 기존에 만들어진 거대한 인공지능 모델을 통째로 갈아엎을 필요가 없습니다. 마치 새로운 엔진을 기존 자동차에 끼워 넣는 것처럼 쉽게 추가할 수 있습니다.
• 이해와 생성 모두 성공: 단순히 그림을 줄이는 게 아니라, 그림을 그릴 때 필요한 디테일까지 살려냅니다.
• 속도 향상: 데이터 양이 4 배 줄었으니, 처리 속도도 40% 이상 빨라졌습니다.

---

📊 실제 효과: 얼마나 좋아졌나요?

연구팀은 다양한 인공지능 모델에 이 기술을 적용해 보았습니다.

• 그림 이해 (VQA, 캡션 생성): 압축을 해도 정확도가 거의 떨어지지 않았습니다. (예: 100 점 만점에 98 점 → 97 점 수준)
• 그림 생성 (이미지 만들기): 단순히 줄였을 때보다 훨씬 선명하고 디테일한 그림을 그렸습니다.
• 속도: 그림을 그리는 시간이 30 분에서 19 분으로 줄어든 경우도 있었습니다.

💡 결론: 더 가볍고 똑똑한 AI 의 미래

유니컴프레스는 "그림을 더 적게, 더 똑똑하게 표현하는 법"을 찾아냈습니다.

마치 고해상도 사진 파일을 압축해서 전송하되, 받는 사람이 다시 원본처럼 선명하게 볼 수 있게 해주는 '스마트 압축 기술'과 같습니다.

이 기술 덕분에 앞으로는 스마트폰, 로봇, 자율주행차 같은 자원이 제한된 기기에서도 고화질의 그림을 이해하고 그릴 수 있는 AI 가 현실이 될 것입니다. 더 적은 전력과 메모리로 더 큰 일을 해내는, **AI 의 '효율성 혁명'**이라고 할 수 있습니다.

기술 요약

1. 문제 정의 (Problem Statement)

최근 멀티모달 학습은 단일 자기회귀 (autoregressive) 프레임워크 내에서 이미지 이해 (understanding) 와 생성 (generation) 을 모두 지원하는 통합 모델 (Unified Models) 로 발전하고 있습니다. 이러한 모델은 이미지를 이산적인 토큰 (discrete tokens) 으로 인코딩하여 텍스트와 함께 처리합니다.

하지만 이러한 통합 모델은 다음과 같은 심각한 비효율성 문제를 겪고 있습니다:

• 높은 계산 및 메모리 오버헤드: 512x512 크기의 이미지를 표현하기 위해 보통 1,024 개 (32x32) 의 시각 토큰이 필요합니다. 이는 긴 시퀀스 길이를 초래하여 메모리 사용량, 학습 비용, 추론 지연 시간 (latency) 을 크게 증가시킵니다.
• 생성 성능 저하: 기존 연구에서 이미지 이해를 위해 시각 토큰을 단순하게 다운샘플링하거나 균일하게 제거 (pruning) 하는 방법은 이해 작업에는 효과적이지만, 이미지 생성 작업의 성능을 15% 이상 급격히 저하시킵니다. 생성 작업은 세부적인 공간적 일관성이 필요하기 때문에 토큰 손실에 매우 민감합니다.
• 재학습 비용: 더 효율적인 토크나이저를 새로 학습시키려면 하류 언어 모델 (LLM) 을 처음부터 다시 학습시켜야 하므로 비용이 매우 큽니다.

따라서, 기존 모델을 재학습 (full retraining) 하지 않고도 이해와 생성 성능을 유지하면서 시각 토큰 수를 획기적으로 줄일 수 있는 모듈형 압축 방법이 필요합니다.

2. 방법론 (Methodology: UNICOMPRESS)

저자들은 UNICOMPRESS라는 플러그인 (plug-in) 방식의 토큰 압축 프레임워크를 제안합니다. 이 방법은 기존 이산 토크나이저 (discrete tokenizer) 주변에 경량 모듈을 추가하여 작동하며, 전체 구조를 크게 변경하지 않습니다.

핵심 구성 요소

1. 글로벌 메타 토큰 추출 (Global Token Extraction):

   • 입력된 밀집한 시각 토큰 시퀀스 ($H \times W$) 에서 전역적인 의미 (scene-level semantics) 를 추출하기 위해 학습 가능한 메타 쿼리 토큰 (meta query tokens) 을 사용합니다.
   • 단방향 크로스 어텐션 (one-way cross-attention) 을 통해 이미지 전체를 참조하여 소수의 글로벌 메타 토큰 ($G$) 을 생성합니다. 이는 전체적인 레이아웃과 객체 관계를 제약하는 역할을 합니다.

2. 토큰 압축 (Token Compression via Pooling):

   • 시각 토큰을 비겹치는 패치 (예: 2x2, 4x4) 단위로 평균 풀링 (Average Pooling) 하여 시퀀스 길이를 단축합니다.
   • 이를 통해 로컬 토큰 수를 줄이면서도 coarse 한 구조는 유지합니다.
   • 압축된 로컬 토큰과 글로벌 메타 토큰을 별도의 특수 토큰 ([IMG BOS], [IMG SEP], [IMG EOS]) 으로 구분하여 시퀀스에 삽입합니다.

3. 글로벌 가이드 자기회귀 디컴프레션 (Global-guided Autoregressive Decompression):

   • 생성 (Generation) 단계에서 핵심이 되는 모듈입니다.
   • LLM 이 압축된 토큰과 글로벌 토큰을 예측하면, 디컴프레서 (Transformer Decoder) 가 이를 원래 해상도의 밀집한 토큰 시퀀스로 복원합니다.
   • 디컴프레서는 예측된 글로벌 토큰을 '시맨틱 앵커 (semantic anchors)'로 사용하여, 로컬 텍스처와 경계를 자기회귀적으로 정제합니다. 이를 통해 단순 풀링으로 인한 세부 정보 손실을 방지합니다.

학습 파이프라인 (Two-Stage Training)

1. 1 단계 (토크나이저 학습): LLM 을 고정 (freeze) 하고, UNICOMPRESS 모듈 (추출기, 압축기, 디컴프레서) 을 포함한 토크나이저 스택을 이미지 재구성 손실 (reconstruction loss) 로 학습합니다.
2. 2 단계 (LLM 미세 조정): 압축된 토크나이저를 고정하고, 압축된 데이터로 LLM 을 가볍게 미세 조정 (fine-tune) 합니다.
   • 이 방식은 "한 번 압축하여 이해와 생성 모두에 재사용"이 가능하게 하며, 기존 통합 모델 아키텍처에 구조적 변경 없이 통합됩니다.

3. 주요 기여 (Key Contributions)

• 통합 모델의 병목 현상 규명: 통합 모델에서 토큰 효율성이 주요 병목이며, 단순한 토큰 압축이 생성 성능에 치명적인 영향을 미친다는 것을 규명했습니다.
• UNICOMPRESS 프레임워크 제안: 글로벌 토큰에 의해 안내되는 자기회귀 디컴프레션을 통해 시각 시퀀스를 단축하면서도 생성 세부 사항을 보존하는 플러그인 방식의 솔루션을 제시했습니다.
• 강력한 실증적 결과: 다양한 통합 모델 (UNITOK, VILA-U, VARGPT 등) 에서 최대 4 배의 토큰 감소를 달성하면서도 이해 및 생성 성능을 거의 유지 (성능 저하 ≤5%) 했습니다.

4. 실험 결과 (Experimental Results)

• 성능 유지:
  • 이해 (Understanding): GQA, MME, POPE 등 다양한 벤치마크에서 토큰을 4 배 줄였을 때 점수 하락이 미미했습니다 (예: GQA 55.71 → 53.07).
  • 생성 (Generation): FID(이미지 품질) 와 CLIP Score(텍스트 - 이미지 정렬) 에서도 큰 저하 없이 경쟁력 있는 성능을 유지했습니다. (예: UNITOK 의 FID 16.14 → 16.33).
  • 특히, 단순 풀링이나 CLS 토큰을 사용하는 방법보다 학습 가능한 글로벌 메타 토큰을 사용할 때 생성 품질이 현저히 높았습니다.
• 효율성 향상:
  • 추론 지연 시간 (Inference Latency): 생성 작업에서 최대 41.8% 의 지연 시간 단축을 달성했습니다 (예: UNITOK 기준 32.25 분 → 18.96 분).
  • 학습 시간: 약 15.4% 의 학습 시간 단축 효과를 보였습니다.
• 적용 범위: 단일 토크나이저를 사용하는 모델뿐만 아니라, 이해와 생성에 다른 토크나이저를 사용하거나 확산 모델 (Diffusion Model) 을 결합한 모델 (UNIFORK, BAGEL 등) 에도 적용 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

UNICOMPRESS 는 제한된 컴퓨팅 자원 (Resource-constrained scenarios) 이 필요한 환경 (예: Embodied AI, 모바일 디바이스) 에서 통합 멀티모달 모델의 실용적인 배포를 가능하게 합니다.

기존의 토큰 압축 방법들이 주로 학습 효율성이나 이해 작업에만 초점을 맞췄다면, UNICOMPRESS 는 이해와 생성이라는 두 가지 상충되는 목표를 동시에 만족시키며, 재학습 비용 없이 기존 모델에 쉽게 적용할 수 있는 모듈형 솔루션을 제공합니다. 이는 토큰 효율적인 통합 모델링이 현실 세계의 멀티모달 애플리케이션에서 확장 가능한 미래를 열어준다는 것을 보여줍니다.