TokenCom: Vision-Language Model for Multimodal and Multitask Token Communications

이 논문은 고해상도와 저해상도 이미지를 동시에 처리하는 이중 비주얼 토크나이저, 다중 스케일 토크를 융합하는 양측 주의 네트워크, 그리고 KAN 기반의 정밀한 비선형 정렬 프로젝터를 도입하여 기존 시각 - 언어 모델의 한계를 극복하고 다중 모달 및 다중 태스크 토크 통신 시스템의 성능을 향상시킨 'TaiChi' 프레임워크를 제안합니다.

핵심

이 논문은 **'타이치 (TaiChi)'**라는 이름의 새로운 인공지능 시스템을 소개합니다. 이 시스템은 우리가 보내는 이미지나 텍스트를 통신할 때, 기존의 방식보다 훨씬 더 똑똑하고 효율적으로 정보를 전달하는 방법을 제안합니다.

기존의 통신 방식이 '0 과 1'이라는 비트 단위로 모든 것을 전송했다면, 타이치는 '의미 (토큰)' 단위로 통신합니다. 마치 편지를 보낼 때 글자 하나하나를 보내는 게 아니라, "오늘 날씨가 좋네요"라는 한 문장 전체의 의미를 압축해서 보내는 것과 비슷합니다.

이 복잡한 기술을 일반인이 이해하기 쉽게 비유와 함께 설명해 드리겠습니다.

---

1. 왜 새로운 시스템이 필요할까요? (기존의 문제점)

기존의 시각 - 언어 모델 (VLM) 은 그림을 보고 글을 쓰는 데는 좋지만, 통신을 할 때는 몇 가지 치명적인 약점이 있었습니다.

• 해상도 문제 (한눈에 다 못 봄): 기존 모델은 그림을 볼 때, 아주 멀리서 전체를 보는지 (글로벌), 아니면 아주 가까이서 디테일을 보는지 (로컬) 중 하나만 선택했습니다. 마치 망원경으로 멀리 있는 산을 보거나 현미경으로 나뭇잎의 무늬를 보는 것만 선택하는 것과 같습니다. 둘 다 한 번에 보지 못해 중요한 정보를 놓치기 쉽습니다.
• 정보 과부하 (너무 많은 말): 그림을 설명하려면 너무 많은 단어가 필요합니다. 통신 채널의 용량이 제한되어 있는데, 설명이 너무 길면 중요한 내용이 잘리거나 전송 비용이 너무 비싸집니다.
• 잘못된 번역 (의미 왜곡): 그림의 정보를 언어로 바꿀 때, 기계가 복잡한 관계를 제대로 이해하지 못해 중요한 디테일이 사라지거나 뭉개지는 경우가 많았습니다.

2. 타이치 (TaiChi) 의 해결책: 세 가지 핵심 기술

타이치는 이 문제들을 해결하기 위해 세 가지 독특한 장비를 갖췄습니다.

① 이중 시력 안경 (Dual-Visual Tokenizer)

타이치는 그림을 볼 때 두 개의 안경을 동시에 착용합니다.

• 나쁜 안경 (저해상도): 멀리서 그림의 전체적인 분위기와 '무엇이 그려져 있는지'를 파악합니다. (예: "이건 바다 풍경이야.")
• 좋은 안경 (고해상도): 가까이서 그림의 세부적인 디테일을 봅니다. (예: "파도 물결이 하얗게 부서지고, 저기 새 한 마리가 날고 있어.")
  이 두 안경이 함께 작동하면, 그림의 '전체'와 '세부'를 동시에 완벽하게 이해할 수 있습니다.

② 양방향 소통 네트워크 (BAN: Bilateral Attention Network)

두 안경이 본 정보를 어떻게 합칠까요? 여기서 **스마트한 중재자 (BAN)**가 나옵니다.

• 중재자는 "전체적인 분위기 (상위 정보)"가 "세부적인 디테일 (하위 정보)"을 찾아내게 하기도 하고, 반대로 "세부 정보"가 "전체적인 맥락"을 이해하게 하기도 합니다.
• 마치 팀워크가 좋은 요리사가 메인 재료 (전체) 와 양념 (세부) 을 섞어 최고의 맛을 내는 것처럼, 불필요한 정보는 버리고 중요한 정보만 골라 짧고 굵은 요약본을 만들어냅니다. 이렇게 하면 전송해야 할 데이터 양이 크게 줄어듭니다.

③ 똑똑한 번역기 (KAN-based Projector)

그림 정보를 언어 모델 (LLM) 이 이해할 수 있는 말로 바꾸는 과정입니다.

• 기존 번역기는 고정된 규칙 (MLP) 을 사용해서 복잡한 그림의 뉘앙스를 잘 못 전달했습니다.
• 타이치는 KAN이라는 새로운 번역기를 사용합니다. 이 번역기는 스스로 배우는 유연한 뇌를 가지고 있어, 그림의 복잡한 색상, 질감, 관계를 언어의 의미 공간에 아주 정교하게 매핑합니다. 마치 유창한 통역사가 원작자의 미묘한 감정까지 완벽하게 전달하는 것과 같습니다.

3. 통신 시스템: "의미"로 보내는 통신 (Token Communication)

이제 이 모든 기술이 통신 시스템에 어떻게 적용되는지 보겠습니다.

• 전송자 (송신자): 타이치가 그림과 질문을 받아, 가장 중요한 '의미 토큰'만 추려냅니다. (예: "파란 하늘, 흰 구름, 웃는 아이"라는 핵심 키워드만 추출)
• 통신 채널 (길): 이 핵심 키워드들이 소음 (잡음) 이 많은 길 (무선 통신) 을 지나갑니다.
• 수신자 (수신자): 잡음이 섞여 도착한 키워드를 받아, 타이치가 다시 원래의 그림이나 정확한 답변으로 재구성합니다.

기존 방식은 "모든 글자를 다 보내야 한다"고 생각했지만, 타이치는 **"의미만 전달되면 된다"**는 철학을 가집니다. 그래서 잡음이 심한 환경에서도 원래 의도를 잘 알아맞힐 수 있습니다.

4. 결론: 왜 이것이 중요한가요?

이 논문은 **"6 차 산업혁명 (6G) 시대의 통신"**을 상상하게 합니다.
기존의 통신은 '데이터'를 보내는 것이 목표였다면, 타이치를 이용한 통신은 **'의미와 의도'**를 보내는 것입니다.

• 비유하자면:
  • 기존 통신: 친구에게 "내일 오후 3 시에 카페에서 만나자"라는 문장을 글자 하나하나 (0 과 1) 로 쪼개서 보내는 것.
  • 타이치 통신: 친구의 머릿속에 "내일 오후 3 시, 카페"라는 이미지와 상황을 직접 심어주는 것.

타이치는 복잡한 그림을 보고도 핵심만 짚어내어 전송량을 줄이고, 잡음이 심한 환경에서도 정확한 메시지를 전달할 수 있게 해줍니다. 이는 앞으로 우리가 보내는 사진, 영상, 대화 내용을 훨씬 더 빠르고 똑똑하게 처리할 수 있는 기반이 될 것입니다.

기술 요약

논문 요약: TokenCom (TaiChi 프레임워크)

1. 연구 배경 및 문제 정의 (Problem)

최근 통신 패러다임은 비트 수준의 정확한 복제에서 의미 (의도) 를 전달하는 **'토큰 통신 (Token Communication)'**으로 전환되고 있습니다. 비전 - 언어 모델 (VLM) 은 이미지와 텍스트 이해 능력이 뛰어나 지능형 통신의 핵심 기술로 주목받고 있으나, 이를 토큰 통신에 직접 적용할 때 다음과 같은 세 가지 주요 한계에 직면해 있습니다.

1. 제한된 토큰 세분화 (Limited Token Granularity): 기존 VLM 은 주로 단일 저해상도 비전 토키나이저를 사용하여 전역적 (글로벌) 정보와 세부적 (디테일) 정보를 동시에 포착하는 데 한계가 있으며, 통신 작업의 요구에 따라 적응적으로 특징을 선택하지 못합니다.
2. 과도한 시각 토큰 시퀀스 길이 (Overlong Visual Token Sequences): 고차원 시각 특징을 긴 토큰 시퀀스로 인코딩하면 컨텍스트 길이 제한과 계산 자원 제약으로 인해 중요한 정보가 희석되거나 누락될 수 있으며, 통신 오버헤드가 급증합니다.
3. 부족한 교차 모드 정렬 (Inadequate Cross-Modal Alignment): 기존 MLP(Multi-Layer Perceptron) 기반 프로젝터는 고정된 활성화 함수와 '스펙트럴 편향 (spectral bias)' 문제로 인해 복잡한 비선형 관계를 모델링하기 어렵고, 고주파수 시각 정보 (세부 묘사) 를 손실할 수 있습니다.

2. 제안된 방법론 (Methodology)

이러한 문제를 해결하기 위해 저자들은 **'TaiChi'**라는 새로운 VLM 프레임워크를 제안했습니다. TaiChi 는 토큰 통신을 위한 최적화된 아키텍처로, 다음과 같은 핵심 구성 요소를 포함합니다.

• 듀얼 비전 토키나이저 (Dual-Visual Tokenizer):

  • 저해상도 (LR) 토키나이저: Vision Transformer (ViT) 기반 구조를 사용하여 이미지의 전역적 개념과 주제 (Global features) 를 추출합니다.
  • 고해상도 (HR) 토키나이저: 합성곱 신경망 (CNN) 기반 구조를 사용하여 고해상도 이미지에서 텍스처, 에지 등 미세한 국소적 세부 사항 (Fine-grained details) 을 포착합니다.
  • 두 경로를 통해 상호 보완적인 시각 표현을 생성하여 작업 요구에 맞는 유연한 인코딩을 가능하게 합니다.

• 양측 주의 네트워크 (Bilateral Attention Network, BAN):

  • 추출된 고수준 (전역) 특징과 저수준 (세부) 특징을 지능적으로 융합하는 모듈입니다.
  • 상향식 (Bottom-up): 저수준 세부 특징이 고수준 전역 정보를 참조하여 의미를 강화합니다.
  • 하향식 (Top-down): 고수준 전역 특징이 저수준 세부 정보를 참조하여 관련 디테일을 추출합니다.
  • 이를 통해 불필요한 토큰 수를 줄이면서도 전역적 맥락과 중요한 세부 정보를 모두 보존하는 압축된 고품질 시각 토큰을 생성합니다.

• KAN 기반 프로젝터 (KAN-based Projector):

  • 시각 특징을 언어 의미 공간으로 매핑하는 프로젝터로, 기존 MLP 대신 **콜모고로프 - 아르놀드 네트워크 (Kolmogorov-Arnold Network, KAN)**를 도입했습니다.
  • KAN 은 학습 가능한 활성화 함수 (SiLU 및 B-스플라인) 를 사용하여 데이터 기반의 최적 비선형 매핑을 자동으로 학습합니다. 이는 MLP 의 스펙트럴 편향 문제를 해결하고, 시각 토큰의 고주파수 세부 정보를 언어 공간에 더 정확하게 정렬하여 정보 손실을 최소화합니다.

• Instructional Diffusion Refinement (IDR):

  • 텍스트 생성 후 확산 모델 (Diffusion Model) 에 입력될 때 발생하는 '의미 간극'을 해결하기 위해, LLM 이 내부적으로 프롬프트를 최적화하고 세부 지침을 풍부하게 만드는 전략을 사용합니다.

3. 토큰 통신 시스템 통합

TaiChi 는 단일 모델이 아닌 멀티모달 멀티태스크 토큰 통신 시스템의 핵심으로 통합되었습니다.

• 공동 VLM-채널 코딩 (Joint VLM-Channel Coding): VLM 의 특징 추출 과정과 물리 채널 코딩 과정을 함께 최적화합니다. 이를 통해 채널 잡음 (AWGN) 및 페이딩 (Rayleigh) 환경에서도 토큰의 의미적 무결성을 유지하고 강건한 전송을 가능하게 합니다.
• 학습 전략: 1 단계에서는 멀티태스크 지시 미세 조정 (Instruction Fine-tuning) 을 통해 태스크 적응력을 높이고, 2 단계에서는 VLM 과 채널 코더를 결합하여 엔드 - 투 - 엔드 최적화를 수행합니다.

4. 주요 기여 (Key Contributions)

1. 새로운 아키텍처 설계: 전역 및 세부 정보를 동시에 포착하는 듀얼 비전 토키나이저와 이를 효율적으로 융합하는 BAN 을 통해 시각 토큰의 품질을 극대화하고 길이를 단축했습니다.
2. 정밀한 정렬 기술: KAN 기반 프로젝터를 도입하여 비선형 정렬 능력을 향상시키고, 고주파수 시각 정보의 손실을 방지했습니다.
3. 강건한 통신 시스템: VLM 과 채널 코딩을 결합한 공동 최적화 방식을 통해, 노이즈가 있는 물리 채널 환경에서도 높은 신뢰성을 가진 토큰 통신 시스템을 구현했습니다.
4. 멀티태스크 지원: 자연어 지시를 통해 이미지 설명, VQA(시각 질문 답변) 등 다양한 멀티모달 작업을 하나의 시스템으로 통합 처리할 수 있습니다.

5. 실험 결과 (Results)

• 제로샷 벤치마크 성능: TaiChi 는 Gemma-2B 와 Qwen-2.5-14B 를 백본으로 사용하여 VQAT, MMB, MME 등 주요 멀티모달 벤치마크에서 MobileVLM, InstructBLIP, LLaVA-1.5 등 기존 SOTA 모델들을 능가하는 성능을 보여주었습니다. 특히 더 작은 LLM 을 사용했음에도 불구하고 더 큰 LLM 기반 모델보다 우수한 결과를 기록했습니다.
• 성분 분석 (Ablation Study): BAN 과 KAN 프로젝터를 제거한 변형 모델은 성능이 크게 저하되어, 각 구성 요소가 모델 성능에 필수적임을 입증했습니다.
• 통신 성능 평가: AWGN 및 레일리 페이딩 채널 환경에서 TaiChi 기반 토큰 통신 시스템은 MobileVLM 기반 시스템 및 기존 심볼 통신 (DeepSC 등) 대비 모든 SNR 조건에서 더 높은 정확도를 달성했습니다.
• 공동 코딩 효과: VLM 과 채널 코딩을 분리하여 학습한 경우보다 공동으로 최적화했을 때 채널 잡음에 대한 복원력이 현저히 향상되었습니다.

6. 의의 및 결론 (Significance)

이 논문은 TaiChi를 통해 VLM 의 시각 이해 능력을 통신 시스템에 효과적으로 통합하는 새로운 패러다임을 제시했습니다.

• 기술적 의의: 토큰 세분화, 긴 시퀀스 문제, 교차 모드 정렬의 한계를 극복하여 고품질 멀티모달 토큰 통신의 기반을 마련했습니다.
• 실용적 의의: 6G 및 차세대 지능형 통신 시스템에서 대역폭 효율성과 전송 강건성을 동시에 확보할 수 있는 솔루션을 제공하며, 노이즈가 있는 실제 통신 환경에서도 의미 기반의 정확한 정보 복원이 가능함을 입증했습니다.

결론적으로, TaiChi 는 단순한 이미지 이해 모델을 넘어, **토큰 단위 의미 통신 (Token-based Semantic Communication)**을 실현할 수 있는 강력한 엔드 - 투 - 엔드 프레임워크로서 그 가치를 입증했습니다.