Video TokenCom: Textual Intent-Guided Multi-Rate Video Token Communications with UEP-Based Adaptive Source-Channel Coding

이 논문은 대규모 AI 모델의 성공에 기반하여 텍스트 의도에 따라 비디오 토큰을 식별하고, 의도된 의미에 따라 부등 오류 보호 (UEP) 기반의 적응형 소스 - 채널 부호화를 적용하여 대역폭 제약 하에서도 높은 의미적 충실도를 유지하는 새로운 비디오 토큰 통신 프레임워크를 제안합니다.

핵심

이 논문은 **"우리가 보고 싶은 것만 선명하게 보내고, 나머지는 간략하게 보내는 똑똑한 비디오 전송 기술"**에 대해 설명합니다.

기존의 비디오 전송 방식이 모든 장면을 똑같은 화질로 보내느라 데이터가 너무 많이 차지하는 반면, 이 기술은 **"내가 무엇을 보고 싶은지 (텍스트 의도)"**를 알려주면, 그 부분만 고화질로, 나머지는 저화질로 보내서 속도와 화질을 모두 잡는 방식입니다.

이 복잡한 기술을 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 핵심 개념: "우편 배달의 변신"

기존 방식 (H.265 같은 것):
우편물이 도착할 때, 편지 한 장을 보내더라도 편지 전체를 두꺼운 종이로 싸서 보내는 것과 같습니다. 편지 내용 중 '중요한 부분'도 있고 '아무것도 아닌 부분'도 있지만, 모두 똑같은 두꺼운 포장으로 보내기 때문에 비용 (데이터 양) 이 많이 들고, 우편물이 늦게 도착할 수 있습니다.

이 논문이 제안하는 방식 (Video TokenCom):
편지를 보낼 때, **"이 편지의 '주인공'과 '배경'을 구별해서 보내자"**는 아이디어입니다.

• 주인공 (사용자가 보고 싶은 것): "여기서 여자가 남자의 핸드폰을 치고 있어요"라고 텍스트로 알려주면, 그 부분만 **고급스러운 비닐 포장 (고화질)**으로 꼼꼼히 싸서 보냅니다.
• 배경 (나머지): 나머지 배경은 **간단한 종이 (저화질)**로 싸서 보냅니다.

결과적으로 우편 비용 (데이터 양) 은 줄이면서, 중요한 부분의 화질은 그대로 유지할 수 있게 됩니다.

---

2. 기술이 어떻게 작동하는지? (3 단계 과정)

이 기술은 크게 세 가지 단계로 나뉩니다.

1 단계: "비디오를 레고 블록으로 분해하기"

비디오는 연속된 영상처럼 보이지만, 컴퓨터는 이를 **작은 레고 블록 (Token)**으로 쪼갭니다.

• 기존에는 픽셀 (점) 단위로 보냈지만, 이 기술은 의미 있는 덩어리 (레고 블록) 단위로 잘게 나눕니다.
• 이렇게 하면 데이터 양이 훨씬 줄어들고, 컴퓨터가 내용을 더 잘 이해할 수 있습니다.

2 단계: "사용자의 눈 (텍스트) 으로 중요도 찾기"

사용자가 **"하늘 (Sky)"**이라고 입력하면, 컴퓨터는 비디오 속 하늘 부분을 찾아냅니다.

• 비유: 마치 영화 촬영 현장에서 **"카메라는 주인공에게만 초점을 맞추고, 배경은 흐릿하게 처리해라"**라고 지시하는 것과 같습니다.
• 컴퓨터는 AI(클립 모델) 를 이용해 텍스트와 비디오 장면을 비교하고, 광학 흐름 (Optical Flow) 기술을 써서 움직이는 물체가 어디로 가는지 추적합니다.
• 그 결과, **"중요한 블록 (주인공)"**과 **"덜 중요한 블록 (배경)"**으로 나뉩니다.

3 단계: "차등 포장 (UEP) 과 전송"

이제 이 블록들을 보낼 때, 중요도에 따라 다르게 포장합니다.

• 중요한 블록: 모든 정보를 다 담을 수 있는 **고급 포장 (16 비트)**으로 보냅니다.
• 덜 중요한 블록: 이전 프레임과 비교해서 "변한 부분만" 적은 정보 (11 비트 등) 로 보내거나, 아예 간략하게 포장합니다.
• 네트워크 상황 (날씨) 이 나빠지면?
  • 비가 오면 우편물이 잘 망가질 수 있죠. 이때는 중요한 블록은 더 튼튼하게 (오류 방지 기능 강화) 보내고, 덜 중요한 블록은 아예 더 간단하게 보내거나 아예 생략합니다.
  • 이 모든 과정을 실시간으로 계산해서 최적의 조합을 찾아줍니다.

---

3. 왜 이 기술이 대단한가요?

• 데이터 절약: 같은 화질을 유지하면서도 기존 방식보다 데이터 양을 훨씬 적게 사용합니다. (예: 0.013 BPP vs 0.02 BPP)
• 화질과 속도 동시 달성: 인터넷이 느려도 (SNR 이 낮아도) 중요한 장면은 깨지지 않고 선명하게 보입니다. 반면 기존 방식은 인터넷이 느려지면 화면이 다 깨지거나 아예 안 나옵니다.
• 유연성: 사용자가 "차와 사람"을 보고 싶다면 그 부분만 선명해지고, "하늘"을 보고 싶다면 하늘이 선명해집니다. 사용자의 관심사에 따라 비디오가 유연하게 변형됩니다.

4. 한 줄 요약

"이 기술은 비디오를 보내는 우편물을, '내가 보고 싶은 부분'은 고급 포장으로, '그저 배경'은 간단 포장으로 나누어 보내는 똑똑한 배달 시스템입니다. 덕분에 데이터는 줄고, 중요한 장면은 더 선명해집니다."

이 기술은 앞으로 6G 네트워크나 AI 기반 통신에서, 우리가 원하는 콘텐츠를 더 빠르고 선명하게 즐길 수 있게 해줄 핵심 기술로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 대규모 AI 모델 (LAMs) 과 멀티모달 대규모 언어 모델 (MLLMs) 의 성공으로 인해, '토큰 (Token)'이 표현과 처리의 기본 단위로 부상했습니다. 토큰 기반 통신 (TokenCom) 은 비트 레벨 전송을 넘어 의미론적 (Semantic) 단위인 토큰을 직접 전송하는 새로운 패러다임입니다.
• 문제점:
  • 기존 비디오 의미론적 통신 시스템은 연속적인 특징 벡터나 작업별 잠재 코드를 주로 사용하며, 이산적 (Discrete) 비디오 토큰을 통합된 압축 및 통신 단위로 명시적으로 활용하지 못했습니다.
  • 대역폭이 제한된 환경에서 모든 비디오 프레임을 균일하게 전송하는 것은 비효율적입니다. 사용자의 관심사 (의도) 와 무관한 영역에 자원을 낭비하는 문제가 있습니다.
  • 기존 방식들은 채널 조건 변화에 따른 적응형 소스 - 채널 코딩 (Source-Channel Coding) 과 사용자 의도에 따른 차등 보호 (UEP) 를 비디오 토큰 수준에서 통합적으로 다루지 못했습니다.

2. 제안된 방법론 (Methodology)

저자들은 텍스트 의도 (Textual Intent) 에 기반한 다중 레이트 비디오 토큰 통신 프레임워크를 제안했습니다. 이 프레임워크는 크게 세 가지 핵심 단계로 구성됩니다.

가. 비디오 토큰화 및 의미론적 토큰 추출 (Video Tokenization & Intent Extraction)

• 비디오 토큰화: 사전 학습된 비디오 토크나이저 (예: Cosmos 모델) 를 사용하여 비디오 프레임을 이산적인 토큰 시퀀스로 변환합니다.
• 사용자 의도 기반 토큰 분류:
  1. 텍스트 조건부 히트맵 생성: 사용자의 텍스트 설명 (예: "여자가 남자의 휴대폰을 치고 있다") 과 CLIP(비전 - 언어 모델) 을 사용하여 첫 번째 프레임에서 관련 영역의 히트맵을 생성합니다.
  2. 광학 흐름 (Optical Flow) 전파: 생성된 의미론적 마스크를 광학 흐름을 통해 시간 축 (프레임 간) 으로 전파하여 시공간적 토큰 그리드에 매핑합니다.
  3. 토큰 분류: 결과적으로 토큰을 **사용자 의도 토큰 (Intended Tokens)**과 **비의도 토큰 (Non-intended Tokens)**으로 분류합니다.

나. 의미 인식형 다중 레이트 비트 할당 (Semantic-aware Multi-rate Bit Coding)

분류된 토큰에 따라 비트 정밀도를 다르게 할당하여 전송 효율을 극대화합니다.

• 의도 토큰 (Intended): 사용자의 관심 영역에 해당하는 토큰은 **풀 코드북 정밀도 (Full Codebook Precision, 예: 16 비트)**로 인코딩하여 높은 화질을 유지합니다.
• 비의도 토큰 (Non-intended): 관심 없는 영역의 토큰은 **축소된 코드북을 이용한 차분 인코딩 (Differential Encoding)**을 적용합니다. 기준 프레임과의 차이값을 낮은 정밀도 (예: 11 비트) 로 표현하여 비트율을 절감합니다.

다. UEP 기반 적응형 소스 - 채널 코딩 (UEP-based Adaptive Source-Channel Coding)

제한된 자원 (대역폭, SNR) 하에서 왜곡 (Distortion) 과 지연 (Delay) 을 최적화합니다.

• 차등 오류 보호 (UEP): 의도 토큰과 비의도 토큰 클래스별로 별도의 변조 및 부호화 방식 (MCS) 을 선택합니다.
• 최적화 문제: 주어진 자원 예산 내에서 총 왜곡과 전송 지연의 가중 합을 최소화하는 Mixed Integer Linear Programming (MILP) 문제를 설정하여, 각 토큰 클래스에 적합한 비트 정밀도와 MCS 를 동적으로 결정합니다.

3. 주요 기여 (Key Contributions)

1. 의도 기반 토큰 추출 프레임워크: 비전 - 언어 모델링과 광학 흐름을 결합하여 텍스트 설명에 기반한 비디오 토큰의 의미론적 분류를 수행하는 새로운 방법을 제시했습니다.
2. 다중 레이트 비트 할당 전략: 의도 토큰은 풀 정밀도, 비의도 토큰은 차분 정밀도로 인코딩하여, 비트율 절감 (Rate Saving) 을 이루면서도 의미론적 품질을 유지하는 효율적인 코딩 방식을 제안했습니다.
3. 소스 - 채널 통합 최적화: UEP 접근법을 통해 채널 조건에 따라 토큰 클래스별로 변조/부호화 방식을 적응적으로 변경하는 최적화 알고리즘을 개발했습니다.
4. 성능 입증: 기존 H.265 코덱 및 최신 생성형 SemCom (VC-DM) 대비 초저 비트율 (Ultra-low BPP) 환경에서 우수한 성능을 보임을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: MCL-JCV 및 UVG 비디오 데이터셋을 사용했습니다.
• 비교 대상: 기존 H.265 코덱, 생성형 확산 모델 기반 VC-DM, 적응형 H.265.
• 주요 성과:
  • 전반적 성능: 제안된 Video TokenCom 은 PSNR, SSIM, LPIPS(지각적 유사성), FVD(프레임 간 거리), CLIP(의미론적 유사성) 등 모든 지표에서 기존 방식들을 능가했습니다.
  • 초저 비트율 효율성: 0.013 BPP (비트 per 픽셀) 의 매우 낮은 비트율에서도 VC-DM(0.02 BPP) 과 H.265 보다 우수한 화질과 의미론적 일관성을 유지했습니다.
  • SNR 적응성: 낮은 SNR 환경 (예: 6 dB) 에서도 H.265 가 프레임 손실로 인해 디코딩 실패 (Failed) 하는 반면, 제안된 방식은 안정적인 복원을 유지했습니다. 특히 6 dB SNR 에서 FVD 지표를 약 1500 만큼 크게 개선했습니다.
  • 의도 제어: "여자의 휴대폰"과 "하늘" 등 서로 다른 텍스트 의도를 입력했을 때, 해당 영역의 화질은 높게 유지되고 불필요한 영역의 비트는 줄이는 등 의도 제어력이 입증되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 AI 네이티브 무선 네트워크를 위한 비디오 통신의 새로운 지평을 열었습니다.

• 자원 효율성: 사용자의 관심사에 따라 비트를 할당함으로써, 제한된 대역폭에서도 핵심 콘텐츠의 품질을 극대화할 수 있습니다.
• 강건성: 채널 조건이 열악할 때도 UEP 기반 적응 코딩을 통해 통신의 신뢰성을 보장합니다.
• 확장성: 사전 학습된 토크나이저와 MLLM 을 활용하여 다양한 비디오 토큰화 모델과 텍스트 의도 입력에 유연하게 대응할 수 있는 구조를 제공합니다.

결론적으로, 이 프레임워크는 차세대 6G 및 AI 기반 통신 시스템에서 의미론적 목적 (Goal-oriented) 과 사용자 의도 (User Intent) 를 반영한 초효율적인 비디오 전송을 실현하는 핵심 기술로 평가됩니다.