[기술 요약] 대규모 언어 모델(LLM) 기반 데이터 전송 네트워크를 위한 정보 추상화

1. 문제 정의 (Problem Statement)

현대 ICT 시스템(5G, 데이터 센터 등)은 생물학적 시스템(인간의 뇌)과 대조적인 에너지 효율 구조를 가지고 있습니다.

• 생물학적 시스템: 뇌는 전체 체중의 2%에 불과하지만 에너지의 20%를 사용하며, 그 중 대부분(95%)을 단순 신호 전달이 아닌 정보 추상화(Information Abstraction), 즉 불필요한 변동성을 억제하고 고차원적인 의미를 추출하는 데 사용합니다.
• 현대 ICT 시스템: 데이터 전송(Communication)에 막대한 에너지가 소모되는 반면, 데이터의 의미를 추출하는 추상화 과정은 상대적으로 미흡합니다. 특히 비디오 트래픽이 급증함에 따라, 단순히 픽셀 단위의 고충실도(High-fidelity) 데이터를 전송하는 방식은 네트워크 부하와 에너지 소모 측면에서 지속 불가능한 한계에 직면해 있습니다.
• 연구 공백: 정보 추상화의 중요성에도 불구하고, 추상화의 품질을 정량적으로 측정할 수 있는 공식적인 이론적 지표와 이를 시스템 최적화에 활용할 수 있는 계산 프레임워크가 부재한 상태입니다.

2. 연구 방법론 (Methodology)

본 논문은 정보 추상화를 정량화하기 위한 새로운 지표인 **DIA(Degree of Information Abstraction)**를 제안하고, 이를 활용한 최적화 프레임워크를 구축합니다.

① DIA (정보 추상화 정도) 지표 정의

DIA는 다음 두 가지 상충하는 요소의 균형을 측정합니다:

1. 정보 압축률 (Information Compression Rate, $C$): 샤논 엔트로피(Shannon Entropy)를 사용하여 입력 데이터 $X$ 대비 압축된 표현 $Y$가 얼마나 많은 중복성을 제거했는지 측정합니다.
2. 의미 보존도 (Semantic Preservation Degree, $\Theta$): 원본 데이터와 압축 데이터가 공유 잠재 공간(Shared Latent Space, 예: CLIP 임베딩) 내에서 얼마나 유사한 분포를 갖는지 KL 발산(Kullback–Leibler divergence)을 통해 측정합니다.

$$\Gamma(X, Y, S) = C(X, Y) \cdot \Theta(X, Y, S)$$
이 지표는 정보 이론의 '정보 병목(Information Bottleneck, IB)' 원리와 수학적으로 일관성을 유지하면서도, 다중 모달(Multimodal) 입력에 적용하기 쉽고 계산이 용이하다는 장점이 있습니다.

② DIA 기반 OPRO 최적화 (Optimization by PROmpting)

LLM을 블랙박스 최적화 도구로 사용하여 시스템 설계를 반복적으로 개선합니다.

• 워크플로우: 시스템 구성(인코더 구조, 하이퍼파라미터, 자원 할당 등)을 LLM에 텍스트 형태로 입력 $\rightarrow$ LLM이 새로운 구성을 제안 $\rightarrow$ 해당 구성으로 비디오 전송 수행 $\rightarrow$ DIA 점수 피드백 $\rightarrow$ LLM이 점수를 바탕으로 다음 구성을 개선.
• 예측 모듈(Prediction Module): 송신 측의 계산 자원이 충분할 경우, 생성 모델을 통해 압축된 정보로 비디오를 미리 복원해보고 의미적 적절성을 스스로 평가하는 루프를 포함합니다.

③ VSDS (Video Semantic Differential Stream) 모듈

비디오의 시간적 연속성을 보완하기 위해 제안된 모듈입니다.

• 픽셀 도메인의 시간적 차이($B_t$)와 CLIP 임베딩 도메인의 의미적 차이($A_t$) 사이의 관계를 학습하여, **의미적 변화가 큰 영역(Saliency Map)**을 식별합니다.
• 이 정보를 통해 LLM이 비디오 설명(Caption)을 생성할 때 움직임이 중요한 영역에 집중하도록 유도하거나, 전송 자원을 동적으로 할당합니다.

3. 주요 기여 (Key Contributions)

1. 이론적 프레임워크 구축: 정보 압축과 의미 보존을 동시에 고려하는 범용적인 DIA 지표를 정의하고, 이것이 기존의 정보 병목(IB) 이론과 어떻게 연결되는지 수학적으로 증명했습니다.
2. LLM 기반 최적화 방법론: 복잡하고 비미분 가능한(Non-differentiable) 시스템 설계 문제를 LLM의 추론 능력을 이용해 해결하는 OPRO 프레임워크를 제안했습니다.
3. VSDS 모듈 제안: 시공간적 의미 변화를 추적하여 추상화된 데이터의 시간적 일관성을 높이는 실질적인 기술을 제시했습니다.

4. 실험 결과 (Results)

비디오 전송 사례 연구를 통해 다음과 같은 성과를 입증했습니다:

• 압축 효율성: DIA 기반 인코딩을 통해 전송 데이터 양을 무려 99.75% 감소시켰음에도 불구하고, 하위 작업(Downstream task) 수행에 필요한 의미적 충실도는 유지했습니다.
• 품질 지표 향상: 최적화 라운드가 진행됨에 따라 SSIM(구조적 유사도), VMAF(지각적 화질), DIA 점수가 모두 단조 증가하며 수렴하는 양상을 보였습니다.
• VSDS의 효과: VSDS를 결합했을 때(VSDS-OPRO), 일반 OPRO 방식보다 더 높은 DIA와 화질(VMAF)을 달성하여 움직임이 있는 영역의 의미 보존 능력이 향상됨을 확인했습니다.

5. 연구의 의의 (Significance)

본 연구는 단순히 데이터를 잘 전달하는 것을 넘어, **"무엇을 전달할 것인가(의미)"**에 집중하는 차세대 통신 패러다임을 제시합니다.

• 에너지 효율적 AI: 통신 비용이 계산 비용보다 훨씬 높은 현재의 ICT 구조를, 효율적인 로컬 계산과 고차원 추상화 중심의 구조로 전환할 수 있는 이론적 근거를 제공합니다.
• 확장성: 제안된 DIA 프레임워크는 뉴로모픽 컴퓨팅(에너지 효율적 스파이킹 신경망 설계), 시맨틱 통신(동적 비트 할당), 센싱-통신 통합(ISAC) 등 다양한 지능형 시스템 분야로 확장 적용이 가능합니다.