기술 요약: 확산 모델을 이용한 지식 증류 기반 디퓨전 모델 기반 이미지 전송용 시맨틱 NOMA

문제 정의

본 논문은 6G 네트워크 내의 멀티 유저 업링크 무선 이미지 전송, 특히 시맨틱 비직교 다중 접속(Semantic Non-Orthogonal Multiple Access, NOMA)의 맥락에서 발생하는 과제들을 다룹ุ다. 시맨틱 통신은 로우 비트(raw bits) 대신 시맨틱 특징을 전송함으로써 대역폭 효율성을 제공하지만, 멀티 유저 NOMA 시나리오는 다음과 같은 중대한 장애물을 초래합니다:

1. 동적 채널 조건: 가우시안 백색 잡음(AWGN) 및 레이leigh 페이딩(Rayleigh fading)과 같이 변화하는 조건 하에서 성능이 저하됩니다.
2. 시맨틱 간섭: NOMA에서는 여러 사용자의 신호가 중첩되므로, 비직교 간섭이 발생하여 시맨틱 특징을 왜곡하고 픽셀 수준의 충실도를 감소시킵니다.
3. 지각적 품질: 전통적인 딥 조인트 소스-채널 코딩(DeepJSCC)은 종종 픽셀 수준의 왜곡(예: MSE)을 최적화하지만, 열악한 채널 조건이나 높은 압축률 하에서 높은 지각적 품질을 유지하는 데 실패합니다.
4. 자원 제약: 기존의 멀티 유저 솔루션은 직교 자원 할당에 의존하여 사용자 수가 증가함에 따라 오버헤드가 늘어나거나, 비직교 환경에서의 강력한 간섭 완화 전략이 부족합니다.

방법론

저자들은 멀티 유저 이미지 전송을 위한 픽셀 수준의 정확도와 지각적 품질을 모두 향상시키기 위해 설계된 2단계 프레임워크인 KDD-SemNOMA를 제안합니다.

1. 핵심 아키텍처: 향상된 AF-모듈을 갖춘 ConvNeXt 기반 DeepJSCC

기초는 시맨틱 전송을 위해 수정된 ConvNeXt 아키텍처 기반의 DeepJSCC 네트워크입니다.

• 향상된 적응형 특징(Adaptive Feature, AF) 모듈: 동적 채널에 대한 강건성을 보장하기 위해, 저자들은 AF-모듈을 도입했습니다. 이 모듈은 채널 측 정보(신호 대 잡음비 $\gamma$, 레이leigh 페이딩 파라미터 진폭 $a$ 및 위상 $\phi$)를 입력으로 받습니다. 이 모듈은 퓨전 네트워크를 통해 생성된 적응형 마스크를 사용하여 시맨틱 특징을 동적으로 변조함으로써, 노이즈로 오염된 성분을 억제하고 견고한 특징을 강조할 수 있게 합니다.
• 사용자 구별: 송신단에서는 사용자별 임베딩을 입력 이미지와 결합하여, 비직교 중첩에도 불구하고 모델이 사용자 간을 구별할 수 있도록 합니다.

2. 1단계: 지식 증류 (KD-SemNOMA)

비직교 간섭으로 인한 성능 격차를 완화하기 위해, 저자들은 지식 증류(Knowledge Distillation, KD) 전략을 채택합니다.

• 교사 모델(Teacher Model): 직교(orthogonal) 전송(사용자 간 간섭 없이 채널 노이즈만 존재하는 환경)에서 학습된 모델입니다. 이 모델은 "간섭이 없는" 시맨틱 표현을 학습합니다.
• 학생 모델(Student Model): 실제 SemNOMA 모델로, 비직교 전송 환경에서 학습됩니다.
• 증류 메커니즘: 학생 모델은 두 가지 특정 손실 함수를 통해 교사로부터 유도됩니다:
  • 특징 친화도(Feature Affinity, FA) 증류: 교사와 학생 사이의 중간 특징 맵(feature maps)의 공간적 친화도 행렬을 정렬하여, 학생이 간섭이 없는 특징의 구조적 관계를 학습하도록 보장합니다.
  • 교차 헤드 예측(Cross-Head Prediction, CrossKD) 증류: 학생의 디코더로부터 교사의 디코더로 중간 특징을 전달하여 "교차 헤드" 예측을 생성함으로써, 지도 학습 목적과 증류 목적 사이의 간극을 메웁니다.
• 효율성: 추론 시에는 경량화된 학생 모델만 사용되므로, 표준 SemNOMA와 비교하여 추가적인 계산 오버헤드가 발생하지 않습니다.

3. 2단계: 디퓨전 모델 기반 정제 (KDD-SemNOMA)

지각적 품질을 더욱 향상시키고 전송 중 손실된 세부 사항을 복구하기 위해, 두 번째 단계에서는 사전 학습된 **디퓨전 모델(Diffusion Model)**을 활용합니다.

• 오차 수축(Error Contraction): KD-SemNOMA 단계의 초기 재구성 결과($x_{init}$)는 거친 추정치로 취급됩니다. 프레임워크는 $x_{init}$에 대해 순방향 디퓨전 과정을 적용하며, 이는 초기 추정치와 관련된 예측 오차를 수축시키는 수학적 성질을 활용합니다.
• 역방향 디퓨전(Reverse Diffusion): 역방향 디퓨전 과정(DDIM 샘플링 사용)은 사전 학습된 디퓨전 모델의 생성적 사전 지식(generative priors)에 의해 유도되어, 수축된 상태를 반복적으로 디노이징합니다. 이는 초기 출력을 고충실도 이미지($x_0$)로 변환하여 텍스처와 시맨틱 일관성을 향상시킵령합니다.

주요 기여

1. 비직교 시맨틱 전송 프레임워크: AWGN 및 레이leigh 페이딩 채널에 동적으로 적응하여 견고한 특징 전송을 보장하는, 향상된 AF-모듈을 갖춘 ConvNeXt 기반 DeepJSCC 아키텍처를 제안했습니다.
2. 간섭 완화를 위한 지식 증류: 교사-학생 증류 체계를 SemNOMA 프레임워크에 통합한 혁신적인 방식입니다. 특징 친화도 및 교차 헤드 예측을 통해 직교 교사 모델이 비직교 학생 모델을 가이드하게 함으로써, 추론 복잡도를 높이지 않고도 상당한 PSNR 이득(0.2–0.8 dB)을 달성했습니다.
3. 디퓨전 강화 이미지 정제: 픽셀 수준의 정확도(KD-SemNOMA)와 디퓨전 모델의 생성적 사전 지식을 결합한 2단계 재구성 접근 방식(KDD-SemNOMA)을 개발했습니다. 이 단계는 특히 지각적 품질 향상을 목표로 하며, 저-SNR 환경에서 세부 사항을 효과적으로 복구하고 아티팩트를 완화합니다.

실험 결과

CIFAR-10(저해상도) 및 FFHQ-256(고해상도 얼굴 이미지) 데이터셋에 대해 AWGN 및 레이leigh 페이딩 채널 환경에서 광범위한 실험을 수행했습니다.

• 픽셀 수준 충실도 (PSNR/SSIM):
  • 제안된 KD-SemNما는 베이스라인인 ResNet 기반 DeepJSCC-NOMA 및 전통적인 BPG+LDPC+QAM+SIC 방식보다 우수한 성능을 보입니다.
  • 레이leigh 페이딩 환경에서, 향상된 AF-모듈은 베이스라인 대비 1–3 dB의 PSNR 개선을 제공합니다.
  • 지식 증류는 비-증류된 SemNOMA 대비 약 0.2–0.8 dB의 추가적인 PSNR 이득을 가져옵니다.
  • 이 방식은 낮은 SNR에서도 "점진적 성능 저하(graceful degradation)"를 보여주며, 전통적인 분리 코딩 방식에서 나타나는 "절벽 효과(cliff effect)"를 방지합니다.
• 지각적 품질 (LPIPS/FID):
  • 전체 KDD-SemNOMA(디퓨전 정제 포함)는 LPIPS 및 FID 점드 측면에서 단일 단계 방식 및 GAN 기반 정제(SemNOMA-CGAN)보다 크게 앞섭니다.
  • 저-SNR 영역(예: 0 dB)에서, KDD-SemNOMA는 GAN 기반 방식에 비해 LPIPS와 FID 값을 각각 약 23% 및 36% 감소시켜, 시맨틱 세부 사항을 복구하고 모드 붕괴(mode collapse)를 피하는 탁월한 능력을 입증했습니다.
  • 시각적 비교 결과, KDD-SemNOMA는 심각한 채널 조건에서도 경쟁 방법들보다 얼굴 윤곽과 텍스처 세부 사항을 더 잘 보존함을 확인했습니다.

의의 및 주장

본 논문은 KDD-SemNOMA가 간섭 완화와 지각적 품질 향상이라는 두 가지 과제를 효과적으로 해결함으로써 멀티 유저 시맨틱 통신의 중요한 진전을 이루었다고 주장합니다.

• 확장성 및 효율성: 증류 전략 덕분에 추론 오버헤드를 높이지 않고도 높은 성능을 달성하며, 직교 방식(NOMA 대비 OMA)에 비해 전송 오버헤드를 줄입니다.
• 강건성: 시스템은 다양한 채널 조건(AWGN 및 레이leigh)과 압축률 전반에 걸쳐 매우 견고하며, 이는 대역폭이 제한된 6G 시나리오에 적합합니다.
• 지각적 우월성: 디퓨전 모델을 통합함으로써, 본 연구는 단순한 왜곡 지표를 넘어 인간의 시각적 인지와 더 잘 부합하는 고충실도 이미지 복구를 실현했습니다.

저자들은 자신들의 접근 방식이 픽셀 수준의 정확도와 지각적 품질 사이의 간극을 효과적으로 메우며, 미래 6G 네트워크를 위한 확장 가능하고 고품질인 멀티 유저 이미지 전송의 실행 가능한 솔루션을 제공한다고 결론짓습니다.