Lightweight Diffusion Models for Resource-Constrained Semantic Communication

기술 요약: Q-GESCO – 리소스 제약 환경용 경량 확산 모델

문제 제기
생성적 의미 통신 (GSC) 프레임워크는 압축된 의미 정보 (예: 의미 지도, 잠재 벡터) 의 전송과 수신 측에서의 고품질 멀티미디어 콘텐츠 재생성을 가능하게 함으로써 해당 분야에 혁명을 일으켰습니다. 확산 모델은 생성 모델링 분야에서 최첨단 (state-of-the-art) 기술을 대표하지만, 모바일 장치 및 엣지 컴퓨팅 플랫폼과 같은 리소스 제약 환경에서의 배포는 상당한 계산 요구 사항으로 인해 방해받고 있습니다. 확산 모델의 반복적 특성으로 인해 수많은 순방향 통과가 필요하여 높은 추론 시간, 상당한 메모리 점유율, 그리고 무거운 계산 부하를 초래합니다. 이러한 요소들은 뛰어난 생성 능력을 지녔음에도 불구하고, 실시간 또는 저전력 통신 시나리오에서 고정밀 확산 모델의 배포를 비현실적으로 만듭니다.

방법론
본 논문은 생성 성능을 유지하면서 의미 확산 모델의 계산 및 메모리 부담을 줄이도록 설계된 Q-GESCO(Quantized GEnerative Semantic COmmunication, 양자화 생성 의미 통신) 프레임워크를 제안합니다. Q-GESCO 의 핵심은 수신 측의 의미 확산 모델에 적용되는 학습 후 양자화 (PTQ) 기술입니다. 방법론은 다음 네 단계 파이프라인을 따릅니다:

1. 노이즈 인식 학습: GESCO 프레임워크 기반의 고정밀 의미 확산 모델을 대상 데이터셋에서 학습하거나 미세 조정합니다. 이 단계 동안 의미 지도는 다양한 노이즈 수준으로 손상되어 채널 노이즈를 모방하며, 이를 통해 모델이 열악한 조건에서도 콘텐츠를 견고하게 재생성하도록 학습시킵니다.
2. 양자화: 학습된 고정밀 모델을 PTQ 를 사용하여 양자화합니다. 가중치는 이산적인 값 집합으로 반올림되어 모델 크기와 계산 복잡성이 크게 감소합니다.
3. 노이즈 및 시간 단계 인식 보정: 반복적 탈노이즈 과정에서 누적되는 양자화 오차를 완화하기 위해 특수한 보정 단계가 도입됩니다.
   • 시간 단계 인식: 보정 데이터셋은 모든 확산 시간 단계에 걸쳐 중간 입력을 균일하게 샘플링하여 구성되며, 활성화 분포의 점진적 진화를 포착합니다.
   • 노이즈 인식: 보정 입력은 다양한 피크 신호 대 노이즈 비율 (PSNR, 1 에서 100 범위) 에서 가산 백색 가우시안 노이즈 (AWGN) 로 손상된 의미 지도로 구성됩니다. 이는 양자화 매개변수가 채널 교란에 대한 견고성을 위해 최적화되도록 보장합니다.
   • 분할 양자화: 탈노이즈 U-Net 을 블록으로 분할하고, 비정상적인 활성화 분포를 관리하기 위해 쇼트컷 레이어의 연결 연산 전에 양자화를 적용합니다.
4. 추론: 양자화된 모델은 수신 측에 배포되어 채널을 통해 전송된 압축되고 노이즈가 있는 의미 지도로부터 고품질 이미지를 재생성합니다.

주요 기여

• Q-GESCO 프레임워크: 리소스 제약 장치에 특화된 새로운 양자화 의미 통신 프레임워크의 도입.
• 고급 PTQ 전략: "노이즈 및 시간 단계 인식" 보정 메커니즘의 개발. 표준 PTQ 와 달리, 이 접근법은 확산 모델의 반복적 특성과 채널 노이즈의 변이를 명시적으로 고려하여 양자화 오차의 누적을 방지합니다.
• 데이터 없는 압축: 양자화 과정은 새로운 학습 데이터 재생성과 관련하여 완전히 데이터 없이 수행되며, 대신 작고 효율적으로 구성된 보정 세트에 의존합니다.

실험 결과
실험은 가산 백색 가우시안 노이즈 (AWGN) 채널 시나리오 하에서 Cityscapes 데이터셋(256 × 512 해상도)을 사용하여 수행되었습니다. 양자화된 모델 (Q-GESCO) 은 고정밀 대응 모델 (GESCO) 과 비교되었습니다.

• 효율성: Q-GESCO 는 가중치 정밀도를 32 비트에서 8 비트로 낮춤으로써 메모리 점유율을 75% 감소(2699 MB 에서 674 MB 로)시키고 계산 부하를 79% 감소(FLOPs 기준, 13.82 TFLOPs 에서 2.87 TFLOPs 로)시켰습니다.
• 성능: 양자화에도 불구하고 모델은 비교 가능한 생성 성능을 유지했습니다. 채널 PSNR 이 10 일 때, Q-GESCO 는 LPIPS 0.63 및 FID 15.82 를 달성했는데, 이는 고정밀 모델 (LPIPS 0.65, FID 16.43) 과 비슷하거나 약간 더 나은 수치입니다.
• 견고성: 모델은 다양한 노이즈 수준 (PSNR 0–100) 에서 견고성을 입증하여 열악한 채널 조건에서도 의미에 풍부한 이미지를 성공적으로 재생성했습니다.
• 절제 연구: 보정 방법 간 비교는 제안된 "노이즈 및 시간 단계 인식" 보정이 시간 단계 인식 데이터만을 사용한 보정보다 LPIPS 및 FID 지표 모두에서 우수한 결과를 산출했음을 확인시켜 주었습니다.

의의 및 주장
저자들은 Q-GESCO 가 생성적 의미 통신의 높은 성능과 엣지 장치의 엄격한 리소스 제한 사이의 간극을 효과적으로 메운다고 주장합니다. 이미지 품질이나 견고성을 희생하지 않으면서 메모리 및 계산 요구 사항을 크게 낮춤으로써, 이 프레임워크는 리소스 제약 하드웨어에서 확산 기반 의미 통신의 실용적인 배포를 가능하게 합니다. 논문은 이 접근법이 지연 시간, 전력 소비, 메모리가 중요한 제약 조건인 현실 세계 시스템에서 생성적 의미 통신의 적용 범위를 확대하여 실현 가능하게 만든다고 제시합니다. 해당 코드는 이 분야의 추가 연구를 촉진하기 위해 공개되었습니다.