기술 요약: 결합 소스-채널-생성 코딩 (JSCGC)

1. 문제 정의

고전적인 분리 기반 코딩과 현대적인 딥러닝 기반 결합 소스-채널 코딩(JSCC)을 모두 포함하는 기존의 무선 통신 시스템은 섀논의 속도-왜곡(rate-distortion, RD) 이론에 따라 작동합니다. 이러한 시스템은 소스 신호의 점 추정치(point estimate)를 복구하기 위해 명시적인 왜곡 지표(예: 평균 제곱 오차(MSE), LPIPS)를 최소화하도록 설계되었습니다. 그러나 저자들은 특정 왜곡 지표를 최적화하는 것이 "지표 유도 편향(metric-induced bias)"을 초래하여, 결과적으로 복잡한 인간의 시각적 인지와 일치하지 않는 흐릿하거나 과도하게 매끄럽거나 구조적 아티팩트가 발생하는 재구성 결과를 낳는다고 주장합니다.

최근의 속도-왜곡-지각(Rate-Distortion-Perception, RDP) 접근 방식과 생성적 통신 방법(예: DiffCom, DiffJSCC)은 적대적 손실(adversarial losses)이나 사전 학습된 생성 모델을 통합하여 지각적 품질을 개선하려고 시도해 왔으나, 이들은 여전히 왜곡 형태의 표현(distortion-shaped representations)에 의존합니다. 이러한 기존 체계에서 생성 과정은 재구성된 신호에 조건화(conditioned)되므로, 시스템은 근본적으로 왜곡 기반 설계의 한계에 묶여 있습니다. 해결하고자 하는 핵심 문제는 결정론적 재구성과 지표 최적화를 넘어, 통신이 의미론적 조건(semantic conditions)에 기반한 제어된 생성을 촉진하는 패러다임으로 이동해야 한다는 것입니다.

2. 방법론: JSCGC 프레임워크

본 논문은 기존의 디코더를 생성 모델로 대체하는 결합 소스-채널-생성 코딩(Joint Source-Channel-Generation Coding, JSCGC) 패러다임을 제안합니다.

핵심 개념

JSCGC에서 통신 과정은 왜곡 최소화에서 **제어된 생성(controlled generation)**으로 재정의됩니다.

• 송신기: 소스 $x$를 채널 신호 $y$로 인코딩합니다.
• 수신기: $x$를 직접 재구성하는 대신, 수신된 신호 $\hat{y}$를 학습된 조건부 분포 $q_\theta(x|\hat{y})$로부터 샘플링하도록 유도하는 **의미론적 조건(semantic condition)**으로 취급합니다.
• 목적: 시스템은 소스와 수신 신호 사이의 상호 정보량(Mutual Information, MI) $I(X; \hat{Y})$을 최대화하는 것을 목표로 하며, 이때 생성된 분포 $q_\theta(x)$가 자연 데이터 분포 $p(x)$와 가깝도록 보장하는 지각적 제약을 따릅니다. 이는 다음과 같이 공식화됩니다:
  $$\max_{\theta, \phi} I(X; \hat{Y}) \quad \text{s.t.} \quad d_p(p(x), q_\theta(x)) \leq \zeta$$
  여기서 $d_p$는 발산 측정치(예: KL 발산)이고 $\zeta$는 허용 오차입니다.

시스템 구현

제안된 프레임워크는 다음을 사용하여 잠재 공간 이미지 전송을 위해 구현되었습니다:

1. 인코더: 고수준의 의미론적 특징을 추출하고 이를 채널 입력으로 매핑하는 Mamba 기반 인코더(MambaJSCC).
2. 생성기(Generator): 자연 데이터 분포를 모델링하기 위해 대규모 데이터셋에서 사전 학습된 S3-DiT 기반의 잠재 플로우 매칭(latent flow matching) 모델(Z-Image).
3. 통신 인식 어댑터(Communication-Aware Adapter, CA-Adapter): 통신 신호와 생성적 특징 공간 사이의 불일치를 연결하는 핵심 구성 요소입니다. 이는 계단식 단계(cascaded stages)를 통해 수신된 신호 $\hat{y}$를 생성기의 내부 특징 공간에 주입함으로써, 전체 사전 학습된 생성기를 재학습시키지 않고도 생성 궤적에 대한 미세한 제어를 가능하게 합니다.

학습 및 샘플링 알고리즘

• 학습: 제약 최적화는 라그랑주 완화(Lagrangian relaxation)를 사용하여 무제약 형태로 변환됩니다. 저자들은 조건부 엔트로피와 KL 발산의 대리 함수를 최소화하는 실행 가능한 변분 추론(variational inference) 기반 손실 함수를 도출했습니다. 이를 통해 생성기, 채널 전송, 생성기가 엔드 투 엔드(end-to-end) 공동 학습이 가능하며, 생성기에서 채널을 거쳐 인코더로 그래디언트가 전파됩니다.
• 샘플링: 확률 미분 방정식(SDE)으로부터의 확률적 샘플링에 따르는 계산 비용 문제를 해결하기 위해, 프레임워크는 연관된 **확률 흐름 ODE(Probability Flow ODE)**를 활용합니다. 이를 통해 높은 지각적 품질을 유지하면서도 훨씬 적은 단계(예: 20~50단계)로 효율적인 샘플링이 가능합니다.

3. 주요 기여

1. JSCGC 프레임워크: 결정론적 재구성이 아닌 제어된 생성으로 전환하며, 명시적인 왜곡 함수 없이 지각적 제약 하에서 상호 정보량을 최적화하는 생성적 통신 패러다임을 도입했습니다.
2. 통합 학습 및 샘플링: 소스 코딩, 채널 전송, 생성을 결합하는 변분 학습 목적 함수를 개발했습니다. 논문은 자원이 제한된 시나리오를 위한 효율적인 조건부 샘플링 전략을 ODE 기반으로 제공합니다.
3. 이론적 보장: 도출된 학습 목적 함수가 원래의 정보 이론적 공식과 일치함을 입증하는 이론적 증명을 제공합니다. 저자들은 학습 손실을 최소화하는 것이 생성된 분포와 실제 분포 사이의 KL 발산 및 와서스타인 거리(Wasserstein distance)의 상한을 줄인다는 것을 보여줍니다.
4. 오류 특성의 변화 식별: 오류 특성의 근본적인 변화를 확인했습니다. 기존 시스템에서 성능 저하가 시각적 왜곡(흐림, 아티팩트)으로 나타나는 것과 달리, JSCGC의 저하는 높은 시각적 실재감과 지각적 타당성을 유지하면서도 의미론적 불일치(콘텐츠가 소스에 덜 충실해짐)로 나타납니다.

4. 실험 결과

Open Images(학습) 및 Kodak(평가) 데이터셋에 대해 AWGN 및 Rayleigh 페이딩 채널 환경에서 광범의 실험을 수행했습니다.

• 성능: JSCGC는 특징 수준 유사도(LPIPS, DISTS), 의미론적 일관성(CLIP Score, DINO Score), 분포적 충실도(rFID, DreamSim)를 포함한 다양한 지표에서 MambaJSCC-PSNR, MambaJSCC-LPIPS, DiffCom, DiffJSCC와 같은 최신 베이스라인들을 지속적으로 능가했습니다.
  • 예시: 5 dB SNR의 AWGN 환경에서, JSCGC는 DiffJSCC 베이스라인 대비 LPIPS를 79.42%, FID를 53.68%로 감소시켰으며, CLIP 점수는 11% 향상시켰습니다.
• 저 SNR 강건성: 성능 향상은 낮은 신호 대 잡음비(SNR) 영역에서 가장 두드러졌습니다. -5 dB에서 JSCGC는 의미론적 일관성과 지각적 품질 측면에서 모든 베이스라인을 크게 앞질렀습니다.
• 시각적 품질 vs 지표: 논문은 일부 베이스라인(예: MambaJSCC-LPIPS)이 높은 SNR에서 경쟁력 있거나 우수한 픽셀 단위 지표(PSNR/LPIPS)를 달성할 수 있지만, 종종 시각적 아티팩트(예: 체커보드 패턴)를 겪는다는 점을 지적합니다. JSCGC는 우수한 시각적 실재감을 유지하며, 이는 지표를 최적화하는 것이 실제 지각적 품질을 저하시킬 수 있다는 "굿하트 현상(Goodhart phenomenon)"을 보여줍니다.
• 효율성: JSCGC는 대규모 생성기(7.7B 파라미터)를 사용하지만, 제안된 ODE 기반 샘플링을 통해 효율적인 추론이 가능합니다. 50단계의 샘플링을 통해 JSCGC는 성능과 지연 시간 사이의 유리한 균형을 달구며, 속도와 품질 모두에서 DiffCom(252단계 필요) 및 DiffJSCC를 능가합니다.

5. 의의 및 주장

본 논문은 JSCGC가 통신 시스템의 근본적인 재설계를 나타낸다고 주장합니다. 수신된 신호를 재구성을 위한 청사진이 아닌 생성을 위한 조건으로 취급함으로써, 시스템은 통신 충실도와 픽셀 단위 왜곡을 분리합니다.

저자들은 JSCGC가 단순히 기존 지표를 개선하는 것이 아니라 통신 오류의 성격을 바꾼다는 점을 강조합니다. 저자원은 부족하거나 노이즈가 많은 조건에서, 시스템은 픽셀 단위의 정확성보다 지각적 실재감을 우선시합니다. 그 결과, 생성된 이미지는 특정 콘텐츠가 원래 소스에서 벗어나더라도 자연스럽고 그럴듯하게 보이며, 이는 유사한 제약 조건 하에서 시각적으로 저하되고 비현실적인 출력을 생성하는 전통적인 시스템과 구별되는 뚜렷한 장점입니다. 이 연구는 미래의 통신 시스템이 파운데이션 모델을 활용하여 소스와 일관된 고품질 콘텐츠를 합성할 수 있도록, 생성에 필요한 의미론적 조건을 전달하는 방향으로 재설계될 수 있음을 시사합니다.