技術要約：結合ソース・チャネル・生成コーディング (JSCGC)

1. 問題提起

古典的な分離ベースのコーディングから、最新のディープラーニングを用いた結合ソース・チャネルコーディング (JSCC) に至るまで、従来の無線通信システムは、シャノンのレート歪み理論（Rate-Distortion Theory）の下で動作している。これらのシステムは、ソース信号の点推定値を復元するために、明示的な歪み指標（例：平均二乗誤差 (MSE)、LPIPS）を最小化するように設計されている。しかし、著者らは、特定の歪み指標を最適化することは「指標に起因するバイアス（metric-induced bias）」を導入し、その結果、複雑な人間の視覚的知覚と一致しない、ぼやけたり、過度に滑らかになったり、構造的なアーティファクトが生じたりする再構成を招くと主張している。

近年のレート・歪み・知覚 (RDP) アプローチや生成的通信手法（DiffCom、DiffJSCCなど）は、敵対的損失や学習済み生成モデルを組み込むことで知覚的品質を向上させようと試みてきたが、これらは依然として歪みに基づいた表現に依存している。これらの既存スキームでは、生成プロセスは再構成された信号に条件付けられており、つまり、システムは根本的に歪みベースの設計による制限に縛られたままである。対処すべき核心的な問題は、決定論的な再構成や指標の最適化を超え、セマンティックな条件に基づく制御された生成を促進するパラダイムへと移行する必要性である。

2. 手法：JSCGC フレームワーク

本論文は、従来のデコーダを生成モデルに置き換える結合ソース・チャネル・生成コーディング (JSCGC) というパラダイムを提案している。

コア概念

JSCGCにおいて、通信プロセスは歪みの最小化から制御された生成へと再定式化される。

• 送信機: ソース $x$ をチャネル信号 $y$ へとエンコードする。
• 受信機: $x$ を直接再構成する代わりに、受信信号 $\hat{y}$ を、学習された条件付き分布 $q_\theta(x|\hat{y})$ からサンプリングするためのセマンティックな条件として扱う。
• 目的関数: システムは、生成された分布 $q_\theta(x)$ が自然なデータ分布 $p(x)$ に近いことを保証する知覚的制約の下で、ソースと受信信号の間の相互情報量 $I(X; \hat{Y})$ を最大化することを目指す。これは以下のように定式化される：
  $$\max_{\theta, \phi} I(X; \hat{Y}) \quad \text{s.t.} \quad d_p(p(x), q_\theta(x)) \leq \zeta$$
  ここで、$d_p$ はダイバージェンス尺度（例：KLダイバージェンス）であり、$\zeta$ は許容誤差である。

システム実装

提案されたフレームワークは、潜在空間における画像伝送のために以下を用いて実装されている：

1. エンコーダ: 高レベルのセマンティック特徴を抽出し、それらをチャネル入力へとマッピングする Mamba ベースのエンコーダ (MambaJSCC)。
2. ジェネレータ: 大規模なデータセットで事前学習され、自然なデータ分布をモデリングする S3-DiT ベースの潜在フローマッチングモデル (Z-Image)。
3. 通信適応型アダプタ (CA-Adapter): 通信信号と生成特徴空間の間のミスマッチを橋渡しする極めて重要なコンポーネント。これは、カスケード段階を通じて受信信号 $\hat{y}$ をジェネレータの内部特徴空間に注入し、事前学習済みのジェネレータ全体を再学習することなく、生成の軌跡に対する微細な制御を可能にする。

学習およびサンプリングアルゴリズム

• 学習: 制約付き最適化は、ラグランジュ緩和を用いて無制約の形式へと変換される。著者らは、条件付きエントロピーとKLダイバージェンスのサロゲート（代理）を最小化する、扱いやすい変分推論に基づく損失関数を導出している。これにより、エンコーダ、チャネル伝送、およびジェネレータのエンドツーエンドの結合学習が可能となり、勾配はジェネレータからチャネルを通ってエンコーダへと伝播する。
• サンプリング: 確率微分方程式 (SDE) からの確率的サンプリングに伴う計算コストに対処するため、本フレームワークは関連する確率フロー ODE を利用する。これにより、高い知覚的品質を維持しながら、大幅に少ないステップ数（例：20〜50ステップ）での効率的なサンプリングが可能となる。

3. 主な貢献

1. JSCGC フレームワーク: 決定論的な再構成から制御された生成へとシフトし、明示的な歪み関数を用いずに知覚的制約の下で相互情報量を最適化する、生成的な通信パラダイムの導入。
2. 統一された学習とサンプリング: ソースコーディング、チャネル伝送、および生成を結合する変分学習目的関数の開発。本論文は、リソース制約のあるシナリオのための効率的な条件付きサンプリング戦略を提示している。
3. 理論的保証: 導出された学習目的関数が元の情報理論的定式化と一致することを証明する理論的証明。著者らは、学習損失を最小化することで、生成された分布と真の分布の間のKLダイバージェンスおよびワッサースタイン距離の両方の、上界を低減できることを示している。
4. エラー特性の変化: エラー特性の根本的な変化の特定。従来のシステムでは性能低下が視覚的な歪み（ぼやけ、アーティファクト）として現れるのに対し、JSCGCにおける劣化は、高い視覚的リアリズムと知覚的妥当性を維持しつつ、セマンティックな不一致（コンテンツがソースに対して忠実ではなくなること）として現れる。

4. 実験結果

Open Images (学習用) および Kodak (評価用) データセットを用い、AWGN およびレイリーフェージングチャネルにおける広範な実験が行われた。

• 性能: JSCGCは、特徴レベルの類似性 (LPIPS, DISTS)、セマンティックな一貫性 (CLIP Score, DINO Score)、および分布の忠実度 (rFID, DreamSim) を含む多様な指標において、一貫して最先端のベースライン (MambaJSCC-PSNR, MambaJSCC-LPIPS, DiffCom, DiffJSCC) を上回っている。
  • 例: 5 dB SNR の AWGN 下において、JSCGC は LPIPS と FID をそれぞれ DiffJSCC のベースライン値の 79.42% および 53.68% まで低減し、同時に CLIP スコアを 11% 向上させた。
• 低 SNR での堅牢性: 性能向上は、低信号対雑音比 (SNR) 領域で最も顕著である。-5 dB において、JSCGC はセマンティックな一貫性と知覚的品質の両面で、すべてのベースラインを大幅に凌駕している。
• 視覚的品質 vs 指標: 本論文は、一部のベースライン（例：MambaJSCC-LPIPS）が高 SNR において競争力のある、あるいは優れた画素レベルの指標 (PSNR/LPIPS) を達成する場合がある一方で、視覚的なアーティファクト（例：チェッカーボードパターン）が生じることがあると指摘している。JSCGC は優れた視覚的リアリズムを維持しており、これは「指標を最適化することが実際の知覚的品質を低下させる」というグッドハート現象（Goodhart phenomenon）を例証している。
• 効率性: JSCGC は大規模なジェネレータ（7.7B パラメータ）を利用しているが、提案された ODE ベースのサンプリングにより、効率的な推論が可能となっている。50 ステップのサンプリングにより、JSCGC は性能とレイテンシの良好なバランスを実現し、速度と品質の両面で DiffCom (252 ステップを必要とする) や DiffJSCC を上回っている。

5. 意義と主張

本論文は、JSCGC が通信システムの根本的な再設計を象徴すると主張している。受信信号を再構成のための設計図としてではなく、生成のための条件として扱うことで、通信の忠実度を画素単位の歪みから切り離している。

著者らは、JSCGC が単に既存の指標を改善するだけでなく、通信エラーの性質そのものを変えるものであることを強調している。低リソースまたはノイズの多い条件下では、システムはセマンティックな忠実度よりも知覚的なリアリズムを優先する。これにより、生成された画像は、具体的なコンテンツが元のソースから逸脱していたとしても、自然で妥当なものとなる。これは、同様の制約下で視覚的に劣化した非現実的な出力を生成する従来のシステムとは明確に異なる利点である。本研究は、将来の通信システムが、基盤モデルを活用してソースと一致する高品質なコンテンツを合成するために、セマンティックな生成条件を伝達するように再設計できる可能性を示唆している。