A Compact Hybrid Convolution--Frequency State Space Network for Learned Image Compression

この論文は、Transformer の高計算コストや SSM の 2 次元構造の破綻という課題を解決するため、局所的特徴を捉える畳み込み層と、2 次元近傍関係を維持しつつ長距離依存性をモデル化する Vision Frequency State Space ブロックを組み合わせた、コンパクトなハイブリッド画像圧縮ネットワーク「HCFSSNet」を提案し、優れたレート歪み性能を実証したものである。

要約

この論文は、**「画像を圧縮する新しい賢い方法」**について書かれたものです。

画像をスマホやインターネットでやり取りするときは、データ量を減らす（圧縮する）必要があります。昔からある方法（JPEG など）は優秀ですが、AI（人工知能）を使えば、もっときれいに、もっと小さく圧縮できるかもしれません。

この研究チームは、**「HCFSSNet」**という新しい AI 構造を開発しました。これを「料理」や「郵便配達」に例えて、わかりやすく説明します。

---

🍳 料理の例：「地元の味」と「広域の情報」を両立させる

画像を圧縮する AI は、画像の情報を「料理」のように調理して、小さくパックする必要があります。
これまでの AI は、大きく分けて 2 つのタイプに分かれていました。

1. CNN（畳み込みニューラルネットワーク）タイプ：

   • 特徴： 画像の「細かい部分（髪の毛一本一本や肌の質感）」を見るのが得意。
   • 欠点： 広い範囲（空の広がりや背景のつながり）を見るのが苦手。
   • 例： 料理人が「お米一粒一粒」を丁寧に洗うのは得意だけど、「鍋全体」の味見をするのが苦手な人。

2. Transformer や SSM（状態空間モデル）タイプ：

   • 特徴： 画像の「広い範囲（空と山の関係）」を見るのが得意。
   • 欠点： 画像を「1 列に並べたリスト」のように変換して処理するため、**「隣り合っているはずのピクセル（画素）が、リストでは遠く離れてしまう」**という問題がありました。
   • 例： 広い部屋を「1 列に並んだ人」の並び順でしか理解できないため、「隣にいる友達」と「向こう側の友達」の関係を間違えてしまう人。

この論文の HCFSSNet は、この 2 つを「ハイブリッド（混合）」にした新しい料理人です。
「細かい部分」は CNN が担当し、「広い範囲」は新しい技術で担当することで、**「細部も逃さず、全体も把握する」**完璧な調理を実現しました。

---

🧭 3 つの新しい工夫（魔法の道具）

この新しい AI は、3 つの「魔法の道具」を使って、従来の欠点を解消しています。

1. 🗺️ 全方位の地図読み（VONSS）

• 問題： 従来の AI は、画像を「右→左」「上→下」にしか読み取れませんでした。そのため、「斜め」のつながり（例えば、斜めに伸びる枝や線）を見逃してしまったり、つながりを弱めてしまったりしていました。
• 解決策： **VONSS（ビジョン・オムニディレクショナル・ネイバーフッド・ステート・スペース）**という新しい読み取り方です。
• アナロジー： 従来の AI が「東西の道路」しか見ないのに対し、この AI は**「東西・南北・斜め・逆斜め」のすべての道路を同時に走れる**ようになりました。これにより、画像の「斜めのつながり」も逃さず、自然な形を再現できるようになりました。

2. 🎚️ 周波数の調整（AFMM）

• 問題： 画像には「滑らかな色（低周波）」と「ギザギザの模様（高周波）」が混ざっています。従来の AI は、これらを均一に扱ってしまいがちでした。
• 解決策： **AFMM（適応周波数変調モジュール）**という道具を使います。
• アナロジー： 画像を「音」に例えると、AFMM は**「イコライザー（音質調整）」**のようなものです。
  • 「滑らかな背景」は少し小さく（圧縮しやすく）、
  • 「重要な輪郭や模様」は大きく（きれいに残す）
  • といった具合に、「どの部分に力を入れるか」を AI が自分で判断して調整します。これにより、無駄なデータを削ぎ落としつつ、重要な部分はきれいに残せます。

3. 📦 荷物のラベル付け（FSTAM）

• 問題： 画像を圧縮する際、AI は「この画像のどの部分が重要か」を示す「ヒント（ハイパープライヤー）」を作ります。このヒントを作る過程でも、周波数の調整ができていませんでした。
• 解決策： **FSTAM（周波数スウィン・トランスフォーマー・アテンション・モジュール）**を導入しました。
• アナロジー： 荷物を送る際、「中身が壊れやすいもの」や「重要なもの」に、特別なシールを貼るようなものです。このシール（ヒント）を作る際にも、周波数の調整（重要度の判断）を取り入れることで、より効率的にデータを圧縮できるようになりました。

---

🏆 結果：どんなにすごいのか？

この新しい AI（HCFSSNet）は、以下の成果を上げました。

• 高品質： 従来の標準的な圧縮（VTM）と比べて、約 20% 以上データ量を減らしながら、同じくらい（あるいはそれ以上）きれいな画像を復元できました。
• コンパクト： 最近の巨大な AI 模型に比べると、サイズ（パラメータ数）は小さく、計算コストも抑えられています。「巨大なスーパーカー」ではなく、「高性能で燃費の良いスポーツカー」のような存在です。
• バランス型： 速度を最優先するわけでも、画質を最優先するわけでもなく、「小ささ」と「きれいさ」のバランスが非常に良い設計です。

💡 まとめ

この研究は、「画像圧縮 AI に、斜めのつながりを理解する力（VONSS）」と「音質調整のような周波数調整力（AFMM）」を組み合わせた新しいアプローチです。

これにより、**「画像の細部も、全体のつながりも、重要度まで」**をすべて考慮して、よりスマートに画像を小さくする技術が生まれました。今後は、動画圧縮などへの応用も期待されています。

技術概要

以下は、提示された論文「A Compact Hybrid Convolution–Frequency State Space Network for Learned Image Compression（学習画像圧縮のためのコンパクトなハイブリッド畳み込み・周波数状態空間ネットワーク）」の技術的な要約です。

1. 研究の背景と課題 (Problem)

学習画像圧縮（LIC: Learned Image Compression）は、従来の手動設計されたコーデック（JPEG, VVC など）に代わるものとして注目されています。近年、LIC の性能向上には、Transformer や状態空間モデル（SSM）などのアーキテクチャが活用されていますが、以下の課題が残されています。

• Transformer の課題: 長距離依存性のモデル化に優れていますが、シーケンス長に対して二次的な計算量（$O(N^2)$）を要するため、高解像度画像へのスケーラビリティが低い。
• SSM の課題: 線形計算量で長距離依存性を扱えますが、2 次元の画像特徴を 1 次元シーケンスにフラット化して処理する際、従来の水平・垂直スキャンだけでは、対角方向の近隣関係（2 次元の隣接性）が損なわれる可能性があります。
• エントロピーモデルの課題: 多くの既存手法は空間・チャネルドメインでのみ側情報（ハイパープライア）をモデル化しており、周波数領域を意識した側情報のモデリングが十分に検討されていません。
• 設計の複雑さ: 高性能なモデルはパラメータ数が増大する傾向にあり、コンパクトで統合された設計が求められています。

2. 提案手法：HCFSSNet (Methodology)

著者は、上記の課題を解決するために、**HCFSSNet（Hybrid Convolution and Frequency State Space Network）**を提案しました。これは、局所的な詳細モデリングと長距離的文脈の集約を統合したコンパクトなハイブリッドアーキテクチャです。

2.1 主要な構成要素

• HCFSS ブロック (Hybrid Convolution–Frequency State Space Block):
  • 入力特徴マップを 2 つのブランチに分割します。
  • CNN ブランチ: 局所的な空間詳細をモデル化するために畳み込み層を使用。
  • VFSS ブランチ (Vision Frequency State Space): 補完的な長距離文脈を集約するために使用されます。
• VFSS ブロックの内部構造:
  • VONSS (Vision Omni-directional Neighborhood State Space) モジュール:
    • 従来の水平・垂直スキャンに加え、対角線・反対対角線方向を含む 8 方向（全方向）のスキャンを実行します。
    • これにより、2 次元特徴マップ上の近隣関係（特に対角方向）をより忠実に保持し、SSM による長距離依存性のモデル化を改善します。
  • AFMM (Adaptive Frequency Modulation Module):
    • 離散コサイン変換（DCT）に基づき、周波数成分に対して適応的な重み付け（リウェイト）を行います。
    • 固定された DCT（パラメータなし）を使用し、学習するのは重み係数のみであるため軽量かつ安定しています。これにより、圧縮指向の表現学習が可能になります。
• FSTAM (Frequency Swin Transformer Attention Module):
  • ハイパープライア（側情報）パスに導入されたモジュールです。
  • Swin Transformer ブロックと AFMM を組み合わせ、側情報のモデリングにおいて周波数意識的なリファインメントを実現します。

2.2 全体アーキテクチャ

• 標準的なハイパープライアベースの LIC フレームワーク（分析変換、合成変換、エントロピーモデル）を採用。
• 主変換パスとハイパープライアパスの両方で、HCFSS ブロックおよび FSTAM を使用して、局所性と長距離依存性、そして周波数特性を統合的に扱います。

3. 主な貢献 (Key Contributions)

1. HCFSSNet の提案: 学習画像圧縮のためのコンパクトなハイブリッド畳み込み・状態空間アーキテクチャ。局所空間詳細と長距離文脈を単一の枠組みで統合。
2. VFSS ブロックの設計: 全方向近隣スキャン（VONSS）と DCT ベースの適応周波数変調（AFMM）を統合し、圧縮指向の表現学習を可能にした。
3. 周波数意識的なハイパープライアモジュール (FSTAM) の導入: 側情報のモデリングに周波数情報を組み込むことで、エントロピー推定の精度を向上。
4. 高性能かつコンパクトな設計: 大規模なモデル（MambaIC など）と比較してパラメータ数を削減しつつ、競合するレート・歪み性能を達成。

4. 実験結果 (Results)

Kodak、Tecnick、CLIC Professional Validation の 3 つのベンチマークデータセットで評価を行いました。

• レート・歪み性能:
  • 従来の VTM（Video Coding Standard）を基準とした BD-rate において、Kodak で18.06%、Tecnick で24.56%、CLIC で**22.44%**のビットレート削減を達成しました。
  • 最近の SSM ベース（MambaIC）や Transformer ベース（MLIC++）のモデルと比較して、パラメータ数が少ない（80.97M）にもかかわらず、競合する性能を示しました。
• モデル複雑度と効率性:
  • パラメータ数は MambaIC (123.81M) や MLIC++ (116.72M) よりも少なく、コンパクトな設計です。
  • 復号時間は、全方向スキャンや周波数変調によるオーバーヘッドのため、一部の軽量モデルより遅いですが、VTM よりも高速です。
• 視覚的品質:
  • 細いエッジ、繰り返しのテクスチャ、微細な線構造において、他の手法よりも明瞭な構造を保持し、歪みが少ないことを確認しました。

5. 意義と結論 (Significance)

• 2 次元構造の保持: 従来の 1 次元シーケンス処理の限界（特に対角方向の近隣関係の欠如）を、全方向スキャン（VONSS）によって克服し、SSM を画像圧縮に効果的に適応させました。
• 周波数領域の統合: 単なる空間ドメインだけでなく、主変換パスとハイパープライアパスの両方に周波数意識的なモジュール（AFMM, FSTAM）を組み込むことで、画像の統計的性質をより深く捉えることに成功しました。
• バランスの取れた設計: 極限の性能追求（超大規模モデル）や最小遅延の追求ではなく、「コンパクトさ」と「高性能」のバランスが取れた統合アーキテクチャとして、実用的な学習画像圧縮の新たな選択肢を提供しています。

今後は、より軽量なスキャンスケジュールや近似周波数変調を用いた低遅延版の開発、および動画圧縮への拡張が今後の課題として挙げられています。