Improving Image Compression Ratio Using the mUMamba Image Restoration Network

毎日、およそ30億枚もの画像がデジタル世界を駆け巡り、スマートフォンからサーバーへと、またその逆へと移動しています。この視覚データの奔流は、膨大なストレージ容量と、遅延なく移動するための強力なインターネット接続を必要とします。このシステムを維持するために、エンジニアたちは長年、人間の目には気づかれにくい情報を削除することでファイルを縮小するプロセスである「圧縮」に頼ってきました。従来の手法は、画像全体に対して一律のルールを適用し、滑らかな空と複雑な森を同じ数学的手法で処理します。効果的ではあるものの、これらの標準的な技術は、ファイルサイズの小ささと画像の鮮明さへの欲求のバランスを取るのに苦労することがよくあります。単純な背景と詳細な前景の微妙な違いを見逃し、結果としてファイルが肥大化するか、あるいは画像がぼやけてしまうことがあります。

新しいアプローチは、どの本がめったに読まれず、どの本が日常的に貸し出されているかを知っている司書のように、画像の部分ごとに異なる扱いをすることで、この問題を解決しようとしています。研究者たちは、画像のどの部分が不可欠で、どの部分をスペース節約のために一時的に脇に置いておけるかを識別するシステムを開発しました。目標は、送信中に不要な部分を削除し、画像が目的地に到着したときにそれらを再構成することです。これには、単なる受動的な受信者ではなく、欠落した詳細を高い精度で（完璧ではないものの、いくらかの再構成誤差は残りますが）推測できる能動的な復元能力を持つデコーダーが必要となります。

最近の研究において、イランのセムナン大学の研究者たちは、この課題に取り組むための「mUMamba」と呼ばれるシステムを導入しました。彼らの手法は、画像内容のスマートな分析と、復元用に設計された強力な新しい人工知能を組み合わせたものです。プロセスは、画像を小さな正方形のブロックに分解することから始まります。システムは次に、これらのブロックを16×16、8×8、4×4の正方形として、3つの異なる詳細レベルで調べます。各レベルにおいて、システムはそのブロックが削除可能であるほど単純かどうかを判断します。ブロックが滑らかで変化のない領域を含んでいる場合、それは削除対象としてマークされます。鋭いエッジや複雑なパターンを含む場合、それは保持されます。この階層的なアプローチにより、システムは単純な領域に対してはより積極的に、一方で画像の定義となる複雑な細部を慎重に保持しながら、より大胆に処理を行うことができます。

取り除けるブロックが特定された後、システムは単にそれらを破棄するわけではありません。代わりに、残りの画像データと共に少量の「手がかり」を送信します。滑らかであるために削除されたブロックについては、色の変化の方向を示す単純な矢印を送信します。エッジが含まれているために削除されたブロックについては、そのエッジがどこにあったかを示すマップを送信します。極めて重要なのは、保持された画像の部分は未圧縮のままではなく、送信前に標準的なJPEG圧縮を用いてエンコードされることです。元の画像は大幅に小さくなっていますが、不完全な状態です。欠落したピースは、残されたJPEG圧縮されたピクセルとこれらの小さな手がかりのみを使用して、受信側のデバイスによって再構成されなければなりません。

この再構成を行うために、研究者たちはU-Netとして知られる構造に基づいた、人間の脳にインスパイアされたコンピュータプログラムであるニューラルネットワークを採用しました。このネットワークはU字型をしており、画像情報を圧縮するパスと、それを元のサイズに拡張するパスがあります。mUMambaをユニークにしているのは、ネットワークの深い層を処理するために使用するエンジンです。ほとんどの画像ソフトウェアで使用される標準的なツールの代わりに、研究者たちはMambaと呼ばれる新しいアーキテクチャに基づいたコンポーネントを統合しました。このコンポーネントは、データ内の長距離のつながりを理解することに非常に優れており、画像の遠くまでを見渡して、空白を埋めるために必要な文脈を見つけ出すことができます。それは、欠落したパズルのピースの端を見て、周囲の絵に基づいて中心がどうあるべきかを即座に理解できる、非常に熟練した芸術家のように機能します。

このアプローチの結果は、標準的なテスト画像の膨大なコレクションを用いてテストされました。システムは46.5パーセントの圧縮率を達成し、これはデータ量の著しい削減を示していますが、同時に高いレベルの視覚的品質を維持しました。復元された画像をオリジナルと比較する標準的な指標で測定すると、システムはPSNR 25.15 dBという、非常に近い一致を示すスコアを記録しました。さらに重要なことに、このシステムは他の高度な手法よりも大幅に高速で、計算能力もはるかに少なくて済みました。競合するシステムが4,000万以上のパラメータを使用しているのに対し、このシステムはわずか850万個のパラメータ（コンピュータが学習中に習得する内部設定）しか使用しませんでした。この効率性により、強力なスーパーコンピュータを必要とせず、モバイル電話や遠隔地のセンサーのような小型デバイスでも動作させることが可能になります。

研究者たちはまた、BPGやVVCといった業界で使用されている現在の最高水準と比較を行いました。彼らは、mUMambaがそれらの標準が要求する帯域幅を実質的に18.2パーセント節約しながら、より低いデータレートで同等の視覚的品質を達成できることを見出しました。他の現代的なAIベースの圧縮ツールとの直接比較では、新システムは画像の構造的類似性を約23パーセント、鮮明さを7パーセント向上させました。これらの利点は、画像の処理時間を3分の1近く短縮しながら達成されました。

この研究は、成功の鍵が単に強力なニューラルネットワークを使用したことではなく、古典的なブロック削除法とどのように組み合わせたかにあることを強調しています。タスクを2つの明確な部分、すなわち、まず何を削除して標準的なJPEGを使用して圧縮するかという論理的な決定と、次に欠落した部分を再構築するという創造的なタスクに分離することで、研究者たちは効率的かつ効果的なシステムを作り上げました。異なるサイズでブロックをチェックする階層的な戦略により、最終的な画像の品質を損なうことなく、より多くの圧縮の機会を見つけることができました。

このシステムは大きな期待を集めていますが、研究者たちは、現在は固定サイズの画像に最適に機能すること、および保持される部分に対して標準的な圧縮に依存していることを指摘しています。今後の研究では、あらゆるサイズの画像に対して柔軟に機能するようにすることや、残りの標準的なコンポーネントを完全にAI駆動のものに置き換えることを目指します。現時点において、mUMambaフレームワークは、画像のコンテンツを深く理解することで、より少ないものでより多くを送ることができることを証明し、画像の送信をより速く、より効率的にするための重要な一歩となっています。