窓の外の庭を見るために、泥だらけの窓を拭こうとしている場面を想像してみてください。もし、ただランダムに前後に窓を拭いてしまうと、汚れた部分の汚れをきれいな部分へと塗り広げてしまい、景色全体がぼやけてしまうかもしれません。これが、激しい雨、濃い霧、あるいは雪といった悪天候によって台無しになった写真を修復しようとするコンピュータが直面している課題です。長い間、コンピュータは画像を一つひとつの小さな点（「ピクセル」）ごとに、芝刈り機が芝生の上を行くような、厳格な格子状のパターンで見てきました。問題は、悪天候は整然とした格子状には降り注がないということです。例えば、雨粒は鳥の翼を覆っていても、空の部分はクリアなままかもしれません。コンピュータの「芝刈り機」が鳥から空へと移動するとき、コンピュータは「雨の多い」情報と「クリアな」情報を誤って混ぜ合わせてしまい、混乱が生じて、写真が依然として汚れたままになってしまうのです。

これを解決するために、科学者たちは「状態空間モデル（State Space Model: SSM）」と呼ばれる一種の人工知能を用いた、よりスマートな「掃除ロボット」を構築しています。SSMを、「今見ているものを理解するために、少し前の瞬間に見たものを記憶しているロボット」だと考えてください。しかし、従来のこのロボットへの指示方法（「スキャン戦略」）はあまりにも硬直的でした。それは画像が実際に「何であるか」を気にせず、ただあらかじめ設定された経路に従うだけでした。この論文では、ルールを変える新しいロボット「SSR」を紹介しています。SSRは、単なる格子に従うのではなく、「スーパーピクセル」マップを使用して、画像を自然で一貫性のある塊へとグループ化します。これは、鳥のパーツはすべて一緒、空のパーツはすべて一緒というように、パズルのピースを分けるようなものです。これにより、SSRは空を汚すことなく鳥を掃除することができ、その逆も同様です。

問題点：「芝刈り機」対「パズル」

この論文の著者たちは、悪天節でダメージを受けた写真を修復する従来の方法は、目隠しをした手袋をはめてジグソーパズルを解こうとしているようなものだと主張しています。端を感じ取ることはできても、どのピースが犬のもので、どのピースが木のものなのかは分かりません。既存の手法（非常に高度なものを含む）は、多くの場合、画像を長く平坦なピクセルの列として扱います。それらは左から右へ、あるいは上から下へ、あるいはヒルベルト曲線のような凝ったジグザグ模様でスキャンします。

論文は、このアプローチの大きな欠陥を指摘しています。それは、劣化（デグラデーション）は一様ではないということです。嵐は写真を均一に台無しにするわけではありません。ある部分は雪に覆われている一方で、別の部分はクリアかもしれません。コンピュータが直線的にスキャンすると、多くの場合、「汚れた」領域と「きれいな」領域の境界をまたいでしまいます。すると、コンピュータは両方を同時に学習しようとし、「ノイズ（雪）」と「信号（木）」を混ぜ合わせてしまいます。その結果、コンピュータは非識別的な特徴を学習してしまいます。つまり、混乱してしまい、実際の木の枝と、その上にある雪の結晶の区別がつかなくなるのです。

解決策：「スーパーピクセル」によるガイド

チームは、SSR（Semantic-center guided State space model for Restoration）と呼ばれる新しいモデルを提案しています。核心となるアイデアは、ピクセルごとにスキャンするのをやめ、「領域ごと」にスカニングを開始することです。

その仕組みは、主に2つのトリックを用いて行われます。

1. スーパーピクセル誘導型選択スキャン（S3M）
硬直した格子ではなく、SSRはまず画像を「スーパーピクセル」に分割します。写真を撮り、あらゆる独特な物体やテクスチャの周囲に輪郭を描く様子を想像してください。青い空のピクセルをすべてまとめ、緑の芝生のピクセルをすべてまとめ、そして雨粒のピクセルをすべてまとめます。これらのグループは「知覚的に一貫」しており、つまり人間の目にとって意味のあるまとまりとなっています。
画像がこれらの自然な塊に分割されると、コンピュータの「芝刈り機」（スキャンメカニズム）は、その「線の内側」に留まるよう指示されます。コンピュータは「空」のグループ内のすべてのピクセルをまとめて処理し、それから「芝生」のグループへと移動します。思考の途中で、雨のパッチからクリアな空のパッチへと飛び移ることは決してありません。これにより、コンピュータは雨の特徴を学習しながら、誤ってクリアな空の特徴を「学習」してしまうことがなくなり、情報の混濁を防ぐことができます。

2. リージョンレベル・ゲーティング機構（RGM）
単一のグループ（例えば雪のパッチ）の中でも、一部のピクセルは特に乱れていたり、異常値であったりする場合があります。これに対処するため、SSRは「ゲーティング（門番）」システムを使用します。これは、特定のVIPセクションにいる一人ひとりのIDをチェックするクラブの門番のようなものです。各スーパーピクセルグループに対して、コンピュータはピクセルの平均的な「ムード（統計量）」を計算します。もしあるピクセルが奇妙な動き（劣化の異常値）をしている場合、門番（ゲーティング機構）はその音量を下げたり、挙動を変えたりして、処理される前に調整します。これにより、その特定のエリアに合わせたクリーニング作業が行われ、変な部分がグループ全体の掃除を台無しにしないようにします。

研究結果

著者たちは、画像の天候除去ソフトウェアの性能を判断するために使用される標準的なベンチマークである6つの異なるデータセットで、新しいSSRモデルをテストしました。これには、合成写真（コンピュータ生成の雨や雪）と、悪天候下で撮影された実世界の写真が含まれます。

• パフォーマンス： SSRは、ほぼすべての最先端モデルよりも優れた性能を示しました。特に困難な「Outdoor」データセット（雨と霧が混在するもの）において、SSRは33.22 dB（画質を示す指標）というスコアを達成し、2番目に優れたモデルを1.06 dBという大幅な差で引き離しました。画像の復元において、0.5 dBの差さえも巨大であるとされる世界において、1.06 dBの差は極めて大きな飛躍です。
• 効率性： SSRは優れているだけでなく、より軽量でもありました。このモデルの「脳のサイズ」であるパラメータ数はわずか705万です。これは、3,000万や8,000万を超えるものもある他のトップモデルと比較して非常に小さいものです。また、計算量（54.27 G FLOPs）も、重量級のRestormer（141.00 G FLOPs）と比較して少なくなっています。
• 実世界の成果： 比較対象となる「完璧な」バージョンが存在しない実世界の写真を用いたテストにおいても、SSRは他の手法よりも人間にとって高品質で審美的に優れた画像を生み出しました。

課題と未来

論文は、何が機能し、何が機能しないのかについて非常に明確です。彼らは、複雑な天候を扱う上で、固定された事前設定のスキャンパス（標準的な格子やヒルベルト曲線など）が最善であるという考えに対して、明確に反対しています。画像の「意味（セマンティック・コンテンツ）」を無視することが、より悪い結果を招くことを彼らは証明しました。

しかし、著者たちは自らの限界についても正直に述べています。彼らの手法は、スーパーピクセルのクラスタリングが正しく機能することに大きく依存しています。もし天候があまりにもひどく（例えば、目がくらむような猛吹雪）、コンピュータがどこで一つの物体が終わり、別の物体が始まるのかさえ判別できない場合、スーパーピクセルマップが混乱してしまう可能性があります。そのような極端なケースでは、ガイドとなるものが壊れてしまうため、モデルは苦戦するかもしれません。

さらに、数学的にはモデルの速度は高速（線形計算量）ですが、現在のコンピュータチップ上での実際の速度は、最適化が進んだ古いモデルよりも少し遅くなっています。これは、SSRの「動的」な動き（異なるスーパーピクセルグループ間を飛び回る動き）が、単純な直線スキャンよりも現在のコンピュータハードウェアで効率的に処理するのが難しいためです。著者らは、将来の研究の焦点として、このスマートな「飛び跳ねる動き」を古い硬直的なスキャンと同じくらい速くするための、専用のコンピュータチップの構築を挙げています。

まとめ

簡単に言えば、この論文は次のように述べています。「ロボット掃除機のように壁にぶつかりながら掃除するのをやめましょう。部屋の構造を理解している人間のように掃除を始めましょう。」ピクセルを自然で意味のある塊へとグループ化し、一つのグループずつ丁寧に掃除することで、新しいSSRモデルは、以前の手法よりも優れた、より速く、より少ない計算量で悪天候の写真を修復できることを示しました。これは、「ピクセル・シリアル（一つひとつの点）」から「セマンティック・ガイデッド（意味のある塊ごと）」への転換であり、時には、クリアに見るための最善の方法は、自分が何を見ているのかを理解することであるということを証明しています。