Loop-Mamba: A Loop Mamba with Degradation-Aware and Shared Memory for Old Photo Restoration

想像してみてください。あなたは考古学者です。しかし、陶器の破片を掘り起こすのではなく、亡き曾祖父母の結婚写真を見つけるために、埃っぽい屋根裏部屋を掘り進めています。これらの画像は宝物であり、もはや存在しない顔や場所の記憶を留めています。しかし、時間は残酷な編集者です。それは写真の表面をひっかき、色彩を褪せさせ、乳剤をひび割れさせ、最も重要な部分に穴を開けてしまいました。これらの写真を修復することは、単に見た目を「綺麗」にするだけではありません。それは、決して起こらなかった新しい章を捏造することなく、壊れた物語を再構築することなのです。これが、**古い写真の修復（old photo restoration）**という挑戦です。

長い間、コンピュータは画像全体を一度に見て、欠けている部分がどうあるべきかを推測することで、写真を直そうとしてきました。それは、まるですべてのピースの形を一度に推測しながら、巨大なジグソーパズルを解こうとするようなものです。しかし、古い写真は混沌としています。場所によって異なる種類の損傷があります。ある部分はただぼやけているだけかもしれませんし、別の部分は引き裂かれているかもしれません。これを解決するために、科学者たちは**状態空間モデル（State Space Models: SSMs）**を使い始めました。これらは、コンピュータが画像全体を一度に記憶しようとするのではなく、画像を進みながら、それまでに見たものを効率的に記憶するための非常にスマートな方法だと考えてください。それは、本を一度に丸呑みしようとするのではなく、一ページずつ読み進め、筋書きを理解しながら次のページを理解していくようなものです。この論文では、これらのスマートなメモリシステムを使用して、私たちの最も大切な記憶をいかに慎重に修復できるかについて掘り下げます。

論文：Loop-Mamba

Runci Bai氏とその仲間たちによるこの論文の研究チームは、Loop-Mambaと呼ばれる新しいツールを構築しました。彼らは、古い写真の修復方法——複雑で多層的な損傷が見られるヴィンテージ写真に対して、一度に大きく、乱雑に再構築しようとする手法——が、十分に機能していないことに気づきました。代わりに、彼らは修復を、彫刻家が石のブロックから少しずつ形を削り出し、像が浮かび上がるまで形を洗練させていくプロセスのように、**漸進的なループ（progressive loop）**として扱うことに決めました。

「ワンショット」による修正の問題点
従来の多くの手法は、一度のパスで写真を修正しようと試みました。著者らは、これはひび割れがどこで最も深いかを確認せずに、一度にすべてを接着して割れた花瓶を直そうとするようなものだと主張しています。古い写真は「不均質な劣化（heterogeneous degradations）」、つまり、損傷がいたるところにあり、場所ごとに異なって見えるという現象に苦しんでいます。ある領域はただ埃っぽいだけですが、別の領域は引き裂かれています。もし写真全体を同じように扱ってしまうと、綺麗な部分を修復しすぎてしまい、壊れている部分の修復が足りなくなる可能性があります。

Loop-Mambaによる解決策
Loop-Mambaは、修復を**状態進化（state evolution）**のプロセスに変えることで、ゲームのルールを変えました。修復チームがループの中で写真に取り組んでいる様子を想像してください。毎回ゼロから始めるのではなく、彼らは「修復状態（写真がどう見えるべきかというメンタルマップ）」を次のラウンドへと受け渡していきます。

彼らがどのようにこれを実現しているか、3つの巧妙なトリックを用いて説明します。

1. 「ダメージ探偵」（Semantic-Guided Degradation Estimator）: チームが修復を開始する前に、どこに問題があるのかを正確に知る必要があります。Loop-Mambaは、SGDEと呼ばれる特別なモジュールを使用して、探偵のように振る舞います。これは単に推測するのではなく、各ピクセルにおける損傷の度合い（局所的な損傷）を示す詳細なマップを作成し、写真全体の修復の難易度（グローバルスコア）を算出します。このマップはシステムに対し、「おい、この角は破れているから、そこにエネルギーを集中させろ」と指示を出し、コンピュータがどこで注意深く作業すべきかを正確に把握できるようにします。

2. 「共有メモリバンク」（Shared Structural Memory Mamba）: これがループの核心です。多くの古い手法では、コンピュータは前のステップで修正した内容を忘れ、それを再び再構築しようとするため、混乱やぼやけた結果を招くことがあります。Loop-Mambaは、**共有構造メモリ（Shared Structural Memory: S2M）**を使用します。これは、チームが回し読みする共有ノートのようなものです。改善を行うたびに、彼らはその内容をノートに書き込みます。次のラウンドの作業はゼロから始まるのではなく、ノートを手に取り、すでに修正された内容を読み、その上に構築していきます。これにより、写真の構造（顔のラインや建物の線など）が一貫性を保ち、プロセスの中で失われることがなくなります。

3. 「多方向スキャン」: 細部を見逃さないように、システムは複数の方向から同時に写真をスキャンします。これは、絵画を左、右、上、下から同時に見ることで、あらゆるひび割れを捉えるようなものです。これにより、システムは画像内の長距離にわたる点と点を結びつけることができ、途中で途切れた線が両端と適切につながるようにします。

結果：より速く、よりスマートに、より正確に
研究チームは、損傷した写真と綺麗な写真の700ペアを含む公開ベンチマークであるSynOldを用いてLoop-Mambaをテストしました。その結果は驚くべきものでした。Loop-Mambaは単に見栄えが良いだけでなく、非常に効率的でした。

• 速度: 高解像度の1080P画像において1.86 FPS（フレーム毎秒）で動作し、これは他の多くの複雑な手法よりもはるかに高速です。
• 効率性: わずか119 G FLOPs（計算量の尺度）と59 G MACsを使用しており、大規模なコンピュータを必要とする重量級の手法と比較して大幅に低減されています。
• 品質: 30.13 PSNRおよび0.93 SSIMというトップスコアを達成し、従来のトップティアの手法を打ち破りました。

しかし、著者らは標準的な指標だけで満足しませんでした。標準的なテストでは、画像がいかに「綺麗」に見えるかではなく、実際に「損傷」がどれだけ除去されたかを完全には捉えきれないことに気づいたからです。そこで、彼らは旧写真損傷回復スコア（Old Photo Damage Recovery Score: ODRS）という新しいスコアを考案しました。このスコアは、システムがどれだけ損傷部分を回復し、どれだけ忠実に構造を再構築したかを具体的に測定します。Loop-Mambaはこの新しい指標で0.9495を記録し、単に上から色を塗っているのではなく、真に損傷を修復していることを証明しました。

なぜこれが重要なのか
この論文は、修復を単一の重い再構築としてではなく、連続的な状態更新のループとして扱うことで、より少ない計算能力でより高い精度で古い写真を修正できることを示唆しています。彼らは、ループを3回実行することが最適であることを発見しました。それ以上行ってもあまり効果はなく、むしろ速度を低下させました。

また、彼らはこのシステムがスマートフォン（具体的にはMi 10 Lite Zoom）でも動作するほど軽量であることを示しました。つまり、スーパーコンピュータを使わなくても、自分のスマホで家族の古い写真を修復できる可能性があるということです。著者らは、「漸進的な状態進化」というアプローチが、複雑で混沌とした現実の古い写真に対処するための強力な新しい方法であり、より少ない労力で、より鮮明に私たちの視覚的歴史を保存する道を開くものであると結論づけています。