部屋を片付けようとしている場面を想像してみてください。しかし、汚れ方は場所によって様々です。ある角には濡れた泥だらけの服が積み上がり、別の角には割れた窓があり、また別の場所には厚い埃の層があります。もし、部屋全体に対して全く同じ掃除パターンを使うロボット掃除機を使っていたら、そのロボットは泥を見逃したり、ガラスを砕いたり、あるいは単に埃を押し広げてしまうかもしれません。これは、「画像復元（image restoration）」という、雨、霧、ボケ、あるいは暗さによって台無しになった写真を修正することに捧げられたコンピュータサイエンスの一分野における、日常的な苦闘です。長年、この仕事のための最も賢いツールは、その硬直したロボットのようなものでした。それらは画像を小さな固定サイズの正方形のタイル（付箋のグリッドのようなもの）に切り分け、それらを分析しようとします。そして、それぞれのタイルを独立して修正しようと試みます。しかし、雨の筋が2つのタイルの境界線をまたいで流れているとき、ロボットは混乱してしまいます。ロボットは一方のタイルで雨の上半分を修正しようとし、もう一方のタイルで下半分を修正しようとするため、結果として両者がうまく一致せず、目立つ醜い継ぎ目が残ってしまうのです。

これから読む論文は、この特定の「継ぎ目」の問題に取り組んでいます。この論文は、コンピュータが壊れた画像をどのように見るかについての新しい考え方を提示しています。画像を固定されたグリッドに押し込める代わりに、著者たちは、グリッド自体が汚れに合わせて曲がり、歪むことができるシステムを提案しています。それは、硬い段ボール箱ではなく、柔軟なゴムシートのようなものです。もし雨の筋が斜めに走っていれば、ゴムシートはストレッチして、その筋に従って「タイル」を動かし、走行の形に完璧に合わせることで、コンピュータが問題全体を一気に把握できるようにします。こうすることで、コンピュータは目立つブロック状の線を残すことなく、画像を修正できるのです。研究者たちは、彼らの新しいシステムを、Flexible Image Transformer（柔軟な画像トランスフォーマー）の略である「FIT」と呼んでいます。そして、画像を「曲げる」ことで、かつてないほどクリーンで鮮明な写真を作成できることを示しています。

問題点：曲がることのない「グリッド」

この新しい手法がいかに画期的であるかを理解するためには、現在の画像修正AIがどのように機能しているかを見る必要があります。ほとんどの現代的なシステムは、「パッチ・トークナイゼーション（patch tokenization）」と呼ばれる技術を使用しています。巨大なジグソーパズルを想像してください。ただし、ピースの形は不規則ではなく、すべてのピースが完璧な正方形です。ぼやけた写真を修正するために、コンピュータは画像をこれらの小さな正方タイルに切り分け、それぞれのタイルを研究し、それから画像を再構成しようとします。

著者らが指摘するように、問題は、現実世界のダメージがこれらの正方形を尊重しないことにあります。雨の筋、動きによるボケ、霧などは、しばしばこれらの固定された正方形の境界線を真っ直ぐに横切ります。コンピュータが、雨の筋の半分と晴れた空の半分を含む正方形を修正しようとするとき、混乱が生じます。コンピュータは「悪い」ピクセルと「良い」ピクセルを混ぜ合わせてしまうのです。そして、正方形を再び組み立てるとき、その不一致によって「グリッド・アーティファクト（grid artifact）」、つまり正方形が接する部分に目に見える不自然な線や継ぎ目ができてしまいます。それは、破れたシャツを、破れ目に合わない正方形の布のパッチで繕おうとするようなものです。修理した跡が不格好で目立ってしまいます。

著者らは、これまでの解決策は、ロボット掃除機がすでに部屋を正方形に切り分けた後に、後付けで賢く教えようとするようなものだと主張しています。彼らは、ダメージの種類（例：「これは雨である」）に関する情報をコンピュータの脳に注入していましたが、コンピュータは依然として硬直したグリッドを通して世界を見続けていました。コンピュータがどのように修正すべきかを考え始める前に、ダメージはすでに正方形の中に混ざり込んでしまっていたのです。

解決策：形を変える柔軟なグリッド

著者らは、根本的な変更を提案しています。固定されたグリッドを一切使わないことです。 代わりに、グリッドを曲げさせるのです。

彼らは FIT (Flexible Image Transformer) と呼ばれるシステムを導入しました。その仕組みを、簡単な比喩を用いてステップごとに説明します。

1. 「ダメージ探偵」（劣化エンコーダ / Degradation Encoder）: コンピュータが画像パーツを見始める前に、まず偵察兵を送り込み、写真全体をスキャンさせます。この偵察兵は単に「雨が降っている」と言うだけでなく、マップを作成します。それはダメージの全体像（「グローバル・ベクトル」）を描き、どこにダメージが最も激しいかを示す詳細なマップ（「空間マップ」）を作成します。これは、火災現場を見る消防士が、どの部屋が最も熱く、どこに向かって火が広がっているかを即座に判断するようなものです。

2. 「曲がるグリッド」（変形可能なトークナイゼーション / Deformable Tokenization）: ここからが魔法です。画像を硬い正方形に切る代わりに、コンピュータはダメージマップを使用して、正方形を伸ばしたり動かしたりします。長い雨の筋がある場合、コンピュータはグリッドの線を伸ばしてその筋に従わせます。画像の一部が非常にぼやけている場合、グリッドはそれらのぼやけたピクセルをグループ化するように移動します。

   • 比喩: ケーキを切る場面を想像してください。もしケーキの中に細長いイチゴが走っていたら、硬いナイフではイチゴを真っ二つに切ってしまい、その破片を台無しにしてしまいます。しかし、もしイチゴのカーブに従って曲がることができる柔軟なナイフがあれば、その周りを完璧に避けて切ることができます。FITはまさにこれを行っています。画像の「切り込み線」を曲げることで、各パーツ（または「トークン」）が、綺麗なピクセルと汚れたピクセルが混ざった状態ではなく、一貫したダメージの一部を含むようにしているのです。

3. 「スマートな修正者」（トランスフォーマー / Transformer）: 画像がこれらの柔軟でダメージを考慮したパーツに切り分けられたら、コンピュータはそれらを処理します。パーツが論理的に整理されているため（雨は一つのパーツに、晴れた空は別のパーツに）、コンピュータはより正確に修正を行うことができます。

4. 「逆方向の曲げ」（アンエンベディング / Unembedding）: コンピュータがパーツを修正した後、それらを元の位置に戻さなければなりません。コンピュータは、同じ曲げマップを使用して、パーツを元の位置へとワープさせます。パーツが最初からダメージに合わせて配置されていたため、それらは完璧にフィットし、目に見える継ぎ目は残りません。

「ドロップアウト」のトリック：推測することを学ぶ

著者らが用いているもう一つの巧妙なトリックに、「タスク・トークン・ドロップアウト（Task-Token Dropout）」があります。通常、AIに写真の修正を学習させる際、「これは雨である」とか「これはボケである」といった具合に、何が起きているのかを正確に教えます。しかし、現実の世界では、何が起きているのか分からないことがよくあります。ただ「質の悪い写真」を目にするだけです。

AIを十分に頑健（ロバスト）にするために、著者らは、AIに時々「ラベルを無視する」ように学習させています。彼らはランダムにAIに対して「これは雨の日の写真です」と教えた直後に、そのラベルを取り上げ、画像を見るだけでそれが雨であることを自力で見つけ出すよう強制します。これは、数学の問題を解く生徒に対し、答えのキーを与えることもあれば、あえて取ってしまうこともあるようなものです。これにより、生徒は答えを丸暗記するのではなく、論理を学ぶようになります。これにより、AIが雨と霧が混ざった写真（あるいは見たこともない種類のダメージ）に直面しても、混乱することなく問題を特定し、修正できるようになります。

結果：より鮮明に、より綺麗に、継ぎ目なしで

著者らは、5種類の異なる画像ダメージ（ノイズ除去、雨除去、霧（ヘイズ）除去、動きによるボケの修正、および暗い写真の明るさ調整）に対して、新しいFITシステムをテストしました。彼らは、JIT (Just Image Transformers) という非常に強力なベースラインを含む、既存の最高峰の手法と比較しました。

結果は驚くべきものでした。5種類の異なるダメージに関する標準的なテストにおいて、FITは平均 30.72 dB（復元された画像が元の画像にどれだけ近いかを示す指標）を達成しました。これは、従来の最高の手法を大幅に上回り、他のトップシステムよりも 0.5〜1.1 dB 高いスコアを叩き出しました。画像復元の世界では、わずか1デシベルの差であっても極めて重要であり、1 dBの向上はしばしば劇的な品質の飛躍と見なされます。

具体的には、FITは「空間的に不均一な（spatially non-uniform）」ダメージ（場所によって汚れ方が異なるもの）の処理に特に優れていることが強調されています。

• 雨に対して: FITは背景のテクスチャを鋭いまま維持しながら、雨の筋を徹底的に取り除きました。
• 霧に対して: 霧がかかった領域をクリアにしつつ、晴れた部分が不自然になったり色が薄くなったりすることを防ぎました。
• ボケに対して: 他の手法では滲んでしまうようなエッジを、シャープに復元しました。

おそらく最も視覚的な証拠は、「グリッド・スコア（Grid Score）」です。著者らは、あの醜い継ぎ目を測定する方法を考案しました。従来の硬いグリッドを用いた手法は、特にダメージが激しい場合に高いグリッド・スコア（多くの継ぎ目）を示しました。対してFITのグリッド・スコアは大幅に低く、画像が滑らかで自然であり、ブロック状の線が見えないことを意味していました。

なぜこれが重要なのか

この論文は、画像をどのように切り分けるか（「トークナイゼーション」）が、それを修正する「脳」と同じくらい重要であることを示唆しています。長い間、研究者たちは、グリッドは固定され、硬直したものであるべきだと考えてきました。しかし、この論文はその前提が間違っていることを証明しました。グリッドを柔軟にし、ダメージの形に合わせて曲げさせることで、コンピュータは問題をより明確に捉え、より効果的に修正できるのです。

著者らは、FITが画像復元の「あらゆる」問題を解決すると主張しているわけではありません。現実世界の予測不可能なシナリオにおいても、まだテストが必要であることも認めています。しかし、彼らはこの「曲げる」というアプローチが強力な新しいツールであることを実証しました。これは、将来のフォトエディティング・ツールが、単にアルゴリズムが賢くなるだけでなく、より柔軟なものになる可能性を示唆しています。つまり、私たちが片付けようとしている「汚れ」に合わせて、自分自身の世界の見方を再形成できるようなツールです。

要するに、FITは、壊れた写真を直すためには、硬い窓越しに覗き込むのをやめ、柔軟なレンズを通して見る必要があるということを教えてくれます。そして、そうしたとき、写真はずっと素晴らしいものになるのです。