Learning Where to Look and How to Judge: Resolution-agnostic Image Quality Assessment with Quality-aware Saliency

あなたは、歌やダンスを審査するのではなく、写真の質を審査する、ある種のタレントショーの審査員になったと想像してください。あなたの仕事は、一枚の写真を見て、「これはぼやけているか？ 色がおかしくないか？ 単に質の悪い写真ではないか？」と判断することです。これが**画像品質評価（IQA）**の世界です。長い間、コンピュータは人間のような「目」を持っていなかったため、これに苦戦してきました。コンピュータには、何が「良い」写真であるかを教え込む必要がありました。

かつて、科学者たちは何百万枚もの写真を見せ、「この写真はどれくらい好きですか？」と尋ねることで、コンピュータに教えていました。これらの回答は「平均意見スコア（MOS）」と呼ばれ、基本的には実在の人々による平均的な評価です。しかし、ここが厄介な点です。コンピュータは非常に好みが分かれます。もし、コンピュータを小さな低解像度の写真（スマートフォンの画面で見られるようなもの）を判定するように訓練してしまうと、プロ仕様のカメラによる巨大で超高精細な写真を見せたときに混乱してしまうことがよくあります。それは、おもちゃのプラスチック製の犬を使って犬の識別を教え込んでいる子供のようなものです。本物の、巨大な犬を見たとき、彼らはどうすればいいのか分からなくなってしまうのです。さらに、巨大な写真のすべてのピクセルをチェックすることは、たった一つの誤字を見つけるために図書館中のすべての単語を読もうとするようなもので、膨大なコンピュータパワーを必要とします。大きな疑問は、科学者たちが解決しようとしていることです：あらゆるサイズの写真に対して、細部まで気づき、かつスーパーコンピュータを必要とせずに機能するコンピュータの審査員を、どのように構築できるか？

そこで、研究者のHakan Emre Gedik、Shashank Gupta、Alan Bovikによって導入された新しいモデル、ReLIQSが登場します。ReLIQSを、写真全体を一度にじっと見つめるロボットではなく、虫眼鏡と地図を持った賢い探偵だと考えてください。

「ワンサイズ・フィッツ・オール（万能型）」アプローチの問題

ほとんどの従来のコンピュータビジョンモデルは、写真を小さな正方形のフレームに無理やり押し込んでから見るフォトグラファーのように機能します。もし巨大な超高解像度写真があったとしても、コンピュータはそれが収まるようにサイズを小さく押しつぶしてしまいます。問題は何でしょうか？ 写真を押しつぶすと、ノイズの粒、エッジの鋭さ、布の質感といった、小さくて重要なディテールが失われてしまうのです。それは、シルクのシャツの質を、ぼやけたピクセル化されたサムネイルを見て判断しようとするようなものです。布地が実は破れていることに気づかないかもしれません。

他のモデルは元のサイズを維持しようとしますが、処理に圧倒されてしまいます。巨大な画像をピクセル単位で見ることは非常にコストがかかり、時間がかかるため、現実世界での使用は事実上不可能です。それは、一本一本の藁を一つずつチェックして、干し草の山の中から特定の針を見つけようとするようなものです。

ReLIQSによる解決策：「スマートな探偵」

ReLIQSは、**解像度に依存しない学習（Resolution-agnostic Learning）**という戦略を用いることで、ゲームのルールを変えます。写真全体を押しつぶしたり、すべてのピクセルをチェックしたりする代わりに、3段階の「探偵」プロセスを使用します。

1. マルチスケール・マップ： あなたが写真を持っていると想像してください。ReLIQSはそれを一度見るだけではありません。元の巨大なサイズのコピー、少し縮小したコピー、そしてさらに縮小したコピーの数枚のコピーを作成します。それは、都市の地図を宇宙から、飛行機から、そして地上レベルから眺めるようなものです。それぞれの視点が異なる情報を伝えます。「地上レベル（元のサイズ）」は、小さなひび割れや傷を見せてくれます。「宇宙からの視点（縮小されたサイズ）」は、全体のレイアウトや色を見せてくれます。

2. 「どこを見るか」のレーダー： これが最も独創的な部分です。ReLIQSには、ヒートマップのように機能する特別なヘルパーモジュール（知覚的重要度推定器と呼ばれます）があります。これは写真をスキャンし、「人間はどこで間違いに気づきやすいか？」と問いかけます。このモジュールは、例えばポートレートにおける顔は背景の木々よりも重要であることや、空がぼやけているのは不快だが、隅の方がぼやけていても構わないといったことを学習します。このモジュールは「重要度」のマップを描きます。それは、写真の中で実際に品質に関わる部分だけに光を当てるスポットライトのようなものです。

3. スマート・サンプリング： 写真のすべてのパッチ（断片）をチェックする代わりに、ReLIQSはそのスポットライトを使用して、最も重要なパッチのみを選び出します。写真が巨大な場合、数千箇所ではなく、最も興味深い上位48箇所だけをチェックするかもしれません。それは、料理全体の皿を食べるのではなく、最も重要な一口だけを味わって、その料理が良いかどうかを判断するフードクリティック（料理評論家）のようなものです。これにより、膨大なコンピュータパワーを節約できます。

これらのスマートなパッチを選び出した後、ReLIQSは強力な事前学習済みモデル（CLIPと呼ばれるモデルに基づいています）を使用して、それらを分析します。そして、これらすべての小さな手がかりを一つのスコアに統合し、画像の品質が正確にどれくらいであるかを伝えます。

彼らが発見したこと

研究者たちは、現実世界ののスナップショット、コンピュータ生成画像、およびフェイクの歪みが加えられた写真など、多種多様な写真を用いてReLIQSをテストしました。彼らは、巨大な「大規模言語モデル（言葉を話し、物を見ることができるAI）」を使用するモデルを含む、既存の最高峰のモデルと比較しました。

• あらゆるサイズに対応： ReLIQSは、小さなスマートフォンの写真から巨大な超高精細（UHD）画像まで、混乱することなく扱いました。他のモデルが画像サイズが変わると苦戦したり失敗したりする一方で、ReLIQSは冷静さを保ちました。
• 高速かつ安価： 「重要な」パッチのみを見ることで、ReLIQSは精度を損なうことなく、計算コストを最大**90%**削減できました。超高解像度画像を用いたテストでは、それらの画像専用に作られたモデルよりも優れた性能を発揮しながら、はるかに少ない計算能力で動作しました。
• 多くのソースから学習： このモデルは、人間の評価が付いた多くのデータセット（写真のコレクション）で訓練されました。通常、これらのデータセットを混ぜ合わせることは、人々が評価基準を異にするため困難です。ReLIQSは、これらすべてから同時に学習する方法を見出し、より多才な審査員となりました。

判定

この論文は、ReLIQSがスーパーコンピュータを必要とせずに「解像度の問題」を解決していることから、重要な一歩であると示唆しています。ReLIQSは、すべてを見なくても品質を判断できることを証明しました。つまり、どこを見るべきか、そしてそこで見ているものをどのように判断すべきかを知っている必要があるのです。

モデルは非常に優れた性能を示しましたが、著者らは、特定の種類のAI生成画像（AGIQA-3K）においては、他のいくつかのモデルにわずかに及ばないと指摘しています。これは、ReLIQSが現実世界や標準的な歪みの判断にはマスターであっても、完全にAIによって作成された画像のユニークな癖を理解するには、もう少しトレーニングが必要であることを示唆しています。

要するに、ReLIQSは、絵画を何時間も見つめたり、小さなサムネイルを凝視したりする必要のない、高度に訓練された美術評論家のようです。彼らはどこを見るべきかを知っており、文脈を理解し、瞬時に完璧な評価を下すことができます。このアプローチにより、バックグラウンドで巨大なデータセンターを必要とすることなく、スマートフォンからスマートカメラに至るまで、日常的なデバイスで高品質な画像解析が可能になるかもしれません。