PreResQ-R1: Response-Preference Disentangled Ranking-and-Scoring Reinforcement Optimization for Robust Visual Quality Assessment

写真や動画を見るとき、私たちの脳は瞬時にその品質を判断します。色がくすんでいるか、輪郭がぼやけているか、あるいは画像が粒状に見えるかといったことに気づくのです。この本能的な判断こそが、研究者が「視覚的品質評価（visual quality assessment）」と呼ぶものです。数十年にわたり、コンピュータはこの人間の能力を再現することに苦戦してきました。初期の試みは、ピクセルの誤差を測定する厳格な数学的公式に依存していましたが、これらは人々が実際に感じる美しさや明瞭さに一致しないことがよくありました。より最近では、画像を観察してそれについて説明するように訓練された、大規模マルチモーダルモデルと呼ばれる強力な人工知能モデルが登場しています。しかし、これらのモデルに対して特定の品質スコアを割り当てるよう求めると、しばしば一貫性が失われます。同じモデルに同じ写真を2回評価させるだけで、2つの非常に異なる数値を提示したり、その理由付けが最終的なスコアと矛盾したりすることがあります。この不安定さは、スマートフォンのカメラの改良からストリーミングビデオの品質確保に至るまで、実世界のアプリケーションにおいて、これらのシステムを信頼することを困難にしています。

上海交通大学の研究チームは、この問題を解決するために、PreResQ-R1と名付けられた新しいアプローチを開発しました。AIに単に数字を推測させたり、盲目的にランキングに従わせたりするのではなく、研究者たちはモデルに「自身の推論を安定させること」と「人間の判断に好みを合わせること」という2つの明確に異なるタスクを分離して教え込みました。研究者たちは、従来のシステムにおける不安定さは、モデルが同じ画像に対して極端に異なる説明を生成してしまう傾向から生じていることを発見しました。これを解決するために、彼らは、モデルが内部的な論理において一貫していることに報酬を与えつつ、同時にその最終的なスコアが人間が言いそうな内容と一致するように設計されたトレーニングプロセスを構築しました。このシステムは、画像の評価を5つの特定の要素に分解しています。それは、色の鮮やかさ、ノイズや粒状性の度合い、細部のシャープさ、主題の明瞭さ、そして背景の明瞭さです。これら5つの側面を個別に評価することで、モデルはより信頼性が高く詳細な品質の全体像を構築することを学びます。

研究者たちは、自然な歪み（ぼけや低照度など）を含むものや、他の人工知能ツールによって作成されたものを含む、多種多様な画像や動画を用いてこの新手法をテストしました。その結果、彼らのシステムは既存の手法を大幅に上回る性能を示しました。静止画に関するテストでは、この新しいモデルは、これまでの最高の手法と比較して精度が5.60パーセント向上しました。動きや時間を判断しなければならないため課題がさらに大きいビデオ品質においては、精度が2.53パーセント向上しました。決定的なのは、このモデルが単に優れた数値を出しただけでなく、より優れた説明を生み出したことです。風景のぼやけた写真を見せられたとき、モデルは単に画像が「悪い」といった漠然としたコメントをするのではなく、葉が焦点から外れており、背景にディテールが欠けていることを正しく特定しました。このように、構造化され、根拠に基づいた理由を提供できる能力により、システムははるかに信頼できるものとなっています。

この研究の成功は、学習プロセスを模倣した2段階のトレーニング戦略に基づいています。まず、モデルは画像を見るための多くの異なる方法を探索し、幅広いスコアと理由を生成するように促されます。このフェーズでは、回答があまりに散漫であったり一貫性がなかったりする場合にペナルティを与え、モデルを安定した思考法へと緩やかに導きます。モデルが信頼できる内部のリズムを見つけた後、第2段階では、その好みの微調整に焦点を当てます。ここでは、システムは自身の判断を人間の評価と比較し、そのスコアを人間の知覚に一致するように調整することを学びます。「明確に考えること」と「正しくスコアを付けること」を分離することで、モデルは画像の品質が主観的であったり、歪みが複雑であったりする困難なケースにも対処できるようになります。研究者たちは、個々のフレーム内の詳細を分析しながら、時間の経過に伴う動きの流れを分析することで、この手法をビデオにも拡張しました。これには、ビデオ内のすべての動きを再構成する必要はありません。

この研究の意義は、単に優れたスコアを得ることに留まりません。人間の知覚と一致する方法でその理由を説明できるシステムを作ることで、この技術はデジタルメディアにおけるより堅牢なアプリケーションへの扉を開きます。人工知能に視覚的品質を理解させる鍵は、単に大量のデータを投入することではなく、最終的な判断を下す前に、自身の推論において一貫性を持つように教え込むことにあることを示唆しています。この研究は、モデルが内部論理を安定させ、その論理を人間の好みに適合させるように訓練されるとき、以前は到達不可能であったレベルの信頼性を達成できることを証明しています。このアプローチは、画像を自動的に強化し、ビデオコンテンツをキュレーションし、私たちの画面に見えるものが真に期待通りの品質であることを保証するためのツールを開発するための、有望な道筋を提示しています。