MDTD-ArtIR: Benchmarking Image Editing and Restoration Models for Art Image Restoration under Texture-Overlay Degradations

あなたは美術修復師です。しかし、手にするのは埃をかぶった筆や絵具のパレットではなく、超スマートなコンピュータープログラムです。あなたの仕事は、古く、損傷した絵画を修復することです。例えば、干上がった川の跡のようにひび割れたもの、謎の黄色いシミが付着したもの、あるいはキャンバスの一部が単に消失してしまったものなどです。これが**AI駆動型アート・レストレーション（AIによる美術修復）**の世界です。ここでは、コンピューターが、時間や事故によって台無しになった傑作が、かつてどのような姿であったかを推測しようと試みます。しかし、ここにはトリッキーな部分があります。コンピューターは単に空白を埋めるだけでなく、存在もしなかった奇妙でデタラメな詳細を作り出さずに、それを成し遂げなければなりません。それは、友人が物語を途中で止めてしまったときに、その結末を推測するようなものです。彼らがミステリーを書いているなら、勝手にドラゴンを登場させるのではなく、そのスタイルに合う結末を推測したいはずです。

これらのコンピュータープログラムが本当に優れているかどうかをテストするために、科学者たちは通常、練習問題を与えます。しかし、ほとんどの練習問題は簡単すぎたり、あまりにも偽物だったりします。例えば、少し曇った窓を拭く前に、ぼやけた写真を修正したり、雨粒を取り除いたりすることを求めるようなものです。これは、ステンドグラスの破片を直そうとする前に、少し汚れた窓ガラスを直す練習をしているようなものです。研究者たちが問いかけている大きな疑問は、「私たちの最高のAIツールは、芸術の魂を失うことなく、この厄介で現実世界のダメージを実際に扱うことができるのか？」ということです。

---

グレート・アート・ハイスト：AIが絵画を直そうとする時

MDTD-Artチームをご紹介しましょう。彼らは、AIによる美術修復師のための、より高度で挑戦的なトレーニングの場を構築することに決めたダラム大学の研究者グループです。彼らは、従来の練習テストが壊れたレコードで「サイモンセズ（指示通りに動け）」をやっているようなものだと気づきました。指示が単純すぎて、ダメージも予測可能すぎたのです。そこで、彼らはMDTD-ArtIRという新しいゲームを考案しました。

彼らの新しいデータセットを「ダメージ・シミュレーター」と考えてください。単に画像をぼかすのではなく、彼らは美しくクリーンな絵画を取り上げ、そこに47種類の異なる奇妙なテクスチャ（ひび割れた泥、飛び散った塗料、あるいは多孔質のスポンジなど）を重ね合わせました。しかし、彼らはただこれらのテクスチャを貼り付けたわけではありません。「透明度のノブ」を操作したのです。ダメージを薄く（低不透明度）して、まるで小麦粉を軽くまぶしたようにしたり、厚く重く（高不透明度）して、まるでバケツ一杯の泥を絵にぶちまけたようにしたりすることができました。これにより、「とても簡単」から「幸運を祈る、奇跡が必要だ」というレベルまで、難易度のスペクトラムを作り出したのです。

コンテスト：専門のメカニック vs クリエイティブなストーリーテラー

研究者たちは、2種類のAIモデルによる対決を設定しました。

1. 専門のメカニック（汎用画像修復モデル）： これらは「修理用」のボットです。傷、ノイズ、またはぼやけを取り除くために特別に訓練されています。彼らは、壊れた歯車を正確に直す方法を知っている熟練の時計職人のようなものです。
2. クリエイティブなストーリーテラー（画像編集モデル）： これらは「作り話をする」ボットです。これらは通常、写真を加工するために使われます（例えば、犬を猫に変えたり、帽子を被せたりするなど）。彼らは、いくつかの手がかりに基づいて新しいシーンを即興で作ることができる、クリエイティブな作家のようなものです。

チームは、ダメージが重く、手がかりが乏しい場合に、どちらがより優れた絵画修復を行えるかを調べたいと考えました。彼らは2種類の異なる「取扱説明書（プロンプト）」を使用して、これらのモデルをテストしました。

• シンプルなプロンプト： 単に「これを直して」と言うもの。
• エキスパート・プロンプト： 「あなたは専門の修復師です。マスク（覆い）はダメージであり、芸術ではありません。それを取り除き、元のシーンを再構築してください」と言うもの。

大きな驚き：ストーリーテラーの勝利（大部分において）

この論文が発見した展開はこうです。クリエイティブなストーリーテラー（画像編集モデル）が、一般的に専門のメカニックよりも優れた性能を示しました。

ダメージが軽い（低不透明度）ときは、どちらも上手くいきました。しかし、「泥」が厚くなる（高不透明度）につれて、専門のメカニックは苦戦し始めました。彼らはしばしばダメージを残してしまったり、不自然で硬い方法で直そうとしたりしました。彼らは「直すためのルール」に集中しすぎており、その下に何があるのかを推測するための想像力が足りなかったのです。

しかし、クリエイティブなストーリーテラーは、欠けている部分を推測するのがずっと上手でした。研究者がエキスパート・プロンプト（タスクを明確に説明したもの）を与えると、これらのモデルはさらに向上しました。例えば、Nano Banana (NB) Pro モデルは、高不透明度の条件下でエキスパートの指示を与えられたとき、画質スコアが 9.63 dB から 11.87 dB に跳ね上がりました。Flux 2 モデルも同様に、8.57 dB から 11.01 dB へと上昇しました。それはまるで、ストーリーテラーが突然、任務を理解したかのようでした。「ああ、泥の上に絵を描くのではなく、その下にあるものを想像すべきなんだ！」と。

落とし穴：想像力が暴走する時

しかし、落とし穴があります。これらの「ストーリーテラー」モデルは非常に優れた作り話ができるため、時に「創造的になりすぎる」ことがあります。最悪の場合、彼らは絵画を直すだけでなく、物語そのものを変えてしまいました。

論文では、AIがひび割れた顔を見て、「この人は違う鼻を持っているべきだ」と判断したり、風景を見て存在しない山を追加したりするという、滑稽（しかし悲しい）な例が示されています。これは「ハルシネーション（幻覚）」と呼ばれます。主に顔を学習している FireRed モデルは、顔の形をしたひび割れに混乱し、画像全体を乗っ取って、奇妙でぼやけた顔へと変えてしまいました。GPT Image 1.5 と NB Pro は、元のアイデンティティを維持することにおいて最も優れていましたが、それでも時折、色や形をわずかに変えてしまうことがありました。

結論：明快さが鍵となる

この論文の主な教訓は、本当に損傷した美術品を修復するためには、「どのように質問するか」が「どのツールを使うか」よりも重要であるということです。

• 専門的なツール（AutoDIRなど）は、元の画像を安全に保つことには優れていますが、重くて奇妙なテクスチャを取り除くことにはしばしば失敗します。
• クリエイティブなツール（NB ProやFluxなど）は、欠けている部分を推測することには驚異的ですが、偽の詳細を作り出さないようにするための明確な指示を必要とします。
• **「エキスパート・プロンプト」**こそが秘伝のソースです。AIに対して「これはダメージであり、芸術ではない」とはっきりと伝えることで、特にダメージが重い場合に、パフォーマンスは格段に向上します。

著者らは、これらのクリエイティブなモデルは強力ではあるものの、まだ完璧ではないと示唆しています。彼らはまだ混乱し、作品のアイデンティティを変えてしまうことがあります。しかし、適切な指示を使い、これらのモデルが「歯車を直す」ことよりも「物語を推測する」ことに長けていることを理解していれば、私たちは芸術の魂を失うことなく、大切な美術品を修復することに限りなく近づくことができます。これは、AIの世界において、壊れた絵を直す最善の方法は、単に穴を塞ぐように指示するのではなく、それが「どうあるべきか」を想像させることである、ということを思い出させてくれます。