Hierarchical Reinforcement Learning-Based Adaptive Denoising and Reversible Color Restoration Method for Complex Degraded Murals

壁画は単なる壁の上の絵画ではありません。それは、古代の洞窟の表面や崩れかけた漆喰にしがみつくようにして残された、人類の歴史の壊れやすい記録なのです。美術館にあるキャンバスとは異なり、これらの芸術作品は何世紀もの間、自然の要素にさらされ、独特かつ混沌とした混合的な損傷を受けてきました。それらは単に色褪せたり汚れたりしているだけではありません。多くの場合、ノイズ、ひび割れ、シミ、そして剥離した顔料の複雑な層に覆われており、塗料の質感そのものが弱まり始めています。修復は繊細なバランスの上に成り立つ作業です。もし修復者が過度に強力に洗浄すれば、筆致の細かな線や経年変化による微妙な歴史を消し去ってしまうかもしれません。逆に慎重になりすぎれば、画像は不明瞭なまま残ってしまいます。目標は、新しい詳細を捏造したり、残っているものを永久に変えてしまったりすることなく、元の芸術を明らかにすることであり、このプロセスには、どこに触れ、どの程度の強さで押すべきかという深い理解が求められます。

長年、コンピュータ科学者は人工知能を用いて、この繊ло細な作業を自動化しようと試みてきました。初期の試みは、画像全体を同じように扱い、画像全体を一括でクリーンアップするために単一のルールを適用するというものでした。このアプローチは単純な写真にはうまく機能しますが、壁画には適していません。なぜなら、損傷は決して均一ではないからです。顔の部分にはひびが入っている一方で、背景は単に埃っぽいだけかもしれません。また、明るいノイズの点が装飾的なパターンと全く同じように見えることもあります。画像全体に強力なクリーニングフィルターをかけると、ひび割れは滑らかになりますが、同時に顔をぼかしてしまい、最も重要なディテールを破壊してしまいます。したがって、課題は、壁画を見つめ、どの特定の部分に助けが必要かを判断し、その場所に対して最も穏やかで適切な道具を選択できるシステムを作り出すことでした。それも、変更内容が追跡可能であり、必要に応じて元に戻せることを保証しながらです。

最近の研究において、研究者たちは、人間の修復者のようにコンピュータに段階的に意思決定を行うよう教えることで、この問題に取り組む新しい方法を提案しました。コンピュータに画像全体を一気に修正させるのではなく、彼らはタスクを二つのレベルの思考へと分解しました。第一レベルは監督者として機能し、壁画全体をスキャンして、どの領域にまず注意を向けるべきかを決定します。それは損傷を観察し、「これは慎重な扱いを要する顔なのか、それとももっと積極的に洗浄できる背景なのか？」と問いかけます。領域が選択されると、より専門的な第二レベルが引き継ぎます。この下位レベルは、ノイズの除去、色の調整、あるいは質感の保持といったアクションのメニューから、その特定の箇所をどのように修正するかを正確に決定します。決定的なのは、このシステムが可逆的に設計されていることです。つまり、変更のすべての記録を保持しているため、修復が行き過ぎた場合には元の状態を復元できるのです。

研究者たちは、シミュレーションされた損傷の激しい壁画や実世界の遺跡からの実例を含む数千の画像を用いて、この二レベル・システムをテストしました。彼らは、自らの手法を、画像の修復を試みる他の強力なコンピュータプログラムと比較しました。その結果、彼らが「階層型強化学習フレームワーク」と呼ぶ彼らのアプローチは、他の手法よりも鮮明で正確な結果を生み出すことが示されました。テストにおいて、この新手法は画像の明瞭さを大幅に向上させ、視覚的なノイズを減らしつつ、芸術作品の鋭いエッジを維持しました。さらに重要なことに、このシステムは色の変化に関するミスをより少なくしました。他の手法はしばしば色を動かしすぎて、不自然に明るく見せてしまうことがありましたが、このシステムは色が本来あるべき姿に非常に近い状態を保ち、平均的な色の誤差を30％近く減少させました。

この研究は、コンピュータがどのように意思決定を行うかが、最終的な画像を生み出すことと同じくらい重要であることも明らかにしました。研究者たちが「監督者」レベルを取り除き、コンピュータに画像全体を一度に修正させようとしたとき、品質は著しく低下しました。システムは、損傷と重要な芸術的ディテールを区別することができなくなりました。同様に、変更を元に戻す能力を取り除いたとき、コンピュータはより攻撃的になり、色を過剰に補正し、塗料の微妙な質感を失わせることがよくありました。これらの知見は、段階的な意思決定プロセスが、損傷した芸術の乱雑で不均一な現実を扱うために不可欠であることを示唆しています。コンピュータは忍耐強く学ぶことを覚え、領域が安定したと感じたらそこで止まるように、一度に一つの領域に集中して、一様な修正を強制することなく動作するのです。

単に数値的な正しさを得るだけでなく、このシステムは、意図された用途に基づいて修復のスタイルを制御する方法も提供します。研究者たちは、同じツールを異なる目的のために調整できることを示しました。もし目的が厳格な歴史的記録であるならば、システムは変更を最小限に抑えるよう設定でき、たとえ少し色褪せて見えたとしても、壁画の現状を保存することができます。もし目的が公開展示であるならば、システムは色をより鮮やかに、ディテールをより鮮明に調整できるように調整でき、鑑賞者が芸術をより明確に目にすることができるよう助けます。この柔軟性により、デジタル修復は「一律の解決策」である必要がなくなります。それは、制御可能で透明性の高い操作となり、コンサベーター（保存修復家）は、デジタル版をいつでもより安全な状態に巻き戻せることを知りながら、どの程度の介入が適切かを決定できるのです。

この研究は、コンピュータに芸術がどのようなものかを教えるための数千点の絵画や、システムの限界をテストするために人工的に損傷を与えられた数百の特定の壁画画像を含む、大規模な画像コレクションを用いて行われました。結果は有望ですが、研究者たちは現在のテストがシミュレーションであることを指摘しています。数値や視覚的な比較は、プログラムをこれらの制御されたデータセット上で実行することによって生成されたものであり、これが実際の、何世紀も前の洞窟内の壁に対してどのように機能するかをまだ証明するものではありません。著者は、次のステップとして、この手法を実際の遺産サイトでテストし、人間による専門家の評価を取り入れることを提案しています。それまでは、この研究は、コンピュータに「どこで行動し、どのように行動するか」という構造化された思考法を与えることが、私たちの共有する歴史の、より優れた、より安全で、より敬意を持った保存につながるという強力な実証として存在しています。