MDTD-ArtIR: Benchmarking Image Editing and Restoration Models for Art Image Restoration under Texture-Overlay Degradations

تخيل أنك مرمم فني، ولكن بدلاً من الفرشاة المتربة ولوحة الألوان، لديك برنامج كمبيوتر فائق الذكاء. مهمتك هي إصلاح اللوحات القديمة والمتضررة—ربما واحدة متشققة مثل مجرى نهر جاف، أو أخرى ملطخة ببقع صفراء غامضة، أو ثالثة حيث اختفى جزء من القماش ببساطة. هذا هو عالم الترميم الفني المدفوع بالذكاء الاصطناعي، وهو مجال يحاول فيه الكمبيوتر تخمين كيف كانت تبدو التحفة الفنية قبل أن يفسدها الزمن والحوادث. لكن الجزء الصعب هنا هو أن الكمبيوتر لا يحتاج فقط إلى ملء الفراغات؛ بل يحتاج إلى فعل ذلك دون اختلاق تفاصيل غريبة وزائفة لم تكن موجودة أبدًا. الأمر يشبه محاولة إكمال قصة صديق توقف عن الكلام في منتصفها؛ فأنت تريد تخمين النهاية التي تناسب أسلوبه، وليس اختراع تنين إذا كان يكتب قصة غموض.

لاختبار ما إذا كانت برامج الكمبيوتر هذه جيدة حقًا في هذا العمل، يقدم العلماء لها عادةً مسائل تدريبية. لكن معظم هذه المسائل التدريبية سهلة للغاية أو مزيفة للغاية. قد يطلبون من الكمبيوتر إصلاح صورة ضبابية أو إزالة بضع قطرات مطر، وهو ما يشبه التدرب على إصلاح نافذة مغبشة قليلاً قبل محاولة إصلاح نافذة زجاجية ملونة محطمة. السؤال الكبير الذي يطرحه الباحثون هو: هل تستطيع أدوات الذكاء الاصطناعي الأفضل لدينا التعامل فعليًا مع هذا الضرر الحقيقي والفوضوي دون فقدان روح العمل الفني؟

---

سرقة العمل الفني الكبرى: عندما يحاول الذكاء الاصطناعي إصلاح لوحة

تعرفوا على فريق MDTD-Art، وهي مجموعة من الباحثين من جامعة دورهام الذين قرروا بناء ساحة تدريب جديدة وشديدة التحدي لمرممي الفن بالذكاء الاصطناعي. لقد أدركوا أن اختبارات التدريب القديمة كانت تشبه لعب "سايمون يقول" مع أسطوانة مكسورة—كانت التعليمات بسيطة للغاية، والضرر كان يمكن التنبؤ به. لذا، اخترعوا لعبة جديدة تسمى MDTD-ArtIR.

فكروا في مجموعة البيانات الجديدة هذه كـ "محاكي للضرر". فبدلاً من مجرد جعل الصورة ضبابية، أخذوا لوحات جميلة ونظيفة ووضعوا فوقها 47 نوعًا مختلفًا من الأنسجة الغريبة—مثل الطين المتشقق، أو الطلاء المتناثر، أو الإسفنج المسامي. لكنهم لم يكتفوا بوضع هذه الأنسجة فحسب؛ بل تلاعبوا بـ "مقبض الشفافية". كان بإمكانهم جعل الضرر خفيفًا (شفافية منخفضة)، مثل طبقة خفيفة من الدقيق، أو جعله سميكًا وثقيلًا (شفافية عالية)، مثل سكب دلو من الطين فوق اللوحة. خلق هذا طيفًا من الصعوبة، من "سهل جدًا" إلى "حظًا سعيدًا، ستحتاج إلى معجزة".

المنافسة: الميكانيكيون المتخصصون مقابل رواة القصص المبدعين

أقام الباحثون مواجهة بين نوعين من نماذج الذكاء الاصطناعي:

1. الميكانيكيون المتخصصون (نماذج ترميم الصور الشاملة): هؤلاء هم روبوتات "الإصلاح". يتم تدريبهم خصيصًا لإزالة الخدوش أو الضجيج أو الضبابية. إنهم مثل صانع ساعات ماهر يعرف تمامًا كيفية إصلاح ترس مكسور.
2. رواة القصص المبدعون (نماذج تحرير الصور): هؤلاء هم روبوتات "الارتجال". يُستخدمون عادةً لتغيير صورة (مثل تحويل كلب إلى قط أو إضافة قبعة). إنهم مثل كاتب مبدع يمكنه ارتجال مشهد كامل بناءً على بعض الأدلة.

أراد الفريق معرفة من يمكنه ترميم اللوحات بشكل أفضل عندما يكون الضرر ثقيلًا والأدلة نادرة. اختبروا هذه النماذج باستخدام "كتيبي تعليمات" مختلفين (أوامر نصية):

• الأمر البسيط: يقول فقط، "أصلح هذا".
• الأمر الخبير: يقول، "أنت مرمم خبير. القناع هو ضرر، وليس فنًا. قم بإزالته وأعد بناء المشهد الأصلي".

المفاجأة الكبرى: انتصر رواة القصص (غالباً)

إليك التحول الذي اكتشفته الورقة البحثية: نماذج رواة القصص المبدعين (نماذج تحرير الصور) تفوقت عمومًا على الميكانيكيين المتخصصين.

عندما كان الضرر خفيفًا (شفافية منخفضة)، كان الجميع يؤدون بشكل جيد. ولكن مع زيادة سماكة "الطين" (شفافية عالية)، بدأ الميكانيكيون المتخصصون يعانون. كانوا غالبًا ما يتركون الضرر كما هو أو يحاولون إصلاحه بطريقة تبدو جامدة وغير طبيعية. لقد ركزوا أكثر من اللازم على "قواعد" الإصلاح ولم يمتلكوا enough من الخيال لتخمين ما كان تحت الضرر.

أما رواة القصص المبدعون، فقد كانوا أفضل بكثير في تخمين الأجزاء المفقودة. عندما أعطاهم الباحثون الأمر الخبير (الأمر الذي يشرح المهمة بوضوح)، أصبح أداؤهم أفضل. على سبيل المثال، قفز نموذج Nano Banana (NB) Pro من درجة 9.63 dB إلى 11.87 dB في جودة الصورة عند إعطائه التعليمات الخبيرة عند الشفافية العالية. وشهد نموذج Flux 2 قفزة مماثلة، حيث انتقل من 8.57 dB إلى 11.01 dB. يبدو الأمر وكأن الحكواتي فهم المهمة فجأة: "أوه، ليس من المفترض أن أرسم فوق الطين؛ بل من المفترض أن أتخيل ما كان تحته!"

الفخ: عندما يذهب الخيال بعيدًا جدًا

ولكن هناك فخ. نظرًا لأن نماذج "رواة القصص" هذه بارعة جدًا في اختلاق الأشياء، فإنها أحيانًا تصبح مبدعة أكثر من اللازم. في أسوأ الحالات، لم يكتفوا بإصلاح اللوحة؛ بل غيروا القصة بأكملها.

تظهر الورقة بعض الأمثلة المضحكة (ولكن المحزنة) حيث نظر الذكاء الاصطناعي إلى وجه متصدع وقرر: "أعتقد أن هذا الشخص يجب أن يكون له أنف مختلف"، أو نظر إلى منظر طبيعي وقرر إضافة جبل لم يكن موجودًا. يسمى هذا "الهلوسة". نموذج FireRed، المدرب أساسًا على الوجوه، ارتبك بشدة بسبب الشقوق التي تشبه الوجه، فقام بـ "اختطاف" الصورة وحول اللوحة بأكملها إلى وجه غريب وضبابي. كانت نماذجي GPT Image 1.5 و NB Pro الأفضل في الحفاظ على الهوية الأصلية، ولكن حتى هما قاما أحيانًا بتغيير الألوان أو شكل الصورة قليلاً.

الحكم النهائي: الوضوح هو المفتاح

الخلاصة الرئيسية من هذه الورقة هي أنه بالنسبة لإصلاح الفن شديد التضرر، فإن كيفية طرح السؤال تهم أكثر من الأداة التي تستخدمها.

• الأدوات المتخصصة (مثل AutoDIR) رائعة في الحفاظ على الصورة الأصلية آمنة، لكنها غالبًا ما تفشل في إزالة الأنسجة الثقيلة والغريبة.
• الأدوات الإبداعية (مثل NB Pro و Flux) مذهلة في تخمين الأجزاء المفقودة، لكنها تحتاج إلى تعليمات واضحة لمنعها من اختلاق تفاصيل زائفة.
• "الأمر الخبير" هو السر؛ فعندما يُقال للذكاء الاصطناي بوضوح، "هذا ضرر، وليس فنًا"، فإنه يؤدي بشكل أفضل بكثير، خاصة عندما يكون الضرر ثقيلًا.

يشير المؤلفون إلى أنه على الرغم من أن هذه النماذج الإبداعية قوية، إلا أنها ليست مثالية بعد. لا تزال يمكن أن ترتبك وتغير هوية العمل الفني. ولكن من خلال استخدام التعليمات الصحيحة وفهم أن هذه النماذج أفضل في "تخمين القصة" منها في "إصلاح التروس"، يمكننا الاقتراب كثيرًا من ترميم فننا الثمين دون فقدان روحه. إنه تذكير بأنه في عالم الذكاء الاصطناعي، أحيانًا تكون أفضل طريقة لإصلاح صورة مكسورة هي أن تطلب من الكمبيوتر تخيل كيف يجب أن تبدو، بدلاً من مجرد إخباره بكيفية رتق الثقوب.