Sampling variability ranks reconstruction error in lacquerware image inpainting across models and collections
تُظهر هذه الدراسة أن التباين في أخذ العينات عبر عمليات إعادة البناء المتعددة لترميم الصور التوليدي (generative inpainting) يعمل كمؤشر قوي لخطأ إعادة البناء في صور المشغولات الخشبية المطلية باللاكيه، مما يتيح إعطاء الأولوية للمخرجات للمراجعة البشرية رغم عدم قدرته على ضمان الأصالة التاريخية أو القضاء على الأخطاء تماماً.
تُعد الصور الفوتوغرافية المتاحف السجل الأساسي للقطع الرقيقة مثل المشغولات من طلاء اللاكر (اللك)، حيث تلتقط لمعان السطح أو دقة الزخارف المرسومة. ومع ذلك، فإن الصورة الفوتوغرافية ليست سوى صورة مسطحة؛ فهي لا تستطيع الكشف عن طبقات المادة الموجودة تحت الطلاء أو الحالة الحقيقية للقطعة إذا كانت أجزاء منها مفقودة. وعندما يحتاج المرممون أو المؤرخون إلى تخيل كيف كان شكل قطعة تالفة، فإنهم يلجؤون أحياناً إلى الذكاء الاصطناعي. هذه البرامج الحاسوبية يمكنها ملء المساحات المفقودة في الصورة، مما يخلق صورة كاملة تبدو مقنعة للعين البشرية. ومع ذلك، فإن الصورة المقنعة ليست بالضرورة صورة صحيحة؛ فقد يبتكر الكمبيوتر نمطاً لم يوجد من قبل، أو يتجاهل شقاً كان يجب أن يظل مرئياً. إن التحدي المركزي للتراث الرقمي لا يكمن فقط في صنع صورة جميلة، بل في معرفة متى تكون تلك الصورة من المرجح أن تكون خاطئة. فإذا أنتج الكمبيوتر عملية ترميم، فكيف يمكن للخبير البشري أن يعرف ما إذا كان ينبغي له الوثوق بها أم التدقيق فيها؟
لقد شرع فريق من الباحثين في الإجابة على هذا السؤال من خلال اختبار فكرة محددة: إذا أنتج الكمبيوتر عدة نسخ مختلفة لنفس القطعة المفقودة، فإن مقدار الاختلاف بين تلك النسخ قد يشير إلى مدى دقة النتيجة. وقد ركزوا على مشغولات "اللاكر"، وهي نوع من الخشب أو المعدن المزخرف والمغطى بطبقة صلبة ولامعة، باستخدام مجموعة من الصور الفوتوغرافية من متاحف كبرى. أخذ الباحثون صوراً سليمة لهذه القطع وقاموا رقمياً بتغطية أجزاء صغيرة ومتوسطة وكبيرة منها، لمحاكاة التلف. ثم طلبوا من نموذجين مختلفين من الذكاء الاصطناعي "معالجة" هذا الضرر عبر توليد أربعة احتمالات مختلفة لكل منطقة مفقودة. وكان مفتاح طريقتهم يتمثل في مقارنة بسيطة؛ حيث نظروا إلى الصور الثلاث المولدة لمعرفة مدى اختلافها عن بعضها البعض في المنطقة المفقودة. فإذا كانت الصور الثلاث تبدو متشابهة جداً، كان الكمبيوتر واثقاً، وإذا كانت تبدو مختلفة جداً، كان الكمبيوتر غير متأكد. ثم قاموا بفحص درجة "عدم اليقين" هذه مقابل الصورة الرابعة، التي احتفظوا بها مخفية، لمعرفة ما إذا كانت هذه الدرجة تتنبأ فعلياً بمدى ابتعاد النتيجة عن الصورة الأصلية السليمة.
أظهرت النتائج نمطاً واضحاً؛ فعندما اختلفت الصور الثلاث المولدة بشكل كبير، كانت الصورة الرابعة عادةً مختلفة تماماً عن الصورة الأصلية، مما يعني أن إعادة البناء احتوت على خطأ كبير. وعلى العكس من ذلك، عندما اتفقت الصور الثلاث مع بعضها البعض بشكل وثيق، كانت الصورة الرابعة أقرب بكثير إلى الحقيقة. وفي مجموعة الـ 64 قطعة أصلية، وجد الباحثون أن هذا الاختلاف كان مؤشراً قوياً على الخطأ. وباستخدام هذه الطريقة، استطاعوا فرز القطع واختيار فحص القطع التي يبدو فيها الكمبيوتر أكثر ثقة فقط. وإذا نظروا فقط إلى الـ 40 بالمائة من القطع ذات أقل قدر من الاختلاف، انخفض متوسط الخطأ في تلك الصور المختارة بشكل كبير مقارنة بالنظر إلى جميع الصور عشوائياً. لم يعني هذا أن الكمبيوتر صنع صوراً أفضل من تلقاء نفسه، إذ كانت الصور هي نفسها تماماً، بل كانت الطريقة تعمل كمرشح (فلتر)، يساعد البشر على تحديد أي الصور تستحق وقتهم وأيها من المرجح أن تكون مضللة.
صمد هذا النهج حتى عندما اختبره الباحثون على مجموعة جديدة تماماً مكونة من 40 قطعة من متاحف مختلفة، باستخدام نسخة مختلفة من نموذج الذكاء الاصطناعي. وظلت العلاقة بين الاختلاف والخطأ قوية، مما يشير إلى أن الطريقة ليست مجرد مصادفة ناتجة عن مجموعة بيانات واحدة محددة. ومع ذلك، كشفت الدراسة أيضاً عن قيود مهمة؛ فقد كان الكمبيوتر أكثر براعة في إعادة بناء الأسطح البسيطة والملساء مقارة بالتعامل مع المناطق المعقدة والمزخرفة. ولأن الطريقة فضلت بشكل طبيعي القطع الأبسط، فإن التطبيق الصارم للمرشح كان سيؤدي إلى استبعاد معظم القطع المزخرفة، والتي غالباً ما تكون الأكثر أهمية ثقافياً. علاوة على ذلك، وبينما استطاعت الطريقة التنبؤ بالأخطاء على مستوى البكسل، إلا أنها لم تستطع تحديد ما إذا كان الترميم دقيقاً تاريخياً أو مناسباً لأعمال الحفظ الفعلية؛ فقد يتفق الكمبيوتر على نمط خاطٍ، أو قد يولد تصميماً يبدو معقولاً ولكنه مستحيل تاريخياً.
كما قارن الباحثون طريقتهم بطرق أبسط لتقييم صعوبة الصورة، مثل قياس عدد الحواف أو كمية الملمس في المنطقة المفقودة. وفي المجموعة الأولى من القطع، تفوقت طريقة "الاختلاف" الخاصة بهم قليلاً، لكن الميزة كانت ضئيلة وغير متسقة دائماً. أما في المجموعة الخارجية من مقتنيات المتاحف، فقد أظهرت طريقة الاختلاف فائدة أوضح مقارنة بهذه الفحوصات الأبسط. وخلصت الدراسة إلى أنه بينما لا تحل هذه التقنية مشكلة الأصالة التاريخية، إلا أنها تقدم أداة عملية للمتاحف؛ فهي توفر إشارة قابلة للتكرار يمكن أن تساعد في تحديد أولويات عمليات الترميم الرقمي التي تحتاج إلى مراجعة بشرية. ومن خلال تحديد الصور التي يشعر الكمبيوتر فيها بعدم اليقين، فإنها تسمح للخبراء بتركيز اهتمامهم حيث تشتد الحاجة إليه، مما يضمن أن الجهد المبذول في التحقق من التراث الرقمي يُنفق على الحالات الأكثر شكاً وإشكالية.
ملخص تقني: تباين أخذ العينات كمؤشر لخطأ إعادة البناء في ترميم صور المشغولات الخشبية المطلية (اللاكر)
بيان المشكلة يمكن لنماذج الذكاء الاصطناعي التوليدي، ولا سيما نماذج الانتشار (diffusion-based inpainting)، إنتاج عمليات إعادة بناء مقنعة بصرياً للصور الثقافية المتضررة، مثل المشغولات الخشبية المطلية (اللاكر). ومع ذلك، فإن المقبولية البصرية لا تضمن الدقة التاريخية أو الأمانة للمحتوى الأصلي المفقود. ويتمثل التحدي الحرج في التراث الرقمي في التمييز بين عمليات الإكمال الاصطناعية عالية الجودة وتلك التي تكون متماسكة بصرياً ولكنها غير دقيقة تاريخياً. تعالج هذه الدراسة سؤالاً محدداً: هل يمكن للتباين عبر عمليات إعادة البناء متعددة البذور (seeds) أن يتنبأ بخطأ إعادة البناء في سياق ترميم صور المشغولات الخشبية المطلية؟
المنهجية استخدمت الدراسة تصميماً تجريبياً منضبطاً باستخدام الحجب الاصطناعي (synthetic occlusion) لتأسيس مرجع لقياس الخطأ بناءً على الحقيقة الأرضية (ground-truth).
مجموعات البيانات: تألفت المجموعة الأساسية من 64 صورة فوتوغرافية للمشغولات الخخلية (32 بسيطة المظهر، و32 مزخرفة) من متحف والترز، ومتحف كليفلاند للفنون، وكوبر هيويت. وتضمنت مجموعة التحقق الخارجية 40 مدخلاً من سجلات المتاحف من متحف المتروبوليتان وفنون شيكاغو.
النماذج: تم استخدام نموذجين من نماذج الانتشار: Stable Diffusion 1.5 (SD1.5) وStable Diffusion 2 (SD2). ركز التحليل الأساسي على SD1.5، بينما استُخدم SD2 في تجربة لاحقة على نفس المجموعة الأصلية والمجموعة الخارجية.
البروتوكول التجريبي:
الحجب الاصطناعي: تم حجب الأجسام عند ثلاثة مستويات (صغير، متوسط، كبير) تمثل حوالي 7.5%، و20%، و35% من المنطقة المستهدفة (ROI).
تصميم البذور المنفصلة: لكل صورة محجوبة، استُخدمت أربع بذور ثابتة. أنتجت ثلاث بذور (11002–11004) عمليات إعادة بناء "متنبئة" لحساب عدم اليقين. أما البذرة الرابعة (11001) فقد كانت بمثابة "الهدف" المستبعد (held-out) لإعادة البناء.
مقياس عدم اليقين: عُرِّف تباين أخذ العينات بأنه تباين عينة RGB لكل بكسل (ddof=1) عبر البذور المتنبئة الثلاثة، مع حساب المتوسط فوق المنطقة المحجوبة.
مقياس الخطأ: تم قياس خطأ إعادة البناء كمتوسط الخطأ المطلق (MAE) بين البذرة المستهدفة (11001) والصورة الأصلية السليمة داخل المنطقة المحجوبة.
استراتيجية التقييم:
التصنيف (Ranking): تم ترتيب الأجسام حسب عدم اليقين في أخذ العينات.
التنبؤ الانتقائي: اختبرت الدراسة ما إذا كان اختيار المدخلات ذات أدنى مستويات عدم اليقين (تغطية تقارب 40%) يقلل من متوسط الخطأ في المجموعة المقبولة مقارنة بالمجموعة الكاملة.
المقارنات: تمت مقارنة مقياس عدم اليقين مع واصفات الصور منخفضة التكلفة (كثافة حواف Canny، مقدار Sobel حلقي، الانحراف المعيائي للرمادي) ومع تصنيف "أوراكل" مثالي (perfect oracle) يعتمد على خطأ الحقيقة الأرضية المعروف.
المراجعة البشرية: قيمت عملية تقييم بصري مجهولة الهوية ومن مرحلتين (80 عنصراً) استمرارية الأنماط، واتساق الملمس، ومدى الملاءمة لمزيد من المراجعة البشرية، تلاها مراجعة من خبيرين لتصنيف المقدمة والمادة بالنسبة للمجموعة الخارجية.
النتائج الرئيسية
الارتباط بين التباين والخطأ: وُجد ارتباط إيجابي قوي بين تباين أخذ العينات وخطأ إعادة البناء المحجوب.
المجموعة الأصلية (التحليل الأساسي): باستخدام النموذج الأساسي (SD1.5)، كان معامل ارتباط بيرسون على مستوى الكائن r=0.7176.
المجموعة الأصلية (النموذج الثاني): عند تطبيق النموذج الثاني (SD2) على الـ 64 كائناً الأصلية، كان الارتباط r=0.7664.
المجموعة الخارجية: كانت الارتباطات أعلى، حيث بلغت r=0.9043 لـ (SD1.5) وr=0.9162 لـ (SD2).
استوفت هذه النتائج المعيار المحدد مسبقاً بوجود ارتباط إيجابي مع حد أدنى للتمهيد (bootstrap) فوق 0.30.
تقليل الخطأ عبر القبول الانتقائي: أدى اختيار الـ 40% من الأجسام ذات أدنى مستويات عدم اليقين إلى تقليل متوسط خطأ إعادة البناء للمجموعة المقبولة بشكل ملحوظ.
في المجموعة الأصلية (التحليل الأساسي)، بلغ متوسط MAE لـ 26 كائناً مختاراً 0.01811، مقارنة بـ 0.04655 للمجموعة الكاملة (انخفاض نسبي بنسبة 61.10%).
في المجموعة الخارجية، لوحظت تخفيضات مماثلة (على سبيل المثال، 0.03934 مقابل 0.07835 لـ SD1.5).
المقارنة مع الخطوط المرجعية: تفوق تصنيف عدم اليقين على واصفات Sobel الحدية في المجموعة الخارجية في تقليل متوسط الخطأ. وفي المجموعة الأصلية، كانت الميزة مقارنة بالواصفات منخفضة التكلفة (مثل كثافة حواف Canny) صغيرة وغير مؤكدة إحصائياً (تضمنت فترات الثقة الصفر).
التباين في الفئات البصرية: انحاز تصنيف عدم اليقين العالمي بشكل غير متناسب لصالح الأجسام "البسيطة" على الأجسام "المزخرفة" (قبول 68.75% من الأجسام البسيطة مقابل 12.50% من المزخرفة). وقد أدى فرض اختيار متوازن بين الفئات إلى زيادة متوسط الخطأ في المجموعة المقبولة، مما يسلط الضوء على المقايضة بين تقليل الخطأ وضمان تمثيل القطع الأثرية المعقدة والمزخرفة.
المراجعة البشرية: أظهرت التقييمات البصرية مجهولة الهوية اتفاقاً منخفضاً بين المقيمين (Krippendorff's α 0.23–0.28) وكانت تقتصر إلى حد كبير على فئات الدرجات المتجاورة. وبينما أكد خبيران وجود تداخلات في المقدمة، لم تثبت الدراسة وجود إجماع مهني حول جودة إعادة البناء.
الأهمية والادعاءات تدعي الورقة بتواضع أن تباين أخذ العينات يعمل كإشارة قابلة للتكرار لتحديد أولويات إعادة بناء الخسائر الاصطناعية للمراجعة البشرية، لكنها تنص صراحة على أنها لا تثبت الأصالة التاريخية أو ملاءمة الحفظ.
الفائدة: تسمح درجة التباين بإعطاء الأولوية للمخرجات الأقل خطورة للفحص البشري دون تغيير بكسلات عمليات إعادة البناء نفسها. فهي تعمل كأداة فرز ضمن إطار التنبؤ الانتقائي.
القيود:
الطريقة لا تحسن جودة عمليات إعادة البناء الفردية؛ بل تقوم فقط بتصفية أي منها يجب فحصه.
الارتباط بين التباين والخطأ لا ينفي وجود أخطاء نظامية مشتركة (عدم اليقين المنخفض لا يضمن الصحة دائماً).
تستند النتائج إلى حجب اصطناعي مع حقيقة أرضية معروفة؛ لذا فهي لا تتحقق مباشرة من الأداء في حالات التلف التاريخي الحقيقي حيث لا تتوفر حقيقة أرضية.
يجب موازنة تكلفة توليد ثلاث بذور إضافية لتقدير عدم اليقين مقابل فوائد تحسين تحديد أولويات المراجعة، حيث لم يتم تقديم أي معايير زمن التشغيل أو استهلاك الطاقة.
الخلاصة: بينما يرتبط تباين أخذ العينات بقوة بخطأ إعادة البناء في البيئات المنضبطة، إلا أنه ليس بديلاً عن التحليل المادي أو التحقق الخبير. تدعم الدراسة استخدام التباين كمقياس لتنظيم وتحديد أولويات مراجعة المقترحات المولدة في سير عمل التراث الرقمي، بشرط أن تظل المراجعة البشرية والسياق المادي هما المركز في العملية.