Style or Signature? Artist-Disjoint Evaluation of Style Classification in Frozen Vision Embeddings
تجادل هذه الورقة بأن التقييمات القياسية لتصنيف الأسلوب في التمثيلات البصرية المجمدة تكون متضخمة بفعل التعرف على الفنان بدلاً من الفهم الأسلوبي الحقيقي، مما يثبت أن بروتوكولاً منفصلاً للفنانين يكشف عن انخفاضات كبيرة في الأداء وعدم اتساق في المتانة عبر الحركات الفنية.
تخيل أنك محقق يحاول تعليم روبوت كيفية التعرف على الأنواع الموسيقية المختلفة. تعرض عليه آلاف الأغاني وتطلب منه تصنيفها إلى "جاز"، أو "روك"، أو "كلاسيك". إذا أصبح الروبوت بارعاً جداً في ذلك، قد تظن قائلاً: "واو، إنه يفهم حقاً صوت الجاز!". ولكن هنا تكمن الخدعة: ماذا لو لم يكن الروبوت يستمع فعلياً إلى آلات الساكسفون أو إيقاعات الطبول؟ ماذا لو كان مجرد يحفظ أن "هذا المغني تحديداً يغني الجاز دائماً"؟ إذا اختبرت الروبوت فقط على أغاني لنفس المغنيين الذين سمعهم بالفعل، سيبدو كأنه عبقري. ولكن إذا أعطيته مغنياً جديداً تماماً لم يقابله من قبل، فقد يفشل فشلاً ذريعاً. هذه هي المشكلة ذاتها التي يواجهها العلماء عندما يحاولون تعليم الحواسيب التعرف على الأساليب الفنية. إنهم يستخدمون نماذج ذكاء اصطناعي قوية (تسمى "تضمينات الرؤية المجمدة") رأت ملايين الصور على الإنترنت. هذه النماذج بارعة في رصد الأنماط، لكن الباحثين تساءلوا: هل تفهم حقاً "أسلوب" اللوحة، أم أنها مجرد تأخذ طرقاً مختصرة عبر التعرف على "الفنان" الشهير الذي رسمها؟
هذه الورقة البحثية، التي تحمل عنوان "الأسلوب أم التوقيع؟"، تغوص في هذا الغموض. أخذ المؤلف نموذج ذكاء اصطناعي شائع (CLIP) ومجموعة من 320 لوحة من أربع حركات فنية شهيرة من القرن العشرين: الانطباعية، والتكعيبية، والتعبيرية التجريدية، والسريالية. بالطريقة المعتادة لاختبار هذه النماذج، يقوم الباحثون بخلط جميع اللوحات عشوائياً. وهذا يعني أن لوحة اختبار من أعمال سلفادور دالي قد تُقارن بلوحات أخرى لدالي شاهدها النموذج بالفعل. جادل المؤلف بأن هذا اختبار سيء لأن النموذج قد يقول ببساطة: "أنا أعرف هذا الرجل، إنه سريالي"، بدلاً من فهم ما يجعل السريالية فريدة من نوعها. لذا، ابتكر اختباراً أكثر صرامة يسمى "التقييم المنفصل عن الفنان". تخيل لعبة حيث يتعين عليك تخمين نوع الأغنية، ولكن يُمنع عليك الاستماع إلى أي أغانٍ أخرى لنفس المغني. يجب عليك الحكم على الموسيقى بناءً على ذاتها فقط.
عندما أجرى المؤلف هذا الاختبار الأكثر صرامة، كانت النتائج صادمة. انخفضت دقة النموذج الإجمالية، ولكن ليس بشكل متساوٍ. بالنسبة للانطباعية والتكعيبية، لم يتعثر النموذج إلا قليلاً؛ حيث استطاع لا يزال التمييز بين الأساليب حتى دون رؤية نفس الفنان مرتين. هذا يشير إلى أن هذه الحركات تمتلك "بصمة" بصرية مشتركة وقوية تعلمها الذكاء الاصطناعي بالفعل. ومع ذلك، انهارت السريالية تماماً. انخفضت دقة النموذج للسريالية بمقدار 20 نقطة ضخمة، من درجة عالية إلى مستوى جعلها تخمن بشكل عشوائي تقريباً. وجد المؤلف أنه بالنسبة للسريالية، لم يكن النموذج يتعلم الأسلوب حقاً؛ بل كان يحفظ فقط رسامين مشهورين محددين مثل دالي. عندما تمت إزالة هؤلاء الرسامين من الاختبار، لم يكن لدى النموذج أدنى فكرة عما تبدو عليه السريالية. اختبروا هذا مع أربعة نماذج مختلفة للذكاء الاصطناعي، بما في ذلك نموذج "يرى" الصور فقط ولا يقرأ النصوص أبداً، وكانت النتيجة هي نفسها: كان النموذج يعتمد على توقيعات الفنانين، وليس على الأساليب الفنية، فيما يتعلق بالسريالية. تخلص الورقة إلى أنه لكي نعرف حقاً ما إذا كان الذكاء الاصطناعي يفهم الفن، يجب أن نتوقف عن السماح له بسلوك الطرق المختصرة عبر التعرف على الفنان، ونبدأ باختباره على أساليب لم يسبق له رؤيتها من قبل.
ملخص تقني: التقييم المنفصل عن الفنان لتقسيم الأنماط في التضمينات البصرية المجمدة
بيان المشكلة تُستخدم التضمينات الصورية المجمدة المستخرجة من نماذج الرؤية واسعة النطاق سابقة التدريب، ولا سيما نموذج CLIP، بشكل متزايد لتصنيف اللوحات وفقاً للأسلوب التاريخي الفني بدقة عالية مُبلغ عنها. تعتمد بروتوكولات التقييم القياسية عادةً على تقسيمات عشوائية لمجموعة البيانات، حيث تظهر أعمال من نفس الفنان في كل من مجموعة التدريب/المرجع ومجموعة الاختبار/الاستعلام. يجادل هذا البحث بأن هذه المنهجية تخلط بين التعرف على "الأسلوب" الفني والتعرف على "هوية الفنان" الفردية. وبما أن التضمينات المجمدة تشفر "بصمات عصبية" قوية لفنانين محددين، فقد يحقق المصنف دقة عالية عبر تحديد الرسام بدلاً من الحركة الفنية. وبناءً عليه، فإن مقاييس الدقة الإجمالية القياسية قد تبالغ في تقدير الفهم الحقيقي للنموذذج للميزات الأسلوبية، مما يحجب مدى اعتماد الأداء على حفظ هوية الفنان.
المنهجية يقترح المؤلف وينفذ بروتوكول تقييم منفصل عن الفنان (ترك فنان واحد خارج المجموعة) لفصل تصنيف الأسلوب عن هوية الفنان.
مجموعة البيانات: مجموعة بيانات متوازنة تضم 320 لوحة تغطي أربع حركات فنية من القرن العشرين: الانطباعية، التكعيبية، التعبيرية التجريدية، والسريالية. تتضمن مجموعة البيانات ثمانية فنانين لكل حركة، مع عشر لوحات لكل فنان.
البروتوكول: بدلاً من التقسيم العشوائي، يقوم التقييم باستبعاد جميع أعمال فنان واحد كطقم استعلام، بينما يستخدم الـ 310 أعمال المتبقية (من الـ 31 فناناً الآخرين) كمجمع مرجعي. يضمن ذلك عدم تصنيف أي عمل باستخدام "جيران" ناتجين عن رسامه نفسه.
النماذج: تستخدم التجارب الأساسية نموذج CLIP ViT-B/32. ولضمان العمومية، تم تكرار المسار عبر ثلاثة مشفرات إضافية: CLIP ViT-L/14، ونموذج DINOv2 ViT-B/14 (المعتمد على الرؤية الذاتية فقط)، ونموذج ResNet-50 (المُدرب على ImageNet).
المقاييس: تقارن الدراسة دقة أسلوب "أقرب 5 جيران" (5-NN) في ظل ظروف المجموعة الكاملة (التقسيم العشوائي) مقابل ظروف الفصل عن الفنان. بالإضافة إلى ذلك، تم تقديم "ضبط للقدرة على التعرف على الفنان"، حيث يتنبأ النموذج بالفنان بدلاً من الأسلوب (مما يسمح بوجود جيران من نفس الفنان) لقياس مدى قوة تشفير الفنانين الأفراد.
النتائج الرئيسية
انخفاض الأداء الإجمالي: في ظل بروتوكول الفصل عن الفنان، تنخفض دقة أسلوب 5-NN الإجمالية من 0.87 إلى 0.77. ورغم أن الانخفاض الإجمالي يبدو طفيفاً، إلا أنه يخفي تأثيراً غير متكافئ بشدة عبر الحركات الفنية.
التباين الخاص بكل حركة:
الانطباعية والتكعيبية: تُظهر هاتان الحركتان متانة عالية، حيث انخفضت الدقة بمقدار 3.8 و5.0 نقطة فقط، على التوالي. يصعب على النموذج تمييز فناني هذه الحركات بشكل فردي (انخفاض القدرة على التعرف على الفنان)، مما يشير إلى أن التضمينات تلتقط شكلاً بصرياً مشتركاً وحقيقياً يستوعب التأليف الفردي.
السريالية: تُظهر هذه الحركة انهياراً دراماتيكياً، حيث تنخفض الدقة بمقدار 20 نقطة (من 0.713 إلى 0.513). يُصنف النموذج ما يقرب من نصف الأعمال المستبعدة بشكل خاطئ. هذا الهشاشة مدفوعة بفنانين محددين (مثل ميرو وماسون) الذين اعتمدت درجات أسلوبهم بقوة على قدرة النموذج على التعرف عليهم كأفراد.
التعبيرية التجريدية: تُظهر انخفاضاً متوسطاً (12.5 نقطة) لكنها تظل متينة نسبياً (0.850)، رغم امتلاكها لأعلى قدرة على التعرف على الفنانين الأفراد بين المجموعات.
تعميم المشفرات: يظل هذا النمط ثابتاً عبر جميع المشفرات الأربعة، بما في ذلك DINOv2 (الرؤية فقط، بدون لغة). وهذا يؤكد أن الهشاشة الملحوظة في السريالية والمتانة في الانطباعية والتكعيبية هي خصائص للبنية البصرية التي تلتقطها التضمينات، وليست نتاجاً للمحاذاة بين اللغة والنص.
المساهمات الرئيسية
بروتوكول الفصل عن الفنان: يقدم البحث معيار تقييم "ترك فنان واحد خارج المجموعة" للتضمينات البصرية المجمدة، موضحاً أن هذا البروتوكول يكشف عن هشاشة تصنيف الأسلوب التي تخفيها تقييمات التقسيم العشوائي القياسية.
تكميم الفجوة: يقوم المؤلف بتكميم التفاوت بين دقة التقسيم العشوائي والدقة المنفصلة عن الفنان، مبيناً أنها تعتمد على الحركة الفنية وليس ثابتة. كما يحدد الآلية عبر "ضبط القدرة على التعرف على الفنان"، مفرقاً بين الشكل المشترك الحقيقي وبين حفظ هوية الفنان.
الأصل البصري مقابل اللغوي: من خلال تضمين نموذج يعتمد على الرؤية فقط، يستبعد البحث التفسيرات القائمة على اللغة، مما يضع التأثير تماماً ضمن البنية البصرية للحركات الفنية.
الأهمية والادعاءات يجادل البحث بأن السؤال "هل يلتقط التضمين الأسلوب؟" هو سؤال غير دقيق لأن الأسلوب يعمل بشكل مختلف عبر الحركات الفنية. فبالنسبة لحركات مثل الانطباعية والتكعيبية، يُعرف الأسلوب من خلال أشكال بصرية مشتركة تستمر حتى عند إزالة الفنانين الأفراد. أما بالنسبة للسريالية، فإن "الأسلوب" غالباً ما يكون مرتبطاً بشكل لا ينفصم باللغات البصرية المميزة لفنانين محددين؛ وبالتالي، فإن إزالة الفنان تؤدي إلى إزالة إشارة الأسلوب.
تكمن الأهمية الرئيسية في الجانب المنهجي: تقييمات التقسيم العشوائي القياسية تخاطر باعتبار "التعرف على الفنان" بمثابة "فهم للأسلوب". ويدعو المؤلف إلى اعتماد التقييم المنفصل عن الفنان كمعيار افتراضي لقياس الفهم الأسلوبي في التضمينات المجمدة. هذا النهج يحول المقياس الإجمالي الهش إلى صورة قابلة للتفسير لكل حركة ولكل فنان، مما يكشف عن الحركات التي تمتلك شكلاً بصرياً مشتركاً يمكن استعادته، وتلك التي تعتمد على قابلية التعرف على رسامين محددين. لا يدعي البحث أن الضبط الدقيق (fine-tuning) سيحل هذه المشكلات، ولا يقترح تطبيقات جديدة، بل يدعو إلى معيار تقييم أكثر صرامة لمنع المبالغة في تقدير قدرات النماذج في مجال تاريخ الفن الحاسوبي.