Whose Art Counts? Model- and Prompt-Dependent Associations in Vision-Language Judgments of Museum Art
تقدم هذه الورقة بروتوكول تدقيق مشروط بالأرشيف لتقييم كيفية تفاعل نماذج الرؤية واللغة وهياكل الأوامر مع البيانات الوصفية للمتاحف عند تقييم القيمة الفنية، مما يثبت من خلال دراسة حالة لمتحف المتروبوليتان للفنون أن أوامر "التأثير" تسفر عن أكثر الاختلافات اتساقاً القائمة على الفئات، مع تسليط الضوء على حدود التعميم عبر النماذج والأوامر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك بنيت للتو روبوت أمين مكتبة فائق الذكاء، قرأ ملايين الكتب وشاهد مليارات الصور. تسأل الروبوت: "أي من هذه اللوحات تعتبر تحفة فنية؟" أو "أي واحدة غيرت التاريخ؟". تتوقع من الروبوت أن ينظر إلى الفن ويعطي إجابة عادلة بناءً على الجمال والمهارة. لكن هنا تكمن الخدعة: هذا الروبوت لا "يرى" الفن كما يراه البشر؛ بل يرى أنماطاً. لقد تعلم من خلال مطابقة الصور بالكلمات الموجودة على الإنترنت. وإذا كان الإنترنت قد ذكر في معظم الأحيان أن "الفنانين العظماء" كانوا رجالاً، فقد يتعلم الروبوت أن "الفن العظيم" يشبه أعمال الرجال، حتى لو كان ذلك خطأً. هذا هو عالم "نماذج الرؤية واللغة" (VLMs): وهي حواسيب تربط الصور بالكلمات. السؤال الكبير ليس فقط "هل الروبوت ذكي؟"، بل "ما هو نوع العالم الذي تعلم منه الروبوت؟" و"هل تتغير إجابة الروبوت إذا طرحنا السؤال بشكل مختلف؟". المتاحف مليئة بهذه الروبات الآن، حيث تساعد الناس في العثور على الفن، ولكن إذا كان الروبوت متحيزاً، فقد يخفي قصص النساء والمبدعين الآخرين الممثلين تمثيلاً ناقصاً، مما يجعلهم يبدون أقل أهمية مما هم عليه في الواقع.
لذا، قرر فريق من الباحثين وضع هؤلاء "أُمناء المكتبات الروبوتيين" في اختبار محدد للغاية. لم يكتفوا بسؤال الروبوتات للتخمين، بل وضعوا لعبة صارمة لمعرفة ما إذا كانت الروبوتات تلعب بنزاهة. لقد استولوا على 445 صورة رقمية للفن من متحف المتروبوليتان للفنون. لكن هنا تكمن المفاجأة: كانوا يعلمون أن سجلات المتاحف فوضوية. فالعديد من الأعمال الفنية القديمة لا يلحق بها اسم واضح. لذا، قسموا المجموعة إلى جزأين: مجموعة صغيرة مكونة من 61 قطعة عُرف فيها اسم المبدع (وقاموا بتخمين الجنس بناءً على الاسم)، ومجموعة ضخمة مكونة من 384 قطعة ظل فيها المبدع مجهولاً. أرادوا معرفة ما إذا كانت الروبوتات تعطي "درجات أعلى" للفنانين الذكور المعروفين مقارنة بالفنانات الإناث المعرفات.
لكنهم لم يكتفوا بسؤال واحد. لقد سألوا الروبوتات بأربع طرق مختلفة: "هل هذه تحفة فنية؟"، "هل هذا عمل ذو جودة؟"، "هل هو مؤثر؟"، وسؤال ضابط (control question) فقط للتحقق مما إذا كان الروبوت ينتبه. أجروا هذا الاختبار على أربعة أدمغة روبوتية مختلفة (OpenAI CLIP، وOpenCLIP B/32، وOpenCLIP L/14، وSigLIP).
إليكم ما وجدوه، وهي حبكة غير متوقعة: الروبوتات لم تتفق.
لم تكن قصة بسيطة مفادها أن "كل الروبوتات منحازة ضد المرأة". بدلاً من ذلك، اعتمدت الإجابة كلياً على أي روبوت تسأل وكيف تطرح السؤال.
- عندما سألوا عن "التأثير" (مدى تغيير الفنان للتاريخ)، أعطى اثنان من الروبوتات (OpenAI CLIP وOpenCLIP L/14) إشارة واضحة: لقد قيّما الأعمال المرتبطة بالذكور بدرجة أعلى من تلك المرتبطة بالإناث. كان الأمر وكأن الروبوت يقول: "أوه، كتب التاريخ تقول إن الرجال غيروا الأشياء، لذا سأعطيهم درجة أعلى".
- ومع ذلك، عندما سألوا عن "الجودة" أو "التحفة الفنية"، كانت النتائج فوضوية. قد يقول روبوت ما "الرجال أفضل"، ويقول آخر "النساء أفضل"، ويقول ثالث "لا أرى فرقاً".
- أما الروبوت SigLIP، فقد أعطى النتيجة المعاكسة تماماً، حيث قيّم الأعمال المرتبطة بالإناث بدرجة أعلى، رغم أن الباحثين أشاروا إلى أن الأرقام كانت متذبذبة ويصعب تحديدها بدقة.
أهم ما تقوله الورقة البحثية هو أنه لا يمكنك مجرد حساب متوسط هذه الإجابات معاً. إذا أخذت الدرجات من الروبوتات الأربعة ودمجتها في رقم واحد كبير، فستحصل على كذبة. الروبوتات مختلفة جداً؛ فـ "الدرجة العالية" لدى روبوت واحد ليست هي نفسها "الدرجة العالية" لدى روبوت آخر. يجادل الباحثون بأن "التحيز" ليس خللاً ثابتاً في التكنولوجيا، بل هو مشكلة قياس. فالنتي تتغير اعتماداً على الأداة التي تستخدمها وعلى الكلمات الدقيقة التي تكتبها.
كما تشير الدراسة أيضاً إلى أن سجلات المتحف لعبت دوراً كبيراً. ولأن 384 من أصل 445 عملاً فنياً لم يكن لها مبدع معروف، لم تتمكن الروبوتات من مقارنتها حتى. الفنانون "المعروفون" كانوا شريحة صغيرة ومحددة من مجموعة المتحف. ويحذر الباحثون من أنه لا يمكننا القول إن هذه الروبوتات تكره الفنانات بشكل عام؛ يمكننا فقط القول إنه في هذا الاختبار المحدد، وبهذه الكلمات المحددة، ومع هذه المجموعة المحددة من الصور، أظهرت بعض الروبوتات نمطاً يفضل الأسماء الذكورية.
في النهاية، لا تقول الورقة البحثية "الروبوتات معطلة" أو "الروبوتات مثالية". بل تقول: "كن حذراً". إذا استخدم متحف ما روبوتاً لتصنيف الفن، فإن التصنيف قد يكون مجرد انعكاس لكيفية تدريب الروبوت وكيفية طرح السؤال، وليس القيمة الحقيقية للفن. يقترح الباحثون أنه بدلاً من البحث عن "حقيقة" واحدة، نحتاج إلى الاستماع إلى الخلاف بين الروبوتات. إذا قال روبوت ما "هذه تحفة فنية" وقال آخر "لا"، فإن هذا الخلاف هو في الواقع أكثر الإجابات صدقاً التي يمكننا الحصول عليها: فهو يخبرنا أن السؤال أصعب مما ظننا، وأن رأي الروبوت ليس سوى صوت واحد صاخب في غرفة شديدة الضجيج.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.