Automatic Modeling of Social Concepts Evoked by Art Images as Multimodal Frames
تقترح هذه الورقة نهجاً برمجياً وأنطولوجيا جديدة تترجم النظريات المعرفية إلى أطر متعددة الوسائط لنمذجة وكشف المفاهيم الاجتماعية المجردة، مثل الثورة أو الصداقة، تلقائياً داخل الصور الفنية من خلال دمج البيانات متعددة الحواس لمعالجة الفجوة الدلالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير في معرض فني ضخم. توقفت أمام لوحة. رأيت سيفاً، وقطرة دم، ووجهاً عابساً. عقلك لا يسجل فقط "سيفاً" و"لوناً أحمر"؛ بل يستوعب فوراً مفهوم العنف.
الآن، تخيل أنك روبوت يحاول القيام بالأمر نفسه. يمكنك بسهولة التعرف على السيف (كائن مادي) واللون الأحمر. ولكن كيف تُعلّم الروبوت فهم الفكرة المجردة وغير المرئية لـ "العنف"؟ العنف ليس له شكل مادي، ولا لون محدد، ولا موقع واحد. إنه مفهوم اجتماعي—فكرة موجودة في عقولنا وثقافتنا، وليس في العالم المادي.
هذه الورقة البحثية تدور حول بناء "مترجم" يساعد الحواسيب على فهم هذه الأفكار غير المرئية من خلال النظر إلى الأدلة المخفية في الفن.
إليك تفصيل نهجهم، باستخدام بعض التشبيهات من الحياة اليومية:
1. المشكلة: "الشبح" في الآلة
رؤية الحاسوب (التقنية التي تسمح للحواسيب بـ "الرؤية") بارعة في رصد الأشياء الملموسة. يمكنها أن تخبرك: "هذا كلب"، أو "هذه تفاحة حمراء". لكنها تعاني مع المفاهيم الاجتماعية مثل الثورة، أو الصداقة، أو الاستهلاك، أو الرعب.
لما لماذا؟ لأن هذه المفاهيم تشبه الأشباح. لا يمكنك التقاط صورة لـ "الديمقراطية" أو "الحزن". فهي مكونة من مشاعر، وقواعد ثقافية، وقصص. بالنسبة للحاسوب، هذه مجرد كومة فوضوية من البكسلات دون تعريف واضح.
2. الحل: "الإطار متعدد الوسائط" (لوحة المحقق)
يقترح المؤلفون طريقة جديدة لتعليم الحواسيب. بدلاً من البحث عن شيء واحد محدد، يريدون من الحاسوب بناء إطار متعدد الوسائط (Multimodal Frame).
فكر في المفهوم الاجتماعي كأنه لوحة قضية للمحقق.
- القضية: "الاستهلاك".
- الأدلة (بصرية): اللوحة مغطاة بصور لحقائب تسوق، وأضواء نيون ساطعة، وأشخاص يحملون بطاقات ائتمان.
- الأدلة (لغوية): اللوحة تحتوي على ملاحظات لاصقة بكلمات مثل "شراء"، "تخفيضات"، "علامة تجارية"، و"فخامة".
- الأدلة (حسية): اللوحة تشير إلى أن "الاستهلاك" غالباً ما يبدو "ساطعاً" و"مزدحماً".
مهمة الحاسوب هي جمع كل هذه الأدلة المختلفة (صور، كلمات، ألوان) ودمجها معاً لتشكيل صورة كاملة لما يبدو عليه "الاستهلاك".
3. الأدوات: أنطولوجيا "MUSCO"
لجعل هذا الأمر ممكناً، بنى الباحثون مخططاً برمجياً خاصاً يسمى MUSCO (الأوصاف متعددة الوسائط للمفاهيم الاجتماعية).
تخيل هذا كأنه كتاب وصفات عالمي للأفكار المجردة.
- إذا أردت تعريف "الموت"، تقول الوصفة: ابحث عن الألوان السوداء، التوابيت، الوجوه الحزينة، وكلمات مثل "جنازة" أو "صمت".
- إذا أردت تعريف "الرعب"، تقول الوصفة: ابحث عن الظلال الداكنة، الوحوش، الوجوه الصارخة، وكلمات مثل "خوف" أو "دم".
يسمح هذا المخطط للحاسوب بتنظيم هذه الأدلة الفوضوية في رسم بياني معرفي (Knowledge Graph) (شبكة ضخمة ومترابطة من الحقائق) حيث يرتبط كل فكرة مجردة ببصماتها البصرية واللغوية المحددة.
4. التجربة: الاختبار في معرض "تيت" (Tate Gallery)
لمعرفة ما إذا كان هذا ينجح، استخدموا مجموعة معرض تيت (متحف فني شهير في المملكة المتحدة) كمختبر تجريبي لهم.
- الخطوة 1: البحث. بحثوا في 70,000 عمل فني للعثور على الأعمال المصنفة بمفاهيم اجتماعية مثل "الاستهلاك" أو "الرعب".
- الخطوة 2: التحليل. بالنسبة لـ "الاستهلاك"، وجدوا أن اللوحات غالباً ما تضم نساءً، ملابس، طعاماً، وألواناً زاهية ومتنوعة. أما بالنسبة لـ "الرعب"، فقد ضمت اللوحات وحوشاً، أشخاصاً يتراجعون خوفاً، وألواناً داكنة وباهتة.
- الخطوة 3: النتيجة. أثبتوا بنجًاج أن هذه المفاهيم المجردة لها بالفعل أنماط بصرية متسقة. "الرعب" ليس عشوائياً؛ فهو يستخدم باستمرار درجات داكنة وأفعالاً محددة (مثل الصراخ). "الاستهلاك" يستخدم باستمرار ألواناً زاهية وأشياء مثل التغليف.
5. لماذا يهم هذا؟
لماذا يجب أن نهتم إذا فهم الحاسوب "الرعب" أو "الصداقة"؟
- بحث أفضل: تخيل البحث عن "صور للحرية" والحصول على نتائج تشعرك حقاً بالحرية، وليس مجرد صور للأعلام.
- سحر المتاحف: يمكن للمتاحف كتابة أوصاف أفضل تلقائياً لفنونها، وشرح لماذا تبدو لوحة ما "حزينة" أو "ثورية" بناءً على الألوان والأشياء المستخدمة.
- الذكاء الاصطناعي الإبداعي: يساعد هذا الذكاء الاصطناعي على فهم المعنى الكامن وراء الفن، وليس فقط الأشياء الموجودة بداخله. هذه خطوة كبيرة نحو ذكاء اصطناعي "يفهم" حقاً الثقافة البشرية.
الخلاصة
يبني المؤلفون جسراً بين ما نراه (البكسلات، الألوان، الأشياء) وما نشعر به (الأفكار، العواطف، المفاهيم الاجتماعية). إنهم يعلمون الحواسيب أنه لكي تفهم "الحب"، لا يكفي أن تبحث عن شكل قلب؛ بل يجب أن تبحث عن المزيج المحدد من الألوان الدافئة، والشخصيات المتعانقة، والإضاءة الناعمة التي تعطي شعور الحب.
إنها "إثبات لمفهوم" (Proof of Concept)—مسودة أولية تظهر أن هذا الأمر ممكن. الخطوة التالية هي جعل النظام أكثر ذكاءً، بحيث يمكنه التعامل مع الطريقة الفوضوية والمعقدة والجميلة التي يفسر بها البشر العالم بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.