💻 computer science

ProFocus: Interpreting Affective Experience in Artistic Images with Progressive Visual Focusing

يُعد ProFocus إطار عمل مبتكر يعزز تفسير الاستجابات العاطفية في الصور الفنية من خلال توظيف "ناقد فني هرمي" لتوليد أولويات لغوية مهيكلة، ووحدة "دمج التلميحات التدريجي" لحقن هذه الإشارات تسلسلياً في الميزات البصرية، مما يحاكي الإدراك المعرفي البشري لتحقيق تمييز وتفسير عاطفي متفوق مقارنة بالأساليب الحالية.

المؤلفون الأصليون: Zhiyan Zhang, Zicheng Yan, Jianqi Chen, Peipei Song, Shanshan Wang, Xun Yang

نُشر 2026-08-17

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhiyan Zhang, Zicheng Yan, Jianqi Chen, Peipei Song, Shanshan Wang, Xun Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم حاسوب فهم لوحة فنية، ليس فقط من خلال عدّ البكسلات الزرقاء أو رصد شجرة، بل عبر استشعار "المزاج" الذي أراده الفنان. هذا هو عالم الحوسبة الوجدانية (Affective Computing)، وهو فرع من فروع الذكاء الاصطناعي مخصص لمساعدة الآلات على التعرف على المشاعر الإنسانية وتفسيرها. وبينما تجيد الحواسيب بالفعل رصد وجه مبتسم في صورة أو وجه عابس في فيديو، إلا أنها غالباً ما تتعثر عندما تواجه الفن البصري. لماذا؟ لأن الفن أمر معقد؛ فهو لا يكتفي بإظهار "ما" هو موجود فحسب، بل يستخدم الألوان التجريدية، والأشكال الغريبة، والاستعارات الخفية ليجعلك تشعر بأشياء مثل الخوف، أو الرهبة، أو الحزن. ولجسر هذه الفجوة، يبني الباحثون أنظمة لا تكتفي بـ "رؤية" الصور، بل تحاول "التفكير" فيها كما يفعل البشر، منتقلةً من الانطباع العام إلى التفاصيل المحددة لفهم القصة العاطفية.

هنا يأتي دور ProFocus، وهي طريقة جديدة طورها فريق من الباحثين تعمل كـ "ناقد فني ذكي للغاية" للحواسيب. الفكرة الجوهرية هي أننا عندما ننظر إلى لوحة ما، فنحن لا نحدق فيها دفعة واحدة، بل لدينا طريقة طبيعية ومتدرجة في معالجتها: أولاً، نحصل على شعور غريزي بشأن الجو العام (هل هو مظلم وعاصف؟ أم مشرق ومبهج؟)؛ بعد ذلك، ننظر إلى الشخصيات أو الأشياء الرئيسية وكيفية تفاعلها؛ وأخيراً، نركز على التفاصيل الصغيرة والدقيقة التي قد تحمل مفتاح العاطفة. تشير الورقة البحثية إلى أن معظم نماذج الذكاء الاصطناعي الحالية تحاول ابتلاع الصورة كاملة في لقمة واحدة كبيرة، مستخدمةً أدوات عامة بارعة في تحديد الأشياء اليومية (مثل "كلب" أو "سيارة") ولكنها سيئة جداً في فك رموز المشاعر المعقدة والمجردة للفن.

يعالج ProFocus هذه المشكلة من خلال محاكاة عملية "التقريب" (Zoom-in) البشرية. فهو يستخدم "ناقداً فنياً" خاصاً (نموذج لغوي كبير) لتفكيك اللوحة إلى ثلاث طبقات من الوصف: الأسلوب الجوي (المزاج)، الموضوعات السردية (القصة)، والتفاصيل الملموسة (الأدلة المحددة). بعد ذلك، يحتوي على وحدة "دمج التلميحات التدريجي" التي تغذي نظام الرؤية بالحاسوب بهذه الأدلة واحداً تلو الآخر، من العام إلى الخاص. فكر في الأمر كحل لغز: بدلاً من رمي كل الأدلة على الطاولة دفعة واحدة، تقوم أولاً بتهيئة المشهد، ثم تقدم المشتبه بهم، وأخيراً تشير إلى "الدليل القاطع". ومن خلال القيام بذلك، يتعلم النموذج التركيز على الأجزاء الصحيحة من اللوحة لاستنتاج العاطفة.

تشير النتائج إلى أن هذا النهج فعال؛ فعند اختباره على مجموعتين ضخمتين من الفنون هما ArtEmis v1.0 وv2.0، تفوق ProFocus باستمرار على أفضل الأساليب الحالية. وفي مجموعة البيانات v1.0، نجح في تخمين العاطفة بشكل صحيح بنسبة 66.1%، متفوقاً على المتصدر السابق بفارق ملحوظ. لكنه لم يكتفِ بتحديد التسمية الصحيحة فحسب، بل كان أيضاً أفضل في شرح "لماذا". ففي الاختبارات التي قيم فيها البشر التفسيرات، سجل ProFocus درجات أعلى في "الارتباط البصري" و"ثراء التفاصيل"، مما يعني أنه كان أقل عرضة لابتداع معلومات غير موجودة (الهلوسة) وأكثر قدرة على الإشارة إلى أجزاء فعلية من اللوحة تبرر العاطفة. فعلى سبيل المثال، حيث قد ترى النماذج الأخرى برجاً مظلماً وتخمن "الرهبة" لأنه يبدو ضخماً، فإن ProFocus، بتوجيه من تركيزه المتدرج على "الألوان الداكنة" و"الدخان"، حدد بدقة الشعور بأنه "الخوف". وتخلص الورقة البحثية إلى أنه من خلال مواءمة كيفية معالجة الآلات للفن مع الطريقة التي يقدر بها البشر الفن بشكل طبيعي، يمكننا بناء ذكاء اصطناعي يفهم حقاً القوة العاطفية للوحة الفنية.

ملخص تقني: ProFocus

بيان المشكلة
يعد تفسير الاستجابات العاطفية التي تثيرها الفنون البصرية تحديًا مركزيًا في تحقيق الذكاء العاطفي. فخلافًا للصور الطبيعية، التي تصور مشاهد موضوعية، يتم إنشاء الفن البصري عمدًا لإثارة استجابات عاطفية من خلال مفاهيم مجردة، واستعارات بصرية، وألوان غير حرفية. تعتمد الطرق الحالية لتحليل العواطف البصرية غالبًا على تمثيلات بصرية عامة (مثل CLIP) مدربة مسبقًا على مجموعات بيانات تركز على الأشياء (مثل MS-COCO). وتنتج هذه النماذج تمثيلات بصرية شاملة تتفوق في تحديد الأشياء الصريحة، لكنها تفشل في فك الارتباط بين الإشارات الجمالية الدقيقة والمتدرجة الهرميًا والضرورية للتفسير الوجداني الفني. وبناءً على ذلك، غالبًا ما تخطئ النماذج الحالية المتطورة (مثل SEVLM) في تفسير النبرة العاطفية للأعمال الفنية، حيث تتنبأ بمشاعر مثل "الرهبة" بينما الشعور المقصود هو "الخوف"، وذلك بسبب عدم قدرتها على فصل الأسلوب المجرد، والبنية السردية، والتفاصيل الرمزية داخل مساحة سمات واحدة.

المنهجية
يقترح المؤلفون إطار عمل ProFocus، المصمم لنمذجة التجربة الوجدانية من خلال مواءمة تعلم التمثيل البصري مع نظرية معرفية هرمية للتقدير الجمالي البشري. تتكون البنية من ثلاث مكونات أساسية:

الناقد الفني الهرمي (HAC):
- الوظيفة: يعمل هذا المكون كواجهة أمامية دلالية تعمل على فك الارتباط بين الإشارات البصرية المتشابكة بشكل صريح. وهو يستفيد من نموذج لغوي كبير متعدد الوسائط (LLaVA-1.6) ليعمل كـ "ناقد فني افتراضي".
- العملية: بدلاً من الاعتماد على الرموز البصرية الخام، يقوم الـ HAC بترجمة المحتوى البصري إلى أولويات لغوية مهيكلة عبر ثلاثة مستويات معرفية:
  - الأسلوب الجوي (Atmospheric Style): يلتقط المزاج العام، ولوحة الألوان، والتقنية الفنية.
  - الموضوعات السردية (Narrative Subjects): يصف الكيانات الرئيسية، وعلاقاتها المكانية، وتفاعلاتها.
  - التفاصيل الملموسة (Concrete Details): يحدد عناصر رمزية محددة وأدلة بصرية دقيقة.
- المخرج: يتم تشفير هذه الأوصاف إلى تمثيلات نصية صريحة ( $K^{(1)}, K^{(2)}, K^{(3)}$ ) تعمل كمرتكزات دلالية هرمية.
دمج التلميحات التدريجي (PHF):
- الوظيفة: يدمج هذا المكون الأولويات اللغوية الهرمية في الميزات البصرية بطريقة تتوافق مع الإدراك البشري (من العام إلى الخاص).
- الآلية: خلافًا للدمج التقليدي متعدد الوسائط الذي يدمج الميزات في آن واحد، يستخدم PHF عملية حقن متسلسلة باستخدام ثلاث كتل متراكمة من الانتباه المتقاطع متعدد الرؤوس (MCA).
  - المرحلة 1: تتوجه الميزات البصرية نحو أولويات "الأسلوب الجوي" لتأسيس سياق جمالي شامل.
  - المرحلة 2: تتوجه الميزات المنقحة نحو "الموضوعات السردية" للتركيز على كيانات وتفاعلات محددة.
  - المرحلة 3: تتوجه الميزات أخيرًا نحو "التفاصيل الملموسة" لالتقاط أدلة رمزية دقيقة.
- التصميم: يستخدم المكون اتصالات متبقية (residual connections) ومعايرة الطبقة (LayerNorm) للحفاظ على الانحيازات المكانية الأصلية للصورة مع امتصاص المعرفة الدلالية تدريجيًا. يضمن ذلك حفاظ النموذج على هيمنة التأثير الشامل مع صقل الانتباه نحو المناطق ذات المعنى الدلالي.
توليد التفسير الوجداني:
- يتم تغذية الميزات البصرية المدمجة هرميًا ( $V_{fused}$ ) إلى فك تشفير لغوي (GPT-2) جنباً إلى جنب مع مطالبة عاطفية (emotion prompt). يقوم فك التشفيد بالتنبؤ بتسمية العاطفة وتوليد التفسير المقابل بشكل تلقائي، مشروطًا بالايماءات الدلالية المحقونة صراحةً.

المساهمات الرئيسية

إطار عمل مبتكر: تقديم ProFocus، الذي يربط صراحةً المعالجة البصرية بمسار التقدير الجمالي البشري، مبتعدًا عن الميزات البصرية العامة.
ابتكار معماري: تصميم الناقد الفني الهرمي (HAC) لتفكيك الإدراك الفني إلى أولويات لغوية قابلة للتفسير، ووحدة دمج التلميحات التدريجي (PHF) لدمج هذه التلميحات بشكل متسلسل.
الأداء: إثبات أن هذا النهج يسد "الفجوة الوجدانية" بفعالية بين الميزات البصرية الشاملة والتفسير الفني الدقيق.

النتائج التجريبية
قيم المؤلفون ProFocus على مجموعتي البيانات ArtEmis v1.0 و v2.0، مقارنةً بالنماذج المرجعية المتطورة بما في ذلك SEVLM وNLX-GPT2 ونماذج فيديو عاطفية مختلفة تعتمد على LLM تم تكييفها للصور الثابتة.

التعرف على العواطف: حقق ProFocus دقة جديدة متطورة بلغت 66.1% على ArtEmis v1.0 (تحسن بنسبة 2.2% عن SEVLM) و 43.8% على ArtEmis v2.0.
توليد التفسير: تفوق النموذج على النماذج المرجعية في الصلة الدلالية والطلاقة اللغوية، محققًا درجة BLEU@4 بلغت 9.8 و ROUGE-L بلغت 30.8 على v1.0.
دراسات الاستئصال (Ablation Studies):
- الأولويات المتكاملة: أظهرت التجارب أن الاعتماد على نوع واحد فقط من الأولويات (مثل التفاصيل فقط) يحد من الأداء؛ حيث يحقق الجمع بين المستويات الثلاثة أفضل النتائج.
- آلية الدمج: تفوق دمج التلميحات القائم على الانتباه (PHF) بشكل كبير على مجرد دمج الميزات.
- ترتيب الحقن: ثبت أن ترتيب (الأسلوب $\leftarrow$ الموضوع $\leftarrow$ التفصيل) من العام إلى الخاص كان متفوقًا على التباديل الأخرى، مما يؤكد ضرورة تأسيس السياق العالمي قبل صقل التفاصيل المحلية.
التحليل النوعي: أظهرت تصورات أوزان الانتباه أن النموذج ينقل التركيز ديناميكيًا من الجو العام للخلفية إلى موضوعات محددة ثم إلى التفاصيل الدقيقة. كما أظهر تصور مساحة الميزات (t-SNE) أن ProFocus ينتج تماسكًا أفضل داخل الفئة الواحدة وفصلًا أكثر وضوحًا بين الفئات مقارنة بالنماذج المرجعية.
التقييم البشري: في تقييم أعمى على 300 عينة، سجل ProFocus أعلى الدرجات في الصلة البصرية (مما قلل من الهلوسة) وثراء التفاصيل، منتجًا مبررات أكثر إقناعًا ومستندة بصريًا مقارنة بالنماذج المنافسة.

الأهمية
يزعم البحث أن ProFocus يعالج قصورًا جوهريًا في النماذج متعددة الوسائط الحالية: وهو عدم القدرة على فصل الإشارات الفنية المتباينة (الجماليات المجردة، التكوين، والتفاصيل الرمزية) ضمن التمثيلات البصرية المختصرة. ومن خلال محاكاة العملية المعرفية الهرمية للتقدير الجمالي البشري، يتيح إطار العمل للآلات ليس فقط التنبؤ بالعواطف بدقة أكبر، بل أيضًا توليد تفسيرات مستندة بصريًا وخالية من الهلوسة الشائعة في النماذج اللغوية الكبيرة (LLMs) العامة. يضع هذا العمل معيارًا جديدًا للاستدلال الوجداني في الفن البصري، موضحًا أن التأسيس الدلالي الصريح أمر بالغ الأهمية لتفسير النية العاطفية الدقيقة للصور الفنية.

أبحاث مشابهة