ReART: Reference-Guided Retrieval and Refinement for Emotion-Aware Art Generation
يُعدُّ deART إطار عمل للاسترجاع والتحسين الموجه بالمرجع، يعمل على تعزيز توليد الفن المدرك للعواطف من خلال تفكيك التسميات التوضيحية إلى مجالات بصرية مهيكلة لاسترجاع مراجع مستهدفة، وتوظيف حلقة مدفوعة بنظام (AAS) لتشخيص وإصلاح حالات فشل المحاذاة، محققاً أداءً رفيع المستوى في تحدي AffectiveArt 2026 Grand Challenge.
المؤلفون الأصليون:Qianqian Tang, Jiayi Gao, Ting Lei, Yang Liu
لطالما كان الفن أكثر من مجرد صورة لشيء ما؛ إنه وسيلة للشعور. فعلى مر قرون، استخدم الرسامون ضربات الفرشاة، واختيارات الألوان، وطريقة سقوط الضوء على المشهد لنقل مشاعر مثل الوقار أو البهجة أو الكآبة، وغالبًا دون رسم وجه مبتسم واحد أو دمعة واحدة. واليوم، تتعلم الحواسيب كيفية إنشاء هذه الصور من خلال الأوصاف المكتوبة، وهي عملية أصبحت بارعة بشكل مذهل في إنتاج مشاهد واقعية. ومع ذلك، ظهر تحدٍ جديد: تعليم الآلة أن الأجواء "الوقورة" تتطلب قرارات بصرية محددة ودقيقة، مثل الألوان الخافتة أو الإحساس بتسطيح المساحة، بدلاً من مجرد إضافة كائن حزين إلى الصورة. وتكمكم الصعوبة في حقيقة أن اللغة البشرية غالبًا ما تكون غامضة للغاية لوصف هذه التفاصيل الدقيقة. فعندما يكتب شخص ما وصفاً يطلب فيه "لوحة عصر النهضة ذات طابع وقور"، لا يعرف الكمبيوتر بالضبط أي درجات من الرمادي يجب استخدامها أو مدى سماكة ضربات الفرشاة لتطابق ذلك الشعور. الأمر يشبه أن تطلب من شخص ما رسم حالة مزاجية دون إعطائه لوحة ألوان محددة أو رؤية واضحة للملمس.
ولحل هذه المشكلة، طور باحثون في جامعة بكين وجامعة ووهان نظامًا يسمى ReART، والذي يعمل كجسر بين الكلمات العاطفية الغامضة والأدلة البصرية الملموسة. فبدلاً من محاولة تخمين المظهر الصحيح من النص وحده، يقوم النظام بتفكيك الوصف إلى أجزاء بصرية محددة، مثل الموضوع الرئيسي، وتخطيط المشهد، وملمس الطلاء، والمزاج العام. ثم يبحث في مكتبة ضخمة من الأعمال الفنية الموجودة للعثور على أمثلة حقيقية تطابق كل جزء من هذه الأجزاء المحددة. فإذا طلب الوصف نوعًا معينًا من ضربات الفرشاة، يجد النظام لوحة تمتلك ذلك الملمس الدقيق ويستخدمها كدليل. وهذا يسمح للكمبيوتر بأن يرى كيف يبدو "الوقار" أو "الدراما" فعليًا في يد فنان بارع، بدلاً من مجرد التخمين بناءً على الكلمات.
تتم العملية عبر خطوتين رئيسيتين. أولاً، ينشئ النظام صورة أولية باستخدام الوصف النصي والإشارات البصرية التي جمعها من المكتبة. بعد ذلك، يعمل النظام كناقد لنفسه، حيث يتحقق من النتيجة مقابل الطلب الأصلي. فإذا نجحت الصورة في تجسيد الموضوع ولكن الألوان بدت زاهية للغاية، أو إذا كان التكوين صحيحًا ولكن الملمس بدا ناعمًا ورقميًا للغاية، فإن النظام يحدد بدقة أين أخطأ. وهو لا يقوم ببساطة برمي الصورة والمحاولة مرة أخرى، بل يضع خطة محددة لإصلاح الأجزاء المعيبة فقط مع حماية الأجزاء الصحيحة بالفعل. فهو يختار أمثلة بصرية جديدة تطابق الخطأ المحدد ويقوم بتحرير الصورة بعناية لتصحيح الخلل، مما يضمن بقاء بقية اللوحة دون مساس. وتستمر دورة الفحص والإصلاح هذه حتى تتوافق الصورة تمامًا مع الأهداف العاطفية والبصرية للوصف.
تم اختبار نتائج هذا النهج في مسابقة كبرى لتوليد الفن العاطفي، حيث تم تقييم النظام بناءً على مدى قدرته على التقاط المحتوى، والأسلوب الفني، والسمات العاطفية الدقيقة. ووجد الباحثون أن طريقتهم أنتجت صورًا أقرب بكثير إلى الفن البشري الحقيقي من المحاولات السابقة. وفي المسابقة، حقق النظام درجة كاملة في اختبار التوافق العاطفي، مما يعني أنه نجح في مطابقة المشاعر المقصودة في كل حالة عُرضت عليه. كما احتل المركز الثاني إجمالاً في التحدي بأكه، مما يثبت أن تفكيك الطلب الفني المعقد إلى قطع بصرية أصغر وأكثر قابلية للإدارة واستخدام أمثلة حقيقية لتوجيه عملية الخلق هو وسيلة قوية لتعليم الآلات اللغة البصرية الدقيقة للفن. ويظهر هذا العمل أنه عندما تُمنح الحواسيب المراجع البصرية الصحيحة وطريقة للتحقق من عملها، يمكنها تعلم كيفية إنشاء فن يلامس العاطفة البشرية، ليس فقط باتباع القواعد، بل بفهم الملمس البصري للشعور.
ملخص تقني: ReART
بيان المشكلة
يتطلب توليد الصور الفنية المدركة للعواطف من النماذج القدرة على تلبية ثلاثة محاور متميزة في آن واحد: المحتوى الدلالي، والأسلوب الفني، والعاطفة المستهدفة. يكمن التحدي الرئيسي في طبيعة النصوص الوصفية الفنية، والتي غالبًا ما تدمج هذه المحاور في نصوص حرة غير محددة بدقة. وهذا يجعل من الصعب تجسيد السمات البصرية دقيقة التفاصيل — مثل ضربات الفرشاة المحددة، والتكوين، والأجواء النغمية، وسطح المادة — بشكل ملموس.
وتنشأ صعوبتان محددتان:
الغموض في التنفيذ: تحدد النصوص الأهداف العاطفية (مثل "مهيب") ولكنها تفشل في تحديد الآليات البصرية (مثل التشبع المكبوت، أو التراجع الفراغي المسطح) المطلوبة لتحقيقها. غالبًا ما تقترب النماذج التوليدية من انطباع عاطفي فضفاض مع إغفال التنفيذ الدقيق والأصيل المطلوب للأسلوب.
الإخفاقات الخاصة بكل محور: حتى مع وجود مطالبات (prompts) مهيكلة، فإن تحقيق المحاذاة المتزامنة عبر المحتوى والأسلوب والسمات في تمريرة واحدة يعد أمرًا صعبًا. غالبًا ما تكون الإخفاقات مرتبطة بمحاور محددة (على سبيل المثال، محتوى صحيح ولكن مع تقديم عرض واقعي فوتوغرافي بدلاً من الملمس التصويري). وتفتقر عملية إعادة أخذ العينات العشوائية إلى المعلومات التشخيصية، بينما تخاطر عملية التحرير العالمية غير المقيدة بإفساد المناطق التي تم تحقيقها بشكل صحيح.
المنهجية: إطار عمل ReART
يقترح المؤلفون إطار عمل ReART (الاسترجاع والتحسين الموجه بالمرجع)، وهو إطار عمل يتكون من مرحلتين مصمم لتجسيد الأوصاف الوجدانية المجردة في أدلة بصرية مهيكلة وتصحيح الإخفاقات الخاصة بالمحاور من خلال تحسين مستهدف.
المرحلة الأولى: التوليد الفني الموجه بالاسترجاع
تعالج هذه المرحلة عدم التحديد في النصوص من خلال تفكيك المطالبات والمراجع إلى مجالات بصرية مهيكلة.
بناء سجل بصري مهيكل: باستخدام GPT-5.4، يتم تفكيك كل من النصوص الوصفية للاختبار والتعليقات التوضيحية في قاعدة بيانات EmoArt إلى سجل مهيكل موحد يحتوي على أحد عشر مجالًا بصريًا يمكن معالجتها بشكل مستقل: الموضوعات الرئيسية، العلاقات المكانية، المشهد/الإعداد، التكوين/التخطيط، المادة/السطح، ضربات الفرشاة/الملمس، جودة الخط، اللون/النغمة، الضوء/الظل، والحالة المزاجية/الأجواء.
الاسترجاع حسب المجال والأسلوب: لضمان الاتساق الأسلوبي، يبني النظام مجموعات مرجعية خاصة بالأسلوب (على سبيل المثال، تعزيز "الرسم بالحبر والماء" بمجموعة صور صينية). وبدلاً من استعلام شامل واحد، يقوم النظام بتشفير كل مجال بصري بشكل مستقل باستخدام BAAI/bge-m3 ويحسب تشابه جيب التمام. تقوم درجة الدمج الموزونة بترتيب المرشحين، مع إعطاء الأولوية للمجالات الحرجة دلاليًا مثل الموضوعات والتكوين.
التوليد المعزز بالمرجع: يتم تزويد النموذج التوليدي (gpt-image-2) بأفضل 10 أعمال فنية مسترجعة جنبًا إلى جنب مع أوصاف مجالاتها المهيكلة. يوجه مطالب مهيكل النموذج لاستخدام كل مرجع بشكل انتقائي للبعد البصري الذي يمثله بشكل أفضل (على سبيل المثال، استخدام مرجع واحد للتكوين وآخر لملمس ضربات الفرشاة)، بدلاً من استخدامه كقالب أسلوب شامل.
المرحلة الثانية: حلقة التحسين المقيدة بالوكيل
تعالج هذه المرحلة الإخفاقات المتبقية الخاصة بالمحاور باستخدام حلقة مدفوعة بدرجة محاذاة السمات (AAS).
تسجيل واختيار AAS: يتم تقييم الصور المولدة مقابل ثلاثة محاور: المحتوى، والأسلوب، ومحاذاة السمات. الصور التي تحصل على أي درجة فرعية أقل من العتبة (9/10) تدخل في حلقة التحسين.
التشخيص: يحدد وحدة تشخيص متعددة الوسائط نوع الإخفاق السائد (مثل خطأ في الملمس، أو خطأ في النغمة) ويحدد القيود التي تم استيفاؤها بالفعل ويجب الحفاظ عليها.
المخطط (Planner): يتم بناء خطة إصلاح مهيكلة تتكون من أربعة مكونات:
الحفاظ (Keep): العناصر المراد الحفاظ عليها (هوية الموضوع، العلاقات المكانية، هيكل التكوين).
الإصلاح (Fix): أخطاء محددة على مستوى المجال يجب تصحيحها.
التجنب (Avoid): العمليات المحظورة التي قد تضر بالمحتوى الصحيح.
الأولوية (Priority): ترتيب الإصلاحات من الهيكلية إلى الجمالية.
توجيه المرجع والتحرير المقيد: يتم إعادة توجيه المراجع بناءً على محور الفشل المحدد؛ حيث يتم اختيار أفضل المرشحين ذوي الصلة بالبعد الفاشل فقط. يقوم المحرر بإجراء تحرير مستهدف تحت قيود الحفاظ الهيكلي، مع تعديل البعد البصري الفاشل فقط مع قفل بقية الصورة. تتكرر هذه الحلقة حتى تستوفي جميع الدرجات العتبة أو يتم الوصول إلى حد التكرار.
المساهمات الرئيسية
تحدد الورقة ثلاث مساهمات رئيسية:
تفكيك المجال البصي المهيكل: طريقة لتفكيك النصوص الفنية المتشابكة إلى مجالات بصرية يمكن معالجتها بشكل مستقل، مما يسم يسمح باسترجاع قائم على المجال يجسد الأوصاف الوجدية المجردة في أدلة بصرية مباشرة.
حلقة التحسين الوكيلية المدفوعة بـ AAS: آلية لتشخيص الإخفاقات الخاصة بالمحاور وبناء خطط "الحفاظ/الإصلاح/التجنب/الأولوية" المهيكلة. يتيح ذلك التصحيح المستهدف للأخطاء المحددة دون تعطيل الأبعاد التي تم تحقيقها بشكل صحيح، وذلك باستخدام اختيار المراجع الموجه بالغرض.
التحقق التجريبي: يتم إثبات فعالية إطار العمل من خلال أدائه في تحدي AffectiveArt 2026 Grand Challenge، حيث حقق درجة AAS مثالية بلغت 1.00 عبر جميع المحاور الفرعية.
النتائج
تم تقييم النظام على معيار Local200 وتحدي AffectiveArt 2026 Grand Challenge Track 1.
أداء Local200: حقق ReART درجة FID قدرها 147.43 ودرجة AAS قدرها 9.77 (من أصل 10)، متفوقًا على النماذج المرجعية مثل FLUX.1-dev + IP-Adapter، وQwen-Image، وHiDream-O1-Image. ومن الملاحظ أنه حسن درجات محاذاة الأسلوب والسمات بشكل كبير مقارنة بالتوليد القائم على النص فقط والنماذج المرجعية.
تحدي AffectiveArt 2026: تم تقديم ReART تحت اسم "EmoForge"، وحل في المركز الثاني إجمالاً بنتيجة 0.78. حقق درجة AAS مثالية بلغت 1.00 عبر محاور المحتوى والأسلوب والسمات الفرعية، وهي أعلى درجة AAS بين جميع الأنظمة المقدمة. حقق الفريق الفائز بالمركز الأول نتيجة إجمالية أعلى (0.80) بسبب انخفاض درجة FID (66.12 مقابل 77.47)، بينما تجاوزت درجة AAS الخاصة بـ ReART (1.00) درجتهم (0.99).
دراسات الاستئصال (Ablation Studies): أكدت التجارب أن تفكيك المجال المهيكل وحده يحسن المحاذاة، ولكن إضافة الاسترجاع القائم على المجال يوفر أكبر مكسب منفرد. كما أدت حلقة التحسين الكاملة (المرحلة الثانية) إلى تقليل FID وتحسين AAS، حيث أظهر محور "الأسلوب" أكبر تحسن بعد عملية التحسين.
الأهمية
تزعم الورقة أن ReART يجسّر بفعالية الفجوة بين الأوصاف العاطفية المجردة والتنفيذ البصري الملموس في التوليد الفني. ومن خلال الابتعاد عن قوالب الأسلوب الشاملة نحو الأدلة البصرية المتوافقة مع المجالات، تسمح الطريقة للنماذج التوليدية بالاستعانة بشكل انتقائي بالمراجع لأبعاد محددة (مثل ضربات الفرشاة مقابل التخطيط). علاوة على ذلك، توفر حلقة التحسين المقيدة المدفوعة بـ AAS آلية لتشخيص وتصحيح الإخفاقات الضمنية والخاصة بالمحاور تلقائيًا دون تدخل بشري أو خطر إفساد العناصر الصحيحة. وتؤكد النتائج أن الاسترجاء المهيكل والتحسين المستهدف هما استراتيجيتان فعالتان لتحقيق توليد صور فنية مدركة للعواطف بدقة عالية، لا سيما عند تعظيم المحاذاة مع المعايير الجمالية والعاطفية المحددة من قبل البشر.