Cross-Modal Alignment for Emotion-Consistent Text-to-Image Generation (ChinaMM 2026)

في العصر الرقمي، اعتدنا أن نطلب من الحواسيب رسم صور من الكلمات. اكتب "كلب جولدن ريتريفر يلعب في حديقة"، ويمكن للآلة أن تنتج صورة مقنعة في ثوانٍ. ومع ذلك، ورغم سرعتها ودقتها البصرية، فإن هذه الأنظمة غالباً ما تفتقد إلى العنصر الأكثر إنسانية في الطلب: الشعور. فقد يولد وصف لـ "حفلة عيد ميلاد وحيدة" غرفة مليئة بالبالونات والألوان الزاهية، وهو أمر صحيح تقنياً لكنه فارغ عاطفياً، لأن الآلة ترى الأشياء ولكنها لا ترى الحزن الكامن وراءها. هذه الفجوة بين ما نقوله وما تشعر به الآلة هي التحدي المركزي الذي يحاول الباحثون الآن سده. الهدف ليس مجرد جعل الصور تبدو صحيحة، بل خلق مرئيات تتناغم مع القصد العاطفي المحدد للنص، سواء كان ذلك فرحاً أو خوفاً أو حزناً.

اقترح فريق من الباحثين في جامعة الصين للاتصالات طريقة جديدة لسد هذه الفجوة. أطلقوا على نهجهم اسم إطار "توليد الصور المتسق عاطفياً مع النص"، وهي عملية مكونة من خطوتين مصممة لتعليم الآلات كيفية ترجمة المشاعر المجردة إلى تفاصيل بصرية ملموسة. وبدلاً من الاعتماد على تسميات مبرمجة مسبقاً أو أدلة خارجية، يحاول النظام فهم الجوهر العاطفي للجملة أولاً، ثم يستخدم هذا الفهم لتوجيه عملية إنشاء الصورة. ويرى الباحثون أن الأساليب الحالية غالباً ما تفشل لأنها تعامل العاطفة كفكرة لاحقة أو كعلامة منفصلة، بدلاً من نسجها في صلب عملية توليد الصورة نفسها.

تبدأ العملية بمرحلة يسميها الباحثون "توليد الرنين الذكاء العاطفي". تخيل فناناً بشرياً يقرأ أمراً مثل "كلب سعيد على الدرج". قبل أن يمسك بالفرشاة، قد يفكر الفنان في شكل السعادة: ضوء شمس دافئ، ألوان زاهية، وربما وضعية مرحة. يقوم الكمبيوتر بشيء مشابه؛ أولاً، يحلل النص لتحديد العاطفة السائدة، مثل الفرح أو الغضب. وبمجرد تحديد العاطفة، يستشير النظام مكتبة متخصصة من الإشارات البصرية—ارتباطات مثل "ضوء الشمس الدافئ" للفرح أو "الظلال الداكنة" للخوف. ثم يعيد كتابة الأمر الأصلي، ويثريه بهذه التفاصيل البصرية المحددة. وهكذا، يصبح الطلب البسيط لكلب سعيد تعليمات أكثر تفصيلاً لكلب يقف في ضوء شمس دافئ مع بالونات ملونة قريبة منه. يتم بعد ذلك تغذية هذا الوصف المثرى في مولد الصور، الذي ينتج صورة تحمل نبرة عاطفية أقوى مما يمكن أن يقدمه النص وحده.

ومع ذلك، وجد الباحثون أنه حتى مع وجود وصف أفضل، فإن الصورة النهائية قد تفقد أحياناً تأثيرها العاطفي أثناء عملية الرسم. ولإصلاح ذلك، أضافوا مرحلة ثانية تسمى "التعزيز عبر الوسائط الموجه عاطفياً". تعمل هذه الخطوة كعملية صقل نهائية، حيث تنظر إلى الصورة التي أنشأها الجهاز وتسأل: "هل يشعر هذا حقاً بالعاطفة التي قصدناها؟". إذا كان الهدف هو الخوف، فقد يقوم النظام بتعديل الإضاءة ببراعة أو إضافة ملمس معين للظلال لتعميق الشعور بالقلق، دون تغيير الموضوع الرئيسي للصورة. يحدث هذا الصقل عن طريق حقن المعنى العاطفي مباشرة في السمات البصرية للصورة، مما يضمن توافق النتيجة النهائية مع الشعور الذي وصفه المستخدم.

لاختبار ما إذا كانت هذه الطريقة المكونة من مرحلتين ناجحة بالفعل، أنشأ الفريق مجموعة بيانات جديدة تضم 3000 أمر نصي، متوازنة بعناية لتغطي ست عواطف بشرية أساسية: الفرح، المفاجأة، الغضب، الاشمئزاز، الخوف، والحزن. وقارنوا نظامهم بعدة نماذج موجودة، بما في ذلك المولدات القياسية القوية وأدوات أخرى مصممة خصيصاً للتحرير العاطفي. أظهرت النتال تحسناً واضحاً. فعندما طُلب منهم الحكم على ما إذا كانت الصور المولدة تطابق العاطفة المقصودة، حققت طريقتهم دقة بنسبة 88.43% للمشاعر الإيجابية أو السلبية العامة، و69.23% للتمييز بين العواطف الست المحددة. وكانت هذه الأرقها أعلى من أفضل البدائل أداءً، والتي تأخرت بعدة نقاط مئوية.

كما أجرى الباحثون دراسة مع متطوعين بشريين لمعرفة كيفية تفاعل الناس مع الصور. عُرضت على المشاركين الأوامر النصية الأصلية جنباً إلى جنب مع أربع صور مختلفة تم إنتاجها بواسطة أنظمة متنوعة، وطُلب منهم اختيار الصورة التي تجسد العاطفة بشكل أفضل. تم اختيار الإطار الجديد في أغلب الأحيان، بنسبة 27.04% من الأصوات، متفوقاً على أدوات التحرير العاطفي المتخصصة. والأهم من ذلك، نجح النظام في القيام بذلك دون تشويه المعنى الأصلي للأمر. فبينما كانت بعض الطرق القديمة تجعل الصورة عاطفية للغاية ولكنها تغير المشهد تماماً—مثل تحويل حديقة حزينة إلى موقع مختلف تماماً—حافظ النهج الجديد على المشهد قابلاً للتمييز مع تغيير حالته المزاجية.

لا تزال هناك حدود لما يمكن للنظام القيام به. لاحظ الباحثون أن عاطفة "المفاجأة" كانت صعبة بشكل خاص على جميع الأساليب، بما في ذلك أسلوبهم، لالتقاطها بدقة. ومن المرجح أن هذا لأن المفاجأة تشترك في سمات بصرية مع كل من الخوف والفرح، مما يجعل من الصعب التمييز بينهما. علاوة على ذلك، يعتمد النظام حالياً على نماذج توليد صور أساسية أقدم قليلاً لضمان الاستقرار، مما يعني أنه قد لا ينتج بعد أعلى جودة ممكنة للصور مقارنة بأحدث النماذح. ومع ذلك، تظل النتيجة الجوهرية قائمة: من خلال تقسيم المهمة إلى فهم العاطفة أولاً ثم صقل التفاصيل البصرية، يمكن للحواسيب توليد صور تبدو أكثر أصالة للتجربة الإنسانية. يشير هذا العمل إلى أنه لكي تفهم الآلات طلباتنا الإبداعية حقاً، يجب أن تتعلم ليس فقط ما نصفه، بل كيف نشعر تجاهه.