💻 computer science

AlignVid: Training-Free Attention Scaling for Semantic Fidelity in Text-Guided Image-to-Video Generation

تُعد AlignVid طريقةً لا تتطلب تدريباً تعمل على تعزيز الدقة الدلالية في توليد الفيديو من الصور الموجه بالنصوص عبر توظيف تعديل قياس الانتباه وجدولة التوجيه لمواجهة الهيمنة البصرية، ويرافق ذلك تقديم معيار OmitI2V للتقييم الصارم.

المؤلفون الأصليون: Yexin Liu, Wen-Jie Shu, Zile Huang, Haoze Zheng, Yueze Wang, Jingjin Zhu, Manyuan Zhang, Ser-Nam Lim, Harry Yang

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yexin Liu, Wen-Jie Shu, Zile Huang, Haoze Zheng, Yueze Wang, Jingjin Zhu, Manyuan Zhang, Ser-Nam Lim, Harry Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث AlignVid، مقسمة إلى مفاهيم بسيطة مع تشبيهات إبداعية.

المشكلة الكبرى: تأثير "المرساة البصرية" (Visual Anchor)

تخيل أنك مخرج تحاول تصوير مشهد بناءً على نص سينمائي. لديك صورة مرجعية في موقع التصوير (وهي "الصورة") ونص يخبرك بما يجب فعله (وهو "الوصف النصي").

في مولدات الفيديو الحالية المعتمدة على الذكاء الاصطناعي، تكون الصورة المرجعية مثل مرساة ثقيلة. إنها قوية بصرياً وتفصيلية للغاية لدرجة تجعل الذكاء الاصطناعي "يعلق" بها. حتى لو قال النص: "أضف تنيناً في السماء" أو "اجعل الشخص يختفي"، فإن الذكاء الاصطناعي يتجاهل النص. إنه يستمر فقط في إعادة عرض الصورة الأصلية لأن التفاصيل البصرية للصورة تصرخ بصوت عالٍ لدرجة أن التعليمات النصية يتم طمسها.

يطلق المؤلفون على هذا اسم "الهيمنة البصرية" (Visual Dominance). فالذكاء الاصطناعي مركز جداً على ما يراه لدرجة أنه ينسى ما يُفترض به فعله.

الاكتشاف: تمويه الصورة يساعد (لكنه يجعل المظهر سيئاً)

أجرى الباحثون تجربة صغيرة. أخذوا صورة حادة وواضحة وأعطوها تمويهاً غاوسياً (Gaussian blur) (أي جعلها ضبابية) قبل تغذيتها للذكاء الاصطناعي.

لدهشتهم، نجح هذا الأمر! عندما كانت الصورة ضبابية، بدأ الذكاء الاصطناعي يستمع بالفعل إلى التعليمات النصية. لقد أضاف التنين أو أزال الشخص.

لماذا؟ لأن التمويه أزال "الضجيج" والتفاصيل المشتتة من الصورة. هذا أجبر الذكاء الاصطناعي على التوقف عن التحديق في البكسلات والبدء في الاستماع إلى النص.
العيب: تمويه الصورة المدخلة يفسد جودة الفيديو النهائية؛ حيث ينتهي الفيديو بمظهر ضبابي ومنخفض الجودة. سأل الباحثون: هل يمكننا الحصول على فائدة التمويه (الاستماع إلى النص) دون تمويه الصورة فعلياً؟

الحل: AlignVid (مقبض التحكم في "حجم الانتباه")

الإجابة هي AlignVid. بدلاً من تمويه الصورة قبل دخولها إلى الذكاء الاصطناعي، يقوم AlignVid بتعديل "دماغ" الذكاء الاصطناعي أثناء تفكيره.

تخيل آلية الانتباه في الذكاء الاصطناعي مثل لوحة خلط الأصوات (Sound mixing board) بها مقابض تحكم مختلفة لمداخل مختلفة:

قناة الصورة: صاخبة جداً الآن.
قناة النص: هادئة جداً.
قناة الفيديو: في المستوى المناسب.

يعمل AlignVid كـ مقبض تحكم ذكي في الصوت. فهو لا يغير ملف الصورة نفسه، بل يخفض "صوت" تفاصيل الصورة ويرفع "صوت" التعليمات النصية داخل معالجة الذكاء الاصطناعي.

كيف يعمل (رقصة الخطوتين):

تعديل قياس الانتباه (Attention Scaling Modulation - ASM): هذا هو مقبض الصوت الرئيسي. إنه يقوم بـ "شحذ" تركيز الذكاء الاصطناعي رياضياً. تخيل أن الذكاء الاصطناعي ينظر إلى حشد من الناس (الرموز/Tokens). في السابق، كان ينظر إلى الجميع بالتساوي. يقوم ASM بجعل الذكاء الاصطناعي يركز بكثافة على الأشخاص المذكورين في النص ويتجاهل ضجيج الخلفية (تفاصيل الصورة). يوصف هذا بأنه تقليل لـ "الاعتلاج/الإنتروبيا" (الارتباك) وجعل انتباه الذكاء الاصطناعي أكثر حسماً.
جدولة التوجيه (Guidance Scheduling - GS): هذا هو مفتاح التوقيت. إذا رفعت صوت النص كثيراً، أو مبكراً جداً، أو لفترة طويلة جداً، فقد يبدو الفيديو غريباً أو مليئاً بالخلل. GS يشبه مخرجاً يقول: "حسناً، ارفع صوت النص فقط خلال الجزء الأول من المشهد حيث نقرر ما سيحدث، ثم اخفضه مجدداً لتبدو الصورة النهائية جميلة". إنه يطبق الإصلاح فقط عند الحاجة وفي الوقت المناسب.

النتيجة: معيار جديد (OmitI2V)

لإثبات نجاح ذلك، لم يكتفِ الفريق بالتخمين؛ بل بنوا اختباراً يسمى OmitI2V.

تخيل اختباراً يحتوي على 367 سيناريو مختلفاً.
بعضها يطلب من الذكاء الاصطناعي إضافة شيء ما (مثلاً: "ضع قطة على الطاولة").
بعضها يطلب منه حذف شيء ما (مثلاً: "اجعل السيارة تختفي").
بعضها يطلب منه تعديل شيء ما (مثلاً: "غير السيارة الحمراء إلى زرقاء").

وجدوا أنه بدون AlignVid، غالباً ما تفشل نماذج الذكاء الاصطناي القمة في هذه الاختبارات، حيث تتجاهل التعليمات. ومع استخدام AlignVid، تتبع النماذج التعليمات بشكل أفضل بكثير، حيث تنجح في إضافة أو إزالة أو تغيير الأشياء، وكل ذلك دون الحاجة إلى إعادة تدريب الذكاء الاصطناعي أو إبطاء سرعته بشكل كبير.

الملخص

المشكلة: مولدات فيديو الذكاء الاصطناعي مهووسة جداً بالصورة البداية وتتجاهل التعليمات لتغييرها.
الرؤية: تمويه الصورة يساعد الذكاء الاصطناعي على الاستماع، لكنه يفسد الصورة.
الحل (AlignVid): طريقة "لا تتطلب إعادة تدريب" تعمل كمقبض تحكم داخلي للصوت. فهي تخفض "صراخ" الصورة وترفع "همس" النص داخل دماغ الذكاء الاصطناعي، ولكن في اللحظات المناسبة فقط.
النتيجة: أصبح الذكاء الاصطناعي يتبع التعليمات لإضافة أو إزالة أو تغيير الأشياء في الفيديوهات بشكل أفضل بكثير، مع الحفاظ على مظهر الفيديو حاداً وعالي الجودة.

ملاحظة: تنص الورقة البحثية صراحة على أن هذه الطريقة مخصصة لـ توليد الفيديو من الصور (Image-to-Video generation) و تحرير الصور (Image Editing). ولا تدعي استخدامها في التشخيص الطبي، أو التطبيقات السريرية، أو غيرها من التنزيلات الواقعية المحددة بخلاف التوليد الإبداعي.

ملخص تقني: AlignVid

1. بيان المشكلة

لقد تقدم توليد الفيديو من صورة ونص (TI2V) بشكل كبير في استقراء الحركة، لكنه لا يزال يعاني من ضعف في الدقة الدلالية (semantic fidelity) عندما تتطلب المطالبات (prompts) تعديلات جوهرية على الصورة المرجعية (مثل إضافة أو حذف أو تعديل كائنات). تحدد الورقة نمط الفشل هذا بوصفه إهمالاً دلالياً (semantic negligence)، حيث يحافظ النموذج على دلالات الصورة المرجعية بدلاً من تنفيذ التغييرات المحددة في النص.

من خلال التحليل التجريبي، يعزو المؤلفون ذلك إلى الهيمنة البصرية (visual dominance): حيث تسبب الصورة المرجعية عالية الدقة تشتتاً شديداً في الانتباه (attention dispersion) (إنتروبيا عالية) في آلية الانتباه الخاصة بالنموذج. هذه الهيمنة تقمع النمط النصي وتعيق قدرة النموذج على دمج معلومات دلالية جديدة أو توليد الحركة اللازمة. كشفت دراسة استطلاعية أن تطبيق ضبابية غاوس (Gaussian blur) على الصورة المدخلة يخفف من هذه الهيمنة، مما يقلل من إنتروبيا الانتباه ويحسن الالتزام الدلالي، ولكن على حساب الجودة البصرية. السؤال البحثي الجوهل هو ما إذا كان يمكن تحقيق تأثير تقليل الإنتروبيا هذا عن طريق تنظيم توزيع الانتباه الداخلي للنموذج دون إضعاف الصورة المدخلة.

2. المنهجية: AlignVid

يقترح المؤلفون AlignVid، وهو تدخل خالٍ من التدريب (training-free) يعيد معايرة توزيع الانتباه الداخلي للنموذج بناءً على منظور قائم على الطاقة (energy-based perspective) للانتباه. تتكون الطريقة من مكونين رئيسيين:

أ. تعديل قياس الانتباه (Attention Scaling Modulation - ASM)

استناداً إلى الرابط النظري بين قياس الانتباه والتحكم في درجة الحرارة (temperature control) في دالات softmax، يقوم ASM بإعادة قياس تضمينات الاستعلام (Q) أو المفتاح (K) لزيادة حدة مشهد الانتباه.

الآلية: إن قياس Q أو K بمعامل $\gamma > 1$ يكافئ رياضياً زيادة مقلوب درجة الحرارة ( $\alpha$ ) في دالة softmax.
الأثر: يقلل هذا من إنتروبيا توزيع الانتباه ضمن رموز التكييف (النص والصورة)، مما يجبر النموذج على تركيز الانتباه على مجموعة أصغر من الرموز ذات الـ logit العالي وذات الصلة دلالياً.
التنفيذ:
- في بنيات MMDiT (حيث يتم حقن التكييف عبر الاستعلامات)، يقوم ASM بتعديل Q.
- في بنيات DiT (الانتباه المتقاطع القياسي)، يقوم ASM بتعديل K.
- تم اقتراح متغيرين: القياس السلمي (Scalar Scaling) (بمعامل $\gamma$ ثابت) والقياس القائم على الطاقة (Energy-based Scaling) (بمعامل $\gamma$ متكيف بناءً على حدة الـ logit).

ب. جدولة التوجيه (Guidance Scheduling - GS)

لمنع التطبيق العشوائي لـ ASM من إضعاف الجودة البصرية، قدم المؤلفون آلية جدولة تعمل على بوابات التعديل على مستويين:

جدولة التوجيه على مستوى الكتلة (Block-Level Guidance Scheduling - BGS): يتم تطبيق التعديل فقط على كتل المحولات (transformer blocks) "الحساسة للمقدمة". تم تحديد هذه الكتل عبر عملية معايرة خفيفة الوزن باستخدام PCA ونموذج تحديد (grounding model) لتحديد الطبقات التي تركز بكثافة على رموز المقدمة.
جدولة التوجيه على مستوى الخطوة (Step-Level Guidance Scheduling - SGS): يتم تفعيل التعديل فقط خلال فترات محددة من مسار إزالة الضجيج (denoising trajectory). وجد المؤلفون أن تطبيق التوجيه خلال خطوات إزالة الضجيج المبكرة يحقق أفضل توازن، حيث تحدد هذه الخطوات المحاذاة الدلالية العالمية، بينما تقوم الخطوات اللاحقة بتحسين التفاصيل البصرية.

3. المساهمات الرئيسية

تحليل المشكلة والدراسة الاستطلاعية: صاغت الورقة تحدي الدقة الدلالية في TI2V، وربطته تجريبياً بالهيمنة البصرية وإنتروبيا الانتباه العالية. وأثبتت أن تركيز الانتباه ضروري لتحرير الإشارات النصية من الحشو البصري.
إطار عمل AlignVid: طريقة خالية من التدريب تعدل الانتباه عبر ASM وGS. وهي تحسن المحاذاة الدلالية مع تكلفة حسابية ضئيلة وتأثير جمالي طفيف عبر إعادة وزن الهيكل الهرمي للأنماط داخل آلية الانتباه.
معيار OmitI2V: قدم المؤلفون معياراً شاملاً يحتوي على 367 عينة مصنفة بشرياً مصممة خصيصاً لتقييم الالتزام بالمطالبة في ثلاثة سيناريوهات: التعديل، الإضافة، والحذف. وخلافاً للمعايير الحالية التي تركز على جودة الفيديو العامة، يستهدف OmitI2V الامتثال الدلالي الدقيق باستخدام بروتوكول السؤال والإجابة البصرية (VQA).

4. النتائج التجريبية

أظهرت التجارب المكثفة على معيار OmitI2V والمعايير القياسية الأخرى (VBench, GenEval, ImgEdit) فعالية AlignVid:

الدقة الدلالية: يحسن AlignVid باستمرار درجات المحاذاة الدلالية عبر جميع أنواع التعديل (التعديل، الإضافة، الحذف) عند تطبيقه على النماذج الأساسية مثل FramePack وFramePack-F1 وWan2.1. على سبيل المثال، في FramePack، حسن دقة الإضافة بنسبة +4.58% ودقة التعديل بنسبة +3.23%.
الجودة البصرية: رغم وجود مقايضة طفيفة، إلا أن انخفاض الجودة الجمالية ضئيل (على سبيل المثال، -0.37 إلى -1.49 نقطة في الدرجات الجمالية) مقارنة بالمكاسب الكبيرة في الدقة الدلالية ودرجة الديناميكية.
التعميم: تظهر الطريقة قدرة نقل إيجابية لمهام توليد الصورة من النص (T2I) (OmniGen2) والفيديو من النص (T2V)، مما يحسن الأداء في GenEval وVBench على التوالي. كما تعزز مهام تحرير الصور في معيار ImgEdit.
الكفاءة: تقدم الطريقة تكلفة حسابية إضافية لا تُذكر (زيادة أقل من 0.1% في وقت التشغيل) لأنها تعدل أوزان الانتباه فقط دون الحاجة إلى تدريب إضافي أو وحدات معقدة.
المقارنة مع CFG: يكمل AlignVid توجيه المصنف الخالي من الفئة (Classifier-Free Guidance - CFG)؛ حيث يؤدي تطبيق AlignVid فوق CFG إلى تحسينات إضافية، مما يوفر ميزة عملية لعدم حاجته لتدريب إضافي.

5. الأهمية والادعاءات

تدعي الورقة أن AlignVid يوفر مقايضة قابلة للضبط بين الدلالة والجودة من خلال تنظيم توزيع الانتباه الداخلي للنموذض مباشرة، محاكياً الآثار المفيدة للاضطرابات على مستوى المدخلات (مثل التغبيش/blurring) دون إفساد المدخل البصري.

يضع المؤلفون عملهم كأداة تشخيصية وتصحيحية لمشكلة الإهمال الدلالي السائدة في نماذج TI2V الحالية. ومن خلال تأسيس رابط نظري بين إنتروبيا الانتباه والاختيار الدلالي، يقدمون نهجاً مبدئياً وخفيف الوزن لتعزيز القدرة على التحكم في نماذج الفيديو التوليدية. ويُبرز تقديم معيار OmitI2V كمساهمة حاسمة للتقييم الصارم للامتثال الدقيق للتعديلات، وهي فجوة يرى المؤلفون أنها موجودة في مجموعات التقييم الحالية.

تحافظ الورقة على نبرة متواضعة فيما يتعلق بتأثيرها، مشيرة إلى أنه بينما تفيد تحسين القدرة على التحكم التطبيقات الإبداعية، فإنها تستلزم ممارسات نشر مسؤولة للتخفيف من المخاطر المرتبطة بتوليد محتوى اصطناعي مقنع.