💻 computer science

SARA: Semantically Adaptive Relational Alignment for Video Diffusion Models

يعمل نظام SARA (المحاذاة العلاقاتية التكيفية دلالياً) على تعزيز نماذج الانتشار للفيديو من خلال إدخال آلية بروز مشروطة بالنص تقوم بتوجيه إشراف تقطير علاقات الرموز ديناميكياً نحو التفاعلات بين العناصر ذات الصلة بالمطالبة، مما يؤدي إلى تحسين محاذاة النص وجودة الحركة بشكل كبير مقارنة بالطرق الحالية.

المؤلفون الأصليون: Jiesong Lian, Zixiang Zhou, Ruizhe Zhong, Yuan Zhou, Qinglin Lu, Rui Wang, Long Hu, Yixue Hao, Baoru Huang

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiesong Lian, Zixiang Zhou, Ruizhe Zhong, Yuan Zhou, Qinglin Lu, Rui Wang, Long Hu, Yixue Hao, Baoru Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث SARA: المحاذاة العلاقاتية التكيفية دلاليًا لنماذج انتشار الفيديو (Semantically Adaptive Relational Alignment for Video Diffusion Models)، باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة: "الفنان المشتت"

تخيل أنك استأجرت فنانًا موهوبًا لرسم مشهد بناءً على وصفك: "كلب أحمر يطارد قطة زرقاء عبر حديقة".

الفنان بارع في رسم الفراء الواقعي، والعشب الناعم، والمياه المتحركة. ومع ذلك، لديه عادة سيئة وهي التشتت. أحيانًا يرسم كلبًا أخضر، وأحيانًا ينسى القطة تمامًا، وأحيانًا يرسم الكلب والقطة وهما واقفان بدلاً من مطاردة بعضهما البعض. إنه يتبع الجو العام لطلبك ولكنه يفتقد التفاصيل المحددة.

في عالم توليد الفيديو بالذكاء الاصطناعي (نماذج انتشار الفيديو)، هذا هو بالضبط ما يحدث. يمكن للذكاء الاصطناعي صنع فيديوهات جميلة وسلسة، لكنه غالبًا ما يفشل في اتباع التعليمات المحددة في الوصف (البرومبت). قد يسقط جسمًا، أو يخلط بين الألوان، أو يتجاهل كيفية تفاعل شيئين معًا.

الحل القديم: "النقطة العمياء"

حاول الباحثون إصلاح ذلك بتعليم الذكاء الاصطناعي النظر إلى "مرجع رئيسي" (نموذج بصري ثابت) أثناء الرسم. أخبروا الذكاء الاصطناعي: "طابق العلاقة بين كل بكسل في الفيديو الخاص بك والعلاقات الموجودة في المرجع الرئيسي".

العيب: هذا يشبه إخبار الفنان أن يولي اهتمامًا متساويًا للكلب، والقطة، والسماء، والعشب، والتراب على الأرض.

الوصف يهتم فقط بـ الكلب و القطة.
التراب والسماء (الخلفية) هي مجرد حشو.
من خلال إجبار الذكاء الاصطناعي على دراسة التراب والسماء بنفس قوة دراسة الكلب والقطة، يضيع الذكاء الاصطناعي قدراته الذهنية في أشياء لا تهم. الأمر يشبه دراسة كتاب مدرسي حيث 70% من صفحاته تتحدث عن لون الحبر، و30% فقط تتحدث عن الدرس الفعلي.

الحل الجديد: SARA (الـ "تسليط الضوء الذكي")

يقترح المؤلفون SARA (المحاذاة العلاقاتية التكيفية دلاليًا). فكر في SARA كـ تسليط ضوء ذكي يخبر الذكاء الاصطناعي أين يركز انتباهه بالضبط.

بدلاً من معاملة كل جزء من الفيديو بالتساوي، تسأل SARA: "ما الذي طلبه المستخدم بالفعل؟"

"تسليط الضوء" (البروز المشروط بالنص):
قبل أن يبدأ الذكاء الاصطناعي في رسم الفيديو، تقرأ SARA الوصف وتستخدم "تسليط ضوء" لتحديد الأجزاء المهمة. إذا قلت "كلب أحمر"، فإن تسليط الضوء يسطع بقوة على الكلب والمساحة المحيطة به. إذا ذكرت "قطة زرقاء"، ينتقل تسليط الضوء إلى هناك. إنها تتجاهل السماء الفارغة أو العشب العام ما لم يذكر الوصف ذلك صراحة.
"منظم حركة المرور" (توجيه الأزواج):
في الطريقة القديمة، حاول الذكاء الاصطناعي تعلم كيف يرتبط الكلب بالقطة، والقطة بالعشب، والعشب بالسماء.
تعمل SARA كمنظم حركة مرور. تقول:
- نعم: تعلم كيف يرتبط الكلب بـ القطة (من موضوع إلى موضوع).
- نعم: تعلم كيف يرتبط الكلب بـ العشب (من موضوع إلى خلفية، لأن الكلب على العشب).
- لا: توقف عن القلق بشأن كيفية ارتباط العشب بـ السماء (من خلفية إلى خلفية). هذا مجرد ضجيج.
تستخدم SARA قاعدة منطقية بسيطة (بوابة "أو" - OR gate): إذا كان أي من الكلب أو القطة موجودًا في تسليط الضوء، فإن الذكاء الاصطناعي ينتبه لعلاقتهما. يضمن هذا تركيز طاقة الذكاء الاصطناعي على الأشياء التي تهتم بها بالفعل.

كيف يعمل (عملية من خطوتين)

الخطوة 1: تدريب "الراصد" (فريق الإضاءة)
أولاً، يدرب الباحثون مساعدًا صغيرًا وخفيف الوزن. يتعلم هذا المساعد النظر إلى فيديو ووصف نصي وتحديد الأجزاء من الفيديو التي تطابق الكلمات بدقة.

يستخدم أداة تسمى SAM 3.1 (كاشف أجسام فائق الدقة) لرسم أقنعة حول الأجسام.
يتعلم القول: "عندما يقول النص 'كلب أحمر'، فإن هذه القطعة المحددة من البكسلات هي الكلب".
الأهم من ذلك، أنه يتعلم التعامل مع أجسام متعددة في وقت واحد دون ارتباك.

الخطوة 2: العرض الرئيسي (المخرج)
بمجرد تدريب "الراصد"، يتم تجميده (لا يتغير بعد الآن). الآن، يبدأ ذكاء الفيديو الرئيسي تدريبه.

بينما يحاول الذكاء الاصطناعي الرئيسي توليد الفيديو، يقوم "الراصد" بتسليط ضوئه على الأجزاء المهمة.
يُجبر الذكاء الاصطناعي الرئيسي فقط على تعلم العلاقات بين الأجزال المحددة.
هذا يجعل عملية التعلم أكثر كفاءة؛ حيث يتوقف الذكاء الاصطناعي عن إضاعة الوقت في الخلفية ويبدأ في إتقان التفاعلات المحددة التي طلبتها.

النتائج: لماذا يهم ذلك؟

اختبرت الورقة البحثية هذا على نموذج فيديو شهير مفتوح المصدر يسمى Wan2.2. وقارنوا SARA بكل من:

التدريب القياسي: ترك الذكاء الاصطناعي يتعلم بشكل طبيعي فقط.
الطرق القديمة: نهج "النقطة العمياء" الذي يعامل كل شيء بالتساوي.

النتيجة:
أنتجت SARA فيديوهات أفضل بكثير في اتباع التعليمات.

دقة أفضل: إذا طلبت "كلبًا أحمر"، فإن SARA تجعل الكلب أحمر بالفعل. أما الطرق الأخرى فغالبًا ما تصنع كلبًا بنيًا أو تنسى الكلب تمامًا.
حركة أفضل: كانت التفاعلات (مثل مطاردة الكلب للقطة) أكثر سلاسة ومنطقية.
تفضيل المستخدمين: في الاختبارات العمياء حيث لم يستطع البشر رؤية أي ذكاء اصطناعي صنع الفيديو، فضل الناس باستمرار فيديوهات SARA على غيرها.

الملخص

فكر في SARA كترقية للذكاء الاصطناعي من طالب يحدد الصفحة بأكملة (مضيعًا وقته في التفاصيل غير ذات الصلة) إلى طالب يستخدم قلم تحديد لتمييز المصطلحات الرئيسية فقط في الكتاب المدرسي. من خلال تركيز "وقت الدراسة" (القدرة الحسابية) فقط على العلاقات التي تهم الوصف، تصنع SARA فيديوهات ليست جميلة فحسب، بل تفعل أيضًا ما طلبته منها بالفعل.

ملخص تقني: SARA (المحاذاة العلاقاتية التكيفية دلاليًا)

بيان المشكلة

حققت نماذج انتشار الفيديو (VDMs) الحديثة دقة بصرية واتساقًا زمنيًا عاليين، لكنها لا تزال تعاني من ضعف في القدرة على التحكم الدلالي الدقيق. فهي غالبًا ما تفقد الكيانات، أو تربط الصفات بالخلفيات الخاطئة، أو تضعف التفاعلات المحددة في الوصف (prompt). وبينما تعمل أهداف محاذاة التمثيل مثل VideoREPA و MoAlign على تحسين اتباع النص عبر تقطير علاقات الرموز (tokens) الزمكانية من نموذج أساسي بصري (VFM) مجمد، إلا أنها تعاني من مشكلة تخصيص الإشراف.

VideoREPA: يزن جميع أزواج الرموز بالتساوي (ميزانية $O(N^2)$ )، بغض النظر عن الوصف. وفي المشاهد متعددة الكيانات، يؤدي هذا إلى إهدار حوالي 27% من ميزانية الإشراف على أزواج الخلفية-الخلفية (التي لا يشير إليها الوصف أبدًا)، بينما تتلقى أز pairs الموضوع-الموضوع (الحرجة للعلاقات بين الكيانات) حوالي 23% فقط.
MoAlign: يحاول معالجة ذلك عبر ضغط هدف الـ VFM إلى فضاء فرعي خاضع لإشراف الحركة، حيث يعمل فعليًا كـ بوابة "و" (AND router) التي تشرف فقط على أزواج (الموضوع-الموضوع) المتحركة. ومع ذلك، فإن التدفق البصري (optical flow) هو وسيط ضوضائي للدلالة (يفشل في حالات الحجب، أو الحركة السريعة، أو النسيج المنخفض) ويتجاهل الموضوعات الثابتة وأزواج الموضوع-الخلفية، وهي ضرورية لترسيخ الكيانات في مشاهدها.

التحدي الجوهري يكمن في كيفية تخصيص ميزانية ثابتة للأزواج $O(N^2)$ لتركيز الإشراف على العلاقات ذات الصلة بالوصف (سواء كانت موضوع-موضوع أو موضوع-خلفية) بدلاً من حشو الخلفية.

المنهجية: SARA

يقترح SARA إطار عمل ثنائي المراحل يحتفظ بصيغة تقطير علاقة الرموز (TRD) الخاصة بـ VideoREPA، ولكنه يقدم بروزًا (saliency) مشروطًا بالنص لتوجيه الإشراف ديناميكيًا.

المرحلة الأولى: تدريب موازن بروز مشروط بالنص

يتم تدريب موازن خفيف الوزن خارج نطاق التدريب (offline) للتنبؤ بخريطة بروز مستمرة $M_p$ مشروطة بوصف النص.

النماذج الأساسية (Backbones): يستخدم V-JEPA (بصري)، و SAM 3.1 (تجزئة)، و Qwen3-VL-Embedding (نصي).
البنية: وحدة انتباه تقاطعي (cross-attention) تدمج الرموز البصرية مع تضمينات النص، تليها رأس بروز (MLP + sigmoid) وجهاز عرض بصري للتعلم التبايني.
استراتيجية الإشراف:
1. إشراف منفصل للكيانات: بدلاً من قناع عالمي واحد، يتم تدريب الموازن على $K+2$ تمريرة لكل فيديو: $K$ من أزواج الكيانات الفردية (الوصف + قناع ثنائي)، وزوج واحد للكيانات المجتمعة، وزوج واحد للخلفية. هذا يمنع النموذج من الانهيار نحو نموذج أولي عام للمقدمة.
2. منظم InfoNCE: يقوم بمحاذاة الميزات البصرية المدمجة مع الحالات المخفية للنص في فضاء التضمين لمنع البروز من الانهيار على الموضوع الأكثر هيمنة، مما يحافظ على التباين بين الكيانات.
المخرج: خريطة بروز مستمرة $M_p \in [0, 1]$ تشير إلى صلة كل رمز بالوصف.

المرحلة الثانية: TRD الموجه بالبروز

خلال التدريب المستمر لنموذج VDM (تحديدًا Wan2.2)، يقوم موازن المرحلة الأولى المجمد بتوليد خرائط بروز للوصف الكامل للفيديو. يتم دمج هذه الخرائط في خسارة TRD عبر مشغل توجيه الأزواج (pair-routing operator).

مشغلات توجيه الأزماج: يعرّف SARA عمليات منطقية ضبابية (fuzzy-logic) لعمليات Boolean لربط بروز الرموز ( $w_i, w_j$ $w_{i}, w_{j}$ ) بأوزان الأزواج ( $W_{ij}$ $W_{ij}$ ):
- "و" (AND): $w_i w_j$ (يحتفظ فقط بأزواج الموضوع-الموضوع؛ مشابه لتأثير MoAlign).
- "أو الاستبعاد" (XOR): $|w_i - w_j|$ (يحتفظ فقط بأزواج الحدود).
- "أو" (OR - الافتراضي): $w_i + w_j - w_i w_j$ . هذا هو الابتكار الجوهري. فهو يحتفظ بأزواج الموضوع-الموضوع وأيضًا أزواج الموضوع-الخلفية، مما يوجه الإشراف بعيدًا عن أزواج الخلفية-الخلفية.
دالة الخسارة: يتم تعديل خسارة TRD القياسية لتصبح متوسطًا مرجحًا حيث يتم تحديد الأوزان بواسطة مشغل "أو". هذا يعيد تخصيص ميزانية الإشراف من ضوضاء الخلفية إلى العلاقات ذات الصلة دلاليًا دون تغيير هدف الـ VFM أو عدد المعلمات القابلة للتدريب في مسار الانتشار.

المساهمات الرئيسية

مفاهيميًا: يعيد صياغة التكيف الدلالي لنماذج VDM كـ مشكلة توجيه أزواج فوق TRD. فهو يصيغ MoAlign كبوابة "و" ضمنية، ويقترح بوابة "أو" مشروطة بالنص تتضمن صراحةً ترسيخ (grounding) الموضوع-الخلفية.
منهجيًا: يقدم موازن بروز مشروط بالنص يتم تدريبه باستخدام أقنعة SAM لكل كيان ومنظم InfoNCE. يتيح ذلك للنظام اتخاذ قرار ديناميكي بشأن أزواج الرموز التي تحمل الإشراف بناءً على الوصف، بدلاً من الاعتداد على مؤشرات الحركة الثابتة.
تجريبيًا: يثبت SARA تفوقه المستمر على SFT و VideoREPA و MoAlign على بنية Wan2.2 عبر بروتوكولات تقييم متعددة.

النتائج

أُجريت التجارب على مجموعة بيانات مكونة من 500 ألف مقطع متعدد الكيانات باستخدام محول Wan2.2 عالي الضجيج. شمل التقييم معيارًا مكونًا من 13 بُعدًا لنموذج VLM، ومجموعات VBench-1.0/2.0 العامة، ودراسة مستخدم عمياء.

معيار VLM: SARA هو الطريقة الوحيدة التي حسنت كلاً من محاذاة النص (TA) و جودة الحركة (MQ) في آن واحد مقارنة بالنموذج الأساسي. كما يتفوق على أقوى النماذج المرجعية (MoAlign) في جميع الأبعاد.
VBench: حقق SARA أعلى الدرجات الإجمالية في كل من VBench-1.0 (دلاليًا: +0.90 عن VideoREPA) و VBench-2.0 (النهائي: +0.38 عن MoAlign).
دراسة المستخدم: في دراسة زوجية عمياء، فضل المشاركون SARA على جميع النماذج المرجعية، مع أكبر هامش تفوق مقابل النموذج المسبق التدريب.
الدراسات الاستقصائية (Ablations): يؤدي إزالة رأس البروز أو منظم InfoNCE إلى انخفاض كبير في الأداء. كما أن استبدال بوابة "أو" ببوابات "و" أو "XOR" يؤدي أيضًا إلى تدهور الأداء، مما يؤكد أن تضمين أزواج الموضوع-الخلفية أمر بالغ الأهمية.

الأهمية والادعاءات

يدعي البحث أن SARA يعالج مشكلة "تخفيف" إشارات الإشراف في طرق محاذاة التمثيل الحالية. من خلال نقل تخصيص ميزانية $O(N^2)$ من نهج يعتمد على الهندسة أو الحركة إلى نهج يعتمد على الوصف، يضمن SARA أن النموذج يتعلم ربط الصفات والتفاعلات تحديدًا حيث يشير النص.

يشير المؤلفون إلى أنه بينما يحسن SARA اتباع الوصف، فإنه يرث قيود بروتوكول تدريب النموذج الأساسي. وتحديدًا، نظرًا لأنه يتم تحديث الخبير عالي الضجيج فقط من نموذج Wan2.2 MoE، فهناك انخفاض طفيف ومستمر في جودة الرندرة "منخفضة الضجيج" (مثل دقة البشر والاتساق الزمني) مقارنة بالنموذج الأصلي المجمد. ومع ذلك، يظهر SARA أقل انخفاض بين جميع طرق التدريب المستمر، مما يشير إلى أن تحديثاته المستهدفة أقل إخلالًا بالخبير المجمد منخفض الضجيل.

يخلص البحث إلى أن SARA يوفر آلية أكثر كفاءة وإدراكًا دلاليًا لمحاذاة نماذج انتشار الفيديو، محققًا نتائج رائدة في اتباع النصوص الدقيقة دون الحاجة إلى شروط إضافية وقت الاستدلال أو تغييرات هيكلية في بنية الانتشار.