💻 computer science

Context Forcing: Consistent Autoregressive Video Generation with Long Context

تقترح الورقة البحثية "Context Forcing" (فرض السياق)، وهو إطار عمل مبتكر يعالج عدم التوافق بين الطالب والمعلم في توليد الفيديو الطويل من خلال توظيف معلم ذي سياق طويل وبنية ذاكرة "Slow-Fast" لتمكين توليد فيديو متسق وفي الوقت الفعلي بسياقات تتجاوز 20 ثانية.

المؤلفون الأصليون: Shuo Chen, Cong Wei, Sun Sun, Ping Nie, Kai Zhou, Ge Zhang, Ming-Hsuan Yang, Wenhu Chen

نُشر 2026-02-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuo Chen, Cong Wei, Sun Sun, Ping Nie, Kai Zhou, Ge Zhang, Ming-Hsuan Yang, Wenhu Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول كتابة قصة طويلة ومتواصلة من خلال تبادل الأدوار مع صديق. أنت تكتب فقرة، ثم يكتب صديقك الفقرة التالية بناءً على ما كتبته للتو، وهكذا.

المشكلة في مولدات الفيديو الحالية بالذكاء الاصطناعي هي أنها تشبه صديقاً لديه ذاكرة قصيرة المدى للغاية. يمكنهم فقط تذكر الجمل القليلة الأخيرة (أو ثواني الفيديو الأخيرة) التي كتبتها. ومع استمرار القصة، ينسون من هي الشخصية الرئيسية، أو كيف يبدو المشهد، أو حتى الحبكة التي بدأوها. تبدأ القصة في الانحراف، وقد تتغير وجوه الشخصيات فجأة أو يتحول الخلفية إلى شيء آخر.

هذه الورقة البحثية، "فرض السياق" (Context Forcing)، تحل هذه المشكلة عبر منح الذكاء الاصطناعي ذاكرة طويلة المدى ومعلماً ذكياً.

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: "المعلم فاقد الذاكرة"

حالياً، يتم تدريب معظم نماذج الفيديو بالذكاء الاصطناعي باستخدام إعداد "الطالب-المعلم".

الطالب: هو الذكاء الاصطناعي الذي يحاول تعلم صنع فيديوهات طويلة.
المعلم: هو نموذج يوجه الطالب.

المشكلة هي أن المعلم يمتلك ذاكرة مدتها 5 ثوانٍ فقط. يمكنه فقط النظر إلى آخر 5 ثوانٍ من الفيديو ليخبر الطالب بما يجب فعله بعد ذلك.

النتيجة: يتعلم الطالب النسيان. إذا استمر الفيديو لمدة 30 ثانية، فلن يملك الطالب أي فكرة عما حدث قبل 25 ثانية لأن المعلم لم يره قط. وهذا يتسبب في "انحراف" الفيديو أو فقدان الاتساق.

2. الحل: "المعلم كلي المعرفة"

ابتكر المؤلفون طريقة جديدة تسمى "فرض السياق" (Context Forcing).

المعلم الجديد: قاموا بتدريب معلم يمكنه رؤية التاريخ الكامل للفيديو (20 ثانية أو أكثر).
الدرس: الآن، عندما يحاول الطالب توليد الإطار التالي، يقول المعلم: "تذكر، قبل 20 ثانية، كان الشخص يرتدي قبعة حمراء ويمشي جهة اليسار. ضع ذلك في اعتبارك".
الإصلاح: لأن المعلم يعرف القصة كاملة، يمكنه توجيه الطالب للحفاظ على اتساق الشخصية والخلفية لفترة أطل بكثير.

3. التحدي: "حقيبة الظهر المثقلة"

إذا حاولت تذكر كل تفصيل صغير في فيديو مدته 20 ثانية (كل بكسل، كل حركة)، فإن عقلك (أو حاسوبك) سيصبح مثقلاً وسيتعطل. الأمر يشبه محاولة حمل حقيبة ظهر مليئة بكل طوبة من مبنى مررت بجانبه؛ ستكون ثقيلة جداً.

لحل هذه المشكلة، بنى المؤلفون نظام ذاكرة ذكي (يسمى بنية "الذاكرة البطيئة-السريعة"):

الذاكرة السريعة: تحتفظ بالماضي المباشر (اللحظات القليلة الأخيرة). إنها تشبه ذاكرتك العاملة، التي تحتفظ بما حدث للتو الآن.
الذاكرة البطيئة: هي "شريط الملخصات". يقوم الذكاء الاصطناعي باستمرار بفحص الفيديو ويتساءل: "هل هذا الإطار الجديد مختلف بما يكفي ليكون مهماً؟"
- إذا كان المشهد ثابتاً (شخص يقف ساكناً)، فإنه يتجاهل الإطارات الإضافية (لتوفير المساحة).
- إذا حدث شيء مهم (سيارة تنعطف، وجه يلتفت)، فإنه يحفظ تلك "الإطارات المفتاحية" في الذاكرة البطيئة.
المصب (The Sink): منطقة صغيرة وثابتة تتذكر دائماً بداية الفيديو لإبقاء القصة مرتكزة.

يسمح هذا النظام للذكاء الاصطناعي بحمل "حقيبة ظهر" خفيفة بما يكفي للعمل، ولكنها ثقيلة بما يكفي لتذكر النقاط الدرامية المهمة لفيديو تزيد مدته عن 20 ثانية.

4. النتيجة: فيلم متسق

بهذا الإعداد، يمكن للذكاء الاصطناعي الآن توليد فيديوهات أطول بمقدار 2 إلى 10 مرات من النماذج الرائدة السابقة دون أن يفقد اتزانه.

قبل: قد يبدو الفيديو رائعاً لمدة 5 ثوانٍ، ولكن بحلول الثانية العاشرة، قد يتغير وجه الشخصية، أو تتغير ألوان الخلفية.
الآن: يظل الفيديو متسقاً. يحافظ الشخص على وجهه، وتظل الملابس كما هي، وتظل الخلفية مستقرة لأكثر من 20 ثانية (وقد تصل إلى دقيقة كاملة).

ملخص التشبيه

فكر في صنع فيديو طويل مثل إخراج مسرحية:

الطريقة القديمة: المخرج (المعلم) يشاهد فقط آخر 5 ثوانٍ من خشبة المسرح. وبحلول الدقيقة 30 من المسرحية، يكون المخرج قد نسي المشهد الافتتاحي، لذا يبدأ الممثلون في التمثيل بشكل عشوائي.
فرض السياق: المخرج لديه نص وذاكرة للمسرحية كاملة. يمكنه أن يقول للممثلين: "تذكروا، في الفصل الأول، كنتم تمسكون كوباً أزرق، لذا استمروا في إمساكه في الفصل الثالث".
نظام الذاكرة: المخرج لا يحفظ كل نفس يأخذه الممثلون (لأن ذلك سيكون عبئاً هائلاً). بدلاً من ذلك، يحفظ فقط الأفعال والتغييرات الرئيسية، ويحتفظ بالباقي في "ذاكرة مؤقتة سريعة" للرجوع إليها فوراً.

تزعم الورقة أن هذه الطريقة نجحت في إيقاف "النسيان" و"الانحراف" الذي عادة ما يفسد فيديوهات الذكاء الاصطناعي الطويلة، مما يسمح بتوليد فيديوهات متماسكة تصل لدقيقة كاملة وتلتزم بالوصف الأصلي.

ملخص تقني: فرض السياق (Context Forcing)

بيان المشكلة

تواجه طرق توليد الفيديو الطويل في الوقت الفعلي حاليًا معضلة أساسية تُعرف بـ "معضلة النسيان والانحراف" (Forgetting–Drifting Dilemma) الناتجة عن عدم تطابق هيكلي بين الطالب والمعلم.

النسيان (Forgetting): غالبًا ما تقتصر النماذج المتطورة على نوافذ سياقية قصيرة (على سبيل المثال، 3.0–9.2 ثانية). وبينما يقلل هذا من تراكم الأخطاء، إلا أنه يتسبب في فقدان النموذج لتتبع الموضوعات والمشاهد أثناء عمليات التوليد الطويلة.
الانحراف (Drifting): تحاول استراتيجيات الضبط التدفيقي (مثل LongLive) تمديد السياق عبر تدريب "طالب" ذي سياق طويل باستخدام "معلم" قصير السياق وخالٍ من الذاكرة (محدود بنحو 5 ثوانٍ). وبما أن المعلم لا يمكنه الوصول إلى تاريخ التوليد الكامل، فإنه يفشل في توجيه الطالب بشأن التبعيات الزمنية العالمية. يؤدي هذا إلى تراكم الأخطاء وانزياح التوزيع، مما يتسبب في انحراف الفيديو بعيدًا عن النطاق الحقيقي (Real Manifold) بمرور الوقت.

تعاني نماذج الفيديو السببية الحالية من صعوبة في الحفاظ على التماسك لما بعد بضع ثوانٍ، حيث إن عدم قدرة المعلم على الرؤية لما وراء نافذته القصيرة يضع سقفًا لطول السياق الذي يمكن للطالب تعلمه.

المنهجية

يقترح المؤلفون "فرض السياق" (Context Forcing)، وهو إطار عمل مصمم لحل عدم التطابق بين الطالب والمعلم عبر تدريب طالب ذي سياق طويل باستخدام معلم ذي سياق طويل.

1. مطابقة التوزيع السياقي (CDMD)

الهدف الجوهري هو تقليل تباعد KL العالمي طويل الأمد بين توزيع الطالب $p_\theta(X_{1:N})$ وتوزيع البيانات الحقيقية $p_{data}(X_{1:N})$ . ويتم تفكيك ذلك إلى مرحلتين:

المرحلة 1 (الديناميكيات المحلية): يطابق الطالب توزيع النوافذ القصيرة ( $X_{1:k}$ ) مع البيانات الحقيقية لتعلم الديناميكيات المحلية، على غرار عملية مطابقة توزيع التوزيع (DMD) القياسية.
المرحلة 2 (الاستمرارية العالمية): يتعلم الطالب التبعيات طويلة المدى من خلال مطابقة تنبؤات الاستمرارية الخاصة به ( $X_{k+1:N}$ $X_{k + 1 : N}$ ) مقابل "معلم السياق".
- معلم السياق هو نموذج مدرب مسبقًا قادر على معالجة مدخلات السياق الطويل ويكون مدركًا لتاريخ التوليد الكامل.
- يتم تدريب الطالب على عمليات التوليد الذاتية التي ينتجها ( $X_{1:k} \sim p_\theta$ )، مما يضمن أن المعلم يقدم إشرافًا بناءً على السياق الفعلي الذي يواجهه الطالب، وبالتالي يخفف من "تحيز التعرض" (Exposure Bias).
- يتم استخدام "منهج التوليد الذاتي الطويل" (Long Self-Rollout Curriculum)، حيث ينمو أفق السياق $k$ خطيًا مع خطوات التدريب لتعريض النموذج تدريجيًا للتبعيات طويلة المدى دون حدوث انزياحات حادة في التوزيع في البداية.
- تضمن "سياسة السياق النظيف" (Clean Context Policy) أنه بينما يتم أخذ عينات من الإطارات المستهدفة عشوائيًا، فإن إطارات السياق ( $X_{1:k}$ ) تكون خالية تمامًا من الضجيج (Fully Denoised) للحفاظ على التوافق مع توزيع تدريب المعلم.

2. نظام إدارة السياق (الذاكرة البطيئة-السريعة)

لجعل التدريب والاستدلال ممكنين لفترات زمنية قصوى (مثل دقيقتين)، قدم المؤلفون نظام إدارة ذاكرة التخزين المؤقت (KV cache) مستوحى من نظريات الذاكرة ذات العمليتين المزدوجتين. يتم تقسيم التخزين المؤقت إلى ثلاثة مكونات:

بالوعة الانتباه (Attention Sink - $S$ ): تحتفظ بالرموز (Tokens) الأولية لاستقرار الانتباه.
الذاكرة البطيئة ( $C_{slow}$ ): مخزن طويل الأمد يحفظ الإطارات الرئيسية عالية الإنتروبيا. يتم تحديثه فقط عند اكتشاف معلومات جديدة جوهرية.
الذاكرة السريعة ( $L_{fast}$ ): طابور (FIFO) متدحرج يلتقط السياق المحلي المباشر.

التوحيد القائم على المفاجأة (Surprisal-Based Consolidation): عند توليد رمز جديد، تتم مقارنة متجه المفتاح الخاص به بالرمز السابق. إذا كانت التشابه أقل من عتبة معينة (مما يشير إلى انتقال حالة أو تغير بصري)، يتم ترقية الرمز إلى الذاكرة الببطيئة؛ وإلا فيتم التخلص منه. هذا يقلل من التكرار البصري.

الترميز الموضعي المحدود (Bounded Positional Encoding): على عكس النماذج التكرارية القياسية حيث تنمو المؤشرات الموضعية بلا حدود (مما يؤدي إلى انزياحات في التوزيع)، يقوم هذا النظام بتقييد جميع مواضع RoPE ضمن نطاق ثابت $\Phi = [0, N_s + N_c + N_l - 1]$ . ينزلق التاريخ الحديث عبر مؤشرات عالية، بينما يتم ضغط التاريخ البارز في مؤشرات أدنى، مما يعمل على استقرار الانتباه عبر التسلسلات الطويلة.

3. تدريب معلم السياق القوي

لضمان قدرة المعلم على توجيه الطالب حتى عندما يحتوي سياق الطالب على أخطاء متراكمة، يخضع المعلم لعملية "ضبط دقيق لإعادة تدوير الخطأ" (ERFT). يتم تدريب المعلم على سياقات مضطربة تحتوي على أخطاء متراكمة واقعية (مأخوذة من بقايا النموذج السابقة)، مما يمكّنه من التعافي بفعالية وتقديم إشراف موثوق حتى عندما ينحرف الطالب.

المساهمات الرئيسية

إطار عمل فرض السياق (Context Forcing Framework): نموذج تدريبي مبتكر يقوم بتبسيط معلم سياق طويل إلى طالب سياق طويل، مما يلغي عدم التطابق في الإشراف المتأصل في طرق الضبط التدفيقي.
بنية الذاكرة البطيئة-السريعة (Slow-Fast Memory Architecture): نظام إدارة سياق يحول السياق المتزايد خطيًا إلى بنية ذاكرة مضغوطة، مما يقلل بشكل كبير من التكرار البصري ويمكّن من أطوال سياق تتجاوز 20 ثانية (أطول بـ 2 إلى 10 مرات من التقنيات الحالية).
توليد فيديو طويل وقوي: إثبات أن الطريقة المقترحة تحافظ على اتساق فائق عبر مدد زمنية طويلة، متفوقة على النماذج المرجعية في مختلف مقاييس تقييم الفيديو الطويل.

النتائج التجريبية

تم تقييم الطريقة مقابل نماذج الانتشار ثنائية الاتجاه (مثل Wan2.1 و LTX-Video) والنماذج التكرارية المرجعية (مثل LongLive و FramePack و Self Forcing++).

طول السياق: يدعم النموذج أطوال سياق فعالة تزيد عن 20 ثانية، مقارنة بـ 1.5–9.2 ثانية للأساليب الحالية.
مقاييس الاتساق: في مهام توليد فيديو مدتها 60 ثانية، حقق "فرض السياق" درجات متفوقة في:
- درجة DINO (اتساق الموضوع): 87.89 عند 60 ثانية (مقابل 68.50 لـ FramePack-F1 و 86.26 لـ LongLive).
- درجة CLIP-F (اتساق الخلفية): 95.35 عند 60 ثانية.
- درجة CLIP-T (الاتساق الدلالي): 37.66 عند 60 ثانية.
النتائج النوعية: تظهر المقارنات البصرية أنه بينما تعاني النماذج المرجعية من تغير الهوية، أو إعادة ضبط المشهد، أو أنماط الحركة الدورية بعد 10-20 ثانية، فإن "فرض السياق" يحافظ على موضوعات وخلفيات متسقة طوال الدقيقة كاملة.
دراسات الاستبعاد (Ablation Studies):
- إزالة التبسيط السياقي أدى إلى تدهور الاتساق الدلالي والزمني.
- إزالة الترميز الموضعي المحدود تسببت في انخفاض كبير في استقرار الخلفية واتساق الموضوع.
- أظهرت عملية ERFT أن معلم السياق يصبح أكثر قوة تجاه الأخطاء المتراكمة.

الأهمية والادعاءات

يزعم البحث أن "فرض السياق" يعالج السبب الجذري لمعضلة النسيان والانحراف في توليد الفيديو السببي: وهي عدم قدرة معلمي السياق القصير على توجيه طلاب السياق الطويل. ومن خلال ضمان وعي المعلم بتاريخ التوليد الكامل واستخدام بنية فعالة للذاكرة، تمكنت الطريقة من تحقيق توليد فيديو طويل، متسق، وقوي.

يشير المؤلفون إلى أنه بينما تخفف الطريقة بشكل كبير من أخطاء الانحراف، فإن استراتيجية ضغط الذاكرة الحالية تترك مجالًا للتحسين فيما يتعلق بكثافة المعلومات. ويُقترح أن يركز العمل المستقبلي على ضغط السياق القابل للتعلم وآليات الذاكرة التكيفية لزيادة كفاءة توليد الوسائط المعقدة والمفتوحة.

يضع هذا العمل نفسه كخطوة نحو تسلسلات بصرية أكثر تماسكًا للقصص الرقمي وصناعة الأفلام، مع الإقرار بالآثار الأخلاقية لتوليد وسائط اصطناعية متسقة للغاية والدعوة إلى معايير العلامات المائية وإثبات المصدر.