Summer-22B: A Systematic Approach to Dataset Engineering and Training at Scale for Video Foundation Model
تقدم هذه الورقة عرضاً منهجياً للتحديات الهندسية، والقرارات التصميمية، والدروس الرئيسية المستفادة من تطوير نموذج التأسيس للفيديو Summer-22B، مؤكدةً أن هندسة البيانات والتنسيق القائم على البيانات الوصفية كانا أكثر أهمية للنجاح من الاختلافات المعمارية.
تخيل أنك تريد تعليم روبوت كيف يصبح مخرج أفلام بارعاً. لا يمكنك مجرد إعطائه كاميرا وقول: "اذهب واصنع فيلماً". عليك بناء المدرسة بأكملة، والمكتبة، والمنهج الدراسي، ونظام التقييم من الصفر.
هذه الورقة البحثية، "Summer-22B"، هي قصة كيف قام فريق في fal.ai ببناء ذكاء اصطناٍعي لصناعة الفيديو من الصفر. لم يكتفوا بتعديل نموذج موجود بالفعل؛ بل بنوا نموذجاً جديداً يسمى Summer-22B، تم تدريبه على حوالي 50 مليون مقطع فيديو.
إليك قصة رحلتهم، مشروحة عبر تشبيهات بسيطة.
1. التحدي الأكبر: مشكلة "المدخلات الرديئة تؤدي لمخرجات رديئة" (Garbage In, Garbage Out)
اكتشف الفريق شيئاً مفاجئاً: البنية (دماغ الروبوت) كانت أقل أهمية من البيانات (تعليم الروبوت).
التشبيه: تخيل أنك تحاول تعليم طالب كتابة رواية. يمكنك إعطاؤه أغلى قلم وأكثر كرسي مريح (البنية)، ولكن إذا كنت تغذيه برسائل بريد إلكتروني مزعجة وجمل مكسرة (بيانات سيئة)، فلن يكتب أبداً كتاباً جيداً.
الواقع: قضى الفريق 80% من وقتهم في تنظيف وتنظيم البيانات، وليس في تصميم الدماغ. لقد بنوا مصنعاً ضخماً يسمى نظام لافندر للبيانات (Lavender Data System) لفرز لقطات الفيديو الخام.
كشف اللقطات (Shot Detection): قاموا بتقطيع الأفلام الطويلة إلى مشاهد قصيرة ومتماسكة (مثل تقطيع فيلم مدته ساعتان إلى مقاطع مدة كل منها 30 ثانية).
ضبط الجودة (Quality Control): تخلصوا من الفيديوهات الضبابية، أو شرائح العرض الثابتة، أو الفيديوهات التي لا تحتوي على حركة.
إزالة التكرار (Deduplication): أزالوا آلاف الفيديوهات المتطابقة تقريباً حتى لا يشعر الروبوت بالملل من تعلم الشيء نفسه مرتين.
تدريب ذكاء اصطناٍعي ضخم يشبه ضبط أوركسترا ضخمة. إذا غيرت مستوى صوت آلة واحدة، فقد يختل إيقاع الأغنية بأكملها. عادةً، يتعين عليك إعادة ضبط الأوركسترا بأكملها في كل مرة تضيف فيها عازفين جدد.
التشبيه (µP): استخدم الفريق "خلطة سرية" تسمى µP (Maximal Update Parameterization). فكر في هذا كأنه "شوكة رنانة عالمية". لقد سمحت لهم بإيجاد إعدادات الصوت المثالية لمجموعة تدريب صغيرة (30 مليون معلمة/parameter) ثم تطبيق نفس هذه الإعدادات على الأوركسترا الكاملة (مليار معلمة) دون الحاجة لإعادة ضبط كل شيء.
التشبيه (تحسين الكرة الفائقة - Hypersphere Optimization): عادةً، عندما تدرب ذكاءً اصطناعياً، يمكن للأرقام بداخله أن تصبح كبيرة جداً أو صغيرة جداً، مما يؤدي إلى تعطل العمليات الحسابية. أجبر الفريق جميع الأرقام على البقاء ضمن "كرة" مثالية (مثل إبقاء كرة تتدحرج على مسار).
لماذا يساعد ذلك: الأمر يشبه وضع حواجز حماية على الطريق السريع. لا يمكن للذكاء الاصطناٍعي الخروج عن الطريق، لذا فهو لا يحتاج إلى "لوحة تحديد سرعة" (weight decay) لتخبره بأن يبطئ؛ بل يظل طبيعياً في مساره.
الاختراق: كانوا أول من أثبت أنه يمكنك استخدام "الشوكة الرنانة العالمية" (µP) أثناء القيادة على هذه "الحواجز" (قيود الكرة الفائقة). وقد نجح الأمر بشكل مثالي.
3. خدعة "المعالجة المتوازية"
عندما يولد الذكاء الاصطناٍعي فيديو، يجب عليه القيام بشيئين في آن واحد: التفكير في القصة (Attention) ورسم الصورة (MLP). عادةً، يقوم بواحد ثم الآخر، مثل طباخ يقطع الخضروات قبل الطبخ.
التشبيه: أدرك الفريق أنه يمكنهم جعل الطباخ يقطع ويطبخ في نفس الوقت.
النتيجة: بنوا مطبخاً "متوازياً". جعل هذا الذكاء الاصطناٍعي أسرع بنسبة 20% في توليد الفيديوهات دون جعل التدريب أكثر صعوبة.
4. النتائج: نجاح منخفض التكلفة
تم تدريب النموذج النهائي، Summer-22B، بتكلفة إجمالية بلغت حوالي 300,000 دولار (نصف هذا المبلغ ذهب فقط لقوة الحوسبة).
المقارنة: اختبروا نموذجهم مقابل نماذج فيديو شهيرة أخرى (مثل Wan 2.2 و Veo3).
الأخبار الجيدة: يتميز Summer-22B بقدرة عالية على صنع حركات سلسة وواقعية واتباع قوانين الفيزياء الأساسية. إنه منافس للنماذج التي تكلف أكثر بكثير لتدريبها.
الأخبار السيئة: ليس "مبدعاً" تماماً أو جيداً في اتباع التعليمات المعقدة مثل النماذج الأكبر والأغلى ثمناً. إنه يشبه طالباً موهوباً جداً يمكنه رسم تفاحة مثالية ولكنه يكافح لابتكار نوع جديد من الفاكهة.
النقاط الرئيسية (الخلاة المستفادة)
البيانات هي الملك: قضاء الوقت في تنظيف بياناتك أهم من قضاء الوقت في تعديل تصميم النموذج.
الاختبارات الصغيرة تنجح: لا تحتاج لتدريب نموذج ضخم للعثور على الإعدادات الصحيحة. يمكنك الاختبار على نموذج صغير وتوسيع الإعدادات باستخدام "الشوكة الرنانة العالمية" (µP).
الحواجز تساعد: إجبار الرياضيات على البقاء ضمن "كرة" يجعل التدريب أكثر استقراراً ويلغي الحاجة إلى التعديلات اليدوية المعقدة.
إنه متاح للجميع: لا تحتاج إلى مليارات الدولارات لبناء نموذج أساسي للفيديو. مع الهندسة الذكية، يمكنك القيام بذلك بضع مئات الآلاف من الدولارات.
باخت شديد: لم يبنِ الفريق مجرد ذكاء اصطناٍعي للفيديو؛ بل بنوا نظاماً، ومصنعاً فعالاً لصناعتهم، مما أثبت أنه مع البيانات الصحيحة والرياضيات الذكية، يمكنك إنشاء ذكاء اصطناٍعي قوي دون كسر الميزانية.
إليك ملخص تقني مفصل لورقة البحث بعنوان: "Summer-22B: نهج منهجي لهندسة البيانات والتدريب على نطاق واسع لنماذج الفيديو التأسيسية."
1. بيان المشكلة
يواجه تطوير نماذج الفيديو التأسيسية عقبات كبيرة في ثلاثة مجالات:
ندرة وجودة البيانات: مقاطع الفيديو الخام غير منظمة، ومليئة بالضجيج، وغالبًا ما تحتوي على انتقالات غير متماسكة دلاليًا. إن تحويل تيرابايت من مقاطع الفيديو الخام إلى مجموعة بيانات عالية الجودة وجاهزة للتدريب يتطلب جهدًا هندسيًا هائلًا.
عدم استقرار التدريب والتوسع: يعد تدريب نماذج الانتشار (Diffusion Models) للفيديو واسعة النطاق (في نطاق المليارات من المعلمات) مكلفًا حوسبيًا وعرضة لعدم الاستقرار. غالبًا ما يتطلب إيجاد المعلمات الفائقة المثلى (مثل معدلات التعلم وأحجام الدفعات) للنماذج الكبيرة تجارب قائمة على الخطأ والتجربة المكلفة عند التوسع.
قيود التحسين: يمكن أن تكون تقنيات التحسين القياسية (مثل اضمحلال الوزن - weight decay) غير مثالية لنماذج الانتشار، وتفتقر الطرق الحالية غالبًا إلى الصرامة الهندسية في قيود المعلمات.
يهدف المؤلفون إلى بناء نموذج فيديو تأسيسي من الصفر (Summer-22B) لإثبات أن هندسة البيانات المنهجية والتحسين المبدئي يمكن أن يؤديا إلى نتائج تنافسية بتكلفة وحجم بيانات أقل بكثير من المعتاد.
2. المنهجية
تحدد الورقة مسار عمل شاملًا يمتد من جمع البيانات، والمعالجة المسبقة، وبنية النموذج، وصولًا إلى التحسين.
أ. هندسة البيانات (نظام "Lavender Data")
يؤكد المؤلفون أن هندسة البيانات استهلكت الجزء الأكبر من جهد المشروع.
استراتيجية الجمع: بدلاً من الجمع العشوائي، استخدموا نهجًا قائمًا على البيانات الوصفية (Metadata) بناءً على توزيعات المفردات (مستوحى من MetaCLIP) لضضمن التنوع الدلالي ومنع التمثيل المفرط لفئات معينة (مثل "الرؤوس المتحدثة").
خط المعالجة المسبقة:
التقطيع (Segmentation): نظام كشف حدود المشاهد على مرحلتين باستخدام PySceneDetect (سريع/استدلالي) يليه TransNetV2 (دقيق) لتقسيم الفيديوهات الطويلة إلى مقاطع متماسكة تتراوح مدتها بين 3 و30 ثانية.
الحركة: تحليل التدفق البصري (باستخدام Farnebäck و BirefNet) للتمييز بين الديناميكيات المرغوبة (مثل اختلاف المنظور/parallax، والتتبع) والعيوب (مثل اهتزاز الكاميرا أو الصور المنزلقة).
الجودة: تقييم الجمالية باستخدام نموذج DOVER.
الوصف (Captioning) وإزالة التكرار: وصف هرمي (وصف تفصيلي، قصير، ووصف فائق القصر مكون من 3 كلمات) باستخدام نموذج Qwen 2.5 VL مضبوط بدقة. تعمل الأوصاف فائقة القصر كـ "أوعية دلالية" لعملية إزالة التكرار باستخدام خوارزمية K-means لتقليل الدفعات المسرع بواسطة وحدة معالجة الرسومات (GPU-accelerated Mini-Batch K-means)، مما أدى لإزالة حوالي 20% من المكررات القريبة.
البنية التحتية: يوحد نظام Lavender Data بين التصور، والتصفية، والبث. ويضمن وجود تطابق صارم بين ما يراه المهندسون وما يتدرب عليه النموذج، مستخدمًا Ray للمعالجة الموزعة ونقل الذاكرة بدون نسخ (zero-copy) بين OpenCV و PyTorch لرفع كفاءة إنتاجية وحدة معالجة الرسومات (GPU throughput) إلى أقصى حد.
ب. بنية النموذج
البنية الأساسية: نموذج محول انتشار (Diffusion Transformer - DiT) بسيط مع الحد الأدنى من التعديلات الخاصة بالمجال.
تضمينات الموضع (Positional Embeddings): يستخدم تضمينات الموضع الدوارة ثلاثية الأبعاد (3D RoPE) لتشفير المواضع الزمكانية (t,h,w) في آن واحد، مع تخصيص نواقل وحدة ثلاثية الأبعاد عشوائية لنطاقات التردد لضمان تغطية كروية موحدة.
التصميم المدرك للاستنتاج (Inference-Aware Design): تنفيذ حساب الانتباه و MLP المتوازي. بدلاً من التنفيذ المتسلسل، يتم حساب طبقات الانتباه والتغذية الأمامية في فروع متوازية، مما يقلل زمن انتقال الاستنتاج (latency) بنسبة ~20% دون التضحية باستقرار التدريب.
آليات الاستقرار: تتضمن اتصالات متبقية بوابية (gated residual connections)، واتصالات قيمة متبقية (Value Residual Connections)، وتطبيع الطبقة التكيفي (Adaptive Layer Normalization) لمنع تلاشي التدرجات وانهيار النمط (mode collapse).
ج. التحسين والبارامترية
التحسين المقيد بالكرة (Hypersphere-Constrained Optimization): يقيد المؤلفون صفوف مصفوفة الأوزان لتكون بنور الوحدة (∥wi∥2=1)، مما يجعل التحسين عبارة عن انحدار تدرج ريماني (Riemannian gradient descent) على متشعب كروي.
الآلية: يتم إسقاط التدرجات على المماس للمتعدد الكروي، ثم تُعاد التحديثات إلى المتشعب.
الفائدة: يعمل هذا كمنظم صريح (explicit regularizer)، مما يلغي الحاجة إلى جداول اضمحلال الوزن ويبسط ضبط المعلمات الفائقة.
البارامترية القصوى للتحديث (Maximal Update Parameterization - µP): يجمعون بين µP وقيود الكرة. توفر µP قواعد توسيع لمعدلات التعلم بناءً على عرض النموذج، مما يسمح بانتقال المعلمات الفائقة التي تم العثور عليها في النماذج الصغيرة (30 مليون معلمة) بفعالية إلى النماذج الكبيرة (أكثر من 1 مليار معلمة).
قوانين التوسع (Scaling Laws): تشير الملاحظات التجريبية إلى:
معدل التعلم الأمثل (LR) ∝B (حجم الدفعة).
معدل التعماء الأمثل (LR) ∝1/T (خطوات التدريب).
المراقبة: يتتبعون "نطاق µP" (µP band) (النطاقات المتوقعة لمعايير المعلمات والتحديثات) للكشف المبكر عن عدم استقرار التدريب، بدلاً من الاعتماد فقط على منحنيات الخسارة (loss curves).
3. المساهمات الرئيسية
نظام Lavender Data: بنية تحتية موحدة لتصور البيانات وتصفيتها وبثها تضمن الاتساق بين رؤى الهندسة وبيانات التدريب.
أول دمج بين µP والكرة (Hypersphere): أول عرض يثبت أن انتقال المعلمات الفائقة لـ µP يعمل بفعالية تحت تحسين ريماني مقيد بالكرة.
هندسة البيانات المنهجية: مسار عمل قابل للتوسع يعالج حوالي 50 مليون مقطع (500 مليار توكن) مع تصفية متعددة المراحل وإزالة تكرار مسرعة بواسطة وحدة معالجة الرسومات، مما يثبت أن التقييم عالي الجودة يمكن أن يعوض أحجام مجموعات البيانات الأصغر مقارنة بالنماذج ذات التوليد التلقائي (autoregressive).
بنية مدركة للاستنتاج: تصميم انتباه-MLP متوازي يقلل زمن انتقال الاستنتاج بنسبة ~20%.
تدريب فعال من حيث التكلفة: إجمالي تكلفة المشروع حوالي 300 ألف دولار (بما في ذلك 150 ألف دولار للحوسبة) لتدريب نموذج فيديو تأسيسي تنافسي.
4. النتائج
تم تدريب النموذج، Summer-22B، على حوالي 50 مليون مقطع فيديو (500 مليار توكن) وتم تقييمه باستخدام VBench 1.0 و 2.0.
الأداء:
إجمالي درجة VBench 2.0: 0.539.
المقارنة: منافس لنموذج Wan 2.2-5B (0.575) و Wan 2.2-A14B (0.610)، رغم تدريبه على بيانات أقل بكثير ومعلمات أقل.
نقاط القوة: أداء قوي في الاستدلال المنطقي (0.622)، ودقة البشر (0.745)، والفيزياء (0.629).
نقاط الضعف: درجات أقل في الإبداع (0.387) والقدرة على التحكم (0.311)، وهو ما يُعزى إلى محدودية تنوع المطالبات (prompts) في بيانات التدريب.
الكفاءة: حقق النموذج هذه النتائج بميزانية إجمالية تبلغ حوالي 300 ألف دولار، مما يثبت سهولة الوصول إليه مقارنة بالأنظمة المملوكة للشركات الكبرى.
نتائج الدراسة الاستقصائية (Ablation):
أظهرت المتغيرات المعمارية (مثل Multi-Latent Attention و Window Attention) فروقًا طفيفة في الأداء مقارنة بنموذج DiT الأصلي، مما يعزز التركيز على البيانات والتحسين.
نجحت µP في نقل المعلمات الفائقة من نماذج 30 مليون معلمة إلى نماذج مليار معلمة مع تعديلات طفيفة.
5. الأهمية
تتحدى هذه الورقة المفهوم السائد بأن نماذج الفيديو التأسيسية تتطلب مجموعات بيانات ضخمة غير منقحة وابتكارات معمارية معقدة للنجاح. بدلاً من ذلك، تجادل بأن:
جودة البيانات > الكمية: هندسة البيانات الصارمة متعددة المراحل هي المحرك الرئيسي للأداء.
التحسين > البنية: بالنسبة للنطاق الحالي (حتى 1 مليار معلمة)، فإن تحسين استراتيجيات التحسين (µP، والقيود الهندسية/الريمانية) يعطي عوائد أفضل من استكشاف المتغيرات المعمارية المعقدة.
سهولة الوصول: يمكن للفرق الصغيرة ذات الميزانيات المحدودة (300 ألف دولار) تطوير نماذج فيديو تأسيسية عالية الجودة إذا كان النهج الهندسي منهجيًا ومبدئيًا.
يقدم هذا العمل مخططًا قابلاً لإعادة الإنتاج لتدريب نماذج انتشار الفيديو، مع التأكيد على الجوانب "المملة" ولكن الحاسمة مثل تقنين البيانات والتحسين الهندسي على حساب الجدة في بنية النموذج.