🤖 machine learning

VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization

يقدم VideoFlexTok طريقة لترميز الفيديو من الخشن إلى الناعم وذات طول مرن، تستبدل تمثيلات الشبكة ثلاثية الأبعاد الثابتة بتسلسلات رموز متغيرة الطول، مما يتيح تدريباً أكثر كفاءة وتوليد فيديوهات طويلة عبر إعطاء الأولوية للدلالات المجردة والحركة قبل التفاصيل الدقيقة.

المؤلفون الأصليون: Andrei Atanov, Jesse Allardice, Roman Bachmann, Oğuzhan Fatih Kar, R Devon Hjelm, David Griffiths, Peter Fu, Afshin Dehghan, Amir Zamir

نُشر 2026-04-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Andrei Atanov, Jesse Allardice, Roman Bachmann, Oğuzhan Fatih Kar, R Devon Hjelm, David Griffiths, Peter Fu, Afshin Dehghan, Amir Zamir

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إرسال فيديو عالي الدقة مدته 10 ثوانٍ لسيارة تسير في طريق ريفي إلى صديق لك.

الطريقة القديمة (مشكلة "الشبكة الثابتة"):
في الوقت الحالي، تعامل معظم نماذج الذكاء الاصطناعي للفيديو الفيديو كأنه جدول بيانات ضخم وصلب. فهي تقطع الفيديو إلى كتل صغيرة ثابتة الحجم (بكسلات) لكل إطار على حدٍ سواء، بغض النظر عما يحدث.

إذا كانت السيارة واقفة في مكانها، لا يزال الذكاء الاصطناعي يرسل بيانات لكل ورقة شجر في كل شجرة.
إذا كانت السيارة تسرع، لا يزال الذكاء الاصطناعي يرسل نفس القدر تماماً من البيانات.
النتيجة: الأمر يشبه محاولة إرسال بريد لـ 100 صفحة من موسوعة فقط لإرسال بطاقة بريدية. هذا يجعل العملية بطيئة، ومكلفة، ويتطلب حواسيب ضخمة لمعالجة كل تلك التفاصيل غير الضرورية.

الطريقة الجديدة (VideoFlexTok):
ابتكر الباحثون في Apple وEPFL تقنية VideoFlexTok. فكر في هذا ليس كجدول بيانات، بل كـ قصة ذكية قابلة للتكبير (Zoomable).

الفكرة الجوهرية: "القصة من العام إلى التفصيل"

بدلاً من إجبار الذكاء الاصطناعي على وصف كل بكسل، يقوم VideoFlexTok بتفكيك الفيديو إلى تسلسل مرن من "الرموز" (Tokens - قطع صغيرة من المعلومات) التي تزداد تفصيلاً كلما تقدمت.

1. رموز "الصورة الكبيرة" (الغلاف والملخص)
الرموز القليلة الأولى تشبه غلاف الكتاب وملخصاً من جملة واحدة.

الرمز 1: "إنها سيارة حمراء."
الرمز 2: "إنها تسير على طريق منحني."
الرمز 3: "هناك أشجار على الجانب."
الرمز 4: "السيارة تتحرك للأمام."

هذه الرموز الأولى تلتقط الجوهر: (ماذا، وأين، والحركة). هي لا تهتم بالدرجة المحددة للون الأخضر على العشب أو الملمس الدقيق للأسفلت بعد؛ هي فقط تلتقط "الانطباع العام" والفعل الرئيسي.

2. رموز "التفاصيل الدقيقة" (الفصول)
مع إضافة المزيد من الرموز، تصبح القصة أكثر تفصيلاً.

الرموز 5-10: "السيارة من طراز سيدان، وليست شاحنة."
الرموز 11-20: "الأشجار هي أشجار صنوبر بألوان خريفية."
الالرموز 21-50: "هنا انعكاس محدد لأشعة الشمس على غطاء محرك السيارة."

الخدعة السحرية:
أفضل ما في الأمر هو أنه يمكنك التوقف في أي وقت تريد.

إذا كنت تريد فقط معرفة ماذا يحدث في الفيديو (على سبيل المثال لمحرك بحث أو معاينة سريعة)، فأنت تحتاج فقط إلى أول 4 رموز.
إذا كنت تريد إنشاء فيديو عالي الجودة، يمكنك طلب 672 رمزاً.
إذا كنت تريد دقة 4K، يمكنك طلب الآلاف.

المُفسر (Decoder) الخاص بالذكاء الاصطناعي يشبه الفنان السحري. إذا أعطيته أول 4 رموز فقط، سيرسم سكتشاً (مخططاً) ضبابياً ولكنه دقيق للمشهد. وإذا أعطيته 672 رمزاً، سيرسم لوحة واقعية مذهلة. إنه يتكيف مع مقدار "الميزانية" (الرموز) التي تمنحه إياها.

لماذا يعد هذا أمراً هاماً؟

1. القوة الخارقة لـ "بيانات أقل بـ 8 أضعاف"
تظهر الورقة البحثية أنه لإنشاء فيديو مدته 10 ثوانٍ، يحتاج الذكاء الاصطناعي القياسي إلى 5,376 رمزاً. بينما يمكن لـ VideoFlexTok القيام بنفس المهمة باستخدام 672 رمزاً فقط.

تشبيه: تخيل أنك بحاجة لنقل منزل. الطريقة القديمة تتطلب 8 شاحنات ضخمة. أما VideoFlexTok فيمكنه وضع المنزل بأكمله داخل حافلة صغيرة واحدة. هذا يعني أنه يمكنك تشغيل هذه النماذج على حواسيب أرخص وأصغر.

2. "ميزانية ذكية" للفيديوهات الطويلة
بسبب كفاءة هذه الرموز، يمكننا الآن صنع فيديوهات أطول دون أن يتعطل الكمبيوتر.

تشبيه: إذا كنت تكتب رواية، فإن الطريقة القديمة تتطلب منك وصف كل طوبة في كل مبنى في الخلفية، حتى لو لم ينظر إليها أحد. VideoFlexTok يسمح لك بالقول: "هناك مدينة في الخلفية"، ويصف المباني فقط عندما تقترب الكاميرا منها. هذا يسمح لك بكتابة قصة من 100 صفحة (فيديو مدته 10 ثوانٍ) دون أن تنفد منك الأوراق (قدرة الحوسبة).

3. التعلم لـ "التفكير" قبل "الرسم"
وجدت الورقة البحثية أنه نظرًا لأن الرموز الأولى تلتقط الحركة والدلالات (المعنى)، فإن الذكاء الاصطناعي يتعلم أولاً التفكير في هيكل الفيديو.

تشبيه: يحاول الرسام القديم رسم سيارة عن طريق خلط اللون الأحمر ووضعه على اللوحة بكسل تلو الآخر. أما رسام VideoFlexTok، فيقوم أولاً برسم الخطوط العريضة للسيارة، ويقرر وجهتها، ثم يبدأ بملء الألوان. هذا أسرع بكثير ويقلل من الأخطاء.

مثال من الواقع من الورقة البحثية

قام الباحثون بتدريب نموذج لتوليد فيديو لمدة 10 ثوانٍ لسيارة تسير.

النموذج القديم: احتاج إلى كمبيوتر ضخم بـ 5.2 مليار معلمة (Parameter) (ضخم، مكلف، وبطيء).
نموذج VideoFlexTok: حقق نفس الجودة باستخدام كمبيوتر صغير بـ 1.1 مليار معلمة فقط (صغير، سريع، ورخيص).

باختصار

VideoFlexTok يشبه الترقية من جهاز فاكس جامد يعمل بكسل بكسل إلى دردشة فيديو ذكية ومتكيفة. فهو يعرف متى يرسل العنوان فقط ("سيارة تسير") ومتى يرسل الفيلم كاملاً، مما يوفر الكثير من الوقت والمال، ويجعل من الممكن إنشاء فيديوهات أطول وأفضل على أجهزة أصغر.

إليك ملخص تقني مفصل لورقة البحث بعنوان "VideoFlexTok: ترميز الفيديو المرن من الخشن إلى الناعم (Coarse-to-Fine)."

1. بيان المشكلة

تعتمد طرق ترميز الفيديو الحالية بشكل أساسي على شبكات ثلاثية الأبعاد (3D) مكانية-زمانية ثابتة الحجم. في هذه النهج، يتم ضغط كل إطار فيديو في شبكة صلبة من الرموز (Tokens) (على سبيل المثال، $T \times H \times W$ )، بغض النظر عن تعقيد محتوى الفيديو. وهذا يخلق عدة قيود:

عدم الكفاءة: يجب على نماذج التوليد اللاحقة (مثل محولات تحويل النص إلى فيديو) التنبؤ بجميع التفاصيل منخفضة المستوى "بكسل ببكسل"، حتى في المشاهد البسيطة، مما يؤدي إلى تكاليف حوسبة عالية.
الصلابة: طول تسلسل الرموز مرتبط ارتباطاً وثيقاً بدقة الفيديو ومدته. ولتقليل عدد الرموز، يجب تقليل طول الفيديو أو دقته، مما يؤدي إلى فقدان المعلومات.
الافتقار إلى التجريد: تعطي المرمّزات القياسية الأولوية لإعادة بناء البكسلات بدقة، وغالباً ما تفشل في التقاط المعلومات الدلالية عالية المستوى (الحركة، هوية الكائن) في الرموز الأولية، مما يجبر النموذج التوليدي على تعلم كل من الهيكل المجرد والتفاصيل الدقيقة في آن واحد.

2. المنهجية: VideoFlexTok

يقترح VideoFlexTok إطار عمل للترميز مرن الطول، ومن الخشن إلى الناعم (Coarse-to-Fine). فبدلاً من الشبكة الثابتة، يمثل الفيديوهات كسلسلة متغيرة الطول من الرموز، حيث تلتقط الرموز الأولى الدلالات المجردة والحركة، بينما تضيف الرموز اللاحقة تفاصيل أكثر دقة.

البنية الأساسية

النظام عبارة عن مشفر تلقائي (Autoencoder) يتكون من مشفر (Encoder) ومفكك شفرة تدفق توليدي (Generative Flow Decoder).

أ. المشفر (التسلسل الهرمي من الخشن إلى الناعم)

المدخلات: يأخذ مدخلات VAE مكانية-زمانية ثلاثية الأبعاد (إطارات فيديو مضغوطة) ويدمجها مع رموز سجل (Register Tokens) قابلة للتعلم على طول البعد الزمني.
الانتباه السببي الزمني (Time-Causal Attention): يستخدم المشفر قناع انتباه سببي زمني، مما يضمن أن الرموز عند الزمن $t$ تنتبه فقط للإطارات الماضية ( $<t$ ). هذا يحافظ على البنية الزمنية ويسمح بالتوافق مع نظام البث (Streaming).
الحذف المتداخل (Nested Dropout): لتحفيز بنية "من الخشن إلى الناعم"، يطبق المشفر حذفًا متداخلاً على رموز السجل. يقوم بحذف عدد متغير من الرموز من نهاية التسلسل عشوائياً أثناء التدريب. هذا يجبر الرموز الأولى على تشفير المعلومات الأكثر أهمية (الدلالات، الحركة) لضمان إمكانية إعادة البناء حتى مع وجود عدد قليل من الرموز.
الانحياز الدلالي (خسارة REPA): لمنع الرموز الأولى من التقاط مجرد ضوضاء منخفضة المستوى، قام المؤلفون باستخلاص الميزات من مشفر رؤية مدرب مسبقاً ذاتي الإشراف (DINOv2) في المرمّز باستخدام خسارة محاذاة التمثيل (REPA). يضمن ذلك أن تلتقط الرموز الأولية معلومات دلالية وهندسية ذات مغزى.
الكمية (Quantization): يتم تكميم رموز السجل الناتجة باستخدام الكمية القياسية المحدودة (FSQ) لإنشاء مفردات منفصلة للنمذجة التكرارية (Autoregressive modeling).

ب. مفكك الشفرة (التدفق التوليدي)

البنية: نموذج تدفق مستقيم (Rectified Flow) (وهو نوع من التدفق الطبيعي المستمر) يعمل كمفكك شفرة توليدي.
الوظيفة: يأخذ عدداً متغيراً من الرموز (من الجانب الخشن من التسلسل) ومدخلات VAE المشوشة. يمكنه إعادة بناء فيديو واقعي من أي عدد من الرموز (على سبيل المثال، رمز واحد لكل إطار لرسم تخطيطي تقريبي، أو 256 رمزاً للتفاصيل الكاملة).
التعامل مع الفيديوهات الطويلة: بالنسبة للفيديوهات الطويلة، يستخدم مفكك الشفرة استراتيجية تقسيم (Chunking) مع إطارات متداخلة، حيث يشترط الإطارات الأخيرة المولدة لتحديد التتابع في الأجزاء اللاحقة للحفاظ على الاتساق الزمني.

ج. التوليد اللاحق

يتم تغذية الفيديو المرمز إلى محول تكراري (AR Transformer) (شبيه بـ GPT) لمهام مثل "الفئة إلى فيديو" (C2V) و"النص إلى فيديو" (T2V).
يتنبأ النموذج التكراري بتسلسل الرموز. ولأن الرموز مصممة من الخشن إلى الناعم، يمكن للنموذل التكراري التوقف عن التوليد مبكراً (مثلاً بعد 4 رموز/إطار) لإنتاج فيديو منخفض الدقة ولكنه دقيق دلالياً، أو الاستمرار حتى 256 رمزاً للحصول على دقة عالية.

3. المساهمات الرئيسية

تمثيل مرن الطول: على عكس المرمّزات ذات الشبكة الثابتة، يسمح VideoFlexTok بتعديل عدد الرموز ديناميكياً بناءً على الاحتياجات (مثل ميزانية الحوسبة مقابل الجودة)، دون تغيير مدة الفيديو.
بنية ناشئة من الخشن إلى الناعم: من خلال الحذف المتداخل والانحياز الدلالي، تلتقط الرموز القليلة الأولى بشكل ناشئ الدلالات عالية المستوى (هوية الكائن، هندسة المشهد، الحركة)، بينما تقوم الرموز اللاحقة بتحسين التفاصيل.
مفكك شفرة تدفق توليدي: مفكك شفرة قادر على إنتاج فيديوهات واقعية من أي عدد من الرموز، مما يتيح مقايضة بين سرعة/جودة التوليد وميزانية الرموز.
تدريب كفء حوسبياً: أثبت أن النماذج اللاحقة يمكن أن تحقق أداءً مماثلاً أو أفضل باستخدام عدد أقل بكثير من المعلمات ورموز التدريب عبر الاستفادة من التمثيل المضغوط والغني دلالياً.

4. النتائج التجريبية

قام المؤلفون بتقييم VideoFlexTok على مجموعتي بيانات Kinetics-600 (الفئة إلى فيديو) و Panda-70M (النص إلى فيديو).

مكاسب الكفاءة:
- حجم النموذج: حقق نموذج يعتمد على VideoFlexTok جودة توليد (gFVD) ومحاذاة (ViCLIP/Cls Score) مماثلة لنموذج بـ 5 أضعاف الحجم (1.1 مليار مقابل 5.2 مليار معلمة) مقارنة بمرمّز الشبكة ثلاثية الأبعاد القياسي.
- رموز التدريب: حقق أداءً مماثلاً باستخدام 5-10 أضعاف أقل من رموز التدريب.
- توليد الفيديو الطويل: نجح في تدريب نموذج "نص إلى فيديو" لتوليد فيديوهات مدتها 10 ثوانٍ (81 إطاراً) باستخدام 672 رمزاً فقط إجمالاً. بينما كان يتطلب مرمّز الشبكة ثلاثية الأبعاد المماثل 5,376 رمزاً (8 أضعاف أكثر) لنفس المدة.
مقاييس الجودة:
- الدقة (gFVD): حافظ VideoFlexTok على دقة تنافسية أو متفوقة حتى مع تقليل عدد الرموز بشكل كبير (مثلاً 4 رموز/إطار).
- المحاذاة: أظهر النموذج محاذاة فائقة مع الشروط النصية/الفئوية، مما يشير إلى أن الرموز الخشنة تلتقط "القصد" من النص بفعالية.
- إعادة البناء: بينما كانت مقاييس مستوى البكسل (MSE) أقل قليلاً من النماذج المرجعية ذات الشبكة الثابتة (بسبب التركيز على الدلالات)، كانت المقايسات الإدراكية (rFVD, rFID) تنافسية للغاية.
دراسات الاستئصال (Ablation Studies):
- خسارة REPA: أدى إزالة خسارة الانحياز الدلالي إلى تدهور الأداء بشكل ملحوظ في حالات عدد الرموز المنخفض، مما يثبت ضرورتها لالتقاط المعلومات المجردة.
  ما الانتباه السببي: استخدام الانتباه السببي الزمني في مفكك الشفرة حسن أداء التوليد اللاحق مقارنة بالانتباه الكامل، حيث نظم الرموز بشكل أفضل للتنبؤ.
- ترتيب الرموز: تفوق أسلوب التوليد "الأول زمنياً" (التنبؤ بالرمز 1 لجميع الإطارات، ثم الرمز 2، وهكذا) على أسلوب "العمق أولاً" في حالة التوليد مرن الطول.

5. الأهمية والأثر

ديمقراطية توليد الفيديو: من خلال تقليل ميزانية الرموز المطلوبة للفيديوهات الطويلة (مثل 10 ثوانٍ) بشكل جذري، يخفض VideoFlexTok الحاجز الحوسبي لتدريب وتشغيل نماذج توليد الفيديو عالية الجودة، مما يجعلها متاحة على أجهزة أصغر.
نموذج جديد للترميز: ينقل التركيز من "إعادة بناء البكسلات المثالية" إلى "الضغط الواعي دلالياً"، مما يسمح للنماذج بالتفكير في محتوى الفيديو بمستويات مختلفة من التجريد.
القابلية للتوسع: تمكن هذه الطريقة من تدريب نماذج فيديو أكبر وأكثر قدرة دون التكلفة الباهظة المرتبطة بزيادة مدة الفيديو أو الدقة.
المرونة: يوفر إطار عمل موحداً حيث يمكن لنموذج واحد توليد فيديوهات بدقات ومستويات تفصيل متفاوتة ببساطة عن طريق تعديل عدد الرموز المولدة، مما يلغي الحاجة إلى نماذج متعددة متخصصة.

باختصار، يعيد VideoFlexTok تعريف ترميز الفيديو من خلال الانتقة من الشبكات الصلبة إلى تسلسل هرمي مرن يعطي الأولوية للفهم الدلالي، مما يتيح توليد فيديو أكثر كفاءة وقابلية للتوسع.