CachedSearch: Training-Free Cached Exploration for Test-Time Search in Video Diffusion
تقدم الورقة البحثية CachedSearch، وهي طريقة لا تتطلب تدريباً تعمل على تسريع عملية البحث في زمن الاختبار لنماذج الانتشار بالفيديو من خلال التخزين المؤقت المكثف للمخركات المرشحة للحفاظ على دقة التصنيف، ثم إعادة توليد الفائز الأعلى فقط بالحوسبة الكاملة، مما يحقق مكاسب أداء تقارب المستوى الأمثل بتكلفة أقل بكثير عبر مختلف بنيات النماذج.
المؤلفون الأصليون:Shreshth Saini, Neil Birkbeck, Yilin Wang, Balu Adsumilli, Alan C. Bovik
تخيل أنك تحاول العثور على الأغنية المثالية في مكتبة ضخمة. لديك مساعد سريع جداً، لكنه أخرق قليلاً، يمكنه مسح آلاف الأغاني في ثوانٍ، ولكنه يخلط أحياناً بين الكلمات أو يتخطى إيقاعاً ما. ولديك أيضاً مساعد بطيء ومحب للكمال، يستمع إلى كل نوتة موسيقية بدقة، لكنه يستغرق وقتاً طويلاً لفحص أغنية واحدة فقط. في عالم الذكاء الاصطناعي، وتحديداً في "توليد الفيديو"، نحن في موقف مشابه. يمكن لنماذج الذكاء الاصطناعي إنشاء مقاطع فيديو من أوصاف نصية، لكن صنع فيديو واحد عالي الجودة أمر مكلف وبطيء للغاية، تماماً مثل استئجار المساعد المحب للكمال لكل أغنية. وللحصول على أفضل نتيجة، يستخدم الباحثون حيلة تسمى "البحث في وقت الاختبار" (test-time search): حيث يطلبون من الذكاء الاصطناعي إنشاء العديد من النسخ المختلفة من الفيديو (المرشحين) ثم اختيار الأفضل من بينها. المشكلة هي أن صنع كل تلك النسخ المرشحة يكلف ثروة من الوقت وقوة الحوسبة، ومعظمها يتم التخلص منه على أي حال.
تقدم هذه الورقة البحثية استراتيجية ذكية تسمى CachedSearch لحل هذه المشكلة المكلفة. فكر في الأمر كمنظومة "مسودة ثم نهائي". بدلاً من طلب كتابة كل نسخة مرشحة من الصفر من المساعد المحب للكمال، يستخدم الفريق المساعد السريع والأخرق لإنشاء مسودات أولية سريعة لجميع الخيارات. إنهم يستخدمون حيلة "التخزين المؤقت" (caching) الخاصة لتسريع ذلك، والتي تعيد استخدام أجزاء من العمل من خطوة إلى أخرى، مما يجعل المسودات تظهر أسرع بمرتين تقريباً. والأهم من ذلك، اختبر الباحثون ما إذا كانت هذه المسودات الأولية جيدة بما يكفي لتحديد أي فيديو هو الأفضل. وقد وجدوا أنه على الرغم من أن المسودات ليست مثالية، إلا أنها ترتب المرشحين بنفس الطريقة التي يفعلها الإصدار البطيء والمثالي تماماً. لذا، فإن الاستراتيجية هي: استخدم المسودات السريعة للعثور على الفائز، ثم اطلب من المساعد البطيء والمثالي فقط أن يصنع فيديو هذا الف winner الوحيد من الصفر.
النتائج مبهرة. فباستخدام نهج "استكشف بتكلفة منخفضة، ثم التزم بالكامل"، وجد الفريق أنه يمكنهم الحفاظ على حوالي 94.7% من تحسن الجودة الذي قد تحصل عليه من فحص كل خيار بشكل مثالي، لكنه لا يكلف سوى 63% من الوقت. في الواقع، إذا كان لديك نفس القدر من الوقت (الميزانية) المخصص لفحص أربعة فيديوهات مثالية، فإن هذه الطريقة تسمح لك بفحص ثماني مسودات أولية، والعثور على الأفضل، وجعلها مثالية، مما يؤدي إلى نتيجة أفضل بنسبة 38% من الطريقة القديمة. تُظهر الورقة البحثية أن هذا يعمل عبر نماذج ذكاء اصطناعي مختلفة، من النماذج الصغيرة التي تحتوي على 1.3 مليار معلمة إلى النماذج الضخمة التي تحتوي على 14 مليار معلمة. الاكتشاف الرئيسي هو أن "الأخطاء" التي ترتكبها المسودات السريعة تحدث غالباً عندما تكون الفيديوهات متشابهة بالفعل لدرجة أن الاختيار بينها لا يهم تقريباً. وهذا يعني أن الطريقة آمنة للاستخدام دون الحاجة إلى إعادة تدريب نماذج الذكاء الاصطناعي، فهي تعمل بمثابة ترقية جاهزة (plug-in) تجعل توليد الفيديو أسرع بكثير وأقل تكلفة دون فقدان السحر.
ملخص تقني: البحث المخبأ (CachedSearch) - الاستكشاف المخبأ الخالي من التدريب للبحث في وقت الاختبار في نماذج انتشار الفيديو
1. بيان المشكلة
تمثل نماذج انتشار الفيديو (Video diffusion models) واحدة من أكثر أعباء العمل الحوسبية تكلفة في التوليد. استراتيجيات البحث في وقت الاختبار (مثل Best-of-N)، التي تقوم بأخذ عينات من عدة مرشحين لاختيار المخرج الأعلى تقييمًا عبر مُحقِّق (verifier)، تضاعف هذه التكلفة بمقدار 2 إلى 10 مرات. في نظام Best-of-N القياسي، يتم توليد كل مرشح بالتكلفة الحوسبية الكاملة، على الرغم من استبعاد غالبية النتائج.
بينما توجد تقنيات التخزين المؤقت (caching) الخالية من التدريب لتسريع عمليات التوليد الفردية عن طريق إعادة استخدام الميزات عبر خطوات إزالة الضجيج (مما يحقق تسريعًا بمقدار 2-3 أضعاف)، فإن تطبيقها على البحث في وقت الاختبار لم يُستكشف بعد. العقبة الجوهرية هنا دقيقة: التخزين المؤقت يفقد بعض البيانات (lossy). فبينما قد يحافظ على الدقة على مستوى البكسل في المقارنات المتطابقة مع البذرة (seed)، فمن غير الواضح ما إذا كان يحافظ على الترتيب النسبي للمرشحين تحت إشراف المُحقِّق. إذا أدى التخزين المؤقت إلى إعادة ترتيب التصنيفات، فقد تختار عملية البحث المرشح الخاطئ، مما يبطل مكاسب الكفاءة. تعالج هذه الورقة ما إذا كان التخزين المؤقت يفسد تصنيفات المرشحين في بحث فيديو وقت الاختبار وتقترح طريقة لاستخدام التخزين المؤقت بشكل آمن.
2. المنهجية: البحث المخبأ (CachedSearch)
يقترح المؤلفون CachedSearch، وهو بروتوكول خالٍ من التدريب ومستقل عن المُحقِّق، يقوم بفصل عملية الاستكشاف عن عملية التسليم. تعمل الطريقة على مبدأ أنه بينما قد تتدهور دقة البكسل قليلاً تحت تأثير التخزين المؤقت، إلا أن الترتيب النسبي للمرشحين يظل ثابتًا في الغالب.
سير العمل الأساسي
الاستكشاف (رخيص): توليد N من المرشحين باستخدام تخزين مؤقت مكثف. يقوم غلاف (wrapper) باعتراض استدعاءات المحول (transformer) وتخطي الحوسبة عندما يكون الانحراف المتراكم للمدخلات أقل من عتبة τ.
التقييم (Scoring): تقييم جميع المرشحين الـ N المخبأين باستخدام مُحقِّق (مثل ImageReward).
الاختيار (Selection): تحديد البذرة (seed) المقابلة لأعلى مرشح مسجل في التقييم من بين المرشحين المخبأين.
التثبيت (كامل التكلفة): إعادة توليد البذرة الفائزة فقط بالتكلفة الحوسبية الكاملة (بدون تخزين مؤقت) لإنتاج المخرج النهائي.
التنفيذ التقني
تخزين متجه التحول التكيفي: تقوم الطريقة بتغليف محول الانتشار (DiT) باستخدام نسخة مطورة من EasyCache. بدلاً من تخزين المخرات الخام، تقوم بتخزين متجه التحول Δ=vθ(xref)−xref.
قاعدة التخطي (Skip Rule): يتتبع مؤشر الانحراف المتراكم a التغير النسبي في المدخلات الكامنة. إذا كان a≤τ، يتم تخطي استدعاء المحول، ويُستخدم التقريب v^θ(x)=x+Δ. وبمجرد أن يصبح a>τ، يتم تقييم المحول وتحديث الحالة.
الحتمية (Determinism): العملية حتمية بالنسبة لـ (c,s,τ) الثابتة، مما يضمن أن مرحلة "التثبيت" تعيد إنتاج العينة المطابقة تمامًا ذات الحوسبة الكاملة للبذرة المختارة.
نموذج التكلفة: تكلفة CachedSearch هي N⋅Cc+Cf، حيث Cc هي تكلفة التوليد المخبأ و Cf هي التكلفة الكاملة. وهي أرخص بكثير من Best-of-N الكامل (N⋅Cf) عندما يكون N>N∗=1/(1−γ)، حيث γ=Cc/Cf.
3. المساهمات الرئيسية
أول دراسة حول حفظ الترتيب: تقدم الورقة أول دراسة تجريبية حول ما إذا كان التخزين المؤقت يحافظ على ترتيب المرشحين تحت البحث في وقت الاختبار. وقد وضعت بروتوكولًا متطابقًا مع البذرة تم تقييمه على gate grid و VBench و VBench-2.0.
بروتوكول "استكشف برخص، ثبت بالكامل": تقدم CachedSearch، التي تحتفظ بـ 94.7% من مكسب المكافأة (reward gain) لعملية Best-of-8 الكاملة بتكلفة زمنية قدرها 63% فقط.
تحليل الفساد (Corruption Analysis): تثبت أن أخطاء الترتيب هي "ذاتية الحد" (self-limiting). حيث يتركز الفساد في المطالبات (prompts) التي يكون فيها المرشحون متقاربين جدًا (فارق الدرجات ضئيل). في هذه الحالات، اختيار المرشح "الخاطئ" يسبب حدًا أدنى من الندم (regret).
القدرة على التعميم: تُظهر أن الطريقة تنتقل عبر ستة نماذج وأربع عائلات معمارية (Wan, LTX, CogVideoX, Hunyuan) تتراوح من 1.3B إلى 14B معلمة، مما يتطلب فقط إعادة معايرة معلمة واحدة (τ) لكل عائلة.
القابلية للتركيب (Composability): تثبت أن CachedSearch تتراكم ضربيًا مع طرق تقليص المرشحين (candidate pruning)، محققة تسريعًا في الاستكشاف بمقدار 3.11 ضعفًا.
4. النتائج التجريبية
أُجري التقييم بشكل أساسي على Wan2.1-T2V-1.3B، مع تكرار النتائج على نماذج أكبر ومجموعات مختلفة.
حفظ الترتيب:
في مجموعة VBench (946 مطالبة)، بلغ وسيط ارتباط رتب سبيرمان (ρ) لكل مطالبة بين الدرجات المخبأة والدرجات الكاملة 0.905.
اتفاق أفضل مرشح (Top-1 agreement) (اختيار نفس أفضل مرشح) هو 72%.
كررت VBench-2.0 (وهي مجموعة أصعب) هذه النتائج مع ρ=0.881.
الكفاءة واقتناص المكاسب:
عند N=8، تلتقط CachedSearch 94.7% من مكسب المكافأة لعملية Best-of-8 الكاملة بتكلفة 63% فقط.
تحت ميزانية ثابتة، تسمح بالبحث بشكل أوسع (على سبيل المثال، 8 مرشحين مقابل 4)، مما يحقق 38% مكافأة أكثر من Best-of-4 الكامل.
تتوسع الطريقة مع العرض: عند N=16، تلتقط 95.7% من المكسب بتكلفة 57%.
تحليل الندم (Regret Analysis):
متوسط الندم منخفض (0.056 في VBench)، مع وسيط قدره 0.
72% من المطالبات لا تعاني من أي ندم.
تحدث الأخطاء أساسًا في سيناريوهات التشتت المنخفض (low-spread) حيث تكون قيمة الاختيار الصحيح منخفضة بطبيعتها.
عمومية النموذج:
تعمل الطريقة عبر مقياس 1.3B–14B. حقق نموذج Wan2.1-14B نفس وسيط ρ (0.905) كما حققه نموذج 1.3B.
النماذج من عائلات أخرى (مثل CogVideoX-5B) تتطلب إعادة معايرة τ (على سبيل المثال، من 0.10 إلى 0.05) للحفاظ على معدلات اقتناص عالية (>85%).
المقارنة مع البدائل:
مقارنة بـ "تقليص الخطوات" (step truncation) (تقليل خطوات إزالة الضجيج)، يحافظ التخزين المؤقت على قيمة بحث أكبر بكثير (اقتناص 90.1% مقابل 72.6% للتقليص) لأنه يغير نفس المسار بدلاً من أخذ عينات من توزيع مختلف.
يتوافق مع محركات تخزين مؤقت مختلفة (PAB, CFG-Cache, TeaCache)، مما يشكل جبهة موحدة بين السرعة والاقتناص.
5. الأهمية والادعاءات
تدعي الورقة أن CachedSearch هي "مضاعف إضافي" (plug-in multiplier) لزيادة نطاق التوسع في وقت الاختبار لنماذج انتشار الفيديو. تكمن أهميتها في:
فصل الدقة عن الترتيب: توضح أنه لأغراض البحث، لا يجب أن يكون المرشحون مثاليين على مستوى البكسل؛ بل يجب أن يكونوا "صادقين" بشأن ترتيبهم النسبي فقط.
تقليل التكلفة بدون تدريب: تحقق استبقاء جودة يقارب المثالية وتقليلًا كبيرًا في التكلفة (حتى 3.11× عند الجمع مع التقليص) دون الحاجة إلى ضبط دقيق (fine-tuning) أو تعديل أوزان النموذج.
القابلية للتوسع: النهج مستقل عن خوارزمية البحث والمُحقِّق، مما يجعله قابلًا للتطبيق على أي حلقة (بحث ثم ترتيب).
الأثر العملي: يتيح للنماذج الأصغر (مثل 1.3B) منافسة النماذج الأكبر من خلال السماح بمساحات بحث أوسع ضمن نفس الميزانية الحوسبية، مما يساهم فعليًا في دمقرطة توليد الفيديو عالي الجودة.
يخلص المؤلفون إلى أن الدرس يمتد إلى ما وراء التخزين المؤقت: يمكن لأي مسرع يفقد بعض البيانات (lossy accelerator) أن يدعم الاستكشاف إذا اجتاز تدقيق "الترتيب والندم"، مما يقترح اتجاهًا جديدًا لتخصيص الميزانيات عبر المسرعات في مجال الذكاء الاصطناعي التوليدي.