ملخص تقني: Proprio: التقييم الذاتي الكامن والتحسين أثناء الاستدلال لتوليد فيديو يتوافق مع القوانين الفيزيائية

1. بيان المشكلة

حققت نماذج توليد الفيديو الحديثة، ولا سيما البنى القائمة على الانتشار (diffusion-based architectures)، دقة بصرية مذهلة. ومع ذلك، فإنها غالبًا ما تنتهك المبادئ الفيزيائية الأساسية، حيث تنتج فيديوهات تتضمن تصادمات غير واقعية، أو تفاعلات مستحيلة بين الأجسام، أو ديناميكيات غير متسقة. هذه الإخفاقات تحد من فائدتها كنماذج عالم موثوقة للتطبيقات اللاحقة مثل الروبوتات والمحاكاة.

تعتمد الحلول الحالية لهذه المشكلة عادةً على آليات تغذية راجعة خارجية:

• تدخلات وقت التدريب: حقن المبادئ الفيزيائية المسبقة أو استخدام مجموعات بيانات منسقة (مثل [35, 24]).
• مقوِّمات خارجية أثناء الاستدلال: استخدام نماذج الرؤية واللغة (VLMs) أو نماذج العالم الكامنة المدربة مسبقًا (مثل V-JEPA [37, 41]) لتقييم وتوجيه عملية التوليد.

يحدد المؤلفون قصورين حرجين في نموذج التغذية الراجعة الخارجية:

1. التحيز وعدم المواءمة: غالبًا ما تخلط نماذج الرؤية واللغة (VLMs) بين المعقولية الفيزيائية وبين المواءمة بين النص والصورة أو الجماليات البصرية. كما تعمل نماذج العالم المدربة مسبقًا في مساحات تمثيل خاصة بها، مما يخلق عدم تطابق مع الفضاء الكامن للمولد.
2. الافتقار إلى الاتساق الداخلي: تعمل المقوِّمات الخارجية بأهداف مختلفة ولا تتوافق مع ديناميكيات إزالة الضجيج (denoising dynamics) الخاصة بالمولد، مما قد يؤدي إلى تفويت حالات عدم الاتساق الخاصة بالمولد عبر خطوات أخذ العينات.

يطرح البحث سؤالًا مركزيًا: هل يمكن لمولد الفيديو أن يستفيد من ديناميكيات إزالة الضجيء الخاصة به كإشارة ذاتية لاحتواء وتقييم المعقولية الفيزيائية لمخرجاته؟

2. المنهجية: Proprio

يقترح المؤلفون Proprio، وهو إطار عمل يعمل أثناء الاستدلال ولا يتطلب تدريبًا، يُمكّن مولد فيديو مجمدًا من تقييم وتحسين مخرجاته. مستوحى من "الحس العميق" (proprioception) البيولوجي (وهو الإحساس بحركة الجسم)، تعامل الطريقة بقايا التدفق (flow residual) الداخلي للنموذذ تحت اضطرابات محكومة كإشارة تقييم ذاتي.

2.1 المفهوم الجوهري: بقايا التدفق كتقييم ذاتي

تعتمد الطريقة على ملاحظة أن العينات المتسقة مع التوزيع الذي تعلمه المولد (أي الديناميكيات الطبيعية) يجب أن تسبب بقايا أصغر وأكثر استقرارًا عند تعرضها للاضطراب.

• الاضطراب: بالنسبة لـ $z_0$ (فيديو كامن مُولد)، تقوم الطريقة بإنشاء كامنات مضطربة $z_t$ عند خطوات زمنية مختلفة للمجدول (scheduler timesteps) باستخدام ضوضاء محكومة $\epsilon$.
• حساب البقايا: يتنبأ النموذج بحقل تدفق $\hat{v}_\theta(z_t, t, c)$. النقل المستهدف هو $v^*(z_0, \epsilon) \approx \epsilon - z_0$. وبقايا التدفق هي التفاوت:
  $$r(z_0, \epsilon, t; c) = \hat{v}_\theta(z_t, t, c) - v^*(z_0, \epsilon)$$
• التقييم: يعمل معيار مربع هذه البقايا كدرجة محلية. تشير البقايا الأقل إلى أن النموذج يمكنه "شرح" العينة بشكل أفضل تحت تأثير الاضطراب، مما يعني معقولية فيزيائية أعلى.

2.2 تجميع الإشارة والتحسين

لإنشاء درجة قوية، يقوم Proprio بتجميع البقايا عبر أبعاد متعددة:

1. تعدد الاضطرابات وتعدد الخطوات الزمنية: يتم حساب متوسط الدرجة عبر عمليات تحقق متعددة للضوضاء وخطوات زمنية مختلفة لتقليل الحساسية تجاه حالات ضوضاء معينة.
2. الوزن العكسي للتباين: يتم خفض وزن الخطوات الزمنية التي تتميز بتباين عالٍ في البقايا (تقديرات غير مستقرة)، بينما تُعطى الأولوية للخطوات الزمنية المستقرة.
3. القناع الزماني-المكاني الديناميكي: يتم تطبيق قناع $\mathcal{M}$ للتركيز على المناطق المتعلقة بالحركة، مما يفلتر ضوضاء الخلفية الساكنة الأقل أهمية للمعقولية الفيزيائية. تم استكشاف ثلاث استراتيجيات للقناع:
   • قناع الحركة: يعتمد على الاختلافات الزمنية في الإطارات التي تم فك تشفيرها.
   • القناع المدرك للنص: يعتمد على تغيرات الانتباه المتقاطع (cross-attention) بين الكلمات الكامنة ورموز المطالبة (prompt tokens).
   • قناع قائم على الانتباه: يعتمد على تغيرات ميزات الانتباه الذاتي (self-attention).

2.3 استراتيجيات وقت الاستدلال

يستخدم Proprio الدرجة المحسوبة $S(z_0)$ في نمطين أساسيين:

1. البحث عن الأفضل من بين N (Best-of-N Search): توليد $N$ من الكامنات المرشحة واختيار الكامن الذي يحقق أدنى درجة ذاتية.
2. التحسين الذاتي (Self-Refinement): بدلًا من إعادة تدريب المولد، تقوم الطريقة بتحسين الضوضاء الأولية لأخذ العينات. يتم تمثيل الضوضاء كـ $\zeta = \mu + \sigma \odot \zeta_0$ (حيث $\zeta_0$ هي الضوضاء الأساسية)، ويُستخدم الانحدار الاشتقاقي (gradient descent) لتحديث $\mu$ و $\sigma$ لتقليل درجة Proprio. يضمن منظم تباعد KL بقاء الضوضاء المُحسّنة قريبة من التوزيع الطبيعي الأصلي.

3. المساهمات الرئيسية

1. التقييم الذاتي الأصيل للمولد: تقديم إطار عمل لا يتطلب تدريبًا يعيد استخدام بقايا إزالة الضجيج الخاصة بمولد فيديو مجمد كبديل داخلي للمعقولية الفيزيائية، مما يلغي الحاجة إلى نماذج مكافأة خارجية.
2. المواءمة الذاتية أثناء الاستدلال: آلية لتحويل هذه الدرجة الذاتية إلى هدف تحسين، من خلال تحسين مخرجات عملية أخذ العينات عن طريق تحديث معاملات الضوضاء الأولية فقط مع إبقاء أوزان المولد ثابتة.
3. التحقق التجريبي: إثبات التحسن المستمر في كل من معايير "النص إلى فيديو" (T2V) و"الصورة إلى فيديو" (I2V)، مما يظهر أن مولدًا واحدًا مجمدًا يمكن أن يعمل كمأخذ عينات ومقيم ذاتي في آن واحد.

4. النتائج التجريبية

قام المؤلفون بتقييم Proprio على معايير VideoPhy2 (T2V) و Physics-IQ (I2V)، ومقارنته بالاختيار العشوائي، والمقيمات القائمة على نماذج الرؤية واللغة (Qwen-7B)، والأساسات الخارجية لنماذج العالم (WMReward).

• مكاسب الأداء:

  • على نموذج TurboWan2.2، يحسن Proprio مقياس Physics-IQ من 32.2 إلى 37.5 (+16.5%)، ومقياس VideoPhy2-hard physical commonsense من 45.6 إلى 55.0 (+20.6%).
  • يتفوق Proprio باستمرار على التقييم القائم على نماذج الرؤية واللغة (VLMs)، وغالبًا ما يتجاوز WMReward، خاصة في مقاييس المنطق الفيزيائي الشائع (PC).
  • يوفر نهج التقييم الهجين (الذي يجمع بين الدرجات العالمية والمدركة للحركة) التوازن الأكثر قوة بين الالتزام الدلالي والاتساق الفيزيائي.

• التقييم البشري:

  • في المقارنات الثنائية، فضل المقيمون البشريون الفيديوهات المختارة أو المُحسّنة بواسطة Proprio من حيث المعقولية الفيزيائية في حوالي 67% من الحالات.
  • تم الحفاظ على الجودة البصرية إلى حد كبير، حيث لم يظهر المقيمون تفضيلًا قويًا ضد النموذج الأساسي في كثير من الحالات، مما يشير إلى أن التحسينات ليست على حساب الجماليات.

• رؤى من دراسة الاستبعاد (Ablation):

  • مستويات الضوضاء: تنشأ أكثر إشارات التقييم غزارة من الضوضاء متوسطة المستوى (0.3–0.6 من خطوات أخذ العينات). الضوضاء المنخفضة تكون محلية للغاية، بينما تفقد الضوضاء العالية الهيكل الخاص بالعينة.
  • الوزن المعتمد على التباين: يحسن الوزن العكسي للتباين الأداء بشكل كبير في النماذج غير المقطرة (non-distilled) من خلال منح الأولوية للخطوات الزمنية المستقرة.
  • البحث مقابل التحسين: البحث (Best-of-N) فعال للغاية في T2V نظرًا للتنوع العالي في المشاهد. أما في I2V، حيث تكون المرشحات مرتبطة بنفس الصورة، فإن التحسين يلعب دورًا أكثر هيمنة.

5. الأهمية والادعاءات

يدعي البحث أن مولدات الفيديو المجمدة تحتوي على إشارات داخلية قابلة للتنفيذ لتقييم وتحسين المعقولية الفيزيائية. من خلال إعادة تفسير بقايا تدفق النموذج كإشارة تفضيل للاحتمالية، يثبت Proprio أن:

• المقيمات الخارجية ليست ضرورية بالضرورة للمواءمة الفيزيائية؛ فالديناميكيات الداخلية للمولد كافية.
• التوسع أثناء الاستدلا (البحث والتحسين) يمكن أن يحقق مكاسب كبيرة دون الحاجة لإعادة التدريب.
• تقدم الطريقة تحولًا في المنظور: قد تستغل الأنظمة المستقبلية بشكل متزايد الإشارات الداخلية للمولد للتقييم الذاتي بدلاً من الاعتماد فقط على الإشراف الخارجي أو نماذج المكافأة المساعدة.

القيود المعترف بها:

• يقتصر Proprio على المعرفة المشفرة في المولد الأساسي؛ فلا يمكنه استعادة الديناميكيات التي لم يتعلمها النموذج.
• تزيد الطريقة من تكلفة الاستدلال بسبب الحاجة إلى عمليات تقييم متعددة للمرشحين وعمليات التحسين.
• يعتمد التحسين القائم على التدرج حاليًا على النماذج المقطرة (distilled models) من أجل الجدوى الحسابية، حيث تظل عملية الانتشار العكسي عبر مسارات إزالة الضجيج الطويلة في النماذج الكبيرة مكلفة للغاية.