PhyPrompt: RL-based Prompt Refinement for Physically Plausible Text-to-Video Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان: "PhyPrompt: تحسين الأوامر (Prompts) القائم على التعلم المعزز لتوليد فيديو من نص يتسم بالواقعية الفيزيائية."

1. بيان المشكلة

تنتج نماذج توليد الفيديو من النص (T2V) الحديثة مقاطع فيديو عالية الجودة بصرياً، لكنها غالباً ما تنتهك القوانين الفيزيائية الأساسية (مثل انتقال الأشياء آنياً، أو تجاهل الجاذبية، أو مرور الأجسام عبر بعضها البعض).

• السبب الجذري: تجادل الورقة بأن هذا ليس قصوراً في نماذج توليد الفيديو نفسها، بل هو نقص في صياغة الأوامر (Prompt Deficiency). فنماذج (T2V) مدربة على أوامر وصفية دقيقة، لكنها غالباً ما تتلقى أوامر مستخدم موجزة وغير محددة أثناء الاستنتاج.
• العقبة: إن إعادة كتابة الأوامر يدوياً لتضمين تفاصيل فيزيائية صريحة (مثل "مستوى السائل يرتفع بثبات") ينجح في إنتاج فيديوهات واقعية فيزيائياً، لكن هذا يتطلب خبرة في المجال، وهو أمر يستغرق وقتاً طويلاً ولا يمكن توسيعه.
• محدودية الحلول الحالية:
  • Promptist: يحسن الجماليات، وليس الفيزياء.
  • GPT-4o/LLMs: يمكنها تحسين الفيزياء، لكنها غالباً ما تضعف الدقة الدلالية (SA) وتفتقر إلى التحسين المنهجي للمنطق السليم على مستوى الفيديو.
  • PhyT2V: يستخدم التحسين الذاتي التكراري، لكنه غير فعال بسبب آليات "الخطوة للخلف" (step-back) المعقدة وجولات التلقين المتعددة.

2. المنهجية: إطار عمل PhyPrompt

إن PhyPrompt هو إطار عمل للتعلم المعزز (RL) يتكون من مرحلتين، يستخدم نموذج لغة كبير (LLM) لإعادة صياغة أوامر المستخدم تلقائياً إلى أوصاف مدركة للفيزياء. يظل مولد الفيديو ثابتاً (Frozen)، ويتم تدريب مُعيد صياغة الأوامر فقط.

أ. المرحلة الأولى: الضبط الدقيق تحت الإشراف (SFT)

• بناء مجموعة البيانات: أنشأ المؤلفون مجموعة بيانات "سلسلة الأفكام" (Chain-of-Thought) بناءً على PhyGenBench. وتتكون من ثلاثيات: (الأمر الأصلي، سلسلة الاستنتاج، الأمر المحسّن).
• العملية: يتم ضبط نموذج لغة كبير (Qwen2.5) بدقة على هذه المجموعة ليتعلم كيفية الاستنتاج حول القوانين الفيزيائية (مثل القوة، الحركة، ديناميكا السوائل) وترجمتها إلى نص وصفي مع الحفاظ على قصد المستخدم الأصلي.

ب. المرحلة الثانية: التعلم المعزز عبر خوارزمية GRPO

• الخوارزمية: يستخدم المؤلفون تحسين السياسة النسبي للمجموعات (GRPO)، والذي يأخذ عينات من أوامر مرشحة متعددة لكل استعلام لتقدير المزايا دون الحاجة إلى شبكة قيمة منفصلة.
• سير العمل:
  1. يتم إعادة صياغة أمر المستخدم $x$ بواسطة الـ LLM إلى أمر محسّن $y$.
  2. يتم تغذية $y$ إلى مولد (T2V) ثابت (مثل CogVideoX-2B) لإنتاج فيديو $v$.
  3. يقوم مُقيّم آلي (VideoPhy2-Auto) بتسجيل درجة الفيديو $v$ في الالتزام الدلالي (SA) والمنطق الفيزيائي السليم (PC).
  4. يتم تحديث سياسة الـ LLM بناءً على هذه الدرجات.

ج. الابتكار الرئيسي: منهج تعليمي للمكافأة الديناميكية (Dynamic Reward Curriculum)

التحدي الجوهري هو الصراع المتأصل بين الالتزام الدلالي (SA) والمنطق الفيزيائي السليم (PC)؛ حيث يؤدي تحسين أحدهما غالباً إلى تدهور الآخر (النقل السلبي). يحل PhyPrompt ذلك باستخدام منهج مكافأة يعتمد على الوقت:

• في بداية التدريب: تعطي المكافأة وزناً كبيراً لـ الالتزام الدلالي ($w_{sa} \approx 1$). وهذا يؤسس "سقالة دلالية" (الأجسام الصحيحة، العلاقات، بنية المشهد).
• في نهاية التدريب: ينتقل وزن المكافأة تدريجياً نحو المنطق الفيزيائي السليم ($w_{pc} \to 1$). وهذا يعمل على صقل السقالة بتفاصيل فيزيائية محددة (القوى، الديناميكيات، السببية).
• الآلية: تتلاشى الأوزان أسياً عبر خطوات التدريب $t$:
  $$w_{sa}(t) = \exp(-\alpha t/T), \quad w_{pc}(t) = 1 - w_{sa}(t)$$
• النتيجة: يسمح هذا النهج المرحلي للنموذج باكتشاف هياكل أوامر تركيبية تتجاوز حدود الأداء الناتجة عن التحسين أحادي الهدف.

3. المساهمات الرئيسية

1. إثبات القدرة: أثبت أن نماذج (T2V) الحالية يمكنها توليد فيديوهات واقعية فيزيائياً إذا تم تزويدها بأوامر مدركة للفيزياء، مما حدد أن "الأمر" هو العقبة.
2. إطار عمل مبتكر (PhyPrompt): قدم مسار تدريب من مرحلتين (SFT + GRPO) لأتمتة هندسة الأوامر المدركة للفيزياء دون الحاجة لخبرة بشرية.
3. المنهج التعليمي للمكافأة الديناميكية: اقترح آلية RL جديدة تقوم بتحسين الدقة الدلالية أولاً ثم الواقعية الفيزيائية بالتتابع، مما يحقق تحسينات تآزرية تتجاوز المقايضات الثابتة متعددة الأهداف.
4. قابلية النقل في وضع "الصفر" (Zero-Shot Transferability): ينتقل المُعيد المُدرب بفعالية عبر بنيات (T2V) متنوعة وغير مرئية (Lavie, VideoCrafter2, CogVideoX) دون الحاجة لإعادة ضبط.

4. النتائج التجريبية

تم تقييم إطار العمل على معيار VideoPhy2 باستخدام أربعة مولدات (T2V): (Lavie, VideoCrafter2, CogVideoX-2B, CogVideoX-5B).

• الأداء على CogVideoX-2B (PhyPrompt-7B):

  • الالتزام الدلالي (SA): 47.8% (مقابل 43.4% للأساس).
  • المنطق الفيزيائي السليم (PC): 66.8% (مقابل 55.8% للأساس).
  • النجاح المشترك (SA $\ge$ 4 و PC $\ge$ 4): 40.8% (زيادة قدرها 8.6 نقطة مئوية عن الأساس).
  • المقارنة: يتفوق على GPT-4o (بزيادة 3.8% في النجاح المشترك) وعلى DeepSeek-V3 (الذي هو أكبر بـ 100 مرة) رغم استخدام 7 مليارات معلمة فقط.

• النقل في وضع "الصفر" (Zero-Shot Transfer):

  • عند تطبيقه على VideoCrafter2، حسّن PhyPrompt النجاح المشترك بنسبة 16.8%.
  • تفوق باستمرار على النماذج المرجعية (Promptist, PhyT2V, GPT-4o) عبر جميع المولدات المختبرة.

• دراسات الاستئصال (Ablation Studies):

  • فشل الهدف الواحد: أدى التدريب على هدف واحد فقط (إما SA أو PC) إلى نقل سلبي شديد (على سبيل المثال، التدريب على SA فقط أدى إلى انخفاض PC بنسبة 3.0%).
  • تفوق المنهج التعليمي: حقق المنهج التعليمي الديناميكي درجات أعلى في كلا المقياسين مقارنة بأفضل النماذج أحادية الهدف، مما يثبت أنه يكتشف مناطق الأوامر التي لا يمكن الوصول إليها عبر التحسين الثابت.
  • مثال نوعي: في سيناريو "المطرقة والمسمار"، فشل الوزن الثابت في تضمين المسمار (فشل دلالي)، بينما وصف منهج PhyPrompt التعليمي الديناميكي المسمار وديناميكيات القوة بشكل صحيح، مما أدى إلى فيديو متماسك فيزيائياً.

5. الأهمية

• الكفاءة فوق التوسع: توضح الورقة أن التدريب المتخصص في المجال مع تغذية راجعة مباشرة للمهمة أكثر فعالية من مجرد زيادة حجم معلمات النموذج (على سبيل المثال، يتفوق PhyPrompt-7B على DeepSeek-V3 671B).
• حل صراع الأهداف المتعددة: يوفر الورقة مخططاً لحل الأهداف المتعارضة في الذكاء الاصطواليدي التوليدي (الدلالات مقابل الفيزياء) من خلال المناهج التركيبية، مما يوضح أن التحسين المتتابع يمكن أن يؤدي إلى نتائج فائقة.
• النشر العملي: من خلال إبقاء مولد الفيديو ثابتاً وتدريب مُعيد صياغة خفيف الوزن ومستقل عن النموذج، يوفر PhyPrompt حلاً قابلاً للتوسع وفعالاً من حيث المعلمات لجعل أنظمة (T2V) مناسبة للروبوتات، والتصور العلمي، والتعليم حيث تكون الواقعية الفيزيائية أمراً بالغ الأهمية.