KGEdit: Ambiguity-Aware Knowledge Graphs for Training-Free Precise Video Generation and Editing

ملخص تقني لـ KGEdit: الرسوم البيانية للمعرفة الواعية بالغموض لتوليد وتحرير الفيديو بدقة دون الحاجة إلى تدريب

بيان المشكلة
وسعت التطورات الأخيرة في توليد الفيديو بدون تدريب (training-free) من قدرات نماذج الانتشار من النص إلى الفيديو (T2V). ومع ذلك، تعاني الطرق الحالية عند معالجة التعليمات النصية المعقدة بسبب الغموض المتأصل في اللغة الطبيعية. تعتمد النهج الحالية غالبًا على الترميز الدلالي الشامل، أو التلاعب بالانتباه المتقاطع (cross-attention)، أو التوجيه القائم على القلب (inversion-based guidance)، وهي طرق تفشل في التقاط السمات الرئيسية والعلاقات الدلالية بشكل صريح. ونتيجة لذلك، تكون النماذج عرضة للغموض الدلالي، والربط الخاطئ للمفاهيم (على سبيل المثال، تفسير كلمة "bank" كـ "مصرف مالي" بدلاً من "ضفة نهر")، وعدم الاتساق عبر الإطارات (الوميض الزمني والانجراف). ويظل تحقيق توليد فيديو دقيق ومستقر زمنياً دون تدريب إضافي للنموذج تحدياً كبيًراً، لا سيما عندما تتضمن التعليمات الهوية، أو المظهر، أو الحركة، أو التحكم في سمات متعددة.

المنهجية
يقترح المؤلفون KGEdit، وهو إطار عمل موحد يعمل بدون تدريب، مصمم لتعزيز القابلية للتفسير والتحكم من خلال هيكلة الشرط النصي نفسه بدلاً من زيادة الوسائط المدخلة. يعمل الإطار من خلال ثلاثة مكونات أساسية:

1. الرسم البيائي للمعرفة الواعي بالغموض (AAKG):

   • إزالة الغموض عن المعنى: يقوم النظام أولاً بتحديد الكلمات متعددة المعاني في المطالبة (prompt) ويختار المعنى الأكثر اتساقاً مع السياق باستخدام مصدر معرفي خارجي وسياق المطالبة.
   • بناء الرسم البياني والتجميع: يتم تنظيم الدلالات التي تمت إزالة الغموض عنها في رسم بياني مهيكل $G=(V, E)$. يتم تفكيك هذا الرسم البياني إلى أربع مجموعات دلالية متميزة:
     • الهوية ($T_{id}$): تعريفات الكيانات الأساسية.
     • العلاقة ($T_{rel}$): العلاقات بين الكيانات.
     • السمة ($T_{attr}$): أوصاف تفصيلية للمظهر والخصائص.
     • القيود السلبية ($T_{neg}$): الاستبعادات الصريحة لمنع الارتباطات غير المتوافقة (مثل "ليس مصرفاً مالياً").

2. وحدة حقن الدلالات المهيكلة (SSIM):

   • بدلاً من الاعتماد فقط على التضمينات العالمية (global embeddings)، تقوم SSIM بحقن التضمينات المفككة للمجموعات الدلالية الأربع مباشرة في الطبقات المتوسطة لمحول الانتشار (Diffusion Transformer - DiT).
   • تصيغ الوحدة مشكلة تحسين متعددة الأهداف بناءً على خرائط الانتباه المتقاطع لفرض الاتساق. وهي تحدد شروط خسارة (loss terms) محددة للهوية، والعلاقات، والسمات، والقيود السلبية، بالإضافة إلى حد الاتساق الزمني.
   • يتم دمج هذه الخسائر في هدف توجيه موحد $L_{total}(t)$، والذي يوجه عملية العكس الكامن (latent reverse process) عبر التوجيه القائم على التدرج أثناء الاستدلال.

3. التحكم الدلالي الواعي زمنياً (TASC):

   • إدراكاً بأن المكونات الدلالية المختلفة تكون حاسمة في مراحل مختلفة من عملية إزالة الضجيج (denoising)، تقوم TASC بجدولة ديناميكية لأوزان الأهداف الدلالية.
   • المرحلة المبكرة: وزن مرتفع على الهوية ($\lambda_{id}$) والقيود السلبية ($\lambda_{neg}$) لتأسيس البنية العالمية وقمع المفاهيم غير الصحيحة.
   • المرحلة المتوسطة: ذروة الوزن على العلاقات ($\lambda_{rel}$) لتوجيه التكوين المكاني بين الكيانات.
   • المرحلة المتأخرة: زيادة الوزن على السمات ($\lambda_{attr}$) لصقل التفاصيل الدقيقة والمنسوجات.
   • تمنع هذه الجدولة الديناميكية تداخل القيود الهيكلية في المرحلة المبكرة مع صقل التفاصيل في المرحلة المتأخرة، مما يحسن الاستقرار الزمني.

المساهمات الرئيسية

• إطار عمل KGEdit: نهج موحد يعمل بدون تدريب للتحكم الدلالي المهيكل في توليد وتحرير الفيديو، مما يحسن الدقة والاستقرار الزمني دون الحاجة إلى تدريب إضافي للنموذج.
• AAKG و SSIM: تقديم رسم بياني للمعرفة واعي بالغموض لتفكيك المطالبات إلى ثلاثيات مهيكلة (هوية، علاقة، سمة، سالب) ووحدة حقن دلالات مهيكلة لحقن هذه الإشارات في طبقات DiT الرئيسية، مما يعزز المحاذاة الدلالية ودقة التوليد.
• وحدة TASC: آلية تحكم دلالي واعية زمنياً تقوم بجدولة الأهداف الدلالية ديناميكياً وفقاً للخصائص المرحلية لعملية إزالة الضجيض، مما يحسن الاتساق الزمني بشكل كبير.
• التحقق التجريبي: تجارب مكثفة تثبت تفوق KGEdit على الطرق الحالية التي تعمل بدون تدريب والأطر الموحدة (مثل VACE) على مقياس VBench، محققة نتائج رائدة في مقايلات متعددة.

النتائج التجريبية
قيم المؤلفون KGEdit على مقياس VBench باستخدام العمود الفقري لانتشار الفيديو Wan 2.1 1.3B.

• الأداء الكمي: حقق KGEdit أعلى متوسط درجات (79.62) عبر سبعة مقاييس تلقائية، متفوقاً على إطار العمل الموحد VACE والأساليب المرجعية الأخرى مثل EIDT-V و Free-Bloom.
• الاتساق الزمني: تميزت الطريقة في المقاييس الزمنية، حيث حققت 99.20% في اتساق الموضوع، و99.19% في سلاسة الحركة، و98.89% في اتساق الخلفية. وهذا يسلط الضرض على فعالية TASC في منع الوميض والانجراف الدلالي.
• التحسينات النوعية: في الدراسات المستخدمة والمقارنات البصرية، أظهر KGEdit قدرة فائقة على التعامل مع المطالبات المعقدة التي تتضمن حركة سريعة، وسمات متعددة، ومصطلحات غامضة. وخلافاً للنماذج المرجعية التي أظهرت تسرب السمات أو الانجراف الدلالي (مثل تغيير ألوان الملابس أو سوء تفسير "bank")، حافظ KGEdit على ربط دقيق للسمات والمحاذاة الدلالية طوال تسلسل الفيديو.
• دراسات الاستئصال (Ablation Studies): أدى حذف أي مكون (AAKG، أو مجموعات الثلاثيات المحددة، أو TASC) إلى تدهور الأداء. ومن الجدير بالذكر أن حذف الهوية ($T_{id}$) تسبب في أكبر انخفاض في الدقة الدلالية، بينما أدى حذف القيود السلبية ($T_{neg}$) إلى التأثير بشدة على حل الغموض. كما أدت الأوزان الزمنية الموحدة (بدون TASC) إلى انخفاضات كبيرة في الاتساق الزمني، مما يؤكد ضرورة الجدولة الديناميكية.

الأهمية والادعاءات
يدعي البحث أن KGEdit يعالج القيود الأساسية لطرق توليد الفيديو الحالية التي تعمل بدون تدريب من خلال نقل التركيز من إضافة وسائط تحكم إلى تحسين قابلية التفسير والتحكم في الشرط النصي نفسه. ومن خلال هيكلة اللغة الطبيعية الغامضة إلى مكونات دلالية صريحة وجدولة تأثيرها عبر الزمن، يتيح إطار العمل توليد فيديو دقيق ومستقر ومتماسك تحت تعليمات معقدة. يضع المؤلفون هذا العمل كخطوة نحو أنظمة إنشاء فيديو عالية الجودة وعملية لا تتطلب إعادة تدريب مكلفة للنماذج، مما يجعل التحكم الدلالي المهيكل متاحاً لتطبيقات متنوعة في الإعلانات والرسوم المتحركة والألعاب.

القيود
يقر المؤلفون بالقيود الحالية، بما في ذلك الاعتماد على النماذج اللغوية الكبيرة (LLMs) لبناء الرسم البياني، واستخدام طبقات حقن ثابتة، والجداول الزمنية المصممة يدوياً. ويُقترح في العمل المستقبلي استكشاف بناء رسوم بيانية تكيفية، وآليات جدولة متعلمة، واستراتيجيات توجيه خفيفة الوزن.