Engram-E2VID: Reference-Based Event-to-Video Reconstruction via Generative Activation of Appearance Engrams
يُعد Engram-E2VID إطار عمل مرجعي لإعادة بناء الأحداث إلى فيديو يستفيد من عمود فقري لانتشار الانتشار أحادي الخطوة لتوجيه التنشيط الهيكلي لـ "إنغرامات" المظهر المشفرة من إطار مرجعي، مما يتيح استعادة عالية الدقة لإطارات RGB المستهدفة من تدفقات أحداث متفرقة حتى في ظل الحركة المعقدة والفترات الزمنية الطويلة.
المؤلفون الأصليون:Feiyu Ji, Xiang Li, Hao Ma, Tianxiang Huang, Qingxin Lu, Mengqi Ji, Lei Han, Xiaokang Yang, Xiaoyun Yuan
تخيل أنك تحاول إعادة تجسيد مشهد سينمائي، ولكن ليس لديك سوى أداتين غريبتين للغاية. الأداة الأولى هي صورة فوتوغرافية واحدة مثالية للمشهد قبل بدء الحركة. والأداة الثانية هي تدفق فوضوي من الشرارات الصغيرة غير المرئية التي تتطاير كلما تحرك شيء ما أو تغير سطوعه. هذه الشرارات، التي تسمى "الأحداث" (events)، سريعة للغاية ودقيقة للغاية فيما يتعلق بالحركة، لكنها عمياء تماماً عن اللون، أو الملمس، أو كيف تبدو الأشياء في الواقع. إنها تشبه همساً شبحياً للحركة بلا جسد.
لقد حاول العلماء لفترة طويلة استخدام هذه الشرارات لإعادة بناء الأجزاء المفقودة من فيلم، لكن الأمر يشبه محاولة رسم لوحة بورتريه باستخدام خريطة توضح فقط اتجاه هبوب الرياح. الطرق القديمة غالباً ما تضيع عندما تتحرك الأشياء لمسافة بعيدة أو بسرعة كبيرة، مما يؤدي إلى صور ضبابية، أو شبحية، أو خاطئة تماماً. هذا هو اللغز الذي قرر فريق من الباحثين في جامعة شأنغهاي جياو تونغ ومؤسسات أخرى حله. لقد تساءلوا: "كيف يمكننا أخذ هذا التدفق الفوضوي لشرارات الحركة ودمجه مع صورتنا الأصلية لإعادة بناء إطار فيديو واضح ك الكريستال، حتى لو مر وقت طويل؟"
الإجابة التي وجدوها هي نظام جديد يسمى Engram-E2VID. فكر فيه كطاقم بناء سحري لا يكتفي بمجرد النسخ واللصق للصورة القديمة. بدلاً من ذلك، يقوم ببناء "سقالة" أو هيكل عظمي للمشهد الجديد باستخدام شرارات الحركة. هذه السقالة تخبر النظام أين تتحرك الأشياء وكيف يتغير الهيكل. بعد ذلك، يمد النظام يده إلى بنك الذاكرة الخاص به — الصورة الأصلية — ويسحب "إنغرامات المظهر" (appearance engrams) المحددة (وهي تشبه شظايا ذاكرة مفصلة لكيفية مظهر الأشياء).
هذا هو الجزء الذكي: بدلاً من محاولة تمديد الصورة القديمة لتناسب الموضع الجديد (وهو ما يجعلها تبدو مشوهة وضبابية عادةً)، يستخدم النظام عملية "تنشيط" ذكية. فهو يسأل السقالة: "مهلاً، أحتاج إلى ملمس كرة حمراء هنا، وفراء قطة هناك". تشير السقالة إلى الأماكن الصحيحة، ويقوم النظام بجلب شظايا الذاكرة المثالية لملئها. وإذا كانت هناك أجزاء من المشهد كانت مخفية تماماً أو جديدة، يتدخل "خيال" قوي مدعوم بالذكاء الاصطناعي (يسمى نموذج الانتشار - diffusion model) لملء الفراغات بشكل واقعي.
النتائج مبهرة. فعند اختباره على ثلاث مجموعات بيانات مختلفة من العالم الحقيقي، لم يكتفِ هذا الأسلوب الجديد بالعمل فحسب؛ بل عمل بشكل أفضل بكثير من أفضل المحاولات السابقة. بعبارات بسيطة، جعل الصور المعاد بناؤها أكثر حدة ودقة بشكل ملحوظ. وتحديداً، حسن جودة الصورة (PSNR) بما يصل إلى 3.29 ديسيبل وقلل من الضبابية البصرية (LPIPS) بما يصل إلى 0.08 مقارنة بأقوى طريقة موجودة تستخدم نفس المدخلات.
ربما يكون الاكتشاف الأكثر إثارة هو مدى جودة تعامله مع الوقت. عادةً، كلما طالت فترة الانتظار بين الصورة الأصلية والإطار الجديد المراد إنشاؤه، ساءت جودة الصورة. لكن Engram-E2VID يتدهور ببطء شديد. حتى عندما كانت الفجوة الزمنية كبيرة، حافظ على تفاصيل حادة وهياكل صحيحة، بينما بدأت الطرق الأخرى في التسبب في ضبابية وتخيل أشكال غريبة. يشير الباحثون إلى أنه من خلال فصل "الهيكل" (السقالة) عن "المظهر" (الإنغرامات) والسما^ح لهما بالتواصل مع بعضهما البعض بطريقة ذكية، يمكنهم إعادة بناء مشاهد معقدة، أو سريعة الحركة، أو بعيدة عن الصورة الأصلية، وكل ذلك دون الحاجة إلى صورة ثانية للمساعدة. إنه يشبه القدرة على تذكر ملامح وجه صديقك بدقة، حتى لو انتقل إلى غرفة أخرى تماماً وكان يركض في أرجائها، وذلك فقط من خلال معرفة مخطط الغرفة وصوت خطواته.
ملخص تقني: Engram-E2VID
بيان المشكلة تهدف عملية إعادة بناء الفيديو من الأحداث القائمة على المرجع (Reference-based event-to-video reconstruction) إلى استعادة إطارات RGB المستهدفة باستخدام إطار مرجعي وتدفق الأحداث غير المتزامن الذي تم التقاطه خلال الفترة الفاصلة بين الطابعين الزمني للمرجع والهدف. وبينما توفر كاميرات الأحداث دقة زمنية بالميكروثانية ونطاقاً ديناميكياً عالياً، إلا أنها تشفر فقط التغيرات النسبية في شدة الإضاءة (log-intensity) بدلاً من المظهر أو اللون أو الملمس المطلق. وهذا يجعل عملية إعادة البناء الدقيقة أمراً غير محدد جوهرياً (ill-posed).
يكمن التحدي المركزي في ربط الهياكل المشتقة من الأحداث (التي تتسم بالندرة وعدم التزامن) عند الزمن المستهدف مع معلومات المظهر ذات الصلة من الإطار المرجعي. تعتمد الطرق الحالية عادةً على تقدير حقول الحركة لعمل عملية "تطوي" (warping) للإطار المرجعي. ومع ذلك، في ظل الحركة المعقدة، أو الاحتجاب (occlusion)، أو الفترات الزمنية الطويلة، تفشل عملية التطوي البسيطة في إعادة بناء المناطق التي كُشفت حديثاً أو التي تغيرت بشكل جوهري. علاوة على ذلك، فإن النهج الحديثة القائمة على الانتشار (diffusion-based) والتي تستخدم الأحداث كشرط مساعد غالباً ما تفتقر إلى آلية صريحة لربط الهياكل المشتقة من الأحداث مع ملامح المظهر المرجعية، مما يؤدي إلى عدم اتساق هيكلي أو محتوى مهلوس.
المنهجية يقترح المؤلفون Engram-E2VID، وهو إطار عمل موجه بالهيكل يعيد بناء الإطارات المستهدفة من خلال "التنشيط التوليدي لإنغرامات المظهر" (generative activation of appearance engrams). يعمل هذا المنهج ضمن نموذج خلفي للانتشار بخطوة واحدة ويتكون من مرحلتين أساسيتين:
تقدير السقالة الهيكلية (Structural Scaffold Estimation): يتم تحويل تدفق الأحداث غير المتزامن بين الطابعين الزمني للمرجع (t0) والهدف (tk) إلى تمثيل مكاني-زماني لمكعب الأحداث (V). يقوم نموذج U-Net ثنائي المشفر خفيف الوزن بمعالجة كل من مكعب الأحداث والإطار المرجعي لتقدير "سقالة بنية الحركة" (I~tks). لا يُشترط أن تكون هذه السقالة واقعية من حيث التصوير الفوتوغرافي؛ فوظيفتها الأساسية هي كشف حدود الحركة وهياكل المشهد لنموذج الانتشار.
تنشيط إنغرام المظهر (Appearance Engram Activation): يتم تشفير السقالة والإطار المرجعي إلى تمثيلات كامنة (zs و zr) باستخدام مشفر VAE مجمد.
الإنغرامات (Engrams): تعمل الرموز الكامنة المرجعية (zr) كـ "إنغرامات مظهر"، حيث تحتفظ بمعلومات بصرية غنية.
انتباه التفاعل الكامن (Latent Interaction Attention - LIA): تم تقديم واجهة تفاعل مبتكرة حيث يتم تكديس الرموز الكامنة للسقالة والمرجع وإعادة ترتيبها في تسلسل رموز مشترك. داخل كتل المحول (transformer blocks) لنموذج الانتشار، تسمح طبقات الانتباه الذاتي للرموز الهيكلية بالتفاعل مع إنغرامات المظهر وتنشيطها. يحدث هذا الارتباط في فضاء الرموز (token space) بدلاً من النقل المباشر بكسل مقابل بكسل، مما يسمح للنموذج بالوصول إلى مظهر المرجع رغم الإزاحة المكانية الكبيرة.
يستخدم الإطار عملية انتشار بخطوة واحدة (مقتبسة من SD-Turbo مع LoRA)، حيث تعمل الرموز الهيكلية المشتقة من السقالة كاستعلامات (queries) لاسترجاع الإنغرامات ذات الصلة. ويحافظ اتصال تخطي (skip connection) مع تلافيف ذات تهيئة صفرية على المعلومات الهيكلية من السقالة لمنع الانحراف. وللاستدلال عالي الدقة، تُطبق العملية بطريقة تعتمد على البلاطات (tile-wise) مع نوافذ متداخلة.
المساهمات الرئيسية
سقالة بنية الحركة للزمن المستهدف: قدم المؤلفون سقالة تدمج بيانات الأحداث مع سياق المرجع لتوفير توجيه هيكلي صريح لإعادة البناء، بدلاً من الاعتماد فقط على تطوي الحركة.
واجهة تفاعل الهيكل-إلى-الإنغرام: وضعوا آلية حيث تقوم الرموز الهيكلية المشتقة من السقالة بتنشيط إنغرامات المظهر ذات الصلة داخل نموذج انتشار بخطوة واحدة. يتجنب هذا الارتباط في فضاء الرموز التوافق الصارم بكسل مقابل بكسل، مما يتيح إعادة بناء قوية تحت الإزاحات الكبيرة.
الأداء والمتانة: أظهرت التجارب المكثفة أن الطريقة تحقق جودة بصرية واتساقاً هيكلياً متفوقين مقارنة بالخطوط المرجعية (baselines) الحالية، مع معدل تدهور أبطل بشكل ملحوظ مع زيادة الفاصل الزمني لإعادة البناء.
النتائج التجريبية تم تقييم المنهج على ثلاثة مجموعات بيانات متزامنة للأحداث والإطارات: BS-ERGB، و ERF-X170FPS، و HQ-EVFI.
الأداء الكمي: تفوق Engram-E2VID باستمرار على أقوى خط مرجعي لنفس المدخلات (RE-VDM). شملت التحسينات زيادة تصل إلى 3.29 dB في PSNR وانخفاضاً يصل إلى 0.08 في LPIPS عبر الاختبارات المعيارية.
المتانة في الفترات الطويلة: مع زيادة الفاصل الزمني (skip)، أظهر Engram-E2VID تدهوراً أبطأ بكثير في الأداء مقارنة بطرق التطوي (مثل VFPSIE) والنهج الأخرى القائمة على الانتشار. على سبيل المثال، في مجموعة بيانات BS-ERGB، كان انخفاض PSNR من skip 1 إلى 7 هو 1.85 dB فقط لـ Engram-E2VID، مقارنة بـ 4.30 dB لـ VFPSIE.
النتائج النوعية: أظهرت المقارنات البصرية حدوداً أكثر حدة للأجسام، وآثاراً بصرية أقل، وحفاظاً أفضل على بنية المشهد وتفاصيل المظهر، لا سيالما في المناطق ذات الحركة المعقدة أو الاحتجاب.
الأهمية والادعاءات يزعم البحث أن Engram-E2VID يعالج القصور الجوهري في الطرق المرجعية الحالية من خلال فصل التوجيه الهيكلي عن استرجاع المظهر. ومن خلال تنظيم مظهر المرجع كـ "إنغرامات" والسماوة للهياكل المستهدفة بـ "تنشيطها" عبر الانتباه، يتيح الإطار إعادة بناء دقيقة دون الاعتماد على التوافق المباشر بين البكسلات. ويؤكد المؤلفون أن هذا النهج يستفيد بفعالية من نموذج الانتشار لحل الغموض في المناطق غير المؤكدة أو المكتشفة حديثاً مع الحفاظ على الاتساق الهيكلي. وتشير النتائج إلى أن هذا الارتباط في فضاء الرموز مفيد بشكل خاص للفترات الزمنية الطويلة حيث تفشل تقديرات الحركة التقليدية. ويخلص البحث إلى أن الطريقة تحقق إعادة بناء عالية الجودة دون الحاجة إلى تنظيم صريح للاتساق الزمني، مما يحافظ على التماسك الزمني عبر الإطارات المعاد بناؤها بشكل مستقل.