TrackCraft3R: Repurposing Video Diffusion Transformers for Dense 3D Tracking

ملخص تقني: TrackCraft3R

بيان المشكلة
يعد التتبع ثلاثي الأبعاد الكثيف من فيديو أحادي العدسة أمرًا ضروريًا لفهم المشاهد الديناميكية، والتلاعب الروبوتي، وتوليد الفيديو القابل للتحكم. ويتمثل التحدي الجوهري في هذا المجال في استعادة حركة الأجسام ضمن إطار إحداثيات عالمي ثلاثي الأبعاد، مما يؤدي فعليًا إلى إلغاء الحركة الذاتية للكاميرا. وبينما توفر النماذج التأسيسية ثلاثية الأبعاد الحديثة هندسة موثوقة لكل إطار على حدة، فإن استعادة حركة الأجسام المتسقة عبر الزمن تظل أمرًا صعبًا. تنقسم أدوات التتبع ثلاثية الأبعاد الحالية عمومًا إلى فئتين: (1) النماذج التكرارية التي يتم تدريبها من الصفر على بيانات رباعية الأبعاد (4D) اصطناعية، والتي تفتقر إلى أولويات الحركة في العالم الحقيقي؛ و(2) النهج الأمامي (feed-forward) الذي يقوم بضبط نماذج إعادة البناء ثلاثية الأبعاد مسبقة التدريب (المتعلمة من صور متعددة المشاهد ثابتة)، والتي تفتقر إلى الأولويات الزمنية الغنية لديناميكيات الفيديو في العالم الحقيقي.

وعلى العكس من ذلك، تقوم محولات انتشار الفيديو (video DiTs) المدربة مسبقةً بترميز أولويات مكانية-زمانية قوية من فيديوهات الإنترنت واسعة النطاق. ومع ذلك، يوجد عدم تطابق جوهري: عادةً ما تولد نماذج video DiT مخرجات مرتكزة على الإطار (تتنبأ بالمحتوى بشكل مستقل لكل إطار)، بينما يتطلب التتبع ثلاثي الأبعاد الكثيف مخرجات مرتكزة على المرجع (تتبع نفس النقاط الفيزيائية من إطار مرجعي عبر الزمن). إن المحاولات السابقة لاستخدام نماذج الانتشار لإعادة البناء رباعي الأبعاد، مثل MotionCrafter، تعتمد على تدفق المشهد (scene flow) المرتكز على الإطار بين الإطارات المتجاورة، مما يستلزم تسلسلًا زمنيًا يؤدي إلى تراكم الأخطاء، لا سيما في حالات الحجب (occlusion).

المنهجية: TrackCraft3R
يعد TrackCraft3R أول طريقة تعيد توظيف محول انتشار فيديو كمتتبع ثلاثي الأبعاد كثيف أمامي. بالنظر إلى فيديو أحادي العدسة وخريطة نقاط إعادة بناء (pointmap) لكل إطار (التي توفر الهندسة ثلاثية الأبعاد في إحداثيات العالم)، يتنبأ TrackCraft3R بخريطة نقاط تتبع مرتكزة على المرجع في تمريرة أمامية واحدة. يتبع هذا المخرج كل بكسل من الإطار الأول عبر الزمن، جنبًا إلى جنب مع مدى رؤيته.

يكمن الابتكار الجوهري في تحويل نموذج التوليد لكل إطار الخاص بنماذج video DiTs إلى صيغة تتبع مرتكزة على المرجع من خلال تصميمين رئيسيين:

1. التمثيل ذو الكمون المزدوج (Dual-Latent Representation): يستخدم النموذج نوعين من الكمونات (latents) كمدخلات لـ video DiT:

   • كمونات الهندسة ($g_j$): مشفرة من إطار RGB وخريطة النقاط المعاد بناؤها لكل طابع زمني $t_j$. وهي تمثل الهندسة ثلاثية الأبعاد للمشهد في كل زمن محدد.
   • كمونات التتبع ($r_j$): مرتكزة على الإطار المرجعي ($I_0$). يتم إنشاؤها عن طريق تكرار كمون الهندسة للإطار الأول ($g_0$) عبر جميع الطوابع الزمنية. وهي تعمل كنقاط استعلام كثيفة محددة في الإطار المرجعي.
     يتعامل النموذج مع دمج هذه الكمونات باستخدام انتباه ثلاثي الأبعاد كامل. وبشكل حدسي، يقوم كمون التتبع بالانتباه إلى كمونات الهندسة عبر الإطارات لتحديد الموقع ثلاثي الأبعاد للنقطة الفيزيائية المقابلة في الطابع الزمني المستهدف.

2. محاذاة RoPE الزمنية: لضمان أن ينتبه كل كمون تتبع إلى كمون الهندسة في الطابع الزمني الصحيح، تستخدم الطريقة ترميزات الموضع الدوارة ثلاثية الأبعاد (3D Rotary Positional Embeddings - RoPE). ومن خلال تعيين نفس المؤشر الزمني $t_j$ لكل من كمون التتبع $r_j$ وكمون الهندسة $g_j$، يتم توجيه آلية الانتباه للتركيز على الهندسة المتوافقة زمنيًا. وهذا يسمح للنموذج باستعادة الموقع ثلاثي الأبعاد الصحيح لنقطة يتم تتبعها من الإطار المرجعي إلى الزمن $t_j$.

يتم تدريب النموذج باستخدام الضبط الدقيق بتقنية LoRA (التكيف منخفض الرتبة) على نموذج video DiT (تحديدًا Wan 2.1-T2V). وبدلاً من استرجاع خريطة النقاط ثلاثية الأبعاد المطلقة مباشرة، يتنبأ النموذج بـ تتبع متبقي ($\Delta_j = P_0(t_j) - P_0(t_0)$) بالنسبة للإطار المرجعي، مما يعمل على استقرار التدريب. كما يتم التنبؤ بالرؤية (visibility) في آن واحد.

المساهمات الرئيسية

1. أول إعادة توظيف لـ Video DiT لأغراض التتبع ثلاثي الأبعاد: يعد TrackCraft3R أول طريقة تكيف محول انتشار فيديو لتتبع ثلاثي الأبعاد كثيف أمامي، متجاوزةً نموذج التوليد القياسي المرتكز على الإطار.
2. تصميمات معمارية مبتكرة: قدمت الورقة البحثية التمثيل ذو الكمون المزدوج ومحاذاة RoPE الزمنية لسد الفجوة بين نماذج الفيديو التوليدية ومهام التتبع المرتكزة على المرجع.
3. أداء وكفاءة رائدة: يحقق النموذج نتائج هي الأفضل في المعايسات القياسية للتتبع ثلاثي الأبعاد المتفرق والكثيف. والجدير بالذكر أنه يعمل بسرعة أسرع بمقدار 1.3 مرة ويستخدم ذاكرة أقل بمقدار 4.6 مرة في ذروة الاستهلاك مقارنة بأقوى طريقة تكرارية سابقة (DELTAv2).
4. المتانة: أظهر النهج متانة تجاه الحركات الكبيرة والفيديوهات الطويلة، مع القدرة على التعميم خارج طول التسلسل التدريبي دون أخطاء التسلسل الزمني.

النتائج
عند التقييم على معايسات تشمل ADT وPStudio وDynamic Replica وPoint Odyssey وKubric، حقق TrackCraft3R أفضل متوسط AJ (متوسط جاكارد)، وAPD3D (متوسط نسبة النقاط ضمن $\delta_{3D}$)، وOA (دقة الحجب).

• الأداء: باستخدام مقدر الهندسة DA3، تفوق TrackCraft3R بشكل كبير على DELTAv2 + DA3 وعلى جميع النماذج الأمامية الأخرى.
• الكفاءة: على وحدة معالجة رسومات واحدة من نوع NVIDIA A6000، يعالج TrackCraft3R مقاطع فيديو مكونة من 12 إطارًا في 3.91 ثانية مع ذروة استهلاك ذاكرة تبلغ 7.63 جيجابايت، مقارنة بـ 5.00 ثوانٍ و35.46 جيجابايت لنموذج DELTAv2.
• المتانة في الفيديوهات الطويلة: تظهر التجارب أنه مع زيادة الخطوة الزمنية أو طول الفيديو، يتدهور أداء TrackCraft3R بشكل أبطأ بكثير من الطرق التكرارية، مما يؤكد فعالية أولويات الحركة المتعلمة.

الأهمية والادعاءات
تدعي الورقة أن TrackCraft3R ينجح في الاستفادة من الأولويات المكانية-الزمانية الغنية لبيانات الفيديو واسعة النطاق، والتي تفتقر إليها عادةً النماذج المدربة فقط على بيانات رباعية الأبعاد اصطناعية أو عمليات إعادة بناء متعددة المشاهد ثابتة. ومن خلال إعادة توظيف video DiT، يتجنب النهج الأخطاء المتراكمة الناتجة عن التسلسل الزمني (المستخدم في طرق التدفق المرتكزة على الإطار) والتكلفة الحسابية التكرارية للمتتبعات التقليدية.

ويؤكد المؤلفون أن الطريقة متوافقة مع أي مقدر هندسة ثلاثية الأبعاد (مثل ViPE أو DA3)، مما يعني أن أداءها يمكن أن يتحسن مع تقدم نماذج تقدير الهندسة الخارجية دون الحاجة إلى إعادة تدريب المتتبع نفسه. وبينما تعتمد الطريقة على مدخلات هندسية خارجية، إلا أنها تمثل خطوة هامة نحو توحيد أولويات الفيديو التوليدية مع الإدراك رباعي الأبعاد الكثيف، مما يوفر أساسًا لتطبيقات مثل التلاعب الروبوتي وإعادة بناء المشاهد الديناميكية. وتشير الورقة بتواضع إلى أن دقتها مقيدة حاليًا بجودة الهندسة المدخلة، مما يشير إلى أن العمل المستقبلي قد يتضمن توليد الفيديو والمسارات ثلاثية الأبعاد معًا ضمن نموذج موحد واحد.