💻 computer science

StreetForward: Perceiving Dynamic Street with Feedforward Causal Attention

يُعد StreetForward إطار عمل أمامي (feedforward) لا يتطلب وضعية محددة أو متتبعات، حيث يستفيد من آلية انتباه قناع زمني وتقنية التلعثم الغاوسي ثلاثي الأبعاد (3D Gaussian Splatting) لإعادة بناء المشاهد الشارعية الثابتة والديناميكية معاً، مما يتيح تخليق مناظر من زوايا رؤية جديدة وعالية الدقة وتقدير السرعة لكل بكسل دون الحاجة إلى تحسين لكل مشهد على حدة.

المؤلفون الأصليون: Zhongrui Yu, Zhao Wang, Yijia Xie, Yida Wang, Xueyang Zhang, Yifei Zhan, Kun Zhan

نُشر 2026-03-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhongrui Yu, Zhao Wang, Yijia Xie, Yida Wang, Xueyang Zhang, Yifei Zhan, Kun Zhan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد شارعاً مزدحماً في المدينة من خلال نافذة. السيارات تمر مسرعة، والمشاة يعبرون الطريق، والشمس تلقي بظلال متحركة. الآن، تخيل أنك تريد بناء توأم رقمي ثلاثي الأبعاد مثالي لهذا الشارع بحيث يمكنك:

التجول حوله (تغيير وجهة نظرك).
إرجاع الزمن أو تسريعه (رؤية الشارع في لحظة مختلفة).
القيام بكل هذا فوراً، دون قضاء أيام أو أسées في حساب الرياضيات لكل مشهد على حدة.

هذا هو بالضبط ما يحاول بحث StreetForward حله.

إليك تفصيل الأمر باستخدام تشبيهات بسيطة:

المشكلة: "الطباخ البطيء" مقابل "الميكروويف"

معظم طرق إعادة البناء ثلاثي الأبعاد الحالية تشبه الطباخ البطيء. لإنشاء نموذج ثلاثي الأبعاد لشارع ما، يتعين عليها قضاء ساعات أو أيام في "طهي" (تحسين) البيانات لهذا المشهد المحدد. فهي تحتاج لتتبع كل سيارة، وكل شخص، وكل شجرة بشكل فردي لمعرفة كيفية حركتها. إذا أردت محاكاة شارع جديد، عليك البدء بعملية الطهي البطيء من جديد. هذا بطيء جداً بالنسبة للسيارات ذاتية القيادة، التي تحتاج لمعالجة آلاف الأميال من بيانات الطرق فوراً.

أما StreetForward فهو الميكروويف. إنه يستخدم نهج "التغذية الأمامية" (feedforward)، مما يعني أنه ينظر إلى الفيديو، ويعالجه في تمريرة واحدة سريعة، ثم يخرج نموذجاً ثلاثي الأبعاد فوراً. لا يحتاج "للتفكير" في الشارع المحدد مسبقاً؛ فهو يعرف فقط كيف يفعل ذلك بناءً على ما تعلمه من ملايين الشوارع الأخرى.

السر الخفي: "الانتباه السببي" (المحقق الذي يسافر عبر الزمن)

التحدي الأكبر في صنع شارع ثلاثي الأبعاد هو الفصل بين الأشياء الثابتة (المباني، الطرق، الأشجار) والأشياء الديناميكية (السيارات، الناس).

الطرق القديمة غالباً ما ترتبك. قد تظن أن سيارة مركونة تتحرك، أو قد تفقد تتبع أحد المشاة وتجعله يختفي.
يستخدم StreetForward خدعة خاصة تسمى الانتباه المقنع السببي (Causal Masked Attention).

التشبيه: تخيل أنك محقق يشاهد كاميرا مراقبة.

الذكاء الاصطناعي القديم: ينظر إلى الفيديو بأكمله دفعة واحدة، فيرتبك بشأن من تحرك ومتى. قد يخلط بين سيارة من قبل 5 ثوانٍ وسيارة موجودة الآن.
StreetForward: يعمل كمحقق ينظر فقط إلى السبب والنتيجة. يتساءل: "إذا نظرت إلى هذه السيارة الآن، أين كانت قبل ثانية واحدة؟ وأين ستكون بعد ثانية واحدة؟"

من خلال إجبار الذكاء الاصطناعي على النظر بدقة في ترتيب "السبب والنتيجة" (الماضي $\leftarrow$ الحاضر $\leftarrow$ المستقبل)، يصبح بارعاً للغاية في التنبؤ بـ السرعة المتجهة (السرعة والاتجاه). إنه يتعلم أن "السيارات تتحرك للأمام"، و"الناس يمشون"، و"المباني تظل ثابتة"، دون الحاجة لإخبار البشر أي منها هو أي نوع.

الخدعة السحرية: "اللطخات" ثلاثية الأبعاد (القصاصات الورقية الرقمية)

يستخدم البحث تقنية تسمى تشتت غاوس ثلاثي الأبعاد (3D Gaussian Splatting).

التشبيه: تخيل رمي حفنة من القصاصات الورقية الرقمية في الهواء. كل قطعة من هذه القصاصات هي نقطة ثلاثية الأبعاد صغيرة وضبابية لها لون، وحجم، وموقع.
الابتكار: في الماضي، كانت هذه النقاط ثابتة فقط. لكن StreetForward يمنح هذه النقاط قوى خارقة.
- النقاط الثابتة (المباني) تبقى في مكانها.
- النقاط الديناميكية (السيارات) تُمنح "متجه سرعة" (سهم يوضح السرعة والاتجاه).
- يتعلم الذكاء الاصطناعي ربط هذه الأسهم بالنقاط. لذا، عندما تريد رؤية الشارع بعد ثانيتين، يقوم الذكاء الاصطناعي ببساطة بتحريك "نقاط السيارات" على طول أسهمها إلى مواضعها الجديدة ويقوم بمعالجة الصورة فوراً.

لماذا يعد هذا أمراً هاماً؟

لا حاجة لـ "عجلات تدريب": لا تحتاج لإعطاء الذكاء الاصطناعي تسميات خاصة تخبره "هذه سيارة" أو "هذا شخص". هو يكتشف الحركة من تلقاء نفسه بمجرد مشاهدة الفيديو.
السفر عبر الزمن: نظرًا لأنه يفهم سرعة كل جسم، يمكنك إيقاف الفيديو مؤقتاً، وتحريك الكاميرا إلى مكان جديد، ثم تشغيل الفيديو للأمام أو للخلف، وستظل الأجسام في مكانها الصحيح.
القوة الخارقة لـ "التعميم الفوري" (Zero-Shot): قام الفريق بتدريب الذكاء الاصطناعي على بيانات من العالم الحقيقي من Waymo (مجموعة بيانات ضخمة من القيادة الواقعية). ثم اختبروه على CARLA (محاكاة لعبة فيديو). لم يسبق للذكاء الاصطناعي رؤية اللعبة من قبل، ومع ذلك عمل بشكل مثالي. الأمر يشبه تعليم شخص ما القيادة على طريق سريع حقيقي، ثم تسليمه مفاتيح سيارة في لعبة فيديو—سيعرف كيف يقود فوراً.

الملخص

StreetForward هو نظام ذكاء اصطناعي جديد يحول فيديو لشارع مزدحم إلى عالم تفاعلي ثلاثي الأبعاد يسافر عبر الزمن في split second (جزء من الثانية). يفعل ذلك من خلال تعليم الذكاء الاصطناعي فهم السبب والنتيجة في الحركة، مما يسمح له بالتنبؤ بمكان كل سيارة وشخص دون الحاجة لتتبعهم بشكل فردي. وهذا يجعله أداة مثالية لتدريب السيارات ذاتية القيادة على التعامل مع العالم الحقيقي بأمان وكفاءة.

إليك ملخص تقني مفصل لورقة البحث "StreetForward: Perceiving Dynamic Street with Feedforward Causal Attention".

1. بيان المشكلة

تتطلب محاكاة القيادة الذاتية والاختبار في الحلقة المغلقة (closed-loop testing) إعادة بناء سريعة وعالية الدقة لمشاهد الشوارع الديناميكية (التي تحتوي على كل من البنية التحتية الثابتة والوكلاء المتحركين مثل المركبات والمشاة).

محدودية الطرق الحالية:
- التحسين التكراري (Iterative Optimization): تعتمد الطرق التقليدية (مثل SfM وNeRF و3DGS القياسي) على تحسين لكل مشهد يستغرق وقتاً طويلاً، مما يجعلها غير عملية لمجموعات البيانات الضخمة والمتنوعة.
- فجوات التغذية الأمامية (Feedforward Gaps): تتفوق النماذج ذات التغذية الأمامية الحديثة (مثل DUSt3R وVGGT) في المشاهد الثابتة، لكنها تعاني في إعادة البناء رباعي الأبعاد (4D) الديناميكي. وغالباً ما تعاني من تدهور الهندسة (geometry degradation) تحت تأثير الحركة وتفتقر إلى نمذجة الحركة القوية.
- الاعتماديات (Dependencies): تتطلب الحلول رباعية الأبعاد الحالية غالباً إشرافاً رباعي الأبعاد صريحاً، أو متتبعات كائنات خارجية، أو أقنعة تجزئة (segmentation masks)، مما يؤدي إلى حالات فشل ويحد من القدرة على التعميم.

الهدف: تطوير إطار عمل تغذية أمامية (feedforward) لا يعتمد على الوضعية (pose-free)، ولا المتتبع (tracker-free)، ولا التجزئة (segmentation-free)، قادر على إعادة بناء مشاهد الشوارع الديناميكية بتخليق مناظر جديدة عالية الدقة وتقدير العمق عند وضعيات وأزمنة عشوائية.

2. المنهجية: StreetForward

يعتمد الإطار المقترح على بنية المحول المرتكز على الهندسة البصرية (VGGT)، ولكنه يقدم تعديلات محددة للتعامل مع الحركة الديناميكية دون إشراف صريح.

أ. البنية الأساسية والترميز (Tokenization)

المدخلات: يتم ترميز تسلسلات الفيديو إلى رموز (tokens) باستخدام مشفر DINOv2 مجمد.
العمود الفقري (Backbone): يستخدم آلية الانتباه التناوبي (Alternating Attention - AA) الخاصة بـ VGGT، حيث يدمج بين الانتباه عبر الإطارات (العالمي) والانتباه داخل الإطار الواحد لتجميع الميزات المدركة للمشهد.
التمثيل: يتم تمثيل العناصر الثابتة والديناميكية بشكل موحد باستخدام التقطيع الغاوسي ثلاثي الأبعاد (3D Gaussian Splatting - 3DGS).
- الغاوسيات الثابتة (Static Gaussians): تستمر عبر التسلسل بأكلى.
- الغاوسيات الديناميكية (Dynamic Gaussians): يتم تجميعها عبر الإطارات باستخدام السرعات المتوقعة.

ب. الابتكارات الرئيسية

الانتباه المقنع السببي (Causal Masked Attention - رأس الحركة):
- تتعامل آلية AA القياسية مع جميع الإطارات بالتساوي، مما يضعف إشارات الحركة الموجهة. يقدم StreetForward وحدة انتباه قناع زمني (temporal mask attention module) تعمل صراحة على نمذجة العلاقات من المصدر $\leftarrow$ الهدف (الانتباه السببي).
- هذا يعزز الميزات المدركة للحركة من خلال قصر الانتباه على أزواج محددة من المصدر والهدف (على سبيل المثال، $f_t \to f_{t+1}$ )، مما يمكن النموذج من استنتاج السرعات لكل بكسل دون الحاجة لملصقات 4D صريحة.
التحسين المشترك للهندسة والحركة:
- يتنبأ النموذج بوضعيات الكاميرا، والعمق، وسمات الغاوس (الموقع، التباين، اللون، العتامة)، وحقل سرعة كثيف في آن واحد.
- لا توجد تتبع خارجي: يتم فصل المناطق الديناميكية عن الثابتة عبر قناع احتمالية ديناميكية متوقع، مما يلغي الحاجة إلى متتبعات الكائنات أو نماذج التجزئة الخارجية.
استراتيجيات التنظيم (Regularization):
- الصلابة المحلية ( $L_{rigid}$ ): تفرض حركة صلبة جزئياً في كل من مساحة الصورة ثنائية الأبعاد والمساحة ثلاثية الأبعاد لمنع انجراف السرعة وظهور الهياكل العائمة (floaters).
- الاتساق الأمامي-الخلفي ( $L_{fb}$ ): يعاقب على الانحرافات بين تنبؤات السرعة الأمامية والخلفية لضمان التماثل الزمني وسلاسة المسارات.
- تثبيت العتامة ( $L_{\alpha}$ ): يمنع الغاوسيات ثلاثية الأبعاد من تقليص العتامة إلى الصفر (وهو نمط فشل شائع في دمج الإطارات المتعددة) عن طريق توجيهها للاحتفاظ بعتامة غير ضئيلة، مما يجبر النموذج على تصحيح الهندسة بدلاً من إخفاء الأخطاء.
استراتيجية التصيير (Rendering):
- لتصيير إطار عند الزمن $t$ ، يستخدم النموذج الغاوسيات الثابتة من التسلسل بأكمله والغاوسيات الدينمايكية المحولة (warped) من الإطارات المجاورة ( $t-1, t+1$ ).
- من المهم أن النموذج يستبعد الغاوسيات الديناميكية المعلمة عند الإطار الحالي $t$ أثناء التصيير. هذا يجبر النموذج على تفسير المشهد الحالي باستخدام البيانات المنتشرة حركياً من الجيران، مما يمنع الحلول المتدهورة.

3. المساهمات الرئيسية

إطار عمل خالٍ من الوضعية/المتتبع/التجزئة: طريقة إعادة بناء 4D تغذية أمامية كاملة لا تتطلب وضعيات كاميرا، أو تتبع كائنات، أو تجزئة دلالية وقت الاستدلال.
نمذجة الديناميكيات السببية: آلية انتباه مقنع سببي مبتكرة تعزز قدرة VGGT على نمذجة الحركة الموجهة دون إشراف 4D صريح.
تمثيل 3DGS موحد: استراتيجية تحسين مشتركة تتعامل مع المحتوى الثابت والديناميكي بشكل موحد، مما يتيح تصييرًا عالي الدقة للمناظر الجديدة.
قدرة قوية على التعميم: أظهر قدرات نقل "صفرية التدريب" (zero-shot transfer) إلى نطاقات غير مرئية (مثل التدريب على Waymo والاختبار على CARLA).

4. النتائج التجريبية

تم تقييم النموذج على مجموعة بيانات Waymo Open Dataset ومحاكي CARLA.

تخليق المناظر الجديدة (Waymo):
- حقق 24.30 PSNR و 0.827 SSIM في المناطق الديناميكية فقط، متفوقاً على النماذج المرجعية مثل DGGT (20.99 PSNR) وSTORM (22.10 PSNER).
- نجح في تخليق حركة متماسكة للأجسام القابلة للتشوه (المشاة) والأجسام الصلبة (المركبات) دون ظهور آثار "الأشباح" (ghosting) أو الانجراف الشائع في الطرق الأخرى.
تقدير العمق:
- حقق أدنى خطأ جذر متوسط المربع (RMSE) في كل من المناطق الثابتة (3.09) والديناميكية (3.45) مقارنة بـ VGGT وPi3 وDGGT.
- أظهر إعادة بناء متفوقة للهياكل الرفيعة (الأعمدة، إشارات المرور) وهندسة المركبات الديناميكية.
التعميم الصفري (CARLA):
- بالتدريب حصرياً على Waymo، حقق النموذج 22.37 PSNR في المناطق الديناميكية لـ CARLA دون ضبط دقيق، متفوقاً بشكل كبير على DGGT (21.32 PSNR) وغيره من النماذج المرجعية.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة الانتباه السببي إلى انخفاض كبير في جودة المناطق الديناميكية (ظهور أشباح، ضبابية زمنية).
- أدت إزالة تنظيم الصلابة إلى ظهور هياكل عائمة (floaters).
- أدت إزالة تثبيت العتامة إلى ظهور "ثقوب سوداء" (آثار عتامة منخفضة) في المناظر الجديدة.

5. الأهمية

يمثل StreetForward قفزة نوعية في محاكاة القيادة الذاتية وفهم المشهد:

الكفاءة: يقضي على الاختناق الحسابي الناتج عن التحسين لكل مشهد، مما يسمح بالمعالجة السريعة لمجموعات بيانات القيادة واسعة النطاق.
المتانة: من خلال إزالة الاعتماد على المتتبعات الخارجية والتجزئة، فإنه يتجنب حالات الفشل المرتبطة بهذه المكونات (مثل فقدان التتبع أو أخطاء التجزئة).
تعدد الاستخدامات: يدعم الاستقراء المكاني (وضعيات كاميرا جديدة) والاستكمال/الاستقراء الزمني (خطوات زمنية جديدة)، وهي أمور حاسمة في المحاكة ذات الحلقة المغلقة حيث يجب على الوكيل التنبؤ بالحالات المستقبلية أو رؤية المشهد من زوايا افتراضية.
القابلية للتوسع: تسمح طبيعة التغذية الأمامية للنموذج بالتوسع ليشمل مجموعات بيانات ضخمة، مما يسهز إنشاء توائم رقمية (digital twins) عالية الدقة لتطوير المركبات ذاتية القيادة.