ملخص تقني: تقدير مصفوفة الأساس المتينة من ضبابية الحركة في صورة واحدة

بيان المشكلة

تتناول الورقة مهمة جديدة وتحدياً في الرؤية الحاسوبية: تقدير مصفوفة الأساس (التي تشفر حركة الكاميرا ثلاثية الأبعاد النسبية) من صورة واحدة مشوشة بفعل الحركة.

في الرؤية الحاسوبية القياسية، تُشتق مصفوفة الأساس من الارتباطات بين منظورين متميزين. ومع ذلك، في إطار واحد مشوش بالحركة، يمثل "المنظوران" فعلياً نقطة البداية والنهاية لزمن التعرض للكاميرا. التحدي الرئيسي هو غموض الاتجاه الزمني: يمثل مسار ضبابية الحركة مساراً بين نقطتين، لكن الصورة وحدها لا تستطيع التمييز بين أي النقطتين هي البداية وأيهما هي النهاية. وبناءً على ذلك، فإن الارتباط $(p, p')$ غامض مع $(p', p)$. هذا الغموض يجعل طرق التقدير الكلاسيكية، مثل خوارزمية النقاط الثمانية أو طريقة المعيار الذهبي (Gold Standard)، غير قابلة للتطبيق، لأنها تعتمد على ترتيب زمني معروف. علاوة على ذلك، يركز العمل الحالي على ضبابية الحركة بشكل أساسي على إزالة الضبابية (de-blurring) أو تقدير التدفق البصري، وغالباً ما يعامل الضبابية كعائق بدلاً من كونها مصدراً للقيود الهندسية.

المنهجية

يعمل الإطار المقترح على مرحلتين: تقدير مسار المسحة (Smear Path Estimation) وتقدير مصفوفة الأساس (Fundamental Matrix Estimation).

1. تقدير مسار المسحة

تتضمن المرحلة الأولى شبكة عصبية (تعتمد على بنية U-Net) تتنبأ بمتجهات المسحة لكل بكسل والارتياب المرتبط بها.

• توليد البيانات: يتم توليد صور مشوشة بالحركة اصطناعياً عن طريق متوسط الإطارات الوسيطة المستنبطة بين إطارين حادين باستخدام التدفق البصري الحقيقي (من مجموعتي بيانات Monkaa وDriving). كما تم إنشاء مجموعة بيانات شبه حقيقية من مجموعة بيانات GoPro، ومجموعة بيانات واقعية مستمدة من RBI مع حقائق أرضية افتراضية.
• تمثيل المسحة: لحل غموض الاتجاه حيث لا يمكن التمييز بين المتجه $(u, v)$ والمتجه $(-u, -v)$، استخدم المؤلفون تمثيل الزاوية المزدوجة؛ حيث يتم تعيين زاوية المتجه $\phi$ إلى $2\phi$، مما يحول الحالتين المتكافئتين إلى متجه فريد $(u', v')$.
• الارتياب والتحقق المتبادل: تخرج الشبكة خريطة تباين $\sigma$ بجانب متجه المسحة. وللتمييز بين أنماط المسحة الموثوقة وغير الموثوقة (الناتجة عن الانسدادات أو الأجسام التي تخرج من الإطار)، يتم إنشاء خريطة التحقق المتبادل ($m_{cr}$) باستخدام اتساق التدفق الأمامي والخلفي بين إطاري البداية والنهاية.
• دالة الخسارة: تم تصميم دالة خسارة مخصصة للإشراف على متجهات الزاوية المزدوجة في البكسلات الموثوقة (باستخدام السلب اللوغاريتمي الغاوسي) مع معاقبة التباين (الارتياب) في البكسلات غير الموثوقة التي تم تحديدها بواسطة خريطة التحقق المتبادل. وهذا يشجع الشبكة على تعيين ارتياب عالٍ للمناطق الغامضة أو المحجوبة.

2. تقدير مصفوفة الأساس المتينة

تقوم المرحلة الثانية بتقدير مصفوفة الأساس $F$ من نهايات المسحة المتوقعة.

• التعامل مع الغموض: بما أن الاتجاه الزمني غير معروف، يجب أن يحقق زوج نهاية المسحة $(\bar{p} - \bar{s}, \bar{p} + \bar{s})$ قيد الإبوال (epipolar constraint) $x^T F y = 0$ إما للترتيب الأصلي أو للترتيب المنقول. صاغ المؤلفون ذلك كمسألة تحسين مقيدة حيث الهدف هو تقليل الخطأ لـ $F$ أو $F^T$:
  $$F^* = \arg \min_F \| \min(|M_{vec}(F)|, |M_{vec}(F^T)|) \|^2$$
  بشرط أن يكون $\det(F)=0$ و $\|F\|=1$.
• أخذ العينات المتين: للتعامل مع القيم المتطرفة والحركات المحلية، تستخدم الطريقة RANSAC الاستباقي. ومن المهم أن عملية أخذ العينات موجهة بتقديرات الارتياب من المرحلة الأولى؛ حيث يتم النظر فقط في متجهات المسحة ذات الارتياب المنخفض (الموثوقية العالية).
• مقياس الخطأ المتماثل: لا يمكن استخدام خطأ سامبسون (Sampson error) القياسي مباشرة بسبب غموض الاتجاه. لذا قدم المؤلفون خطأ سامبسون المتماثل ($SErrMin$)، الذي يأخذ الحد الأدنى للخطأ بين الفرضية$F$ومدرجها$F^T$. يسمح هذا المقياس بتحديد مجموعة الإجماع المتينة دون معرفة الاتجاه الزمني الحقيقي.

المساهمات الرئيسية

1. صياغة مهمة جديدة: تقدم الورقة مهمة تقدير مصفوفة الأساس من صورة واحدة مشوشة بالحركة، مع معالجة التحدي الفريد المتمثل في غموض الاتجاه الزمني لكل مسحة.
2. إطار تقدير متين: تم اقتراح خط معالجة مكون من مرحلتين يجمع بين التعلم العميق لاستخراج المسحة وحلال هندسي يأخذ في الاعتبار صراحةً غموض اتجاه الزمن (السماح بـ $F$ أو $F^T$).
3. التعلم المدرك للارتياب: اقترح المؤلفون دالة خسارة تتعلم التنبؤ بالارتياب، مما يمكن النظام من تقليل وزن تنبؤات المسحة غير الموثوقة (مثل تلك الناتجة عن الانسدادات) خلال مرحلة التقدير المتين.
4. التمثيل والتدوين: أظهر استخدام تمثيل الزاوية المزدوجة ميزة في تعلم مسارات المسحة، كما تم تقديم إجراء باستخدام خرائط التحقق المتبادل لتوليد تدوينات دقيقة للتدريب.

النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات اصطناعية (Monkaa, Driving)، وشبه حقيقية (GoPro)، وواقعية (RBI).

• تقدير المسحة: حقق تمثيل الزاوية المزدوجة المقترح مع خريطة التحقق المتبادل أدنى خطأ في نقطة النهاية (EPE-S) عبر جميع مجموعات البيانات. كما أظهرت تقديرات الارتياب ارتباطاً جيداً بالأخطاء الحقيقية، مما ساعد في تصفية التنبؤات غير الموثوقة بفعالية.
• تقدير مصفوفة الأساس: باستخدام خطأ سامبسون المتماثل وRANSAC الموجه بالارتياب، نجحت الطريقة في تقدير مصفوفات الأساس التي تتوافق مع الارتباطات الأرضية. لوحظ أفضل أداء عند اختيار أعلى 35% إلى 45% من متجهات المسحة بناءً على الارتياب.
• التطبيق اللاحق: تم تطبيق مصفوفة الأساس ومسارات المسحة المقدرة بنجاح على تجزئة الحركة المحلية، مما سمح بفعالية بفصل الأجسام التي تتحرك بشكل مستقل عن حركة المشهد العالمية (مثل سيارة تتحرك بشكل مختلف عن الخلفية) في الصور المشوشة.
• القصور: تواجه الطريقة صعوبة في المشاهد التي تحتوي على حركات محلية مستقلة متعددة (المشاهد الديناميكية) أو بالقرب من حركة الكاميرا الصفرية، حيث تكون إشارة الحركة العالمية ضعيفة أو متدهورة.

الأهمية والادعاءات

يدعي المؤلفون أن عملهم يثبت إمكانية استخراج قيود حركة الكاميرا ثلاثية الأبعاد من إطار واحد، وهي مهمة كانت تعتبر سابقاً غير محددة جيداً بسبب الغموض الزمني. من خلال الاستفادة من القيود الهندسية المتأصلة في ضبابية الحركة، توفر الطريقة وسيلة لأداء مهام الملاحة البصرية (visual odometry) والنمذجة من الحركة (structure-from-motion) مع تقليل زمن التأخير (مدخلات الإطار الواحد)، وهو أمر بالغ الأهمية لتطبيقات مثل القيادة الذاتية وطيران الدرونز. تؤكد الورقة أنه بينما تظل النتيجة غامضة حتى عملية التدوير (مما يعكس اتجاه الزمن المجهول)، إلا أن هذا كافٍ لتحديد الهندسة الإبوالية وتمكين المهام اللاحقة. يجسّر هذا العمل الفجوة بين معاملة ضبابية الحركة كعائق يجب إزالته وبين استخدامها كمصدر غني للمعلومات الهندسية.