🤖 AI

FishRoPE: Projective Rotary Position Embeddings for Omnidirectional Visual Perception

تُعد FishRoPE إطار عمل خفيف الوزن يعمل على تكييف نماذج الرؤية التأسيسية المجمدة مع كاميرات عين السمكة من خلال تقديم تضمين موضعي دوار قائم على الإحداثيات الكروية وتكيف منخفض الرتبة، مما يتيح إدراكاً فائقاً في جميع الاتجاهات دون الحاجة إلى تسميات توضيحية واسعة النطاق لعين السمكة أو إعادة تدريب النموذج بالكامل.

المؤلفون الأصليون: Rahul Ahuja, Mudit Jain, Bala Murali Manoghar Sai Sudhakar, Venkatraman Narayanan, Pratik Likhar, Varun Ravi Kumar, Senthil Yogamani

نُشر 2026-04-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rahul Ahuja, Mudit Jain, Bala Murali Manoghar Sai Sudhakar, Venkatraman Narayanan, Pratik Likhar, Varun Ravi Kumar, Senthil Yogamani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف "يرى" العالم أثناء قيادة سيارة.

المشكلة: حوض السمك مقابل الخريطة المسطحة

تستخدم معظم السيارات ذاتية القيادة كاميرات تشبه عيون البشر العادية أو الخرائط المسطحة. في هذا "العالم المسطح"، إذا حركت جسماً بمقدار بوصة واحدة إلى اليمين، فستظل المسافة دائماً بوصة واحدة. هذا أمر سهل الفهم بالنسبة للحواسيب.

ولكن، لكي ترى السيارات كل شيء حولها (بزاوية 360 درجة)، يستخدم المهندسون كاميرات عين السمكة (Fisheye Cameras). وهي تشبه العدسات المستخدمة في كاميرات المراقبة أو كاميرات "GoPro". إنها مذهلة لأنها تستطيع رؤية العالم بأكمله في لقطة واحدة، ولكن لها أثراً جانبياً غريباً: فهي تشوه كل شيء.

التشبيه: تخيل أنك تنظر إلى خريطة للعالم مطبوعة على ورقة مسطحة. الآن، تخيل أنك تحاول لف هذه الورقة حول كرة شاطئ ضخمة. الورقة يجب أن تتمدد وتتقلص. الدول القريبة من المركز (القطب الشمالي) تبدو طبيعية، لكن الدول القريبة من الحواف (خط الاستواء) تبدو متمددة وضخمة، رغم أنها في الواقع بعيدة جداً.
المشكلة: نماذج الذكاء الاصطناعي القياسية يتم تدريبها على خرائط "الورق المسطح". وعندما تغذيها بصورة "كرة الشاطئ" من كاميرا عين السمكة، يصاب الذكاء الاصطناعي بالارتباك. فهو يعتقد أن سيارة قريبة من حافة الصورة ضخمة وقريبة جداً، بينما هي في الواقع صغيرة وبعيدة. يحاول الذكاء الاصطناعي قياس المسافة باستخدام "البكسلات"، ولكن في عدسة عين السمكة، يعني البكسل القريب من المركز شيئاً مختلفاً تماماً عن البكسل القريب من الحافة.

الحل: FishRoPE

ابتكر الباحثون أداة جديدة تسمى FishRoPE. فكر فيها كـ "مترجم" أو "محول هندسي" يساعد الذكاء الاصطناعي على فهم "كرة الشاطئ" دون الحاجة إلى تسطيحها أولاً.

إليك كيف يعمل، مقسماً إلى ثلاثة أجزاء بسيطة:

1. العقل الذكي (DINOv2 المجمد)

بدلاً من تعليم الذكاء الاصطناعي الرؤية من الصفر (وهو أمر قد يستغرق سنوات وملايين الصور)، أعطوه "عقلاً خارقاً" يعرف بالفعل كيفية التعرف على الأشياء. هذا العقل، المسمى DINOv2، تم تدريبه على مليارات الصور العادية.

التشبيه: تخيل أنك استأجرت محققاً عالمياً حل ملايين الجرائم في مدن عادية. أنت لست بحاجة لإعادة تدريبه على كيفية التعرف على "سيارة" أو "مشاة". أنت فقط بحاجة لتعليمه كيفية قراءة نوع جديد من الخرائط.
الحيلة: لقد أبقوا هذا العقل "مجمداً" (حتى لا ينسى ما يعرفه) ولكنهم أضافوا إليه ترقية صغيرة وخفيفة الوزن (تسمى LoRA) لمساعدته على التكيف مع تشوه عدسة عين السمكة.

2. المسطرة الجديدة (FishRoPE)

هذا هو المكون السحري. يستخدم الذكاء الاصطناعي القياسي مسطرة تقيس المسافة في خطوط مستقيمة (بكسلات). يقوم FishRoPE بتغيير المسطرة لتقيس الزوايا.

الطريقة القديمة (مسطرة البكسل): تخيل أنك تقيس المسافة بالخطوات. لكن الجدران منحنية! الخطوات بالقرب منك قصيرة، لكن الخطوات عند الحافة ممتدة.
طريقة FishRoPE (مسطرة الزوايا): بدلاً من عد الخطوات، تقيس الزاوية. "أنا أنظر بمقدار 30 درجة إلى اليسار". "أنا أنظر بمقدار 10 درجات إلى اليمين".
لماذا تنجح هذه الطريقة: بغض النظر عن مدى تشوه الصورة، فإن الزاوية بين جسمين تظل ثابتة. يعلم FishRoPE الذكاء الاصطناعي التفكير بالزوايا (مثل البوصلة) بدلاً من البكسلات (مثل الشبكة). وهذا يسمح للذكاء الاصطناعي بفهم أن نقطة صغيرة عند حافة صورة عين السمكة هي في الواقع سيارة بعيدة، وليست وحشاً ضخماً.

3. تجميع الأجزاء معاً

يأخذ النظام صورة عين السمكة، ويمررها عبر "العقل الخارق"، ويستخدم "مسطرة الزوايا" لتحديد مكان الأشياء.

الكشف ثنائي الأبعاد (2D Detection): يمكنه رصد السيارات، والناس، واللافتات في الصورة المشوهة.
رؤية منظور عين الطائر (BEV - Bird's Eye View): يمكنه أخذ تلك الرؤية المشوهة وإسقاطها على خريطة مسطحة على الأرض، مما يوضح مكان السيارة بالضبط بالنسبة للطريق، حتى لو كانت الكاميرا تنظر بزاوية غريبة.

النتائج

اختبر الباحثون هذا النظام على بيانات قيادة من العالم الحقيقي.

قبل: كانت الطرق الأخرى تعاني، وغالباً ما تفشل في رصد الأشخاص عند حواف الصورة أو تخطئ في تقدير حجم السيارات.
بعد: أصبح FishRoPE الأفضل في العالم في هذه المهام. لقد وجد المزيد من الأجسام وفهم المساحة ثلاثية الأبعاد بشكل أفضل من أي طريقة سابقة، كل ذلك مع استخدام طاقة حوسبة أقل.

لماذا هذا مهم؟

عادةً، لحل مشكلة كهذه، سيتعين عليك بناء ذكاء اصطناعي جديد تماماً، ثقيل ومكلف من الصفر. FishRoPE يشبه مقبس المحول العالمي. فهو يسمح لنا بأخذ نماذج الذكاء الاصطناعي القوية والموجودة بالفعل واستخدامها لتعمل بشكل مثالي مع كاميرات عين السمكة، وهي كاميرات رخيصة وضرورية للقيادة الآمنة ذاتية القيادة.

باخت-القول: يعلم FishRoPE الذكاء الاصطناعي الذكي التوقف عن عد البكسلات والبدء في قياس الزوايا، لكي يتمكن أخيراً من "رؤية" العالم عبر عدسة حوض السمك دون الشعور بالدوار.

إليك ملخص تقني مفصل لورقة البحث بعنوان "FishRoPE: Projective Rotary Position Embeddings for Omnidirectional Visual Perception" (FishRoPE: تضمينات الموضع الدورانية الإسقاطية للإدراك البصري شامل الاتجاهات).

1. بيان المشكلة

تعتمد نماذج الرؤية التأسيسية (VFMs) الحالية ومسارات إدراك "منظور عين الطائر" (BEV) بشكل أساسي على كاميرات الثقب (pinhole cameras)، بافتراض هندسة مستطيلة (كارتيزية) حيث تقابل المسافات المتساوية في البكسل إزاحات مكانية متساوية. هذا الافتراض يفشل عند التعامل مع كاميرات عين السمكة (fisheye cameras)، وهي المعيار في المركبات ذاتية القيادة لتغطية 360 درجة، ولكنها تعاني من تشوه شعاعي شديد.

تحدد الورقة عائقين رئيسيين يمنعان اعتماد نماذج الرؤية التأسيسية في إدراك عين السمكة:

ندرة البيانات: مجموعات بيانات عين السمكة الموسومة ضخمة جداً أصغر بعدة مراتب من مجموعات البيانات المنظورية (مثل nuScenes وKITTI)، مما يجعل من غير العملي إعادة تدريب النماذج التأسيسية من الصاغ.
عدم التطابق الهندسي: تستخدم البنيات الحالية ترميزات الموضع (المتعلمة، أو الجيبية، أو الدورانية ثنائية الأبعاد القياسية) التي تشفر مسافات البكسل. في إسقاطات عين السمكة، يغطي إزاحة بكسل ثابتة بالقرب من مركز الصورة امتداداً زاوياً أصغر بكثير من نفس الإزاحة عند المحيط (فرق يترا-وح 3-5 أضعاف). يتسبب هذا في جعل آليات الانتباه (Attention) تفسر العلاقات المكانية بشكل خاطئ، مما يؤدي إلى عدم اتساق هندسي في كل من "الانتباه الذاتي" (self-attention) و"الانتباه المتقاطع" (cross-attention) (عملية رفع الميزات إلى منظور BEV).

2. المنهجية

يقترح المؤلفون FishRoPE، وهو إطار عمل خفيف الوزن يعمل على تكييف نماذج الرؤية التأسيسية المجمدة مع هندسة عين السمكة دون الحاجة إلى إعادة تدريب كاملة. تتكون البنية من ثلاثة مكونات رئيسية:

أ. العمود الفقري (Backbone): نموذج DINOv2 مجمد مع LoRA

النموذج الأساسي: استخدم المؤلفون نموذج DINOv2 (ViT-B/14) مجمد كعمود فقري، تم اختياره لقدرته العالية على التعميم عبر تحولات النطاق بفضل ميزاته ذات الإشراف الذاتي، ولآلية "الانتباه الذاتي العالمي" التي تناسب طبيعياً التعامل مع العلاقات غير المحلية في صور عين السمكة المشوهة.
التكيف: لتكييف هذا النموذج المجمد مع مجال عين السمكة بأقل قدر من المعلمات، تم حقن وحدات التكيف منخفض الرتبة (LoRA) (برتبة $r=16$ ) في إسقاطات الاستعلام (query) والقيمة (value) لطبقات الانتباه الذاتي. يضيف هذا حوالي 3 ملايين معلمة قابلة للتدريب فقط إلى الـ 86 مليون معلمة الموجودة في العمود الفقري المجمد.
استخراج الميزات: يتم استخراج الميزات متعددة المقاييس من طبقات ViT المتوسطة (3، 6، 9، 12) ودمجها عبر شبكة هرم الميزات (FPN).

ب. الابتكار الجوهري: تضمين الموضع الدوراني لعين السمكة (FishRoPE)

هذا هو المساهمة التقنية الرئيسية. يستبدل FishRoPE افتراض الشبكة الكارتيزية الضمنية بـ نظام إحداثيات كروي $(\theta, \phi)$ مشتق من نموذج عدسة عين السمكة (تحديداً إسقاط Kannala–Brandt).

تحويل الإحداثيات: لكل رقعة صورة (patch) عند إحداثيات البكسل $(u, v)$ ، يقوم النظام بحساب زاوية السقوط $\theta$ والزاوية السمتية $\phi$ باستخدام الإسقاط العكسي لنموذج Kannala–Brandt.
آلية التضمين: يتم تقسيم بُعد التضمين $d$ إلى فضاءين فرعيين ( $d/2$ لـ $\theta$ و $d/2$ لـ $\phi$ ). تُطبق مصفوفات الدوران الخاصة بـ (RoPE) القياسية على هذه الفضاءات بناءً على الإحداثيات الزاوية بدلاً من مؤشرات البكسل.
الخصائص الرئيسية:
- الموضع النسبي الزاوي: تعتمد قيم الـ (logits) للانتباه على التباعد الزاوي النسبي بين الرموز (tokens)، وليس مسافة البكسل. وهذا يحافظ على خاصية الموضع النسبي لـ RoPE في فضاء ذي معنى هندسي.
- إزالة الغموض في المحيط: الرموز الموجودة عند المحيط (والتي تغطي امتدادات زاوية كبيرة في عدد قليل من البكسلات) تحصل على أكواد موضع متميزة، مما يحل الغموض المكاني.
- التدهور الطبيعي (Degeneracy): في النطاق القريب من المركز البصري (paraxial regime)، يتحول FishRoPE طبيعياً إلى 2D RoPE القياسي، مما يضمن التوافق مع الكاميرات ذات الثقب (pinhole).

ج. رؤوس المهام المحددة (Task-Specific Heads)

يدعم الإطار عمليتين باستخدام نفس العمود الفقري والميزات المعززة بـ FishRoPE:

الكشف عن الأشياء ثنائي الأبعاد (2D Object Detection): يقوم رأس يشبه CenterNet (خالٍ من الارتكاز/anchor-free) بالتنبؤ بخرائط الفئات (class heatmaps)، وأبعاد الصناديق، والاتجاه.
التقسيم الدلالي لـ BEV: تقوم وحدة تحويل الرؤية بإسقاط ميزات الصورة إلى شبكة إشغال علوية (top-down occupancy grid). وخلافاً للطرق السابقة التي تتطلب عملية تصحيح (rectification) وسيطة، تستخدم هذه الوحدة إسقاط Kannala–Brandt الأمامي لربط استعلامات شبكة BEV مباشرة بمفاتيح الصورة. يتم تطبيق Fish-RoPE على كل من استعلامات BEV ومفاتيح الصورة، مما يضمن أن يعمل "الانتباه المتقاطع" على القرب الزاوي بدلاً من مسافة البكسل المشوهة.

3. المساهمات الرئيسية

المحول الهندسي لنماذج الرؤية التأسيسية (Geometric Adapter for VFMs): يثبت أن نماذج الرؤية التأسيسية المجمدة (DINOv2) يمكن تكييفها بفعالية مع صور عين السمكة باستخدام LoRA خفيف الوزن، مما يتجنب الحاجة إلى تدريب مسبق ضخم مخصص لعين السمكة.
FishRoPE: يقدم أول تضمين موضع يعمل في نظام الإحداثيات الكروية لعدسات عين السمكة. يقوم بتصحيح عدم التطابق الهندسي في آليات الانتباه، مما يسمح للنموذج بالاستدلال على العلاقات المكانية بدقة تحت تأثير التشوه الشعاعي.
استقلالية البنية (Architecture Agnosticism): الطريقة قابلة للتركيب والتشغيل (plug-and-play)، حيث تضيف عبئاً حسابياً ضئيلاً وتتراجع بسلاسة لتصبح RoPE قياسية للكاميرات ذات الثقب (pinhole).
أداء رائد (State-of-the-Art): يحقق معايير جديدة في كل من الكشف ثنائي الأبعاد وتقسيم BEV دون الحاجة إلى تغييرات هيكلية معقدة أو إعادة تدريب ثقيلة.

4. النتائج التجريبية

تم تقييم النموذج على مجموعتين من الاختبارات: WoodScape (للكشف ثنائي الأبعاد) و SynWoodScapes (لتقسيم BEV).

الكشف عن الأشياء ثنائي الأبعاد (WoodScape):
- حقق FishRoPE (DINOv2-B + FishRoPE) دقة 54.2 mAP، متفوقاً على أفضل النتائج السابقة (FisheyeDetNet بنسبة 49.5 mAP)، وعلى النموذج المرجعي الذي يستخدم DINOv2 مع 2D RoPE القياسي (52.5 mAP).
- حتى مع استخدام عمود فقري ResNet-18، تفوق FishRoPE (بنسبة 51.4 mAP) على كواشف عين السمكة المتخصصة السابقة.
تقسيم BEV (SynWoodScapes):
- حقق FishRoPE دقة 65.1 mIoU، متفوقاً على أفضل نتيجة سابقة وهي FishBEV (بنسبة 64.22 mIoU)، رغم أن FishBEV استخدم عمود فقري أكبر (ViT-L) بينما استخدم FishRoPE نموذج (ViT-B).
دراسات الاستئصال (Ablation Studies):
- تشفير الموضع: تفوق FishRoPE باستمرار على تشفيرات الموضع المطلقة المتعلمة، والجيبية، و 2D RoPE القياسية.
- العمود الفقري: تفوق DINOv2-B بشكل كبير على متغيرات Swin-T و ResNet، مما يؤكد قيمة النماذج التأسيسية المجمدة لهذا المجال.
- المكونات: وفر استخدام كل من $\theta$ و $\phi$ في التضمين مكاسب طفيفة ولكنها ثابتة مقارنة باستخدام $\theta$ وحده.

5. الأهمية

يعالج FishRoPE فجوة حرجة في إدراك القيادة الذاتية: عدم القدرة على الاستفادة من نماذج الرؤية التأسيسية القوية وعامة الأغراض لكاميرات عين السمكة. من خلال فصل استخراج الميزات (عبر نماذج VFM مجمدة) عن الاستدلال الهندسي (عبر FishRoPE)، توفر الورقة حلاً قابلاً للتوسع:

يلغي الحاجة إلى مجموعات بيانات ضخمة لعين السمكة لتدريب النماذج التأسيسية من الصفر.
يصحح الأخطاء الهندسية الجوهرية في آليات الانتباه الناتجة عن التشوه الشعاعي.
يوحد مسارات الإدراك، مما يسمح لنفس البنية بالتعامل مع مدخلات الكاميرا ذات الثقب (pinhole) وعين السمكة بسلاسة.

يشير هذا العمل إلى اتجاه مستقبلي حيث لا تكون نماذج الإدراك مقيدة بهندسة كاميرا محددة، بل يتم تكييفها عبر تضمينات موضع مدركة هندسياً، مما يجعلها قوية تجاه تكوينات المستشعرات المتنوعة.