🤖 AI

PanoWorld: Towards Spatial Supersensing in 360 $^\circ$ Panorama World

تقدم هذه الورقة PanoWorld، وهو إطار عمل مبتكر يُمكّن النماذج اللغوية الكبيرة متعددة الوسائط من إجراء استدلال مكاني قوي بـ 360 درجة عبر التعامل مع الصور البانورامية ذات الإسقاط المستطيل المتساوي (equirectangular) كفضاءات مستمرة متمحورة حول المراقب من خلال تكيف مخصص للهندسة الكروية ومعيار تشخيصي جديد.

المؤلفون الأصليون: Changpeng Wang, Xin Lin, Junhan Liu, Yuheng Liu, Zhen Wang, Donglian Qi, Yunfeng Yan, Xi Chen

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Changpeng Wang, Xin Lin, Junhan Liu, Yuheng Liu, Zhen Wang, Donglian Qi, Yunfeng Yan, Xi Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقف في منتصف غرفة، ومعك كاميرا يمكنها التقاط صورة لـ كل شيء حولك دفعة واحدة — 360 درجة، من الأرض إلى السقف، دون أي نقاط عمياء. هذه هي الصورة البانورامية بزاوية 360 درجة.

لفترة طويلة، تم تدريب أذكى نماذج الرؤية بالذكاء الاصطناعي (التي تسمى MLLMs) على رؤية العالم مثل الإنسان الذي يمتلك مجال رؤية ضيقًا: فهي ترى صورة مسطحة واحدة في كل مرة، كأنها تنظر من خلال نافذة. إذا أردت منها أن تفهم غرفة كاملة، عليك أن تعرض عليها سلسلة من اللقطات الصغيرة المنفصلة وتطلب منها تخمين كيفية تركيب هذه القطع معًا. الأمر يشبه محاولة فهم لغز كامل عبر النظر إلى قطعة واحدة في كل مرة، والأمل في تذكر أماكن القطع الأخرى.

PanoWorld هو نظام جديد يعلم الذكاء الاصطناعي التوقف عن النظر من خلال "النوافذ" والبدء في رؤية الكرة الكاملة دفعة واحدة. إليك كيف فعلوا ذلك، مقسمًا ببساطة:

1. المشكلة: "الخريطة المسطحة" مقابل "الكرة الأرضية"

تجادل الورقة البحثية بأن الذكاء الاصطناعي الحالي يعامل الصورة بزاوية 360 درجة كخريطة مسطحة وممدودة (مثل خريطة العالم التي تشوه الأقطاب). لكن العالم الحقيقي عبارة عن كرة.

الطريقة القديمة: يرى الذكاء الاصطناعي صورة مشوهة حيث تكون الأجزاء العلوية والسفلية مضغوطة، والحواف اليسرى واليمنى متباعدة جدًا. إنه لا يدرك أن الحافة اليسرى والحافة اليمنى تتلامسان في الواقع.
طريقة PanoWorld: يتعلم الذكاء الاصطناعي التعامل مع الصورة ككرة مستمرة تتمحور حول المراقب. إنه يفهم أنه إذا أدرت رأسك 180 درجة، فإن الشيء الذي كان على يسارك سيصبح الآن على يمينك، وأن "الدرز" أو الخط الذي تلتف عنده الصورة هو مجرد خط، وليس جدارًا.

2. الحل: تعليم الذكاء الاصطناعي "الحدس الكروي"

لإصلاح ذلك، بنى الباحثون نظام تدريب جديدًا يتكون من ثلاثة أجزاء رئيسية:

أ. خط إنتاج البيانات "المعلم الخارق" (Super-Teacher)

لم يكن بإمكانهم مجرد تغذية الذكاء الاصطناعي بصور عشوائية؛ فقد احتاجوا إلى طريقة لتعليمه قواعد الفضاء ثلاثي الأبعاد.

التشبيه: تخيل محاولة تعليم طفل الجغرافيا. لا يمكنك فقط إظهار خريطة مسطحة له؛ بل تحتاج إلى كرة أرضية.
ما فعلوه: بنوا خط إنتاج ضخم أخذ 570,000 صورة حقيقية بزاوية 360 درجة. استخدموا أدوات ذكية أخرى للعثور على الأشياء (مثل الكراسي أو الأشخاص)، وقياس مدى بعدهم، وتحديد موقعهم الدقيق على "الكرة" (باستخدام زوايا مثل "30 درجة إلى اليمين و10 درجات للأعلى"). ثم تحققوا من هذه البيانات مرتين للتأكد من صحة التصنيفات. خلق هذا "معيارًا ذهبيًا" للكتاب المدرسي الخاص بالذكاء الاصطناعي.

ب. "نظام تحديد المواقع الكروي" (Spherical GPS) في الدماغ

قاموا بتعديل بنية الذكاء الاصطناعي (أي "دماغ" النموذج) لتشمل وحدة خاصة تسمى الانتباه المتقاطع المكاني الكروي (Spherical Spatial Cross-Attention).

التشبيه: فكر في الذكاء الاصطناعي القياسي كشخص يقرأ كتابًا على طاولة مسطحة. يضيف PanoWorld نظام GPS بزاوية 3 60 درجة داخل رأس القارئ.
كيف يعمل: في كل مرة ينظر فيها الذكاء الاصطناعي إلى "بكسل" في الصورة، يخبره نظام الـ GPS هذا: "هذا البكسل ليس مجرد إحداثيات (x, y)؛ بل هو في الواقع يشير إلى اتجاه محدد في الفضاء ثلاثي الأبعاد". وهذا يسمح للذكاء الاصطناعي بفهم أن جسمًا ما على أقصى اليسار في الصورة هو في الواقع قريب جسديًا من جسم على أقصى اليمين، رغم أنهما يبدوان بعيدين عن بعضهما على الشاشة.

ج. "القوى الخارقة الأربع"

تحدد الورقة أربع مهارات محددة كان على الذكاء الاصطناعي تعلمها لإتقان هذا الأمر:

الترسيخ الدلالي (Semantic Anchoring): معرفة ماهية الأشياء (مثل: "ذلك صنبور حريق أحمر").
التجذير الكروي (Spherical Grounding): معرفة أين توجد الأشياء على الكرة (مثل: "إنه على بُعد 45 درجة إلى يميني").
تحويل إطار المرجع (Reference-Frame Transformation): فهم كيف تتحرك الأشياء إذا استدرت أنت (مثل: "إذا استدرت لليسار، فإن صنبور الحريق أصبح خلفي الآن").
الاستنتاج المدرك للعمق (Depth-Aware Reasoning): فهم مدى بعد الأشياء وعلاقتها ثلاثية الأبعاد (مثل: "السيارة خلف الشجرة").

3. النتائج: لماذا يهم هذا؟

اختبر الباحثون نموذجهم الجديد، PanoWorld، مقابل أفضل نماذج الذكاء الاصطناعي الموجودة (بما في ذلك أسماء كبيرة مثل GPT-4o و Qwen).

الاختبار: استخدموا معيارًا جديدًا يسمى PanoSpace-Bench مصممًا خصيصًا لاختبار ما إذا كان الذكاء الاصطناعي يفهم طبيعة "الالتفاف" في مشاهد الـ 360 درجة.
النتيجة: سحق PanoWorld المنافسة. بينما تعثرت النماذج الأخرى في تحديد مكان الأشياء بالنسبة لبعضها البعض في دائرة كاملة، نجح PanoWorld في ذلك معظم الوقت.
النقل إلى العالم الحقيقي: اختبروه أيضًا في مهام مثل ملاحة الروبوتات أو البحث عن أشخاص أو أشياء محددة في غرفة. ورغم أنهم لم يدربوا الذكاء الاصطناعي خصيصًا لهذه المهام، إلا أنه قدم أداءً أفضل من النماذج التي تم تدريبها عليها لسنوات.

الخلاصة

تزعم الورقة البحثية أنه لفهم عالم بزاوية 360 درجة حقًا، لا يمكنك مجرد دمج صور مسطحة. يجب عليك تعليم الذكاء الاصطناعي التفكير في كرات. من خلال منح الذكاء الاصطناعي فهمًا "أصليًا" للهندسة البانورامية، أنشأوا نظامًا يمكنه الاستنتاج حول المساحة والمسافة والاتجاه بطريقة تبدو أكثر طبيعية وتشبه البشر في البيئات الغامرة.

باخت-اختصار: لقد توقفوا عن معاملة الصور بزاوية 360 درجة كخرائط مسطحة مشوهة، وبدأوا يعاملونها ككرات أرضية ثلاثية الأبعاد كما هي في الواقع، مما نتج عنه ذكاء اصطناعي يمكنه "رؤية" الغرفة بأكملها دفعة واحدة دون ارتباك.

ملخص تقني: PanoWorld: نحو استشعار مكاني فائق في عالم البانوراما 360 درجة

بيان المشكلة

تعاني النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) حاليًا من صعوبة في التفكير المكاني القوي لأنها مُدربة بشكل أساسي على الصور المنظورية، مما يورثها مجال رؤية (FoV) ضيقًا يحد من قدرتها على إدراك البيئة المحيطة بالكامل. وبينما يوفر الاستشعار البانورامي بزاوية 360 درجة "استشعارًا فائقًا" عبر التقاط البيئة الكاملة المتمحورة حول المراقب، فإن مسارات عمل النماذج الحالية (MLLM) تقوم عادةً بتفكيك هذه البانورامات إلى عدة مشاهد منظورية منفصلة. هذا النهج يعامل بنية الإسقاط متساوي المستطيلات (ERP) كبنية ضمنية، مما يؤدي إلى الفشل في الاستفيد من الاستمرارية العالمية المتسقة والالتفافية والعلاقات المكانية المعتمدة على وجهة النظر والمتأصلة في البيانات البانورامية.

إن نقل النماذج القائمة على المنظور مباشرة إلى البانوراما أمر صعب بسبب الفجوات الجوهرية في التمثيل، بما في ذلك التشوه الهندسي، وأخذ العينات المكانية غير المنتظمة، والانقطاعات عند الحدود. علاوة على ذلك، فإن الأبحاث الحالية في مجال البانوراما للنماذج متعددة الوسائط مجزأة، وتفتقر إلى تصنيف نظامي للقدرات ومعيار موحد لتقييم التفكير المكاني بعيدًا عن مقاييس الإجابة على الأسئلة المرئية (VQA) القياسية.

المنهجية

يقترح المؤلفون PanoWorld، وهو إطار عمل موحد للتعلم "الأصيل للبانوراما" (pano-native) الذي يمكّن النماذج (MLLMs) من التفكير مباشرة فوق صور (ERP) المتساوية المستطيلات المستمرة والمتمحورة حول المراقب. تتكون المنهجية من ثلاثة مكونات أساسية:

1. تصنيف القدرات

يحدد البحث الفهم الأصيل للبانوراما من خلال أربع عائلات من القدرات، والتي تعمل كأساس للإشراف والتقييم:

الترسيخ الدلالي (Semantic Anchoring): ربط اللغة بالكيانات المرئية، والسمات، وطوبولوجيا المشهد العالمية.
// * الترسيخ الكروي (Spherical Grounding): تحديد مواقع الكيانات على كرة الرؤية باستخدام معلمات الالتواء (yaw) والارتفاع (pitch) بدلاً من إحداثيات الصورة المستوية.
تحويل إطار المرجع (Reference-Frame Transformation): التفكير في العلاقات المكانية تحت دوران المراقب (دوران الكاميرا) أو إعادة التوجيه المشروط بالكائن، بما في ذلك الاستمرارية الالتفافية الواعية للدرز (seam-aware).
التفكير المكاني ثلاثي الأبعاد المدرك للعمق (Depth-Aware 3D Spatial Reasoning): ربط الملاحظات الكروية بالبنية ثلاثية الأبعاد، بما في ذلك العمق، والمسافة النسبية، والعلاقات المتمحورة حول المشاهد (مثل: يسار/يمين، أمام/خلف).

2. خط إنتاج البيانات الوصفية واسعة النطاق

لدعم هذا التصنيف، أنشأ المؤلفون مجموعة بيانات مكونة من 570 ألف بانوراما (ERP) عالية الجودة من مصادر مختلطة (داخلية/خارجية، اصطناعية/حقيقية). وقد طوروا خط إنتاج بيانات وصفية قابلة للتحقق لتوليد إشراف مدرك للهندسة، ومرتبط لغويًا، ومدرك للعمق:

الكشف المدرك للهندسة: يتم إسقاط البانورامات إلى مشاهد منظورية متداخلة لغرض الكشف، ثم إعادة إسقاطها إلى إحداثيات (ERP) مع تحقق هندسي (تثبيط قائم على IoU، واتساق عبر الرؤى) للتعامل مع التشوه وانقسام الدرز.
الدلالات المرتبطة لغويًا: يقوم نموذج (MLLM) بتوليد تعليقات دلالية وعبارات مرجعية، والتي يتم التحقق منها عبر حلقة "إعادة الكشف عن الوصف" لضمان التوافق بين النص والمناطق المرئية.
ارتباط العمق: يتم ربط الكيانات بمعلومات العمق من البيانات المصدرية أو تقديرها عبر نماذج العمق البانورامية.
الرسم البياني المهيكل: تشكل هذه العناصر رسمًا بيانيًا للبيانات الوصفية $G=(V, E)$ يمثل الكيانات وعلاقاتها الكروية/ثلاثية الأبعاد، ومنه يتم اشتقاق 2.998 مليون مثال لضبط التعليمات.

3. تكييف النموذج المدرك للبانوراما (PanoWorld)

بُني النموذج على أساس Qwen3.5-VL وتم توسيعه بوحدة الانتباه المتقاطع المكاني الكروي (SSCA).

بناء الرموز الكروية: لكل رقعة مرئية (patch)، يحسب النموذج مركزها في إحداثيات (ERP) ويقوم بخرائطتها إلى اتجاه كروي $(\lambda, \phi)$ . يتم ترميز هذه الاتجاهات عبر ترميز جيب التمام الكروي وإسقاطها في الفضاء الخفي المرئي لإنشاء رموز كروية $S$ .
حقن الانتباه المتقاطع: مباشرة بعد تضمين الرقعة (patch embedding)، تقوم الرموز المرئية $H^{(0)}$ بالاستعلام من الرموز الكروية $S$ عبر الانتباه المتقاطع. يسمح هذا للنموذج باسترجاع إشارات مدركة للهندسة بناءً على الاتجاهات المتمحورة حول المراقب.
الدمج المبوّب (Gated Fusion): يتم دمج الإشارة المدركة للهندسة الناتجة في التدفق المرئي عبر تحديث متبقي مبوّب، مما يحافظ على الهيكل الأساسي المدرب مسبقًا مع حقن الهندسة الكروية.

المساهمات الرئيسية

تصنيف القدرات: صياغة منهجية للتفكير المكاني البانورامي مقسمة إلى الترسيخ الدلالي، والترسيخ الكروي، وتحويل إطار المرجع، والتفكير المكاني ثلاثي الأبعاد المدرك للعمق.
البيانات والمعيار: خط إنتاج بيانات وصفية قابل للتوسع ينتج 570 ألف بانوراما مع رسوم بيانية موثقة، ومعيار PanoSpace-Bench، وهو معيار تشخيصي يقيم التفكير المكاني الأصيل لـ (ERP) عبر التوطين، والتفكير العلاقاتي، والفهم المكاني ثلاثي الأبعاد، واستمرارية الدرز.
بنية النموذج: نموذج PanoWorld مع الانتباه المتقاطع المكاني الكروي، والذي يحقن الهندسة الكروية في التدفق المرئي من أجل فهم متسق هندسيًا.
التحقق التجريبي: تجارب مكثفة تثبت أن الإشراف المخصص للأصول البانورامية والتكيف المدرك للهندسة ضروريان للتفكير البانورامي القوي.

النتائج التجريبية

تم تقييم الإطار المقترح على PanoSpace-Bench، و H*Bench (البحث المرئي المتمحور حول الإنسان)، و R2R-CE Val-Unseen (الملاحة القائمة على الرؤية واللغة).

PanoSpace-Bench: حقق PanoWorld دقة إجمالية قدرها 56.5%، متفوقًا بشكل كبير على النماذج المملوكة (مثل GPT-4o بنسبة 31.8%) والنماذج المرجعية مفتوحة المصدر. لوحظت مكاسب ملحوظة في توطين BFOV (73.3% mIoU مقابل أقل من 5% للنماذج المرجعية) وفي التفكير في استمرارية الدرز (65.5% مقابل ~37%).
نقل H*Bench: في إعداد صفر المعرفة (zero-shot)، حقق PanoWorld دقة إجمالية قدرها 56.1%، متجاوزًا بشكل كبير أفضل نموذج مرجعي للمنظور (38.4%). وبعد الضبط الدقيق، وصل إلى 70.1%، مما يثبت أن التمثيل المتعلم ينتقل بفعالية إلى مهام البحث في المجالات المتنوعة دون الإفراط في التخصيص لمعيار التدريب.
R2R-CE Val-Unseen: باستخدام بانورامات (ERP) فقط كمدخلات، حقق PanoWorld معدل نجاح (SR) قدره 54.3% و SPL قدره 52.1%، متفوقًا على نماذج VLN الحديثة التي تعتمد على RGB فقط وطرق التنبؤ بنقاط المسار، رغم استخدامه 80% فقط من بيانات التدريب القياسية.
الكفاءة: يتطلب الاستدلال المباشر لـ ERP تمريرة واحدة للأمام، بينما تتطلب طرق دوران المنظور من 3.5 إلى 6.3 خطوات تفاعل متسلسلة، مما يجعل PanoWorld أكثر كفاءة بشكل كبير من حيث خطوات التفاعل واستهلاك الرموز (tokens).

الأهمية والادعاءات

يجادل البحث بأن التفكير البانورامي القوي لا يمكن تحقيقه بمجرد معاملة صور (ERP) كصور ثنائية الأبعاد عريضة أو الاعتماد على أوصاف الإحداثيات على مستوى المطالبة (prompt). بدلاً من ذلك، يتطلب الأمر إشرافًا مخصصًا للأصول البنورامية وتكييفًا للنموذج مدركًا للهندسة.

يدعي المؤلفون أن عملهم يثبت:

ضرورة التعلم الأصيل للبانوراما: تفشل النماذج متعددة الوسائط العامة في التفكير الكروي؛ لذا فإن الحقن الهيكلي المخصص للهندسة الكروية والتدريب على بيانات متوافقة مع القدرات أمر ضروري.
التمثيل الموحد: التفكير المباشر فوق الفضاء البانورامي المستمر أكثر كفاءة وفعالية من تفكيك المشاهد إلى رؤى محلية مجزأة.
القابلية للنقل: تنتقل الأولويات المكانية المتعلمة من الإشراف الأصيل للبانوراما بفعالية إلى مهام متنوعة، بما في ذلك البحث المرئي المتمحور حول الإنسان والملاحة المتجسدة، متفوقة على الطرق التي تعتمد على استكشاف المنظور.

يخلص البحث إلى أن PanoWorld و PanoSpace-Bench يوفران أساسًا لتعزيز الذكاء المكاني شامل المحيط، متجاوزين قيود نموذج الصورة المنظورية.