🤖 AI

ERGeoBench:A Comprehensive Benchmark for Embodied Reasoning and Geo-localization in Multimodal Large Language Models

تقدم هذه الورقة ERGeoBench، وهو معيار تشخيصي شامل يتكون من 2,207 صورة بانورامية عالمية لمشاهد الشوارع، يقيم نماذج اللغات الكبيرة متعددة الوسائط عبر إعدادات تجسيدية تدريجية للكشف عن قيودها الحالية في الإدراك دقيق التفاصيل والتحديد الجغرافي المتري، مع تسليط الضوء على الترابط القوي بين التحديد المكاني وقدرات الاستدلال المكاني الأوسع.

المؤلفون الأصليون: Kaiwen Xue, Tao Wei, Guoxin Zhang, Zhonghong Ou, Kaoyan Lu, Yu Feng, Yifan Zhu, Haoran Luo

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kaiwen Xue, Tao Wei, Guoxin Zhang, Zhonghong Ou, Kaoyan Lu, Yu Feng, Yifan Zhu, Haoran Luo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك أُلقي بك في مدينة غريبة بلا خريطة، ولا نظام تحديد مواقع (GPS)، ولا هاتف. كيف ستعرف أين أنت؟

لن تكتفي بمجرد التحديق في صورة واحدة ضبابية والتخمين؛ بل ستقوم بالنظر حولك. ستلتفت برأسك لترى لافتة شارع، وسترفع رأسك للأعلى لتلمح سقف مبنى فريد، وربما تقرب نظرك (Zoom) على واجهة محل لتقرأ اللغة. ستجمع هذه القرائن معاً، وتتذكر ما رأيته على يسارك عندما تلتفت يميناً، حتى يتكون لديك تخمين دقيق حول موقعك.

هذا هو بالضبط ما يحاول بحث ERGeoBench تعليم الحواسيب القيام به.

المشكلة: فخ "الصورة الثابتة"

حالياً، معظم نماذج الذكاء الاصطناعي التي تحاول تخمين مكان التقاط صورة تشبه الأشخاص الذين يُعصبون أعينهم ولا يُسمح لهم إلا بالنظر من ثقب مفتاح واحد. يتم إعطاؤهم صورة ثابتة واحدة (أو بانوراما واسعة واحدة) ويُطلب منهم تخمين الموقع.

يجادل البحث بأن هذا أمر غير طبيعي؛ فنحن البشر لا نعمل بهذه الطريقة. نحن نتحرك، وننظر عن قرب، ونغير منظورنا. أدرك المؤلفون أنه بينما أصبح الذكاء الاصطناعي جيداً في التعرف على ماهية الأشياء الموجودة في الصورة (مثل "ذلك حافلة حمراء")، إلا أنه سيء جداً في العملية النشطة لمعرفة أين توجد تلك الأشياء من خلال التحرك حولها.

الحل: معيار "السائح الافتراضي"

أنشأ المؤلفون بيئة اختبار جديدة تسمى ERGeoBench. فكر في هذا كأنه مستوى في لعبة فيديو عالمية ضخمة مصمم لاختبار ما إذا كان بإمكان الذكاء الاصطناعي أن يعمل كـ سائح افتراضي.

بدلاً من مجرد عرض صورة للذكاء الاصطناعي، يمنحه هذا المعيار رؤية بزاوية 360 درجة لزاوية شارع، ويسمح له بـ "التحرك" عبر:

الالتفات بالرأس (Yaw).
النظر للأعلى أو الأسفل (Pitch).
التقريب (Zoom) لقراءة اللافتات الصغيرة.

يتعين على الذكاء الاصطناعي اتخاذ هذه الإجراءات خطوة بخطوة، وجمع القرائن مثل المحقق، للإجابة على السؤال: "أين أنا في هذا العالم؟"

المهارات الأربع التي اختبروها

لكي يتأكدوا مما إذا كان الذكاء الاصطناعي "متجسداً" (Embodied) حقاً (أي يعمل كوكيل مادي)، لم يكتفوا بسؤاله عن الموقع فحسب، بل اختبروا أربع مهارات محددة، تماماً مثل فحص رخصة القيادة:

الإدراك الأساسي (العيون): هل يستطيع الذكاء الاصطناعي رؤية التفاصيل فعلياً؟ (مثلاً: "هل هذا مخروط مروري أم سلة مهملات؟").
الوعي المكاني (البوصلة الداخلية): إذا رأى الذكاء الاصطناعي سيارة أمامه، ثم التفت 90 درجة يميناً، هل يتذكر أين أصبحت السيارة الآن؟ هل يمكنه فهم "يسار"، "يمين"، "خلف"، و"المسافة"؟
التفكير المنطقي السليم (العقل): إذا كان الذكاء الاصطناعي "عطشاً"، فهل يمكنه النظر حوله ومعرفة أي متجر هو الأقرب لشراء الماء؟
التفكير في التحديد الجغرافي (الخريطة): جمع كل ذلك معاً لتخمين الدولة، والمدينة، والشارع.

ما وجدوه (بطاقة النتائج)

اختبر المؤلفون 9 من أذكى نماذج الذكاء الاصطناعي المتاحة (سواء كانت "نماذج مملوكة" باهظة الثمن أو "نماذج مفتوحة المص المصدر"). وإليكم ما اكتشفوه:

"الصورة الكبيرة" سهلة: نماذج الذكاء الاصطناعي جيدة بشكل مدهش في تخمين الدولة أو المدينة. يمكنها أن تقول لك: "هذا يبدو مثل نيويورك" أو "هذا في اليابان" بمجرد النظر إلى الطابع العام.
"التفاصيل الدقيقة" صعبة: تعاني النماذج بشدة مع الإحداثيات الدقيقة. قد تخمن "الولايات المتحدة" بشكل صحيح، لكنها تفشل في إخبارك باسم الشارع أو الحي المحدد.
مشكلة "الذاكرة": كان هذا هو العائق الأكبر. عندما كان الذكاء الاصطناعي يلتفت برأسه للنظر إلى زاوية جديدة، كانت العديد من النماذج تصاب بالارتباك. لم تستطع الحفاظ على خريطة ذهنية متسقة لما كانت عليه الأشياء بالنسبة لبعضها البعض. الأمر يشبه الالتفاف حول نفسك في غرفة ثم نسيان أين يوجد الباب.
النشط مقابل السلبي: من المثير للاهتمام أن أفضل النماذج استطاعت بالفعل تحسين تخميناتها من خلال اتخاذ إجراءات (الالتفات والتقريب). لقد تمكنت من العثور على قرائن فاتتها في النظرة الأولى. ومع ذلك، فإن النماذج الأضعف أصبحت نتائجها أسوأ عندما حاولت التحرك، حيث "تائهت" فعلياً لأنها لم تستطع التعامل مع الزوايا الجديدة.

الخلاصة

يخلص البحث إلى أنه بينما أصبح الذكاء الاصطناعي أفضل في "رؤية" العالم، إلا أنه لم يتقن بعد فن استكشافه. لكي يكون الذكاء الاصطناعي "وكيلاً متجسداً" حقيقياً (مثل الروبوت أو الإنسان)، فإنه يحتاج إلى فعل أكثر من مجرد التعرف على الأنماط؛ يحتاج إلى فهم المساحة، وتذكر ما رآه قبل لحظات، واختيار المكان الذي يجب أن ينظر إليه تالياً لحل اللغز بنشاط.

ERGeoBench هو المسطرة الجديدة التي صنعوها لقياس مدى جودة (أو سوء) الذكبة الاصطناعي في هذه المهارة البشرية المحددة المتمثلة في إيجاد طريقه حول العالم.

ملخص تقني: ERGeoBench

بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) إمكانات كبيرة كوكلاء مجسدين، لا يزال التحديد الجغرافي المجسد (Embodied Geo-localization) غير مستكشف بشكل كافٍ. تعامل طرق التحديد الجغرافي الحالية المهمة في الغالب كمسألة تعرّف ثابتة، حيث تستنتج الموقع مباشرة من صورة واحدة أو عرض بانورامي مسبق الالتقاط عبر التراجع (Regression) أو الاسترجاع (Retrieval). يفترض هذا النموذج الثابت توفر أدلة كافية في المدخلات الثابتة، مما يفتقر إلى آليات التفاعل أو صقل الأدلة. وبناءً على ذلك، تواجه هذه الطرق صعوبة في حل حالات الغموض في المشاهد المعقدة بصرياً.

في المقابل، يعد التحديد الجغرافي البشري عملية تسلسلية ونشطة تتضمن الملاحظة التدريجية، واختيار زاوية الرؤية، ودمج الأدلة بمرور الوقت (مثل الدوران، والتكبير، وإعادة زيارة المعالم). وتوجد فجوة حرجة في تقييم ما إذا كانت النماذج اللغوية الكبيرة متعددة الوسائط قادرة على إجراء تحديد جغرائي عالمي من خلال الاستدلال البصري المجسد والتفاعلي الذي يحاكي السلوك البشري، بدلاً من مجرد مطابقة الأنماط السلبية.

المنهجية: ERGeoBench

لمعالجة هذه الفجوة، قدم المؤلفون ERGeoBench، وهو معيار تشخيصي للتحديد الجغرافي المجسد القائم على الرؤية. يعتمد الإطار على 2,207 صورة بانورامية لمشاهد الشوارع موزعة عالمياً، ويقيم النماذج تحت ثلاثة ظروف متدرجة للمعلومات البصرية:

المشهد أحادي الرؤية (Single-view): خط أساس ثابت محدود بمجال رؤية (FOV) قدره 90 درجة عند مستوى الشارع.
المشهد البانورامي (Panorama-view): يوفر الإسقاط المستطيل المتساوي (Equirectangular projection) بالكامل، مما يعمل كحد أقصى سلبي مع توفر أقصى قدر من الأدلة.
المشهد المجسد (Embodied-view): يحاكي وكيلاً نشطاً يتفاعل مع البيئة عبر نموذج كاميرا قابل للتحكم. يختار الوكيل إجراءات (الانحراف الأفقي/Yaw، الانحراف الرأسي/Pitch، والتكبير/Zoom) للحصول على مشاهد تكميلية بالتتابع، مما يؤدي إلى صقل التنبؤات من خلال حلقة (الملاحظة–التقييم–التحديث–الإجراء) دون الوصول إلى خرائط عالمية.

التقييم الموجه نحو القدرات

يتجاوز ERGeoBench مقاييس الدقة العامة من خلال تشخيص أربع قدرات متكاملة:

الإدراك التأسيسي: التعرف البصري الدقيق على العمارة، واللافتات، والغطاء النباتي، والتضاريس، والبنية التحتية.
الوعي المكاني: الاستدلال الهندسي من منظور الشخص الأول (Egocentric)، بما في ذلك تقدير الانحراف الأفقي (Yaw)، والتموضع ثنائي الأبعاد، وتقدير العمق، والاستدلال عبر المشاهد (الحفاظ على الاتساق المكاني بعد الدوران).
الاستدلال بالمنطق العام: ربط الإشارات البصرية باحتياجات المستخدم (مثل تحديد نقاط الاهتمام بناءً على حالات مجردة مثل "العطش") وتقييم القدرة الوظيفية (Affordance).
استدلال التحديد الجغرافي: القدرة التكاملية لتركيب الأبعاد المذكورة أعلاه لاستنتاج الموقع الهرمي (الدولة، المدينة، الشارع) وإحداثيات GPS.

المقاييس

يقدم المعيار درجة التحديد الجغرافي (GLS)، وهو مقياس موحد (0–100) يجمع بين:

المحاذاة الدلالية ( $S_{sem}$ ): الدقة في التصنيف الهرمي (الشارع، المدينة، الدولة).
الدقة المترية ( $S_{met}$ ): معدل الإصابة (Hit-rate) عبر عتبات المسافة الديناميكية (من 1 كم إلى 2500 كم).
عقوبة الخطأ ( $S_{err}$ ): درجة معيرة لوغاريتمياً بناءً على متوسط خطأ المسافة (MdDE) للتعامل بمتانة مع القيم المتطرفة في ذيل التوزيع (مثل حالات الفشل في المواقع المتقابلة).

المساهمات الرئيسية

أول معيار للتحديد الجغرافي المجسد: يعد ERGeoBench أول معيار يقيم بشكل منهجي استدلال التحديد الجغرافي المجسد من بانورامات العالم الحقيقي، مع التركيز على اكتساب الأدلة النشط، واتساق الذاكرة المكانية، وصقل الفرضيات عبر مشاهد متسلسلة من منظور الشخص الأول.
إطار تقييم دقيق: يقدم إطاراً تشخيصياً يمتد عبر ثلاثة إعدادات للمهام وأربعة أبعاد للاستدلال، مما يسمح بتحديد نقاط ضعف النماذج المحددة بما يتجاوز الدقة الإجمالية.
التحليل التجريبي واسع النطاق: أجرى المؤلفون تقييمات واسعة النطاق على تسعة من أبرز النماذج المملوكة ومفتوحة المصدر، مما قدم رؤى حول الحالة الراهنة للوكلاء القادرين على إدراك الموقع بأسلوب بشري.

النتائج التجريبية

قام المؤلفون بتقييم تسعة نماذج (بما في ذلك GPT-4o، وسلسلة Gemini، وQwen-VL، وInternVL) عبر الإعدادات الثلاثة. وتشمل النتائج الرئيسية ما يلي:

فجوة الأداء: تفوقت النماذج المملوكة (خاصة سلسلة Gemini وGPT-4o) باستمرار على النماذج مفتوحة المصدر، محققة درجات GLS فوق 60.0، بينما تأخرت النماذج مفتوحة المصدر بشكل عام.
التباين بين الدلالي والميتري: تؤدي النماذج أداءً جيداً في التحديد الجغرافي الدلالي رفيع المستوى (مثل الاستدلال على مستوى الدولة) ولكنها تعاني بشكل كبير في التحديد الميتري الدقيق (مثل دقة 1 كم).
عنق زجاجة الوعي المكاني: لوحظ انخفاض حاد في الأداء عند الانتقال من الإدراك التأسيسي إلى الاستدلال المكاني. المهام التي تتطلب استدلالاً هندسياً دقيقاً (مثل التموضع ثنائي الأبعاد، وتقدير الانحراف الأفقي) والحفاظ على الاتساق المكاني عبر المشاهد تمثل عقبات رئيسية.
تأثير الاستكشاف النشط: يمكن للوكلاء المجسدين الأكفاء سد فجوة المعلومات بين إعدادات المشهد أحادي الرؤية والمشهد البانورامي. غالباً ما تقترب النماذج الأعلى أداءً في الإعداد المجسد من أداء مشهد البانوراما أو تتجاوزه، مما يشير إلى أن اختيار زاوية الرؤية الذكي يمكن أن يعوض عن الملاحظات الأولية المحدودة. ومع ذلك، غالباً ما تتدهور النماذج الأضعف في الإعداد المجسد بسبب إجراءات الملاحة غير الفعالة.
ارتباط القدرات: يرتبط أداء التحديد الجغرافي ارتباطاً وثيقاً بالإدراك التأسيسي، والوعي المكاني، والاستدلال بالمنطق العام، مما يشير إلى أن التحديد الجغرافي الدقيق يعتمد على الاستدلال المتكامل وليس مجرد التعرف البصري المنعزل.

الأهمية والادعاءات

يزعم البحث أن ERGeoBench يوفر إطاراً موحداً لتشخيص وتطوير التحديد الجغرافي المجسد الشبيه بالبشر. ومن خلال تحويل نموذج التقييم من الاستدلال الساكن السلبي إلى الاستدلال المتسلسل النشط، يكشف المعيار أن النماذج اللغوية الكبيرة متعددة الوسائل الحالية، رغم قدرتها على الفهم الدلالي رفيع المستوى، تفتقر إلى العمليات الإدراكية الدقيقة، والدقة المترية، والاتساق المكاني عبر المشاهد المطلوب للملاحة القوية في العالم الحقيقي.

يضع المؤلفون ERGeoBench كخطوة ضرورية نحو بناء وكلاء مجسدين أكثر موثوقية وإدراكاً للموقع. كما يشيرون صراحة إلى أن المعيار يستخدم صور بانورامية بأسلوب عرض الشوارع المتاحة للجمهور لتقييم قدرات النماذج بدلاً من تمكين تحديد الأفراد الخصوصيين، رغم إقرارهم بالآثار الأوسع نطاقاً المتعلقة بالخصوصية لتقنيات التحديد الجغرافي. يهدف هذا العمل إلى توجيه الأبحاث المستقبلية نحو التغلب على العقبات المحددة في الاستدلال المكاني وتراكم الأدلة النشط.