MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial Reasoning

تخيل أنك تحاول بناء روبوت يمكنه العمل كدليل سفر فائق الذكاء. تريد منه أن يخبرك كم تبعد المسافة من منزلك إلى أقرب محل بيتزا، أو أي اتجاه يجب أن تسلكه لتجد حديقة معينة. هذا هو عالم الاستدلال المكاني (geospatial reasoning): القدرة على فهم أين توجد الأشياء، وكم تبعد عن بعضها البعض، وكيف تتناسب مع بعضها على الخريطة.

لفترة طويلة، كان العلماء يعلمون الحواسيب كيفية "قراءة" الخرائط والحقائق عن العالم. لقد بنوا مكتبات رقمية ضخمة للمعلومات تسمى رسوم المعرفة البيانية (Knowledge Graphs)، وهي تشبه شبكات ضخمة ومترابطة من الحقائق (مثل: "باريس تقع في فرنسا"، "برج إيفل موجود في باريس"). مؤخرًا، أنشأنا أيضًا نماذج لغوية كبيرة (LLMs) — وهي عقول ذكاء اصطناعي فائقة القدرة يمكنها قراءة كل ما هو مكتوب تقريبًا على الإنترنت والإجابة على الأسئلة بلغة بشرية. السؤال الكبير الذي يطرحه الجميع هو: إذا أعطيت هذه العقول الاصطناعية خريطة وقائمة من الحقائق، هل يمكنها حقًا القيام بالعمليات الحسابية لمعرفة المسافات والاتجاهات، أم أنها مجرد تخمن بناءً على ما حفظته؟

هنا يأتي دور دراسة جديدة تسمى MultiGlobeQA. أراد الباحثون معرفة ما إذا كانت هذه العقول الاصطناعية ذكية بما يكفي للتنقل في العالم الحقيقي، أم أنها تقوم فقط بـ "الهلوسة" (اختلاق أشياء من خيالها) عندما تُسأل عن الهندسة. لقد بنوا اختبارًا ضخمًا متعدد اللغات ليروا بالضبط أين تفشل هذه النماذج.

اختبار الخريطة العظيم: MultiGlobeQA

أنشأ الباحثون تحديًا هائلًا يسمى MultiGlobeQA. فكر في الأمر كأنه "تجربة قيادة" عالمية ضخمة للذكاء الاصطيائي، ولكن بدلًا من قيادة سيارة، يتعين على الذكاء الاصطناعي حل 46,060 سؤالًا مختلفًا حول أماكن حقيقية على الأرض.

ولضمان عدالة الاختبار وتغطيته للعالم بأكمله، لم يكتفوا باختيار مدن مشهورة مثل لندن أو نيويورك. بل استخدموا طريقة "أخذ العينات الطبقية" (stratified sampling)، وهي تشبه أخذ ملعقة كبيرة من الآيس كريم تتضمن كل النكهات وكل الطبقات، لضمان الحصول على أسئلة من 201 دولة وإقليم. كما حرصوا على تضمين أماكن غنية وفقيرة، مزدحمة وفارغة، حتى لا ينحاز الاختبار لصالح الأماكن التي يكون فيها الإنترنت أفضل.

كما جعلوا الاختبار متعدد اللغات. تم ترجمة نفس الأسئلة إلى 17 لغة مختلفة، تتراوح من الإنجليزية والإسبانية إلى الأردية والجورجية. كان هذا أمرًا بالغ الأهمية لأنهم أرادوا معرفة ما إذا كان الذكاء الاصطناعي سيصاب بالارتباك لمجرد أن السؤال طُرح بلغة مختلفة، أم أن المشكلة تكمن في الرياضيات نفسها.

غطت الأسئلة 14 نوعًا مختلفًا من "التفكير المكاني"، مثل:

• المسافة: "كم تبعد المسافة من المدينة (أ) إلى المدينة (ب)؟"
• الاتجاه: "إذا مشيت من المطار إلى المتحف، هل أتجه شمالاً أم جنوباً؟"
• الشكل: "هل هذه الدولة على شكل مستطيل أم دائرة؟"
• فهرسة الشبكة (Grid Indexing): "ما هو الرمز المحدد (مثل عنوان رقمي) لهذا الموقع على الخريطة؟"

والأهم من ذلك، أن كل إجابة في هذا الاختبار لم تكن مجرد تخمين بشري، بل تم حسابها بواسطة برنامج حاسوبي باستخدام رياضيات وهندسة حقيقية. وهذا يعني أن "الإجابة الصحيحة" قد تم التحقق منها بواسطة قوانين الفيزياء والرياضيات، وليس بناءً على الرأي.

النتائج: ذكي في الحقائق، جاهل في الرياضيات

عندما مرر الباحثون نماذج الذكاء الاصطناعي عبر هذا الاختبار، كانت النتائج صادمة.

1. مشكلة "أعرف المعلومة، لكن لا أستطيع تنفيذها"
كانت نماذج الذكاء الاصطناعي جيدة بشكل مدهش في تذكر الحقائق. إذا سألتها: "ما هي عاصمة فرنسا؟"، ستجيب بشكل صحيح في كل مرة تقريبًا. بل إنها تمتلك الإحداثيات (الأرقام الدقيقة لمكان وجود مكان ما) مخزنة في ذاكرتها.

ومع ذلك، عندما يتعلق الأمر بإجراء العمليات الحسابية باستخدام تلك الأرقام، فإنها تنهار تمامًا.

• عندما سُئلت عن حساب المسافة بين مدينتين، غالبًا ما كان الذكاء الاصطناعي يخمن بشكل خاطئ تمامًا. في أحد الأمثلة، كانت المسافة الحقيقية حوالي 19 كيلومترًا، لكن الذكاء الاصطناعي خمن أنها 1.4 كيلومتر فقط. هذا يشبه التخمين بأن نزهة مدتها 20 دقيقة هي مجرد مشية لمدة دقيقتين!
• وعندما سُئلت عن تحديد "الجيوهاتش" (Geohash - وهو رمز محدد يحدد موقعًا على شبكة)، فشلت النماذج فشلًا ذريعًا، حتى عندما قدم لها الباحثون الحقائق الدقيقة التي تحتاجها.

2. فخ "استخدام الأدوات"
حاول الباحثون تزويد الذكاء الاصطناعي بـ "آلة حاسبة" (أداة للقيام بالرياضيات) والسما- له بالبحث في الويب أو في قاعدة بيانات للحصول على الحقائق. ساعد هذا كثيرًا، ولكن ليس بالقدر الذي كنت تأمله.

• حتى عندما قُدمت للذكاء الاصطناعي الحقائق المثالية على طبق من فضة (تسمى "gold triples") وآلة حاسبة مثالية، فإنه لا يزال غير قادر على حل حوالي ثلث الأسئلة.
• كانت النماذج جيدة في الأشياء البسيطة مثل "هل المدينة (أ) داخل الدولة (ب)؟" (الطوبولوجيا) أو "أي اتجاه هو الشمال؟" (الاتجاه).
• لكنها انهارت تمامًا في المهام التي تتطلب فهرسة الشبكة (تحديد موقع على شبكة رقمية) أو حساب الأشكال. في هذه المهام الصعبة، ظل معدل نجاحها دون 30%، حتى مع كل المساعدة المقدمة.

3. فجوة الغني والفقير
وجدت الدراسة أيضًا عدم مساواة محزنة. كانت نماذج الذكاء الاصطناعي أفضل بكثير في الإجابة على الأسئلة المتعلقة بـ الدول ذات الدخل المرتفع (الدول الغنية) مقارنة بـ الدول ذات الدخل المنخفض.

• لم يكن هذا لأن الذكاء الاصطناعي "عنصري" أو "منحاز" بالطريقة البشرية، بل لأن الخرائط الرقمية والبيانات التي تدرب عليها أكثر اكتمالًا وتفصيلًا للدول الغنية.
• وحتى عندما قدم الباحثون للذكاء الاصطناي الحقائق المثالية لدولة فقيرة، فإنه ظل يعاني أكثر مما فعل مع دولة غنية. وهذا يشير إلى أن المشكلة ليست مجرد نقص في البيانات؛ بل إن الذكاء الاصطناعي ببساطة ليس جيدًا في إجراء الرياضيات للأماكن التي لم "يراها" كثيرًا من قبل.

4. اللغة لم تكن مؤثرة كثيرًا
ومن المثير للاهتمام، لم تحدث اللغة فرقًا كبيرًا. سواء كان السؤال بالإنجليزية أو الروسية أو الفيتنامية، كان أداء الذكاء الاصطنا- تقريبًا هو نفسه. لم تكن المشكلة في عدم قدرة الذكاء الاصطناعي على فهم الكلمات، بل في عدم قدرته على فهم الهندسة.

الخلاصة الكبرى

الدرس الرئيسي من MultiGlobeQA هو أن امتلاك الكثير من المعرفة لا يعني القدرة على الاستدلال.

تخيل أن لديك طالبًا حفظ كل اسم شارع في العالم وكل مسافة بين المدن. إذا سألته: "كم تبعد المسافة من (أ) إلى (ب)؟"، فقد يخمن مجرد رقم يبدو منطقيًا لأنه سمع هذه الأسماء من قبل. لكن إذا سألته أن يقوم فعليًا بحساب المسافة باستخدام مسطرة وخريطة، فقد يفشل لأنه لا يعرف كيف يستخدم المسطرة.

تشير الورقة البحثية إلى أنه لكي يكون الذكاء الاصطناعي مفيدًا حقًا لأمور مثل الملاحة، أو اللوجستيات، أو الاستجابة للكوارث، لا يمكننا فقط تغذيته بالمزيد من الحقائق. نحن بحاجة إلى تعليمه كيفية الحساب والاستدلال بناءً على تلك الحقائق. حاليًا، العائق ليس أن الذكاء الاصطناعي لا يعرف العالم؛ بل إن الذكاء الاصطناعي سيء جدًا في إجراء الرياضيات لفهم العالم.

حتى مع أفضل الأدوات وأكثر البيانات مثالية، لا تزال نماذج الذكاء الاصطنا الحالية تتعثر في الألغاز المكانية الأساسية. إنه تذكير بأنه بينما هذه النماذج مذهلة في التحدث والتذكر، إلا أنها لا تزال تتعلم كيفية "التفكير" حقًا في المساحات.