Quantifying and extending the coverage of spatial categorization data sets

ملخص تقني مفصل لورقة: "تحديد وقياس وتوسيع نطاق تغطية مجموعات بيانات التصنيف المكاني"

1. بيان المشكلة

يعد التباين عبر اللغات في التصنيف المكاني مجالاً حيوياً للدراسة في العلوم المعرفية واللغويات. ومع ذلك، وعلى عكس أنظمة القرابة أو الألوان، تفتقر العلاقات المكانية إلى تمثيل معياري لـ "فضاء" العلاقات الممكنة. وهذا يجعل من الصعب إنشاء مجموعات بيانات شاملة وقابلة للمقارنة عبر اللغات.

تتكون سلسلة صور العلاقات الطوبولوجية (TRPS)، وهي مجموعة المحفزات الأكثر استخداماً، من 71 صورة صُممت أساساً لاستكشاف حدود علاقات "داخل" (in) و"على" (on). وبينما أضافت التوسعات السابقة (مثل Zhang, 2013؛ Landau et al., 2017) مشاهد جديدة، إلا أنها غالباً ما ركزت على أنواع فرعية محددة من الاحتواء أو الدعم بدلاً من تعظيم التغطية لكون كامل من المشاهد المكانية الممكنة. ويتمثل التحدي في توسيع نطاق هذه المجموعات لتشمل عشرات اللغات ومئات المشاهد دون تكبد التكاليف الباهظة لجمع البيانات البشرية لكل محفز محتمل.

2. المنهجية

يقترح المؤلفون إطار عمل يستفيد من نماذج اللغات الكبيرة (LLMs) لقياس التغطية وتوجيه اختيار المشاهد واللغات الجديدة للتجارب البشرية.

أ. صياغة التغطية

يعرّف المؤلفون التغطية بأنها مدى تمثيل مجموعة فرعية من المحفزات ($S$) لكون أكبر من الاحتمالات ($U$).

• الصيغة: $Coverage(S) = \frac{1}{|U|} \sum_{u \in U} \max_{s \in S} sim(s, u)$
• الآلية: لكل مشهد في الكون $U$، تجد الخوارزمية المشهد الأكثر تشابهاً في المجموعة الفرعية $S$. درجة التغطية هي متوسط هذه التشابهات القصوى.
• مقاييس التشابه:
  • تشابه المشهد: يتم تحديده بناءً على اتفاق التسميات الناتجة عن نموذج اللغة الكبيرة عبر لغات متعددة. إذا حصل مشهدان على نفس التسمية في لغة ما، فإنهما يعتبران متشابهين.
  • تشابه اللغة: يتم تحديده باستخدام تباين المعلومات (Variation of Information - VI)، وهو مقياس معلوماتي يحدد الفرق بين التقسيمات التي تفرضها لغتان مختلفتان على المشاهد.

ب. بروتوكول التسمية بواسطة نماذج اللغة الكبيرة (LLM)

• النموذج: تم اختيار Gemini 3 Flash نظراً لأدائه المتفوق في تعدد اللغات (الأفضل أداءً في اختبار MMMLU حتى يناير 2026).
• المهمة: تم توجيه النموذج للعمل كمتحدث أصلي للغة مستهدفة وتسمية 220 صورة ثابتة (تتكون من TRPS الأصلي، ومجموعة Zhang، ومجموعة LJSP، ومجموعة جديدة) باستخدام مصطلح مكاني واحد.
• استراتيجية التوجيه (Prompting): تم تزويد النموذج بالصورة، مع وصف للأجسام المركزية/الخلفية، وقائمة مرجعية للمصطلحات المكانية في لغة مرجعية (الإنجليزية أو الصينية).
• التحقق: اختبر المؤلفون ما إذا كان إدخال الصورة ضرورياً. ووجدوا أن الأوصاف النصية للمشاهد حققت درجات دقة مطابقة تقريباً للمدخلات القائمة على الصور، مما يشير إلى أن النموذج يعتمد على الأوصاف الدلالية بدلاً من التحليل البصري لهذه المهام المحددة.

ج. التصميم التجريبي

1. التحقق: تمت مقارنة تسميات LLM لمجموعة TRPS الأصلية مع البيانات البشرية من Carstensen et al. (2019) وXu and Kemp (2010).
2. التوسعة (مجموعة LCXRK): أنشأ المؤلفون مجموعة جديدة من 42 مشهداً (LCXRK) صُممت لسد الفجوات في TRP. تم إنشاء هذه المشاهد من خلال:
   • تحديد المصطلحات المكانية في الإنجليزية والصينية غير الممثلة جيداً في TRPS (مثل "خارج"، "بين"، والاتجاهات الأصلية).
   • إنشاء حالات نفي (مثل "خارج" بدلاً من "داخل") وحالات عكس (تبديل الأجسام المركزية/الخلفية) لمشاهد TRPS الموجودة.
3. استراتيجية الاختيار: استُخدم مقياس التغطية لترتيب المشاهد واللغات المرشحة لتحديد أي الإضافات ستعظم تنوع مجموعة البيانات.

3. المساهمات الرئيسية

• التحقق من LLM في الدلالات المكانية: أثبتت الدراسة أن نماذج اللغة الكبيرة (تحديداً Gemini 3 Flash) تحقق توافقاً عالياً مع التسميات البشرية للعلاقات المكانية في اللغات عالية الموارد، مما يدعم استخدامها كبديل لجمع البيانات الأولية.
• التعريف الرسمي للتغطية: قدمت إطاراً رياضياً لقياس مدى تمثيل مجموعة المحفزات لكون العلاقات المكانية الممكنة، متجاوزة بذلك الإضافات العشوائية.
• مجموعة بيانات LCXRK: قدمت مجموعة جديدة من 42 مشهداً صُممت خصيصاً لتعظيم تغطية العلاقات الطوبولوجية وإطار المرجع، مما يسد الثغرات التي تركتها التوسعات السابقة.
• إطار عمل قابل للتوسع: اقترح المؤلفون سير عمل حيث تولد نماذج اللغة الكبيرة تسميات لآلاف المشاهد/اللغات المحتملة، مما يسمح للباحثين بإعطاء الأولوية لمجموعة فرعية صغيرة للتحقق البشري المكلف.

4. النتائج

• دقة نماذج اللغة الكبيرة (LLM):
  • الدرجة الثنائية (Binary Score): طابقت تسميات LLM تسمية بشرية واحدة على الأقل لأكثر من 90% من المشاهد في معظم اللغات (مثل الإنجليزية، الصينية، الفرنسية).
  • الدرجة المتدرجة (Graded Score): حققت نماذج LLM درجات ضمن 0.15 من أقصى اتفاق بشري ممكن للغات الرئيسية.
  • النص مقابل الصورة: لم يؤدِ حذف الصور من التوجيه إلى تدهور ملحوظ في الأداء (متوسط الدرجة الثنائية: 0.91 للمدخلات القائمة على الصور مقابل 0.90 للمدخلات النصية)، مما يؤكد الاعتماد على الأوصاف الدلالية.
• تحليل التغطية:
  • تفوق LCXRK: حققت مجموعة LCXRK الجديدة درجة تغطية بلغت 0.964 (بفاصل ثقة 95% [0.96، 0.995])، وهي تتفوق بشكل كبير على مجموعة Zhang (0.918) ومجموعة LJSP (0.918).
  • تصور MDS: أظهر تحليل القياس متعدد الأبعاد (MDS) لـ 220 مشهداً أن مجموعة LCXRK تملأ مناطق متميزة في الفضاء الدلالي (مثل "خارج"، والاتجاهات الأصلية) التي كانت شحيحة في المجموعات السابقة.
• اختيار اللغة:
  • باستخدام المسافات اللغوية المستمدة من LLM، حدد المؤلفون البرتغالية والرومانية كلغات هي الأكثر بعداً عن مجموعة بيانات Carstensen et al. (2019).
  • تم التحقق من هذا التنبؤ مؤقتاً مقابل البيانات البشرية من Xu and Kemp (2010)، حيث أظهر معامل ارتباط بيرسون قدره 0.49، مما يشير إلى أن نماذج LLM يمكنها توجيه اختيار اللغات بفعالية.

5. الأهمية والتوجهات المستقبلية

• توسيع نطاق البحث: يوفر هذا النهج مساراً قابلاً للتطبيق لنقل دراسات التصنيف المكاني من ~100 مشهد إلى مئات المشاهد، ومن حفنة من اللغات إلى عشرات اللغات (مما قد يغطي ~80 لغة على منصات مثل Prolific).
• المنهجية الهجينة: يدعو المؤلفون إلى الجمع بين الاختيار القائم على LLM والنهج القائم على السمات (Carstensen et al., 2015). فبينما يمكن للأساليب القائمة على السمات حصر جميع التكوينات المنطقية، يمكن لنماذج LLM تصفيتها بكفاءة إلى المجموعات الفرعية الأكثر إفادة للاختبار البشري.
• القيود: يقتصر النهج الحالي على اللغات عالية الموارد التي تدعمها نماذج LLM وترجمة جوجل. أما اللغات منخفضة الموارد، والتي تشكل جزءاً كبيراً من التنوع اللغوي العالمي، فلا تزال ممثلة تمثيلاً ناقصاً.
• التكامل: يكمل هذا المنهج الدراسات القائمة على المتون (Corpus-based studies)؛ حيث يمكن استخدام نماذج LLM لاستخراج العلامات المكانية من المتون متعددة اللغات أو لتوليد المحفزات للتحقق التجريبي.

في الختام، تثبت الورقة أن نماذج اللغة الكبيرة هي أداة موثوقة لقياس وتوسيع نطاق البيانات المكانية عبر اللغات، مما يوفر استراتيجية فعالة من حيث التكلفة لبناء مجموعات بيانات أكثر شمولاً تلتقط بشكل أفضل التنوع في الإدراك المكاني البشري.