🤖 AI

3DCity-LLM: Empowering Multi-modality Large Language Models for 3D City-scale Perception and Understanding

تقدم هذه الورقة البحثية 3DCity-LLM، وهو إطار عمل موحد يتميز باستراتيجية ترميز ميزات من الخشن إلى الناعم ومجموعة بيانات جديدة تضم 1.2 مليون عينة، مما يعزز بشكل كبير قدرات نماذج اللغات الكبيرة متعددة الوسائط في الإدراك والفهم على نطاق المدن ثلاثية الأبعاد من خلال التفوق على الأساليب الحالية الرائدة.

المؤلفون الأصليون: Yiping Chen, Jinpeng Li, Wenyu Ke, Yang Luo, Jie Ouyang, Zhongjie He, Li Liu, Hongchao Fan, Hao Wu

نُشر 2026-03-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yiping Chen, Jinpeng Li, Wenyu Ke, Yang Luo, Jie Ouyang, Zhongjie He, Li Liu, Hongchao Fan, Hao Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعد روبوت فائق الذكاء، بارع في وصف ما يوجد في غرفة واحدة أو تحديد قطة معينة في صورة. ولكن الآن، تطلب منه النظر إلى مدينة بأكملها من منظور طائرة بدون طيار (درون)، والعثور على أقرب مستشفى، وحساب المسافة بينه وبين حديقة معينة، ثم اقتراح كيفية إعادة تصميم تدفق حركة المرور لجعله أكثر أمانًا للمشاة.

في الوقت الحالي، قد تصاب معظم المساعدات الذكية بالارتباك. قد تعرف ما هو "المبنى"، لكنها تجد صعوبة في فهم كيفية ترابط آلاف المباني معًا، أو مدى بُعدها عن بعضها البعض، أو كيف تعمل مدينة كمنظومة كاملة.

تقدم هذه الورقة البحثية 3DCity-LLM، وهو "عقل" جديد صُمم خصيصًا لحل هذه المشكلة. إليك شرح مبسط لكيفية عمله، باستخدام بعض التشبيهات من الحياة اليومية.

1. المشكلة: "عدسة الزووم" مقابل "الخريطة"

فكر في نماذج الذكاء الاصطناعي الحالية وكأنها تمتلك عدسة زووم. إنها ممتاسة في التقريب لرؤية جسم واحد (مثل سيارة أو شجرة) ووصفه. ولكن إذا قمت بتوسيع العدسة لرؤية المدينة بأكملها، فإنها تضيع. لا يمكنها بسهولة ربط النقاط بين مستشفى، ومحطة سكة حديد، وحركة المرور فيما بينهما.

علاوة على ذلك، فإن البيانات التي تتعلم منها عادةً تشبه ألبوم صور ثنائي الأبعاد (2D). فهي تعرض صورًا للمدن، لكنها لا تخبر الذكاء الاصطناعي عن الارتفاع الدقيق لمبنى ما، أو المسافة الدقيقة بين شارعين، أو الشكل ثلاثي الأبعاد لحديقة. الأمر يشبه محاولة التنقل في مدينة باستخدام رسم مسطح فقط دون معرفة الارتفاعات أو المسافات.

2. الحل: "مهندس المدينة" (3DCity-LLM)

بنى المؤلفون إطار عمل جديد للذكاء الاصطناعي يسمى 3DCity-LLM. بدلًا من مجرد النظر إلى صورة، يعمل هذا الذكاء الاصطناعي مثل مهندس مدينة يمتلك ثلاث أدوات خاصة:

المكبر (الهدف المحدد): يقوم بالتقريب لفهم مبنى أو جسم معين (مثل: "ما هو هذا المبنى الأحمر؟").
نظرية الخيوط (العلاقات): يستخدم خيوطًا غير مرئية لقياس كيفية ارتباط الأشياء ببعضها البعض (مثل: "هذا المستشفى يبعد 400 متر جنوب شرق محطة القطار").
رؤية عين الطائر (المشهد العام): يتراجع للخلف لرؤية الحي بأكمله، مدركًا كيف تتداخل المتنزهات والطرق والمناطق مع بعضها البعض.

من خلال الجمع بين هذه الرؤى الثلاث، يمكن للذكاء الاصطناعي الإجابة على أسئلة معقدة مثل: "أي مستشفى هو الأقرب إلى محطة القطار، وأين يقع قسم الطواراء الخاص به؟" بدقة رقمية ومنطقية.

3. ساحة التدريب: "موسوعة المدينة" (3DCity-LLM-1.2M)

لتعليم هذا الذكاء الاصطناعي، لم يستطع الباحثون الاكتفاء ببعض الأمثلة فقط؛ بل احتاجوا إلى مكتبة ضخمة. لقد أنشأوا مجموعة بيانات جديدة تسمى 3DCity-LLM-1.2M.

الحجم: تحتوي على 1.2 مليون مثال. هذا يشبه قراءة 1.2 مليون دليل مختلف للمدن.
المحتوى: لا يقتصر الأمر على أسئلة بسيطة مثل "ما هذا؟"، بل يتضمن مهامًا معقدة مثل:
- تحليل الأشياء: "ما هي وظيفة هذا المبنى؟"
- رياضيات العلاقات: "كم تبعد البناية (أ) عن البناية (ب)؟"
- تخطيط المدن: "إذا بنينا طريقًا جديدًا هنا، كيف سيؤثر ذلك على سلامة المشاة؟"
اللمسة المميزة: تحاكي مجموعة البيانات أشخاصًا مختلفين يطرحون الأسئلة. فأحيانًا يسأل سائح: "أين يمكنني رؤية معلم بارز رائع؟"، وأحيانًا يسأل مخطط مدن: "هل هذا التخصيص للمساحات متوافق مع القوانين؟". هذا يعلم الذكاء الاصطناعي التحدث باللغة المناسبة للشخص المناسب.

4. الامتحان: "الحكم البشري" (تقييم جديد)

إليك جزء ذكي من الورقة البحثية. عادةً، نختبر الذكاء الاصطناعي من خلال التحقق مما إذا كانت إجابته تطابق الإجابة "الصحيحة" حرفيًا (مثل مصحح الأخطاء الإملائية). ولكن في تخطيط المدن، هناك طرق عديدة لقول الشيء نفسه.

الطريقة الخاطئة: إذا قال الذكاء الاصطناعي: "الحديقة تبعد 50 مترًا"، وكانت الإجابة الصحيحة هي "الحديقة تبعد 50 مترًا باتجاه الجنوب"، فقد يقول مصحح الأخطاء الإملائية إنهما مختلفان.
الطريقة الصحيحة: استخدم المؤلفون نماذج ذكاء اصطناعي أخرى كأحكام. تقرأ هذه "الأحكام الذكية" الإجابة وتتساءل: "هل هذا منطقي؟ هل هو صحيح واقعيًا بناءً على الخريطة؟"

هذا يضمن حصول الذكاء الاصطناعي على التقدير لكونه ذكيًا ودقيقًا، حتى لو استخدم كلمات مختلفة عن تلك الموجودة في الكتاب المدرسي.

5. النتائج: "طالب الدراسات العليا"

عندما اختبروا 3DCity-LLM مقابل نماذج الذكاء الاصطناال الرائدة الأخرى:

كان أفضل في وصف الأجسام الفردية.
كان أفضل بكثير في حساب المسافات والاتجاهات.
استطاع بالفعل تخطيط حلول لمشاكل المدن (مثل اقتراح مكان وضع ممر للمشاة) بموثوقية عالية.

الملخص

باختصار، صنع المؤلفون ذكاءً اصطناعيًا متخصصًا في الشؤون الحضرية. لقد منحوه خريطة ثلاثية الأبعاد مفصلة وضخمة للمدن (مجموعة البيانات)، وعلموه النظر إلى الأشياء من ثلاث زوايا مختلفة (إطار العمل)، واختبروه بأحكام تشبه البشر. النتيجة هي ذكاء اصطناعي لا يكتفي فقط بـ "رؤية" المدينة، بل يفهم كيف تعمل، ويمكنه إجراء الحسابات الرياضية للمسافات، ويمكنه حتى مساعدتنا في التخطيط لمدن أفضل في المستقبل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "3DCity-LLM: تمكين النماذج اللغوية الكبيرة متعددة الوسائط للإدراك والفهم على نطاق المدن ثلاثي الأبعاد".

1. بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) نجاحاً في السيناريوهات المتمحورة حول الأشياء أو البيئات الداخلية، فإن توسيع نطاقها ليشمل بيئات حضرية ثلاثية الأبعاد على نطاق المدينة يظل تحدياً كبيراً. تواجه النهج الحالية ثلاث قيود رئيسية:

ندرة وجودة البيانات: غالباً ما تكون مجموعات البيانات الحالية محدودة بالرؤى الجوية أو رؤى الشوارع ثنائية الأبعاد (تفتقر إلى المعلومات المكانية ثلاثية الأبعاد)، أو مقتصرة على أسئلة وأجوبة قصيرة، أو تركز على مهام متخصصة (مثل التوطين/Grounding) دون الحجم أو التنوع اللازم لتدريب نماذج لغوية كبيرة قوية.
تعقيد المشاهد الحضرية: تحتوي البيئات المدنية على آلاف الكيانات غير المتجانسة ذات العلاقات المكانية المعقدة. يجب على النماذج ليس فقط التعرف على الأشياء، بل أيضاً نمذجة التفاعلات، والأدوار الوظيفية، والدلالات العامة للمشهد.
قصور التقييم: تفشل مقاييس تشابه النصوص التقليدية (BLEU, ROUGE) في تقييم الاستجابات الحضرية الطويلة والمفتوحة. فهي تعاقب الإجابات الصحيحة دلالياً والتي تختلف في الصياغة عن الحقيقة الأرضية (Ground Truth)، مما يفشل في التقاط التماسك المنطقي أو المواءمة الواقعية مع الأدلة ثلاثية الأبعاد.

2. المنهجية

أ. إطار عمل 3DCity-LLM

يقترح المؤلفون إطار عمل موحداً مبنياً على نموذج لغوي كبير مسبق التدريب (LLaVA-7B) مع استراتيجية ترميز ميزات من الخشن إلى الناعم (coarse-to-fine). يعالج النموذج مدخلات متعددة الوسائط (استعلامات نصية، سحب نقاط ثلاثية الأبعاد، وصور ثنائية الأبعاد) من خلال ثلاثة فروع متوازية:

ترميز الكائن (Object Encoding): يستخرج الميزات للكائن المستهدف، بما في ذلك:
- المنظور المحلي: بقع RGB من منظور علوي عبر CLIP.
- الشكل: عينات نقاط ثلاثية الأبعاد عبر Uni3D.
- المعلم (Landmark): التضمين الدلالي لأسماء الأشياء (مثل "City Hall") عبر BERT.
ترميز العلاقة (Relationship Encoding): يلتقط السياق من خلال تحديد أقرب $K$ $K$ من الجيران. وهو يقوم بترميز:
- هندسة السياق: المواقع النسبية وميزات الشكل للجيران، مرجحة بآليات الانتباه (Attention mechanisms).
- معلم السياق: التضمينات الدلالية للأشياء المجاورة.
ترميز المشهد (Scene Encoding): يمثل سياق المدينة العالمي عبر:
- المنظور العالمي: خريطة RGB علوية للمشهد بأكمله.
- المعلم العالمي: الميزات الدلالية المجمعة لجميع المعالم المسماة في المشهد.

يتم إسقاط هذه الميزات في مساحة تضمين النموذج اللغوي الكبير. يستخدم النموذج نموذجاً مدفوعاً بالتعليمات (instruction-driven paradigm) لتنشيط فروع محددة ديناميكياً بناءً على نوع المهمة (مستوى الكائن، مستوى العلاقة، أو مستوى المشهد).

ب. استراتيجية التدريب

يخضع النموذج لعملية تدريب مكونة من مرحلتين:

محاذاة الميزات (Feature Alignment): يتم التدريب على مهام الوصف البسيطة لمحاذاة النصوص، والصور ثنائية الأبعاد، ووسائط السحب النقطية ثلاثية الأبعاد.
فهم المشهد (Scene Understanding): يتم الضبط الدقيق (Fine-tuning) على مهام التحليل عالي المستوى والتخطيط لتمكين الاستدلال المعقد والفهم الشامل للمشهد.

ج. مجموعة بيانات 3DCity-LLM-1.2M

لدعم التدريب، أنشأ المؤلفون مجموعة بيانات ضخمة تحتوي على 1.2 مليون عينة عالية الجودة مستمدة من SensatUrban و UrbanBIS و City-BIS.

خط إنتاج التوليد: يستخرج خط إنتاج مؤتمت سمات المدينة المهيكلة (الإحداثيات ثلاثية الأبعاد، المسافات، الطوبولوجيا) ويستخدم نماذج رؤية ولغة متقدمة (مثل ChatGPT-5) لتوليد أزواج الأسئلة والأجوبة.
المحاكاة السياقية: تحاكي عملية التوليد شخصيات مستخدمين متنوعة (سياح، مسؤولين، موظفين) لضمان التنوع اللغوي وعمق الاستدلال الواقعي.
تصنيف المهام: تغطي مجموعة البيانات سبع فئات من المهام:
1. وصف الكائن (Object Caption)
2. توطين الكائن (Object Localization)
3. تحليل الكائن (Object Analysis)
4. حساب العلاقة (Relationship Computation)
5. وصف المشهد (Scene Caption)
6. تحليل المشهد (Scene Analysis)
7. تخطيط المشهد (Scene Planning - الاستدلال الموجه نحو الهدف)

د. بروتوكول التقييم

تقدم الورقة بروتوكول تقييم متعدد الأبعاد لمعالجة قيود المقاييس التقليدية:

مقاييس تشابه النصوص: BLEU-4, ROUGE-L, METEOR.
التقييم الدلالي القائم على النماذج اللغوية الكبيرة: مقيحان جديدان، المنطقية (Logicality) (التماسك وتدفق الاستدلال) و الموثوقية (Reliability) (الصحة الواقعية والمواءمة مع الأدلة ثلاثية الأبعاد)، ويتم تسجيلهما بواسطة مقيمين من النماذج اللغوية الكبيرة المستقلة (ChatGPT-5, Qwen3-VL, DeepSeek-V3) مع تتبع صريح لخطوات الاستدلال.

3. المساهمات الرئيسية

إطار عمل 3DCity-LLM: بنية مبتكرة توحد فهم مستويات الكائن والعلاقة والمشهد من خلال ترميز الميزات من الخشن إلى الناعم، مصممة خصيصاً للإدراك على نطاق المدن ثلاثية الأبعاد.
مجموعة بيانات 3DCity-LLM-1.2M: أكبر وأكثر مجموعات بيانات الرؤية واللغة تنوعاً على نطاق المدونة حتى الآن، وتتميز بمعلومات رقمية صريحة ثلاثية الأبعاد، و7 فئات مهام، ومحاكاة متنوعة موجهة للمستخدمين.
بروتوكول تقييم متقدم: إطار تقييم صارم يجمع بين المقاييس القياسية والتقييم القائم على النماذج اللغوية الكبيرة للمنطق والموثوقية، مما يضمن تقييماً أميناً للاستدلال الحضري مفتوح النهايات.

4. النتائج التجريبية

أُجريت تجارب مكثفة على معايير 3DCity-LLM-1.2M و City-3DQA.

الأداء مقابل النماذج المرجعية: تفوق 3DCity-LLM بشكل كبير على الطرق المتطورة (بما في ذلك LLaVA و Chat 3D و City-VLM والنماذج صفرية القدرة مثل ChatGPT-5.1 و Qwen3-VL).
- مهام مستوى الكائن: حقق BLEU-4 بنسبة 30.64 (مقابل 28.67 لأفضل نموذج تالٍ، Chat Scene).
- مهام مستوى المشهد: حقق BLEU-4 بنسبة 20.11 و METEOR بنسبة 37.84، مما يدل على فهم شمولي متفوق.
- City-3DQA: حقق أعلى دقة على مستوى الجملة (68.55) ودقة تنافسية على مستوى المدينة.
دراسات الاستئصال (Ablation Studies): أكدت أن الجمع بين المنظور المحلي، والشكل، والمعلم، وميزات العلاقة يعطي أفضل أداء. أدى حذف أي مكون (مثل المعالم أو الهندسة) إلى انخفاض ملموس في الدقة والموثوقية.
التحليل النوعي: أظهر النموذج متانة في التعامل مع صياغات الاستعلام المتنوعة والقدرة على التعميم على أشياء ومشاهد غير مرئية. وقد نجح في إجراء الاستدلال المكاني (حساب المسافات/الاتجاهات) والتخطيط الموجه نحو الهدف (مثل اقتراح تحسينات المرور).

5. الأهمية

سد الفجوة: ينجح هذا العمل في سد الفجوة بين قدرات النماذج اللغوية الكبيرة متعددة الوسائط الحالية والمتطلبات المعقدة للإدراك ثلاثي الأبعاد على نطاق المدن، متجاوزاً القيود المتمحورة حول الأشياء أو البيئات الداخلية.
الذكاء الحضري: من خلال تمكين النماذج من فهم العلاقات المكانية، والأدوار الوظيفية، وقيود التخطيط، يقدم 3DCity-LLM اتجاهاً واعداً لتطبيقات في التخطيط الحضري، وإدارة المدن الذكية، والملاحة المستقلة.
التحول المنهجي: يضع تقديم بروتوكول تقييم متعدد الأبعاد معياراً جديداً لتقييم الذكاء الاصطناዊ التوليدي في المهام المكانية، متجاوزاً مجرد مطابقة النصوص البسيطة لتقييم الاستدلال والتأسيس الواقعي.
توافر الموارد: يوفر إطلاق مجموعة بيانات 1.2 مليون ورمز المصدر أساساً حيوياً للبحوث المستقبلية في فهم الرؤية واللغة ثلاثية الأبعاد.