ملخص تقني: GeoWeaver

بيان المشكلة

تعاني نماذج الرؤية واللغة (VLMs) الحالية من صعوبة في التفكير المكاني-الزماني الموثوق، لا سيما في المهام التي تتضمن تقدير المسافة النسبية، وفهم تخطيط الكائنات، وتتبع العلاقات المكانية في المشاهد الديناميكية. وبينما تحاول النهج الحديثة تعزيز الذكاء المكاني من خلال دمج المعلومات الهندسية عبر فروع هيكلية، أو إشراف مدرك للبعد الثالث، أو دمج متأخر المرحلة، إلا أنها عادة ما تعامل الإشارات الهندسية كإشارة مشتركة لجميع الرموز البصرية (visual tokens).

يحدد المؤلفون قصوراً حرجاً في النماذج الحالية: فالرموز البصرية المختلفة تتطلب أدلة هندسية مختلفة اعتماداً على أدوارها المكانية المحددة (مثل الحدود المحلية مقابل التخطيط العالمي). وغالباً ما تفشل الطرق الحالية في معالة عدم التجانس هذا، حيث تعامل الهندسة كإشارة مساعدة يتم حقنها في مرحلة متأخرة من خط المعالجة (سواء قبل الدمج أو ضمن مكدس الاستدلال اللغوي). وهذا يجبر وحدة فك التشفير (decoder) على حل محاذاة الرؤية-الهندسة والتعليل العلاقاتي عالي المستوى بشكل مشترك، مما يؤدي إلى تشابك التأسيس الإدراكي مع الاستدلال المعرفي وتقليل الموثوقية.

المنهجية: GeoWeaver

يقترح GeoWeaver إطار عمل للتأسيس الهندسي ما قبل الاستدلال يعامل الهندسة كمتطلب تمثيلي مسبق بدلاً من كونها إشارة دمج متأخرة. الفلسفة الجوهرية هي "التأسيس ثم الاستدلال"، أي تشكيل التمثيلات البصرية قبل دخولها إلى النموذج اللغوي.

1. نظرة عامة على البنية

يتكون إطار العمل من ثلاث مراحل أساسية:

• فرع الرؤية الدلالي (Semantic Visual Branch): يستخدم نموذج لغة متعدد الوسائط مدرب مسبقاً (تحديداً Qwen3.5 في التنفيذ) مع مشفر رؤية أصلي لاستخراج الرموز البصرية الدلالية ($V$).
• فرع الهندسة المجمد (Frozen Geometry Branch): يستخدم مشفر هندسة مجمد (VGGT) لاستخراج الأولويات الهندسية الصريحة من نفس الإطارات المدخلة. وبدلاً من استخدام التمثيل النهائي فقط، يبني GeoWeaver بنك هندسة متعدد المستويات (Multi-Level Geometry Bank) عن طريق جمع الحالات الخفية من الطبقات الأعمق (على سبيل المثال، الطبقات 12-23 من مشفر VGGT المكون من 24 طبقة). يعمل هذا البنك كمستودع للأدلة الهيكلية التي تتراوح من التفاصيل المحلية إلى التجريدات العالمية.
• التأسيس الهندسي المتكيف مع الرموز (Token-Adaptive Geometric Grounding): هذا هو الابتكار الجوهري. قبل فك التشفير اللغوي، تقوم الرموز البصرية بالاستعلام من البنك الهندسي لاسترجاع الأدلة ذات الصلة.

2. تخصيص الأدلة المتكيف مع الرموز

تتضمن عملية التأسيس أربع خطوات محددة لضمان حصول كل رمز بصري على التجريد الهندسي الأكثر صلة:

• التطبيع والمحاذاة (Normalization & Alignment): يتم تطبيع الميزات الهندسية من الطبقات المختلفة ودمجها مكانياً (2×2) لتتطابق مع دقة وأبعاد الرموز البصرية.
• التوجيه المشروط بالاستعلام (Query-Conditioned Routing): يتنبأ موجه (router) خفيف الوزن بأوزان التفضيل لطبقات الهندسة المختارة لكل رمز بصري فردي ($v_i$). وهذا يقر بأن المناطق المكانية المختلفة تتطلب مستويات مختلفة من التجريد الهندسي.
• اختيار الأدلة المدمجة (Compact Evidence Selection): لتجنب تمييع التأسيس الخاص بكل رمز بالأدلة الزائدة، يستخدم النموذج توجيهاً متفرقاً (sparse routing). حيث يختار فقط أعلى $K$ (الافتراضي $K=2$) من طبقات الهندسة الأكثر صلة لكل رمز، ويقوم بحجب البقية.
• التأسيس المتبقي (Residual Grounding): يتم تجميع الأدلة الهندسية المختارة وحقنها في الرموز البصرية عبر اتصال متبقي ($v'_i = v_i + W_o g_i$). تم تهيئة مصفوفة الإسقاط $W_o$ لتكون صفراً، مما يسمح للنموذج بالبدء كخريطة هوية (identity mapping) والتعلم تدريجياً لإعادة تشكيل التمثيلات أثناء الضبط الدقيق.

3. هدف التدريب

يتم تدريب النموذج باستخدام التنبؤ بالرمز التالي القياسي (autoregressive loss) على مهام الاستدلال المكاني-الزماني النهائية. يظل مشفر الهندسة مجمداً، ويتم تحسين وحدة التأسيس بشكل مشترك مع النموذج متعدد الوسائط الأساسي. لا يتم إدخال أي عمليات إعادة بناء هندسية أو خسائر تباينية إضافية؛ حيث يتعلم النموذج تخصيص واستغلال الأدلة الهندسية من خلال الإشراف النهائي المباشر (end-to-end supervision) فقط.

المساهمات الرئيسية

1. التشخيص التمثيلي: حدد المؤلفون غياب الرموز البصرية المؤسسة هندسياً كعائق رئيسي في نماذج VLMs الحالية، بحجة أن الاستدلال المكاني-الزماني يعتمد على ما إذا كانت الرموز مؤسسة هندسياً قبل دخولها إلى النموذج اللغوي.
2. إطار عمل GeoWeaver: إطار عمل مبتكر يخصص أدلة هندسية محددة لكل رمز من بنك هندسة متعدد المستويات قبل فك التشفير اللغوي. وهذا ينقل محاذاة الرؤية-الهندسة من مكدس الاستدلال إلى الواجهة الإدراكية.
3. آلية التكيف مع الرموز: تقديم آلية توجيه متفرقة ومشروطة بالاستعلام تسمح للرموز البصرية المختلفة باسترجاع تجريدات هندسية متميزة، مما يتجنب التعرض الموحد لجميع الطبقات الهندسية.
4. التحقق التجريبي: تجارب واسعة النطاق أظهرت أن التأسيس ما قبل الاستدلال يحقق أداءً فائقاً دون حدوث نسيان كارثي للقدرات متعددة الوسائط العامة.

النتائج التجريبية

تم تقييم GeoWeaver على عدة اختبارات معيارية للاستدلال المكاني، بما في ذلك VSI-Bench، و ReVSI، و SPAR-Bench، و ViewSpatial، و BLINK، و 3DSRBench، و EmbSpatial.

• VSI-Bench: حقق GeoWeaver-5B متوسط درجة 72.8، متفوقاً على أقوى خط أساس مفتوح المصدر (SpatialStack-5B) بمقدار 5.3 نقطة. ووصل GeoWeaver-10B إلى 75.05. لوحظت مكاسب كبيرة في الفئات الحساسة للهندسة مثل عد الكائنات، وتقدير الحجم، والاتجاه النسبي، وتخطيط المسار.
• ReVSI: في الإعدادات المدركة للإطارات، حقق GeoWeaver-10B دقة بلغت 57.5% مع 32 إطاراً، متفوقاً على نماذج VLMs المكانية السابقة. تشير النتائج إلى أن التأسيس الهندسي الفعال أكثر أهمية من مجرد زيادة عدد الإطارات المدخلة.
• SPAR-Bench: حقق GeoWeaver-5B درجة قياسية جديدة قدرها 69.2، وهو تحسن هائل بمقدار +26.8 نقطة عن أفضل النتائج السابقة، خاصة في مهام الاستدلال المتوسطة والعالية (مطابقة الموقع، استنتاج المسافة، الخيال المكاني).
• القدرات العامة: أظهرت التقييمات على MMBench و Video-MME و TempCompass أن GeoWeaver يحافظ على الأداء متعدد الوسائط العام أو يحسنه قليلاً مقارنة بخطوط الأساس، مما يؤكد أن التأسيس الهندسي لا يسبب نسياناً كارثياً.

الأهمية والادعاءات

يزعم البحث أن الفائدة الرئيسية لـ GeoWeaver لا تأتي من مجرد حقن المزيد من البيانات الهندسية في النموذج، بل من إعادة تشكيل التمثيل البصري قبل بدء الاستدلال اللغوي. ومن خلال تحويل الإشارات الهندسية متعددة المستويات الخام إلى رموز بصرية مؤسسة هندسياً، يسمح إطار العمل للنموذج اللغوي بالعمل على تمثيلات "جاهزة هندسياً".

يجادل المؤلفون بأن المعلومات الهندسية تحقق أكبر فائدة ليس كإشارة مساعدة للدمج المتأخر، بل كـ متطلب أساسي يشكل القاعدة التمثيلية. ينجح هذا النهج في فصل المحاذاة البصرية-الهندسية منخفضة المستوى عن الاستدلال العلاقاتي عالي المستوى، مما يؤدي إلى ذكاء مكاني-زماني أكثر قوة مع الحفاظ على الكفاءة متعددة الوسائط العامة للنموذج. ويشير العمل إلى أن التقدم المستقبلي في الذكاء المكاني يتطلب معالجة عنق الزجاجة التمثيلي عند الواجهة الإدراكية بدلاً من مجرد تحسين مكدس الاستدلال.