💻 computer science

QVGGT: Post-Training Quantized Visual Geometry Grounded Transformer

تقدم هذه الورقة البحثية إطار عمل QVGGT، وهو إطار للكمّ ما بعد التدريب يُمكّن من نشر نموذج Visual Geometry Grounded Transformer (VGGT) واسع النطاق على الأجهزة الطرفية ذات الموارد المحدودة عبر توظيف استراتيجية دقة مختلطة انتقائية، وتصفية الرموز مع تعويض الكاميرا، والبحث عن المقياس المدرك للمهمة لتحقيق كمّ بنمط W4A16 قريب من عدم الفقد مع تقليل كبير في الذاكرة وتسريع في الأداء.

المؤلفون الأصليون: Zhizhen Pan, Hesong Wang, Huan Wang

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhizhen Pan, Hesong Wang, Huan Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مهندس معماري آلي عبقري وفائق الذكاء يُدعى VGGT. يمكن لهذا الروبوت النظر إلى بضع صور لغرفة ما وبناء مجسم ثلاثي الأبعاد مثالي لها فوراً، حيث يكتشف بدقة مكان الكاميرا، وعمق الجدران، وموقع كل جسم بدقة متناهية. إنه أمر مذهل، ولكن هناك مشكلة: هذا الروبوت ضخم جداً. فهو ثقيل للغاية (يحتوي على 1.2 مليار "خلية عصبية" أو معامل)، مما يجعله غير قادر على التواجد داخل هاتف ذكي، أو طائرة بدون طيار، أو نظارات الواقع المعزز (AR). إنه يحتاج إلى مزرعة خوادم ضخمة ليعمل، مما يجعله غير مفيد للمهام الواقعية أثناء التنقل.

تقدم الورقة البحثية QVGGT، وهي "حقيبة ضغط" جديدة مصممة لتقليص حجم هذا الروبوت العملاق ليتناسب مع جيبك دون أن يفقد قدراته العقلية. وإليك كيف فعلوا ذلك، باستخدام ثلاث حيل ذكية:

1. استراتيجية "البدلة الانتقائية" (الدقة المختلطة - Mixed-Precision)

تخيل أن عقل الروبوت يتكون من غرف مختلفة. بعض الغرف تشبه المتاحف الزجاجية الهشة (حساسة جداً)، بينما البعض الآخر يشبه المستودعات الطوبية المتينة (قوية جداً).

المشكلة: إذا حاولت تقليص كل شيء في وقت واحد (تحويل كل الطوب إلى رمال)، سينهار المبنى بأكل. طرق التقليص القياسية تعامل كل الغرف بالتساوي، مما يدمر قدرة الروبوت على تخمين زوايا الكاميرا.
الحل: يعمل QVGGT مثل الخياط الماهر. إنه يفحص كل غرفة ويجد تلك "المتاحف الزجاجية الهشة". يحافظ على تلك الغرف المحددة بدقة عالية (الدقة الكاملة) لتبقى مثالية. ثم يقوم بتقليص "الغرف الطوبية المتينة" وتحويلها إلى أكياس رمل صغيرة وخفيفة الوزن (أرقام صحيحة بـ 4 بت).
النتيجة: يصبح الروبوت أصغر بكثير وأخف وزناً، لكن الأجزاء الأكثر أهمية في عقله تظل حادة ودقيقة.

2. مرشح "مقعد كبار الشخصيات" (تصفية الرموز والتعويض - Token Filtering & Compensation)

داخل عقل الروبوت، هناك رسل خاصون يُطلق عليهم اسم الرموز (Tokens). معظم الرموز تحمل معلومات عن الصورة (مثل "هذا كرسي"). ولكن هناك نوعان من هؤلاء الرسل — رمز الكاميرا (Camera Token) ورمز السجل (Register Token) — وهما صاخبان جداً ويحملان كميات هائلة من البيانات.

المشكلة: عندما يحاول الروبوت تقليص عقله، يصرخ هؤلاء الرسل الصاخبون بصوت عالٍ جداً لدرجة أنهم يطغون على الجميع. يعتقد الروبوت: "أوه، أنا بحاجة فقط لأن أكون دقيقاً مع هؤلاء الأشخاص الصاخبين"، ويتجاهل التفاصيل الهادئة، مما يؤدي إلى حدوث أخطاء.
الحل: ابتكر الفريق "مرشح كبار الشخصيات (VIP)". خلال عملية التقليص، يخبرون الروبوت بأن يتجاهل هؤلاء الرسل الصاخبين حتى يتمكن من التركيز على الرموز الهادئة وتقليصها بشكل عادل.
التعويض: ولكن انتظر! إذا تجاهلنا الرسل الصاخبين، فسينسى الروبوت كيفية إيجاد الكاميرا. لذا، قاموا بإنشاء "رسول شبحي" (رمز تعويض معلومات الكاميرا - Camera Information Compensation token). هذا الشبح هو ملخص رياضي لما يقوله الرسل الصاخبون عادةً. يتجاهل الروبوت الرسل الصاخبين الحقيقيين أثناء عملية التقليص، ولكنه يستدعي "الشبح" ليهمس بالتعليمات الضرورية إلى رأس الكاميرا قبل اتخاذ القرار مباشرة.

3. مدرب "قائد الفريق" (البحث الواعي بالمهمة - Task-Aware Scale Search)

عادةً، عندما تقوم بتقليص نموذج ما، فإنك تكتفي بالتأكد من أن الرياضيات تبدو صحيحة (مثل التأكد من أن قطعة الأحجية تناسب مكانها).

المشكلة: في إعادة البناء ثلاثي الأبعاد، قد تبدو الرياضيات صحيحة، لكن الشكل ثلاثي الأبعاد قد يكون ملتوياً أو مكسوراً. قد يحصل الروبوت على الأرقام الصحيحة، لكن الهندسة تكون خاطئة.
الحل: يستخدم QVGGT نهج "قائد الفريق". بدلاً من مجرد التحقق من الرياضيات، فإنه يتحقق من العمل الجماعي. فهو يطرح ثلاثة أسئلة في آن واحد:
1. هل حصلنا على زاوية الكاميرا بشكل صحيح؟
2. هل حصلنا على العمق بشكل صحيح؟
3. هل تتفق زاوية الكاميرا والعمق مع بعضهما البعض لتشكيل شكل ثلاثي الأبعاد متسق؟
النتيجة: يتم توجيه عملية التقليص بواسطة هذه الأهداف الواقعية. يضمن ذلك أن المجسم ثلاثي الأبعاد النهائي ليس مجرد نموذج مضغوط رياضياً، بل يبدو بالفعل كعالم حقيقي ومتماسك.

النتيجة النهائية

باستخدام هذه الحيل الثلاث، حول المؤلفون الروبوت الضخم والثقيل إلى نسخة خفيفة الوزن تناسب شريحة كمبيوتر قياسية.

الذاكرة: قللوا الذاكرة المطلوبة بمقدار 3 إلى 4.9 ضعفاً. وهذا يعني أن الروبوت يمكنه الآن العمل على أجهزة لم تكن قادرة على التعامل معه سابقاً على الإطلاق.
السرعة: يعمل أسرع بمقدار 2.8 مرة على الأجهزة الفعلية.
الدقة: على الرغم من تقليصه إلى أرقام صحيحة بـ 4 بت (جزء ضئيل جداً من حجمه الأصلي)، إلا أنه يعمل بنفس كفاءة النسخة العملاقة كاملة الحجم تقريباً.

باختصار، QVGGT هو "جرعة التصغير السحرية" التي تسم تسمح لنموذج رؤية ثلاثي الأبعاد فائق التعقيد بالعمل على الأجهزة اليومية دون أن يفقد عقله.

ملخص تقني: QVGGT - محول الهندسة المرئية المكمّم بعد التدريب (Post-Training Quantized Visual Geometry Grounded Transformer)

بيان المشكلة

يمثل المحول الهندسي المرئي المرتكز على الهندسة (VGGT) تقدماً كبيراً في الرؤية الحاسوبية ثلاثية الأبعاد، حيث يتميز بالقدرة على التنبؤ بمعلمات الكاميرا، وخرائط العمق، والسحب النقطية (point clouds) في تمريرة أمامية واحدة من مدخلات RGB متعددة المشاهد. ومع ذلك، فإن الحجم الهائل لنموذج VGGT (1.26 مليار معلمة) يخلق بصمة ذاكرة ضخمة ومتطلبات حوسبة عالية، مما يجعله غير عملي للنشر على الأجهزة الطرفية محدودة الموارد مثل الطائرات بدون طيار (UAVs) وأنظمة الواقع المعزز المحمولة.

بينما توجد تقنيات ضغط النماذج القياسية مثل التقليم (pruning) وتقطير المعرفة (knowledge distillation)، إلا أنها غالباً ما تقدم تسريعاً محدوداً على الأجهزة الحديثة. وتعد عملية التكميم (Quantization)، التي تقلل الدقة العددية، بديلاً واعداً ولكنها لا تزال غير مستكشفة إلى حد كبير بالنسبة للمحولات الضخمة لإعادة البناء ثلاثي الأبعاد. إن التطبيق المباشر لطرق التكميم القياسية بعد التدريب (PTQ) على نموذج VGGT يفشل بسبب ثلاثة تحديات محددة:

الحساسية غير المتجانسة: تُظهر كتل المحول المختلفة داخل VGDT درجات متفاوتة من الحساسية للتكميم؛ حيث يتسبب التكميم منخفض البت الموحد في تدهور غير متناسب في الدقة، لا سيما في تقدير وضعية الكاميرا (camera pose).
عدم توازن التنشيط على مستوى الرموز (Token-Level): تولد رموز الكاميرا (camera tokens) ورموز السجل (register tokens) تنشيطات ذات قيم عالية تعمل كقيم شاذة (outliers). تهيمن هذه القيم الشاذة على تقدير النطاق (scale estimation) أثناء المعايرة، مما يؤدي إلى عدم توازن في دقة التكميم وتضخيم الأخطاء لمعظم الرموز الأخرى.
عدم توافق المهام: أهداف إعادة البناء القياسية على مستوى الطبقة لا تلتقط تماماً الاتساق الهندسي المطلوب للمهام ثلاثية الأبعاد (على سبيل المثال، العلاقة بين وضعية الكاميرا، والعمق، وخرائط النقاط).

المنهجية: إطار عمل QVGGT

يقترح المؤلفون QVGGT، وهو إطار عمل مخصص للتكميم بعد التدريب (PTQ) مكون من ثلاث مراحل، صُمم لضغط VGGT مع الحفاظ على الاتساق الهندسي ثلاثي الأبعاد. يعمل الإطار تحت إعداد W4A16 (أوزان 4-بت، وتنشيطات 16-بت).

1. التكميم المختلط الانتقائي للتدريج (Selective Mixed-Precision Quantization)

يجري المؤلفون أولاً تحليلاً دقيقاً للحساسية عبر تكميم كتل فردية بشكل انتقائي وقياس التأثير على رؤوس التنبؤ النهائية.

الملاحظة: رأس الكاميرا حساس للغاية لدقة الكتل، بينما تعتبر رؤوس العمق وخرائط النقاط أكثر متانة. تم تحديد كتل معينة (تحديداً كتل الإطارات 14 و17 و23، والكتلة العالمية 23) على أنها "هشة".
الاستراتيجية: بدلاً من التكميم الموحد، يستخدم QVGGT استراتيجية دقة مختلطة انتقائية؛ حيث تحتفظ الكتل الهشة بدقة FP16 لطبقات إسقاط الانتباه الخاصة بها، بينما يتم تكميم الكتل المتينة المتبقية إلى INT4. يوازن هذا بين الضغط والحفاظ على الإشارات الهندسية الحرجة.

2. تصفية الرموز مع تعويض معلومات الكاميرا (CIC)

لمعالجة مشكلة القيم الشاذة الناتجة عن رموز الكاميرا والسجل:

تصفية الرموز: خلال مرحلة المعايرة للبحث عن النطاق (scale search)، يتم استبعاد رموز الكاميرا والسجل من حساب إحصائيات التنشيط. هذا يمنع تقدير النطاق من الانحياز بسبب عدد قليل من التنشيطات المتطرفة، مما يضمن أن يعكس نطاق التكميم المدى الديناميكي لغالبية الرموز (الصور).
تعويض معلومات الكاميرا (CIC): استبعاد هذه الرموز يزيل إشارات هندسية عالمية أساسية. لاستعادة هذه المعلومات، يقوم المؤلفون بتخليق رمز CIC. يتم اشتقاق هذا الرمز عن طريق إجراء Top-K PCA على تنشيطات رموز الكاميرا من مجموعة المعايرة. يتم بعد ذلك إعادة حقن هذا الرمز الناتج (وهو عبارة عن سابقة هندسية عالمية منخفضة التباين على مستوى مجموعة البيانات) في تسلسل الرموز قبل رأس الكاميرا أثناء الاستدلال.

3. آلية البحث عن النطاق المدركة للمهمة (Task-Aware Scale Search)

تقلل طرق PTQ القياسية من خطأ إعادة البناء على مستوى الطبقة، وهو ما لا يضمن تنبؤات دقيقة ثلاثية الأبعاد. يقدم QVGGT دالة هدف مدركة للمهمة لاختيار نطاقات التكميم:

الإشراف متعدد الرؤوس: يبحث النظام عن تقليل مزيج من الخسائر من الرؤوس الثلاثة للتنبؤ: وضعية الكاميرا ( $L_{camera}$ )، والعمق ( $L_{depth}$ )، وخرائط النقاط ( $L_{point}$ ).
الاتساق الهندسي: تم تقديم خسارة الاتساق الهندسي ( $L_{geom}$ ) المبتكرة. وهي تفرض الاتفاق بين خريطة النقاط المتوقعة مباشرة من رأس النقاط، وخريطة النقاط المعاد بناؤها عن طريق إسقاط العمق المتوقع باستخدام وضعية الكاميرا المتوقعة.
التحسين: تجمع الدالة النهائية بين خطأ إعادة البناء وهذه الخسائر الخاصة بالمهمة وخسائر الاتساق الهندسي، مما يوجه البحث عن النطاق نحو الحلول التي تحافظ على البنية ثلاثية الأبعاد الجوهرية عبر جميع الرؤوس.

المساهمات الرئيسية

إطار عمل PTQ للمحولات ثلاثية الأبعاد: يقدم البحث أول إطار عمل PTQ مخصص لمحولات الهندسة ثلاثية الأبعاد، موضحاً أنه يمكن استغلال حساسية التكميم غير المتجانسة في VGGT عبر استراتيجيات الدقة المختلطة الانتقائية.
مخطط معايرة على مستوى الرموز: حدد المؤلفون مشكلة عدم توازن التنشيط المميزة في المحولات ثلاثية الأبعاد وعالجوا مشكلة عدم توازن، مقترحين مخطط معايرة بفلترة الرموز مع تعويض قائم على PCA لتحسين المتانة.
البحث عن النطاق المدرك للمهمة: تم تصميم آلية بحث جديدة للنطاق تربط تحسين التكميم بمهام التنبؤ ثلاثية الأبعاد النهائية من خلال الإشراف متعدد الرؤوس وقيود الاتساق الهندسي.
التحقق التجريبي: يحقق الإطار تكميماً (W4A16) يكاد يكون بلا فقدان عبر عدة اختبارات معيارية، مما يقلل حجم النموذج بأكثر من 75% ويقلل ذاكرة الاستدلال بمقدار 3 إلى 4.9 ضعفاً.

النتائج التجريبية

قيم المؤلفون QVGGT على أربعة اختبارات معيارية: CO3Dv2، وRealEstate10K، و7-Scenes، وNRGBD.

تقدير وضعية الكاميرا: في CO3Dv2 وRealEstate10K، يحقق QVGGT (W4A16) قيمة AUC@30 تبلغ 89.4 و85.0 على التوالي، وهو ما يكاد يطابق خط الأساس FP16 (89.5 و85.3). في المقابل، تعاني طرق PTQ العامة مثل GPTQ وAWQ من انخفاض كبير في الأداء (على سبيل المثال، ينخفض AWQ إلى 54.6 في CO3Dv2).
إعادة البناء ثلاثي الأبعاد: في 7-Scenes وNRGBD، يحافظ QVGGT على الدقة، والاكتمال، واتساق النورمال (normal consistency) بشكل مماثل لخط الأساس FP16، متفوقاً بشكل كبير على SmoothQuant وGPTQ وAWQ تحت نفس إعدادات W4A16.
الكفاءة:
- الذاكرة: يقلل QVGGT ذروة استخدام الذاكرة بمقدار 4.9× للمدخلات أحادية الإطار و3.0× لـ 22 إطاراً مقارنة بـ FP32 VGGT. كما يسمح بمعالجة ما يصل إلى 30 إطاراً على وحدة معالجة رسومات بسعة 24 جيجابايت دون أخطاء نفاذ الذاكرة (OOM)، بينما يفشل النموذج كامل الدقة في ذلك.
- زمن الاستجابة (Latency): يحقق الأسلوب تسريعاً في الأجهزة الحقيقية يصل إلى 2.8× مقارنة بـ FP32، وتسريعاً في زمن الاستجابة بمقدار 1.93× مقارنة بخطوط الأساس FP16 على بطاقة RTX 4090.
المتانة: تظهر دراسات الاستئصال (ablation studies) أن الطريقة متينة تجاه حجم مجموعة بيانات المعايرة، حيث تعمل بشكل جيد حتى مع وجود 16 صورة معايرة فقط.

الأهمية والادعاءات

يزعم البحث أن QVGGT يجعل الإدراك عالي الدقة ثلاثي الأبعاد ممكناً على الأجهزة الطرفية، مما يتيح النشر العملي لنماذج إعادة البناء ثلاثية الأبعاد ذات التمرير الأمامي (feed-forward) في البيئات الواقعية المقيدة.

يضع المؤلفون QVGGT كعمل مكمل لعمل متزامن مثل QuantVGGT. فبينما يركز QuantVGGT على الاستقرار العددي العام (الموجه نحو التوزيع)، يركز QVGGT على التصميم المدرك للهندسة والمهمة. من خلال مراعاة الخصائص الفريدة للمحولات ثلاثية الأبعاد بشكل صريح — مثل الدور المحدد لرموز الكاميرا والعلاقات الهندسية بين رؤوس التنبؤ — يحقق QVGGT احتفاظاً فائقاً بالدقة في المهام ثلاثية الأبعاد مقارنة بنهج التكميم العامة. يثبت العمل أنه مع المحاذاة الدقيقة للبنية والأهداف، يمكن ضغط نماذج الرؤية ثلاثية الأبعاد واسعة النطاق إلى أوزان 4-بت دون التضحية بالدقة الهندسية المطلوبة لتطبيقات الروبوتات والواقع المعزز.