Point Cloud as a Foreign Language for Multi-modal Large Language Model

إليك ملخص تقني مفصل لورقة البحث بعنوان "السحابة النقطية كلغة أجنبية للنماذج اللغوية الكبيرة متعددة الوسائط" (SAGE).

1. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الحالية القادرة على الفهم ثلاثي الأبعاد بشكل أساسي على بنى تعتمد على المشفرات (Encoder-based architectures). تستخدم هذه الأنظمة مشفراً ثلاثي الأبعاد مُدرباً مسبقاً (مثل Point-BERT) لاستخراج الميزات الهندسية، والتي يتم بعد ذلك إسقاطها في فضاء التضمين الخاص بالنموذج اللغوي الكبير (LLM). يعاني هذا النهج من ثلاث قيود حرجة:

• عدم المحاذاة الدلالية (Semantic Misalignment): تُحسّن المشفرات ثلاثية الأبعاد المُدربة مسبقاً عادةً لتمييز هندسي ذاتي الإشراف (مثل فقدان التباين/contrastive loss) بدلاً من التأسيس اللغوي. وهذا يخلق فجوة دلالية بين التضمينات الهندسية وفضاء اللغة الخاص بالنموذج اللغوي، مما يتطلب طبقات إسقاط معقدة غالباً ما تفشل في سد الفجوة بالكامل.
• عدم تطابق الدقة (Resolution Mismatch): تفترض المشفرات الحالية أحجام مدخلات ثابتة (مثل 8,192 نقطة). وتتفاوت السحب النقطية في العالم الحقيقي بشكل كبير في الكثافة؛ حيث يؤدي تقليل العينات (Downsampling) للسحب الكثيفة إلى فقدان التفاصيل الدقيقة، بينما يؤدي زيادة العينات (Upsampling) للسحب المتفرقة إلى إدخال عيوب هندسية.
• الأعباء الحسابية (Computational Overhead): يضيف المشفر المُدرب مسبقاً تأخراً كبيراً في الاستجابة واستهلاكاً للذاكرة قبل أن يبدأ النموذج اللغوي حتى في توليد النص، مما يعيق النشر في الوقت الفعلي.

يقترح المؤلفون أن معاملة البيانات ثلاثية الأبعاد كـ "لغة أجنبية" يمكن ترميزها (Tokenization) مباشرة وتغذيتها إلى النموذج اللغوي الكبير، بدلاً من الاعتماد على مشفر ثقيل مُدرب مسبقاً، يمكن أن يحل هذه المشكلات.

2. المنهجية: SAGE

قدم المؤلفون SAGE (النموذج التوليدي المدرك مكانياً)، وهو أول نموذج لغوي كبير ثلاثي الأبعاد متعدد الوسائط، نهائي الطرف (End-to-end)، وخالٍ من المشفرات (Encoder-free). بدلاً من استخدام مشفر مُدرب مسبقاً، يتعلم SAGE التمثيلات ثلاثية الأبعاد بشكل مشترك مع النموذج اللغوي باستخدام ترميز ثلاثي الأبعاد (3D Tokenizer) خفيف الوزن.

أ. المرمز ثلاثي الأبعاد (The 3D Tokenizer)

الابتكار الجوهري هو المرمز الذي يحول السحب النقطية الخام ($P \in \mathbb{R}^{N \times 3}$) إلى رموز منفصلة (Tokens)، مما يوسع فعلياً مفردات النموذج اللغوي الكبير.

1. أخذ العينات التجميعي والتدبير (Geometric Sampling & Grouping):
   • أخذ عينات النقطة الأبعد (Farthest Point Sampling - FPS): يختار $N_s$ من النقاط التمثيلية لتعمل كمراكز تكتل.
   • تجميع الجوار (Neighborhood Aggregation): لكل مركز، يتم تحديد $K_g$ من أقرب الجيران لتشكيل سحب فرعية محلية.
   • تجميع الميزات (Feature Aggregation): تقوم وحدة هندسية محلية بإسقاط الميزات النقطية، وإضافة تضمينات موضعية نسبية، وتطبيق التجميع الأقصى العالمي (Global Max-pooling) لإنشاء تمثيلات مكانية مدمجة ($Z$).
2. الإسقاط إلى فضاء النموذج اللغوي (Projection to LLM Space): يتم إسقاط الميزات المجمعة إلى بُعد التضمين الخاص بالنموذج اللغوي باستخدام مصفوفة قابلة للتعلم ($W$).
3. التكميم المتجهي (Vector Quantization - VQ): لسد الفجوة بين الميزات الهندسية المستمرة وفضاء الرموز المنفصل للنموذج اللغوي، يتم تكميم الميزات المسقطة مقابل كتاب رموز (Codebook) قابل للتعلم ($C$).
   • يتم تعيين كل متجه ميزة إلى أقرب مدخل في كتاب الرموز.
   • تتم تدريب هذه العملية باستخدام فقدان مشترك من فقدان كتاب الرموز (Codebook Loss) (لتحديث متجهات الرموز) وفقدان الالتزام (Commitment Loss) (لضمان بقاء الميزات قريبة من متجهات الرموز)، مما يسمح للنموذج باكتشاف عناصر أولية ثلاثية الأبعاد منفصلة تتوافق مع كل من الهندسة والدلالات.

ب. مسار التدريب (Training Pipeline)

يتم تدريب النموذج في ثلاث مراحل:

1. المرحلة 1 (الإحماء للترميز - Tokenizer Warm-up): يتم تدريب المرمز ثلاثي الأبعاد والطبقات القليلة الأولى من النموذج اللغوي على بيانات الوصف (Captioning) ثلاثية الأبعاد لمواءمة الرموز الهندسية مع الفضاء اللغوي.
2. المرحلة 2 (ضبط التعليمات - Instruction Tuning): ضبط دقيق نهائي الطرف على أزواج التعليمات والاستجابات متعددة الوسائط لتعزيز الاستدلال عبر الوسائط.
3. المرحلة 3 (تحسين التفضيل - Preference Optimization): مرحلة جديدة من التعلم التعزيزي (RL) باستخدام تحسين السياسة النسبي للمجموعات (Group Relative Policy Optimization - GRPO).
   • التحدي: يعتمد التعلم التعزيزي القياسي (مثل PPO) على مكافآت يمكن التحقق منها (مثل الإجابات الرياضية)، لكن الأسئلة والأجوبة ثلاثية الأبعاد غالباً ما تكون وصفية.
   • الحل: تم اقتراح مكافأة المحاذاة الدلالية (Semantic Alignment Reward). وهي تستخدم نموذج Sentence-BERT لحساب تشابه جيب التمام (Cosine Similarity) بين الاستجابة المولدة والإجابة المرجعية، مدمجة مع حد تنظيم الطول. وهذا يسمح لـ GRPO بتحسين الاستدلال ثلاثي الأبعاد الوصفي مفتوح النهايات.

3. المساهمات الرئيسية

1. أول نموذج لغوي كبير ثلاثي الأبعاد متعدد الوسائط خالٍ من المشفرات: يعالج SAGE السحب النقطية الخام مباشرة دون أي مشفرات ثلاثية الأبعاد مُدربة مسبقاً، مع معاملة السحب النقطية كـ "لغة أجنبية" عبر مرمز خفيف الوزن.
2. استراتيجية ترميز مبتكرة: يسمح دمج أخذ العينات الهندسي، وتجميع الجوار، والتكميم المتجهي للنموذج بالحفاظ على البنية المكانية مع تحويل البيانات ثلاثية الأبعاد إلى رموز منفصلة متوافقة مع النماذج اللغوية الكبيرة.
3. مكافأة المحاذاة الدلالية للتعلم التعزيزي: صياغة مكافأة جديدة تتيح تحسين التفضيل الفعال لمهام الأسئلة والأجوبة ثلاثية الأبعاد الوصفية، مما يتغلب على قيود التعلم التعزيزي القائم على المكافآت القابلة للتحقق في المهام الوصفية.
4. الكفاءة والمتانة: تلغي البنية المعمارية عنق زجاجة المعالجة المسبقة الثقيلة وتتعامل بشكل طبيعي مع متغيرات دقة المدخلات.

4. النتائج التجريبية

أُجريت تجارب واسعة النطاق على معايير تشمل Objaverse (الوصف، التصنيف) و MM-Vet (الأسئلة والأجوبة المرئية).

• الأداء:
  • SAGE* (بدون المرحلة 3) يضاهي أو يتفوق على الطرق الحالية المعتمدة على المشفرات (مثل PointLLM و ShapeLLM) رغم افتقاره للتدريب المسبق.
  • SAGE (مع تحسين التفضيل) يحقق نتائج هي الأفضل في فئته (SOTA)، متفوقاً على أفضل النماذج المرجعية بفوارق كبيرة (على سبيل المثال، تحسن قدره +4.72 في درجة GPT-4 على مهام الوصف مقارنة بـ PointLLM-13B).
  • يُظهر أداءً فائقاً في مهام التصنيف مفتوحة المفردات والاستدلال المعقد.
• الكفاءة:
  • التأخر (Latency): يحقق SAGE تأخراً في الاستنتاج قدره 100 مللي ثانية مقارنة بـ 239 مللي ثانية لنموذج PointLLM (تسريع بمقدار 2.3 ضعف).
  • الإنتاجية (Throughput): ترتفع من 4.2 إلى 10.0 عينة في الثانية.
  • وقت التدريب: يتطلب SAGE* وقتاً أقل بكثير للتدريب (18 ساعة مقابل 26.1 ساعة لـ PointLLM) بسبب غياب المشفر الثقيل.
• المتانة:
  • على عكس المشفرات ذات الدقة الثابتة، يتعامل SAGE مع دقات المدخلات المتغيرة (2K, 4K, 8K نقطة) بسلاسة. يتدهور الأداء بشكل طفيف عند المدخلات المتفرقة، بينما تعاني النماذج المعتمدة على المشفرات من انخفاض حاد. وتتوسع الإنتاجية بكفاءة مع مدخلات الدقة المنخفضة.

5. الأهمية

يغير هذا العمل بشكل جذري النموذج السائد للنماذج اللغوية الكبيرة ثلاثية الأبعاد متعددة الوسائط من الاعتماد على المشفر إلى التعلم نهائي الطرف (End-to-end learning). من خلال معاملة الهندسة ثلاثية الأبعاد كلغة ممتدة، يثبت SAGE أن:

• المشفرات ثلاثية الأبعاد المُدربة مسبقاً ليست ضرورية تماماً للفهم عالي الأداء ثلاثي الأبعاد.
• التعلم المشترك للترميز ونمذجة اللغة يؤدي إلى محاذاة دلالية وكفاءة حسابية أفضل.
• تحسين التفضيل باستخدام المكافآت الدلالية هو مسار قابل للتطبيق لتحسين الاستدلال في المهام ثلاثية الأبعاد الوصفية غير القابلة للتحقق.

تضع هذه الورقة الأساس لأطر عمل موحدة متعددة الوسائط حيث تُعامل المدخلات الحسية المتنوعة (2D، 3D، صوت) كأجزاء من فضاء لغوي مشترك، مما يعد بأنظمة ذكاء اصطناعي تجسدية (Embodied AI) أكثر قابلية للتوسع والكفاءة.