GraSP-VL: Length as a Semantic Granularity Interface for Vision-Language Representations

ملخص تقني: GraSP-VL

بيان المشكلة
تنتج نماذج الرؤية واللغة (VLMs) المجمدة، مثل CLIP، تمثيلات (embeddings) تحتوي على إشارات دلالية متعددة المستويات تتراوح من هوية الكائن إلى الصفات، والعلاقات، ومعاني الوصف الكامل. ومع ذلك، تعرض هذه النماذج هذه الإشارات عبر واجهة ذات متجه ثابت الطول. وهذا يخلق "عدم تطابق في الواجهة": حيث يُستخدم متجه تمثيل واحد لاستعلامات تتطلب مستويات مختلفة من الدقة الدلالية (على سبيل المثال، تحديد "كلب" مقابل "كلب بني يركض"). إن الطرق الحالية لتقصير المتجهات، مثل الاقتطاع أو الإسقاط أو الضغط، لا تضمن أن المتجهات الأقصر الناتلة تمثل مستويات دلالية محددة. فعلى سبيل المثال، لا يوجد ضمان متأصل بأن الأبعاد القليلة الأولى من تمثيل CLIP هي التي تمثل دلالات مستوى الكائن، كما أن تقنيات تقليل الأبعاد القياسية مثل PCA لا تفهم التسلسل الهرمي المقصود للكيانات والصفات والعلاقات.

المنهجية: GraSP-VL
يقترح المؤلفون GraSP-VL (البوادئ الانتقائية للجزئيات لنماذج الرؤية واللغة)، وهي طريقة مصممة لتحويل طول التمثيل إلى واجهة وصول دلالية يمكن التحكم فيها دون إعادة تدريب نموذج الرؤية واللغة الأساسي.

• تحويل مشترك شبه متعامد: يتعلم GraSP-VL تحويلاً مشتركاً واحداً $F_\theta$ يُطبق على كل من تمثيلات الصور والنصوص من نموذج VLM مجمد. يتم إنشاء التحويل كمصفوفة متعامدة $R$ يتم ضبطها عبر تحويل كايلي ($R = (I + A_\theta)^{-1}(I - A_\theta)$)، حيث $A_\theta$ هي مصفوفة متماثلة عكسياً مشتقة من معاملات قابلة للتدريب. يضمن هذا أن يكون التحويل شبه متماثل (near-isometric)، مما يحافظ على تشابه جيب التمام للفضاء كامل الأبعاد بدقة ($\langle Re_a, Re_b \rangle = \langle e_a, e_b \rangle$).
• واجهة ماتريوشكا الدلالية (Semantic Matryoshka): تنفذ الطريقة مبدأ "الماتريوشكا الدلالية". فبدلاً من معاملة طول البادئة كمجرد ميزانية ضغط، تقوم بتعيين أدوار دلالية محددة لأطوال البادئات المختلفة عبر عقد واجهة صريح:
  • البوادئ القصيرة (مثل $D/16$) تُخصص لها أدوار عامة (هوية الكائن).
  • البوادئ الأطول (مثل $D/8, D/4, D/2$) تكشف تدريجياً عن تميزات أدق (الصفات، العلاقات/الأفعال، الوصف الكامل).
• هدف انتقائي للجزئيات: يجمع هدف التدريب بين خمسة حدود مترابطة لفرض هذا الهيكل:
  1. المحاذاة متعددة الجزئيات ($L_{align}$): توائم كل طول بادئة مع منظورها اللغوي المخصص (الكائن، الصفة، العلاقة، الوصف الكامل).
  2. الاحتفاظ التراكمي ($L_{ret}$): يضمن أن البوادئ الأطول تحتفظ بالدلالات العامة للبوادئ الأقصر، مما يمنع استبدال المعلومات.
  3. تصنيف السلب الصعب الانتقائي ($L_{rank}$): يستخدم سلبيات صعبة محددة النوع (كائن، صفة، علاقة، فعل، ترتيب، وصف كامل) لفرض أن هذه التمييزات لا يمكن حلها إلا عند أو بعد الحد الفاصل للبادئة المخصصة.
  4. ثبات البادئة المبكرة ($L_{inv}$): يثبط الفصل المبكر للأزواج الموجبة والسلبية قبل حد البادئة المخصص، مما يضمن بقاء البوادئ القصيرة عامة وعدم الإفراط في التكيف مع التفاصيل الدقيقة.
  5. الحفاظ على الفضاء الكامل ($L_{pres}$ & $L_{ortho}$): يراقب بقاء هندسة الفضاء كامل الأبعاد دون تغيير.

المساهمات الرئيسية

1. إطار عمل GraSP-VL: تحويل بادئة مشترك لنماذج VLM المجمدة يعيد تنظيم الوصول إلى الإشارات الموجودة، ويكشف عن الدلالات من العام إلى الخاص عبر طول البادئة مع الحفاظ على هندسة الفضاء الأصلي.
2. مبدأ ماتريوشكا الدلالية: صياغة رسمية حيث يتم تعيين الدقة الدلالية لطول التمثيل عبر عقد صريح بدلاً من الاعتماد على الحدود الطبيعية المكتشفة.
3. هدف انتقائي للجزئيات: دالة خسارة مبتكرة تجمع بين المحاذاة، والاحتفاظ، والتمييز بين السلبيات الصعبة، وثبات البادئة المبكرة، والحفاظ على الهندسة.
4. بروتوكول تشخيصي: إطار تقييم صارم يفصل بين الانتقائية الدلالية وبين مجرد الاقتطاع الخام، وPCA، والتكيف العام، وتبديل الإحداثيات، باستخدام "سلسلة تفنيد" للتحقق من ضرورة الواجهة المتعلمة.

النتائج التجريبية
تم تقييم الطريقة على مجموعة مكونة من 20,147 مثالاً من COCO وFlickr30K، مع اختبارات نقل إضافية على SugarCrepe-clean وCIFAR-100.

• أداء الدرج (Staircase Performance): حقق GraSP-VL درجة درج بلغت 53.01 وانتقائية للسلبيات الصعبة بنسبة 89.76%. وقد تفوق هذا بشكل كبير على النماذج المرجعية بما في ذلك الاقتطاع المباشر، وPCA، والتدوير العشوائي، وطرق الضغط من طراز MRL وMatryoshka وSMEC.
• الحفاظ على الهندسة: حافظت الطة على انزياح الفضاء الكامل بأقل من $10^{-6}$، مما حافظ بفعالية على سطح القرار لنموذج VLM الأصلي للاستعلامات كاملة الأبعاد.
• الانتقائية مقابل الانزياح: على عكس محولات MLP العامة التي حققت انتقائية عالية ولكنها أعادت كتابة فضاء التمثيل بالكامل (انزياح عالٍ)، حقق GraSP-VL انتقائية عالية مع انزياح يقارب الصفر.
• القابلية للنقل:
  • في SugarCrepe-clean (معيار خارجي لم يُستخدم في التدريب)، حقق GraSP-VL دقة كائنات بلغت 86.03% ومتوسط ظهور خارجي قدره 11.96.
  • حافظ على دقة الصفر (zero-shot) للفضاء كامل الأبعاد على CIFAR-100.
  • تعمم النهج عبر مختلف النماذج الأساسية (OpenAI CLIP, OpenCLIP, EVA-CLIP, SigLIP) بأبعاد متفاوتة.
• النماذج المرجعية: أظهرت الدراسة أن الإحداثيات الخام، وPCA، والتبديلات المتعلمة تفشل في إنتاج السلم الدلالي المنشود. فقط الخلط الكثيف وشبه المتماثل الذي وفره GraSP-VL نجح في تنظيم الإشارات.

الأهمية والادعاءات
تضع الورقة البحثية GraSP-VL كحل لـ هندسة الواجهات وليس كاكتشاف لعلامات دلالية طبيعية عالمية. يدعي المؤلفون ما يلي:

• تحتوي تمثيلات نماذج VLM المجمدة على إشارات متعددة الدقة كافية لإعادة تنظيمها في واجهة بادئة يمكن التحكم فيها.
• تسمح واجهة "الماتريوشكا الدلالية" للمستخدمين باختيار طول بادئة يتوافق مع الدقة الدلالية المطلوبة (كيان، صفة، علاقة، أو وصف كامل) دون الحاجة لإعادة تدريب النموذج الأساسي أو تدمير فضاء التمثيل الأصلي.
• هذا النهج ذو قيمة خاصة لأنظمة الاسترجاع حيث يكون التوافق مع فهارس المتجهات الكاملة والتمثيلات المخزنة مؤقتاً أمراً حاسماً، حيث يمكن تطبيق التحويل خارجياً (offline) على تمثيلات المعرض.
• يذكر المؤلفون صراحة أن نقاط انكسار الأبعاد المختارة (مثل $D/16$ للكائنات) هي عقود واجهة يحددها المستخدم، وليست بالضرورة ثوابت طبيعية متأصلة في VLM. يكمن نجاح الطريقة في تحقيق هذا العقد مع الحفاظ على الهندسة الكاملة، بدلاً من إثبات أن VLM يخزن هذه الإشارات في ذلك الترتيب طبيعياً.