Delving into Spectral Clustering with Vision-Language Representations

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التعمق في التجميع الطيفي باستخدام التمثيلات الرؤية-اللغوية" (ICLR 2026).

1. بيان المشكلة

التجميع الطيفي (Spectral Clustering - SC) هو تقنية غير خاضعة للإشراف قوية تعيد صياغة عملية التجميع كمسألة تقسيم للرسوم البيانية (Graph Partitioning)، مستفيدة من طيف "لابلاسيان الرسم البياني" (Graph Laplacian) لإيجاء تضمينات منخفضة الأبعاد. ومع ذلك، تواجه طرق التجميع الطيفي الحالية قصورين حرجين:

1. قيد النمط الواحد (Single-Modality Constraint): تعتمد معظم النهج حصرياً على الميزات البصرية. وعندما تكون الصور متشابهة بصرياً ولكنها متباينة دلالياً (مثل سلالات مختلفة من الكلاب أو أنسجة مختلفة)، تفشل رسوم التقارب (Affinity Graphs) البصرية فقط في التقاط البنية الدلالية الحقيقية، مما يؤدي إلى تجميع دون المستوى الأمثل.
2. التكامل غير الفعال متعدد الأنماط: بينما توفر نماذج الرؤية واللغة (VLMs) مثل CLIP تمثيلات دلالية غنية، فإن مجرد دمج ميزات الصور والنصوص أو استخدام نوى (Kernels) قياسية (مثل RBF) على هذه الميزات لا يستغل المحاذاة عبر-النمطية بشكل كافٍ. أظهرت المحاولات السابقة (مثل TAC) أن الدمج السطحي على مستوى الميزات يعطي أداءً مشابهاً لخوارزمية K-Means، ويفشل في تحسين بنية رسم التقارب المطلوبة لتجميع طيفي فعال.

السؤال البحثي الجوهري: كيف يمكننا دمج الدلالات النصية مع التشابهات البصرية بفعالية لبناء مصفوفة تقارب عالية الجودة للتجميع الطيفي في بيئة غير خاضعة للإشراف؟

2. المنهجية

يقترح المؤلفون التجميع الطيفي باستخدام النواة المماسية العصبية (NTK-SC)، وهو إطار عمل يستفيد من النواة المماسية العصبية (Neural Tangent Kernel) لربط القرب البصري بالتداخل الدلالي. تتكون الطريقة من مرحلتين رئيسيتين:

أ. بناء التقارب القائم على NTK

بدلاً من استخدام مقاييس المسافة القياسية، يعرّف المؤلفون التقارب بين صورتين بناءً على تفاعل ميزاتهما مع مجموعة من "الأسماء الإيجابية" (Semantic Anchors) عبر الـ NTK.

1. المرتكزات الدلالية (Semantic Anchors): يتم اختيار مجموعة من الأسماء الإيجابية $\{\hat{c}_1, \dots, \hat{c}_N\}$ من قواعد بيانات معجمية واسعة النطاق (مثل WordNet) والتي ترتبط دلالياً بمجموعة البيانات ولكنها لا تتطلب تسميات فئات حقيقية.
2. الشبكة البديلة والـ NTK: يتم تعريف شبكة بديلة $g_\theta$ باستخدام صيغة log-sum-exp لخرائط ميزات الصور إلى قيمة عددية بناءً على الأسماء الإيجابية. وتكون أوزان هذه الشبكة مرتكزة بواسطة التضمينات النصية للأسماء الإيجابية ($W$).
   $$g_{\theta_0}(f_X(x_i)) = \log \sum_{k=1}^N e^{w_k^\top f_X(x_i) / \tau}$$
3. صياغة التقارب: يتم حساب التقارب $A_{NTK}[i, j]$ بين صورتين كـ NTK للشبكة البديلة عند تقييمها على ميزات الصور الخاصة بهما. ويظهر التحليل النظري أن هذا الـ NTK يتفكك إلى اقتران ضربي (Multiplicative Coupling) بين حدين:
   • القرب البصري ($U_{ij}$): حاصل الضرب النقطي لميزات الصور في فضاء CLIP.
   • التداخل الدلالي ($V_{ij}$): حاصل ضرب احتمالات الـ softmax التي تشير إلى مدى محاذاة كل صورة مع نفس المجموعة الفرعية من الأسماء الإيجابية.
     $$K_{\theta_0}(f_X(x_i), f_X(x_j)) \propto U_{ij} \cdot V_{ij}$$
     الآلية: يعمل هذا الهيكل الضربي على تضخيم التقارب للصور التي تكون متقاربة بصرياً ومتمايزة دلالياً (High intra-cluster)، بينما يقلل من التقارب للصور التي تكون متقاربة بصرياً ولكنها متباينة دلالياً (Low inter-cluster)، مما يؤدي إلى شحذ البنية القطرية الكتلية (Block-diagonal structure) لمصفوفة التقارب.

ب. الانتشار المُنظم للتقارب (Regularized Affinity Diffusion - RAD)

للتعامل مع قوالب المطالبات المتعددة (مثلاً: "صورة لـ {}", "فن لـ {}")، تستخدم الطريقة آلية تجميع تكيفية بدلاً من المتوسط البسيط.

• الهدف: تعلم الأوزان المثلى $\beta$ لمصفوفات التقارب الخاصة بكل قالب $A^{(b)}_{NTK}$ لبناء مصفوفة تقارب نهائية قوية $\hat{A}$.
• التحسين (Optimization): تُصاغ المسألة كتحسين مشترك لأوزان التجميع وعملية الانتشار:
  $$\min_{\beta, \hat{A}} \sum_{b=1}^B \beta[b] \cdot \ell(\hat{A}, A^{(b)}_{NTK}) + \mu \|\hat{A} - E\|_F^2 + \frac{\lambda}{2} \|\beta\|_2^2$$
  حيث $\ell$ هو فقد انتشار التقارب، و $E$ هي مصفوفة تنظيم (المصفوفة المحايدة) لمنع التنعيم المفرط (Over-smoothing).
• الحل: يتم حل المسألة غير المحدبة عبر مخطط تكراري تبادلي:
  1. تثبيت $\beta$ وتحسين $\hat{A}$: يتم الحل عبر حل مغلق (Closed-form solution) أو محلل تكراري فعال يتضمن ضربات كرونيكر (Kronecker products).
  2. تثبيت $\hat{A}$ وتحسين $\beta$: يتم الحل باستخدام طريقة خفض التدرج الإحداثي (Coordinate descent) الشبيهة بـ Lasso.

3. المساهمات الرئيسية

1. إطار عمل جديد: يقدم أول طريقة تجميع طيفي تستفيد صراحة من النواة المماسية العصبية (NTK) لدمج تمثيلات الرؤية واللغة، متجاوزةً النماذج أحادية النمط.
2. رؤية نظرية: يثبت أن صياغة التقارب القائمة على NTK تخلق بطبيعتها اقتراناً ضربياً للإشارات البصرية والدلالية، مما يضمن نظرياً كبح الاتصالات الزائفة بين العناقيد وتعزيز البنى القطرية الكتلية.
3. التجميع التكيفي: يقترح الانتشار المنظم للتقارب (RAD)، وهو منهج مبدئي لتجميع مصفوفات التقارب المستحثة بالمطالبات بشكل تكيفي، وهو ما يتفوق على المتوسط البسيط.
4. التحقق الشامل: أظهرت التجارب المكثفة على 16 معياراً مرجعياً (بما في ذلك مجموعات البيانات الكلاسيكية، واسعة النطاق، دقيقة التفاصيل، والمتحولة في النطاق) أداءً هو الأفضل في فئته (State-of-the-art).

4. النتائج التجريبية

تم تقييم الطريقة مقابل أكثر من 20 نموذجاً مرجعياً (بما في ذلك TAC، SIC، SCAN، وطرق التجميع العميق المختلفة) عبر مجموعات بيانات متنوعة.

• مجموعات البيانات الكلاسيكية: في مجموعة ImageNet-Dogs، حققت الطريقة 98.3% ACC و 84.9% ACC (للمعايير NMI/ARI)، متفوقة على TAC (الأفضل سابقاً) بنسبة 3.8% و 9.8% على التوالي. وفي STL-10، حققت 95.8% NMI و 98.3% ACC.
• مجموعات البيانات الصعبة: في UCF-101 و ImageNet-1K، تجاوزت الطريقة TAC بفارق كبير (على سبيل المثال: +7.7% ACC في UCF-101، و +6.3% ACC في ImageNet-1K).
• الدقة العالية وتحول النطاق:
  • الدقة العالية (Fine-Grained): تفوقت على TAC بنسبة 5.1% في مجموعة بيانات Pets.
  • تحول النطاق (Domain Shift): أظهرت متانة فائقة في ImageNet-C، و ImageNet-V2، و ImageNet-S، محافظِةً على أداء أعلى من النماذج المرجعية تحت تغيرات التوزيع.
• دراسات الاستئصال (Ablation Studies):
  • NTK مقابل النوى القياسية: أدى استبدال NTK بنوى RBF أو الخطية على نفس الميزات إلى انخفاض كبير في الأداء، مما يؤكد ضرورة صياغة NTK.
  • آلية RAD: تفوقت آلية RAD المقترحة بشكل كبير على كل من المتوسط البسيط وتجميع المطالبات البسيط (PE)، مما أكد قيمة تعلم الأوزان التكيفي.
  • المعلمات الفائقة (Hyperparameters): ظلت الطមាន مستقرة عبر نطاق واسع من درجات الحرارة ($\tau$) وعدد الجيران ($q$).

5. الأهمية

تمثل هذه الورقة تحولاً جذرياً في التجميع غير الخاضع للإشراف للصور من خلال الجسر بنجاح بين التدريب المسبق للرؤية واللغة والتجميع الطيفي.

• التقدم النظري: توفر تبريراً رياضياً صارماً (عبر NTK) لسبب قيام دمج الأنماط البصرية واللغوية بتحسين التجميع، وتحديداً عبر تعزيز خصائص البنية القطرية الكتلية للرسم البياني.
• الأثر العملي: تحقق الطريقة نتائج هي الأفضل في فئتها دون الحاجة إلى بيانات مصنفة أو دورات تدريب معقدة لهدف التجميع نفسه (بالاعتماد على CLIP المدرب مسبقاً وتحسين خفيف لانتشار التقارب).
• الاتجاه المستقبلي: تضع معياراً جديداً للتعلم غير الخاضع للإشراف متعدد الأنماط، مما يشير إلى أن الاستفادة من "البنية الدلالية" للنماذج اللغوية عبر طرق النواة (Kernel methods) هو مسار واعد لتحسين تعلم التمثيلات في الرؤية الحاسوبية.

توافر الكود: أصدر المؤلفون الكود المصدر لضمان قابلية إعادة الإنتاج.