💻 computer science

ClustViT: Clustering-based Token Merging for Semantic Segmentation

يعالج ClustViT التعقيد التربيعي لنماذج "Vision Transformers" في التجزئة الدلالية من خلال تقديم وحدة عنقودية (Cluster module) قابلة للتدريب تدمج الرموز المتشابهة بتوجيه من العناقيد الزائفة، ووحدة إعادة توليد (Regenerator module) تستعيد التفاصيل الدقيقة، مما يحقق كفاءة حسابية كبيرة واستدلالاً أسرع دون المساس بالدقة.

المؤلفون الأصليون: Fabio Montello, Ronja Güldenring, Lazaros Nalpantidis

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fabio Montello, Ronja Güldenring, Lazaros Nalpantidis

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول وصف لوحة معقدة لصديق عبر الهاتف. اللوحة تحتوي على سماء زرقاء شاسعة ومملة، وبعض الأشجار المتميزة، وطائر صغير ودقيق التفاصيل.

تحاول "محولات الرؤية" (Vision Transformer) القياسية (وهي نموذج الذكاء الاصطوي الذي يحسنه هذا البحث) وصف كل بوصة مربعة من تلك اللوحة بنفس القدر من التفصيل. فهي تستهلك من وقتها وقدرات عقلها بقدر ما تستهلكه في وصف الطائر الصغير، تماماً كما لو كنت تصف السماء الزرقاء الفارغة. هذا الأمر دقيق للغاية، ولكنه بطيء ويستهلك الكثير من الطاقة—مثل محاولة حمل حقيبة ظهر ثقيلة مليئة بالصخور لمجرد المشي إلى صندوق البريد.

تساءل مؤلفو هذا البحث: "لماذا نصف كل بكسل إذا كنا نعرف بالفعل أي الأجزاء متشابهة؟"

إليك كيف يعمل حلهم، مقسماً إلى خطوات بسيطة:

1. المشكلة: الكثير من الضجيج

نماذج الذكاء الاصطناي الحالية لـ "التقسيم الدلالي" (وهي مجرد طريقة معقدة لقول "تسمية كل بكسل في صورة ما") بارعة في التعرف على الأشياء. لكنها بطيئة لأنها تعامل كل جزء من الصورة على أنه بنفس الأهمية. إذا كنت روبوتاً يحاول القيادة عبر حقل، فأنت لست بحاجة لتحليل كل نصل عشب بشكل فردي؛ أنت تحتاج فقط لمعرفة أن "هذا عشب".

2. الحل: استراتيجية "التجميع"

ابتكر المؤلفون نظاماً جديداً يسمى ClustViT. فكر في الأمر كأنه محرر ذكي ينظر إلى الصورة ويقول: "حسناً، هذه الـ 100 بكسل هي مجرد 'سماء'، لذا دعونا نجمعها معاً ونعاملها كقطعة واحدة من المعلومات".

يقومون بذلك باستخدام أداتين خاصتين داخل عقل الذكاء الاصطناعي:

وحدة التجميع (أداة التجميع - The Cluster Module):
تخيل أن لديك كومة من قطع الليغو المختلطة. بدلاً من النظر إلى كل قطعة بمفردها، تقوم بسرعة بفرزها في صناديق: "الأحمر"، "الأزرق"، و"القطع المميزة".
في الذكاء الاصطناعي، تنظر هذه الوحدة إلى الصورة وتستخدم "ورقة غش" (تعلمتها من الملصقات الحقيقية) لتجد البكسلات التي تنتمي إلى نفس الفئة الدلالية (مثل "الماء" أو "العشب"). إنها تدمج كل تلك البكسلات المتشابهة في رمز (Token) واحد ممثل.
- النتيجة: أصبح لدى الذكاء الاصطناعي الآن معالجة 100 بكسل وكأنها بكسل واحد فقط. وهذا يجعل العمليات الحسابية أسرع بكثير.
وحدة إعادة التوليد (أداة استعادة التفاصيل - The Regenerator Module):
هذا هو الجزء الصعب: إذا قمت بدمج البكسلات فحسب، فستفقد التفاصيل الدقيقة اللازمة لرسم الصورة النهائية بشكل مثالي.
لذا، بعد أن يقوم الذكاء الاصطناعي بمعالجة سريعة ومجمعة، تتدخل وحدة إعادة التوليد. تأخذ تلك القطعة "المجمعة" من المعلومات وتقول: "حسناً، أنا أعلم أن هذا يمثل السماء، لذا سأقوم بتوسيعها مرة أخرى لتملأ المساحة الأصلية".
- النتيجة: يحصل الذكاء الاصطناعي على سرعة التجميع، ولكن المخرج النهائي لا يزال يبدو وكأنه يحتوي على كل التفاصيل الدقيقة الأصلية.

3. "ورقة الغش" (التجمعات الزائفة - Pseudo-Clusters)

كيف يعرف الذكاء الاصطناعي أي البكسلات يجب تجميعها؟ يستخدم خدعة تدريب ذكية. أثناء التدريب، يُعرض على الذكاء الاصطناعي "الإجابة الصحيحة" (الخريطة المثالية للصورة). يستخدم هذه الخريطة لإنشاء دليل "تجمعات زائفة". يتعلم: "أوه، أرى أن كل هذه البكسلات مصنفة كـ 'ماء'، لذا يجب علي دمجها". إنه يتعلم تجميع الأشياء بناءً على المعنى، وليس فقط بناءً على التشابه العشوائي.

4. النتائج: أسرع، أخف، ولا يزال ذكياً

اختبر المؤلفون هذا على ثلاثة أنواع مختلفة من الصور:

ADE20K: مزيج من المشاهد الداخلية والخارجية (معقدة جداً).
SUIM: مشاهد تحت الماء (معظمها ماء، مع بعض الأجسام).
RumexWeeds: حقول زراعية (معظمها عشب/أعشاب ضارة).

ماذا حدث؟

السرعة: كان النموذج الجديد أسرع بمقدار يصل إلى 1.64 مرة من النموذج القياسي.
الكفاءة: استخدم طاقة حوسبية أقل بمقدار يصل إلى 2.18 مرة.
الدقة: ظل دقيقاً تقريباً مثل النموذج البطيء والثقيل.

النقطة المثالية:
يشير البحث إلى أن هذا يعمل بشكل أفضل في السيناريوهات "الروبوتية" حيث توجد الكثير من الخلفيات (مثل روبوت ينظر إلى حقل أو تحت الماء). في هذه الحالات، يمكن للذكاء الاصطناعي دمج قطع ضخمة من "الخلفية" في رموز مفردة، مما يوفر كميات هائلة من الطاقة. في الصور الفوضوية والمعقدة للغاية، تكون التوفيرات أصغر، لكن النموذج لا يزال يعمل بشكل جيد.

ملخص

ClustViT يشبه مساعداً ذكياً يدرك أنه عند وصف غرفة، لست بحاجة لسرد كل ذرة غبار على الأرض. يمكنك قول "الأرضية" (تجميع الغبار) ثم التركيز فقط على الأثاث المهم. هذا يجعل الوصف أسرع بكثير في التوليد، ومع ذلك يتلقى المستمع صورة واضية للغرفة.

هذا يسمح للروبوتات بـ "رؤية" وفهم عالمها بشكل أسرع وبطاقة بطارية أقل، دون فقدان القدرة على رصد التفاصيل الهامة.

إليك ملخص تقني مفصل لورقة البحث "ClustViT: Clustering-based Token Merging for Semantic Segmentation".

1. بيان المشكلة

حققت نماذج الـ Vision Transformers (ViTs) أداءً فائقاً في الرؤية الحاسوبية، لكنها تعاني من تعقيد حسابي تربيعي بالنسبة لحجم المدخلات. وبينما نجحت تقنيات تقليم ودمج الرموز (token pruning and merging) -المعروفة بـ token skimming- في تقليل التكاليف لمهام التصنيف (classification)، إلا أنها تواجه صعوبة في التقسيم الدلالي (semantic segmentation) (وهي مهمة تنبؤ كثيفة).

الصراع: يمكن للتصنيف استبعاد الرموز "غير ذات الصلة"، لكن التقسيم يتطلب الحفاظ على التفاصيل المكانية لكل بكسل لضمان التوافق مع رؤوس فك التشفير (decoder heads) القياسية.
الفجوة: تعتمد الطرق الحالية غالباً على تشابه منخفض المستوى بين الرموز أو ضغط ذو بنية ثابتة الحجم (مثل دمج رقع $2\times2$ فقط)، وهو ما يفشل في التكيف مع المحتوى الدلالي للصورة أو يتعثر في التعميم على مهام التنبؤ الكثيف.

2. المنهجية: ClustViT

يقترح المؤلفون ClustViT، وهو بنية تدمج وحدة تجميع (Cluster module) قابلة للتدريب ووحدة إعادة توليد (Regenerator module) داخل هيكل ViT قياسي. الابتكار الجوهري هو استخدام المعلومات الدلالية المستمدة من أقنعة التقسيم الحقيقية (ground-truth masks) لتوجيه دمج الرموز، بدلاً من مجرد القرب البصري.

أ. نظرة عامة على البنية

هيكل ViT القياسي: تبدأ العملية مثل ViT قياسي، حيث يتم تقسيم الصورة إلى رقع (patches) وإسقاطها في رموز (tokens).
وحدة التجميع (نقطة الحقن): عند طبقة محددة مسبقاً ($ip$) داخل المشفر (encoder)، يقوم نموذج MLP خفيف الوزن بالتنبؤ بتعيينات التجميع لكل رمز.
- العناقيد الزائفة (Pseudo-Clusters): أثناء التدريب، يستخدم النموذج الأقنعة الحقيقية لإنشاء "عناقيد زائفة". إذا كانت جميع البكسلات في رقعة ما تنتمي إلى نفس الفئة الدلالية، يتم تعيين تلك الفئة للرقعة؛ وإلا، تُصنف كمنطقة مختلطة (0).
- الدمج: يتم تجميع الرموز المعينة لنفس العنقود في رمز ممثل واحد (عبر متوسط التجميع/mean pooling). أما الرموز الموجودة في المناطق المعقدة/المختلطة، فتظل دون تجميع للحفاظ على التفاصيل.
- النتيجة: يقل طول التسلسل، مما يخفض التكلفة الحسابية لطبقات الـ Transformer اللاحقة.
وحدة إعادة التوليد (Regenerator Module): بعد الطبقة الأخيرة للمشفر، يجب استعادة التسلسل المضغوط إلى دقة الإدخال الأصلية من أجل فك التشفير.
- تستخدم الوحدة تعيينات العناقد المخزنة لتوسيع الرموز الممثلة مرة أخرى إلى مواقعها الأصلية.
- يقوم نموذج MLP صقل (refining) بإعادة بناء الميزات دقيقة التفاصيل، مما يضمن مطابقة تسلسل المخرجات لطول المدخلات والتوافق مع رؤوس التقسيم الجاهزة (مثل Segmenter أو UPerNet).

ب. استراتيجية التدريب

خسارة المهام المزدوجة: يتم تدريب النموذج بشكل متكامل (end-to-end) باستخدام دالة خسارة مشتركة:
$L = L_{segm} + \lambda L_{clust}$
- $L_{segm}$ : خسارة الإنتروبيا المتقاطعة القياسية للتقسيم الدلالي.
- $L_{clust}$ : خسارة الإنتروبيا المتقاطعة التي تجبر وحدة التجميع على التنبؤ بالعناقيد الزائفة المستمدة من القناع الحقيقي.
- $\lambda$ : معامل توازن (تم ضبطه على 0.1 في التجارب).

3. المساهمات الرئيسية

دمج الرموز الموجه دلالياً: على عكس الطرق السابقة التي تدمج الرموز بناءً على التشابه البصري أو الشبكات الثابتة، يقوم ClustViT بدمج الرموز بناءً على المحتوى الدلالي (المستمد من أقنعة التقسيم)، مما يسمح بضغط تكيفي غير مهيكل يعتمد على المحتوى.
هيكل قابل للتدريب بالكامل (End-to-End): يتم دمج مكون التجميع مباشرة في هيكل ViT ويُدرب بشكل مشترك مع مهمة التقسيم، مما يلغي الحاجة إلى شبكات سياسة منفصلة أو خطوات تدريب مسبق.
وحدة إعادة التوليد للتنبؤ الكثيف: تعالج وحدة إعادة التوليد مشكلة التوافق، مما يسمح باستعادة التمثيلات الرمزية المضغوطة بالكامل من أجل رؤوس التنبؤ الكثيف دون فقدان الدقة المكانية.
المفاضلة بين الكفاءة والدقة: يقلل المنهج بشكل كبير من التكلفة الحسابية (GFLOPs) ووقت الاستنتاج مع الحفاظ على دقة تنافسية، خاصة في السيناريوهات التي تحتوي على مساحات خلفية كبيرة شائعة في الروبوتات.

4. النتائج التجريبية

قيم المؤلفون ClustViT على ثلاث مجموعات بيانات: ADE20K (مشاهد عامة)، SUIM (روبوتات تحت الماء)، و RumexWeeds (روبوتات زراعية). وقارنوه بـ ViT القياسي وطريقة مشاركة الرموز المعتمدة على المحتوى (CTS) المتطورة.

مقاييس الأداء:
- الكفاءة الحسابية: حقق ما يصل إلى 2.18× أقل من GFLOPs و 1.64× سرعة استنتاج أعلى (صورة في الثانية) مقارنة بهيكل ViT الأساسي.
- الدقة: حافظ على دقة تقسيم مماثلة (mIoU). في ADE20K، حققت أفضل تهيئة (ClustViT-bk3,ip3) تسريعاً بمقدار 1.47× مع انخفاض قدره ~1.66 نقطة فقط في mIoU.
- سيناريوهات الروبوتات: تفوق المنهج في مجموعات البيانات ذات المساحات الخلفية الكبيرة (SUIM و RumexWeeds). على سبيل المثال، في RumexWeeds، حقق مكاسب قدرها 1.54× FPS و 2.12× GFLOP مع تحسن طفيف في mIoU عن النموذج الأساسي.
دراسات الاستئصال (Ablation Studies):
- عدد العناقيد ( $k$ ): زيادة $k$ (مزيد من العناقيد) يحسن السرعة ولكنه يقلل الدقة بسبب دمج المزيد من التفاصيل. قدمت $k=3$ أفضل توازن.
- **نقطة الحقن ($ip $):** ضغط الرموز في مرحلة مبكرة من الشبكة ($ ip=2 $) حقق أقصى سرعة ولكنه أضر بالدقة. وفرت نقطة حقن متوسطة ($ ip=3 $أو$ 4$) التوازن الأمثل.
- حجم النموذج: كانت مكاسب الكفاءة أكثر وضوحاً في النماذج الأكبر (Base/Large)، حيث كانت التكلفة الإضافية لـ MLP التجميع ضئيلة مقارنة بالمدخرات في حسابات الانتباه (attention).

5. الأهمية والأثر

القابلية للتطبيق في الروبوتات: تعالج الورقة عائقاً حرجاً أمام نشر نماذج ViTs على الأنظمة الروبوتية في العالم الحقيقي (مثل الزراعة الذاتية، أو الاستكشاف تحت الماء) حيث تكون الموارد الحسابية محدودة والمشاهد غالباً ما تحتوي على خلفيات واسعة ومتجانسة.
تحول في النموذج المعرفي: يثبت ClustViT أن ضغط الرموز في التنبؤ الكثيف لا يتطلب التضحية بالدقة المكانية إذا كان الدمج موجهاً بـ الفهم الدلالي بدلاً من مجرد التشابه البصري.
القدرة على التعميم: من خلال دعم رؤوس فك التشفير القياسية (Segmenter و UPerNet)، يقدم ClustViT بديلاً جاهزاً للاستبدال (drop-in replacement) لهياكل ViT الحالية، مما يجعله عملياً للغاية لمجتمع الرؤية الحاسوبية الأوسع.

في الختام، نجح ClustViT في سد الفجوة بين الدقة العالية لنماذج Vision Transformers وكفاءة المتطلبات الزمنية الحقيقية للإدراك الروبوتي من خلال تقديم آلية دمج رموز مدركة دلالياً وقابلة للتدريب.