💻 computer science

CLIP-Free, Label Free, Unsupervised Concept Bottleneck Models

تقدم هذه الورقة البحثية U-F $^2$ -CBM، وهي طريقة مبتكرة تحول أي مصنف بصري مجمد إلى نموذج عنق زجاجة مفاهيمي (Concept Bottleneck Model) غير مُشرف، وخالٍ من التسميات، وخالٍ من نموذج CLIP، وذلك عبر محاذاة توزيعه الفئوي مع نظائره في الرؤية واللغة، مما يحقق أداءً هو الأفضل حالياً دون الحاجة إلى تعليقات توضيحية يدوية أو نماذج CLIP مدربة مسبقاً.

المؤلفون الأصليون: Fawaz Sammani, Jonas Fischer, Nikos Deligiannis

نُشر 2026-02-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Fawaz Sammani, Jonas Fischer, Nikos Deligiannis

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح ورقة البحث "CLIP-Free, Label Free, Unsupervised Concept Bottleneck Models" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: الفنان "الصندوق الأسود"

تخيل أن لديك فناناً عبقرياً (مصنف بصري - Visual Classifier) يمكنه النظر إلى صورة وإخبارك فوراً ما إذا كانت "سمكة ذهبية" أو "قرش". إنه دقيق للغاية. لكن هناك مشكلة: إنه عبارة عن صندوق أسود (Black Box). هو يعطيك الإجابة، لكنه لن يخبرك لماذا. هل رأى الزعانف؟ اللون؟ شكل الذيل؟ ليس لديك أدنى فكرة.

في عالم الذكاء الاصطناعي، نريد أن نعرف لماذا اتخذ النموذج قراراً ما. وهنا يأتي دور نماذج عنق زجاجة المفاهيم (Concept Bottleneck Models - CBMs). فبدلاً من مجرد قول "سمكة ذهبية"، يحاول نموذج CBM أن يقول: "أنا أرى زعانف، أرى حراشف برتقالية، أرى ماءً، لذلك هي سمكة ذهبية". هذا يجعل الذكاء الاصطناعي قابلاً للتفسير.

الطريقة القديمة: المترجم المكلف والمنحاز

سابقاً، لجعل هذه النماذج "قابلة للتفسير"، كان على الباحثين استخدام مترجم ضخم ومدرب مسبقاً يسمى CLIP.

التشبيه: تخيل أن لديك فناناً محلياً (النموذج القديم). لجعله قابلاً للتفسير، تجبره على التحدث من خلال مترجم عالمي ضخم ومكلف (CLIP).
المشكلة:
1. التكلفة: CLIP ضخم ويتطلب قدرات حوسبة هائلة.
2. الانحياز: للمترجم شخصيته الخاصة. إذا كان المترجم يعتقد أن كلمة "قرش" تعني دائماً "خطر"، فقد يبدأ فنانك المحلي في التفكير بهذه الطريقة أيضاً، حتى لو لم يكن كذلك في الأصل. أنت تفقد أسلوب الفنان الفريد.
3. العمل اليدوي: في بعض الأحيان، كان عليك استئجار بشر لتسمية كل صورة يدوياً بالمفاهيم (مثل: "هذه لها زعانف")، وهو أمر بطيء ومكلف.

الحل الجديد: "TextUnlock"

اخترع مؤلفو هذه الورقة طريقة جديدة تسمى TextUnlock. أرادوا جعل أي نموذج ذكاء اصطناعي موجود قابلاً للتفسير دون استخدام مترجم CLIP الضخم، ودون الحاجة لتوظيف بشر، ودون إبطاء النموذج.

فكر في الأمر كأنك تعلم فنانك المحلي لغة جديدة دون إجباره على استخدام قاموس.

كيف يعمل (الخدعة السحرية)

الإعداد: لديك "الفنان الصندوق الأسود" (المصنف المجمد) و"مشفر نصي" (أداة تحول الكلمات مثل "سمكة ذهبية" إلى أرقام).
الجسر (MLP): قاموا ببناء جسر صغير وخفيف الوزن (شبكة عصبية صغيرة) بين عقل الفنان وأرقام النصوص.
التدريب (المعلم "الشبح"):
- عادةً، لتدريب نموذج، تحتاج إلى الإجابات الصحيحة (العلامات/Labels).
- الخدعة: لم يستخدموا العلامات. بدلاً من ذلك، سألوا الفنان الأصلي عما يعتقده هو عن الإجابة.
- أخبروا الجسر: "تأكد أنه عندما تترجم الصورة إلى أرقام نصية، فإن النتيجة تبدو تماماً كما ظن الفنان الأصلي".
- الأمر يشبه طالباً يقلد خط معلمٍ ما. الطالب لا يحتاج لمعرفة ماذا يكتب، هو فقط يحتاج لمحاكاة أسلوب المعلم بدقة.
النتيجة: الآن، رؤية الفنان متوافقة تماماً مع الأرقام النصية.

جعلها "عنق زجاجة مفاهيم" (الجزء القابل للتفسير)

بمجرد بناء الجسر، يمكن للنموذج القيام بشيئين مذهلين:

1. "محقق المفاهيم" (اكتشاف المفاهيم)
لأن الفنان أصبح يتحدث "اللغة النصية"، يمكنك طرح أسئلة لم يتم تدريبه أصلاً على الإجابة عنها.

السؤال: "هل لهذه الصورة زعانف؟"
العملية: تأخذ كلمة "زعانف"، تحولها إلى أرقام، وتسأل الفنان: "إلى أي مدى تشبه هذه الصورة 'الزعانف'؟"
النتيجة: يعطيك النموذج درجة. لقد وجد المفهوم! لقد فعل ذلك دون أن يُعرض عليه أبداً صورة مصنفة بكلمة "زعانف". لقد فهم المفهوم فقط لأنه تعلم الفضاء الدلالي لأسماء الفئات.

2. "المترجم غير الخاضع للإشراف" (لا يحتاج لـ Linear Probe)
عادةً، تحتاج لتدريب طبقة منفصلة لتحويل درجات "الزعانف" و"الحراشف" هذه مرة أخرى إلى توقع "سمكة ذهبية".

الابتكار: أدرك المؤلفون أنه يمكنهم حساب ذلك رياضياً باستخدام الكلمات النصية نفسها. لم يحتاجوا لتدريب طبقة جديدة. الأمر يشبه إدراك أنه يمكنك حل مسألة رياضية في ذهنك دون الحاجة لآلة حاسبة.

لماذا يعد هذا أمراً كبيراً (القوى الخارقة)

اختبرت الورقة هذا الأسلوب على 40 نموذج ذكاء اصطفي مختلف (من البسيطة إلى المعقدة) ووجدت أن:

إنه خالٍ من CLIP (CLIP-Free): لا يحتاج للمترجم الضخم والمكلف. يعمل مع أي نموذج تملكه بالفعل.
إنه خالٍ من التسميات (Label-Free): لا يحتاج لبشر لتسمية البيانات. يتعلم من خلال الاستماع لتوقعات النموذج نفسه.
إنه غير خاضع للإشراف (Unsupervised): يعرف كيف يحول المفاهيم إلى إجابات نهائية دون تدريب إضافي.
إنه أفضل: للمفاجأة، أدى هذا الأسلوب أداءً أفضل من الطرق التقليدية القائمة على CLIP والتي تعتمد على الإشراف.
وصف الصور (Zero-Shot Captioning): استخدموا هذا أيضاً لجعل النماذج تكتب أوصافاً للصور (مثل "كلب يلعب بالكرة") دون أن يتم تعليمها كتابة الجمل أبداً.

مشكلة "دريك" (عيب صغير)

يعترف المؤلفون بوجود خلل مضحك. بما أن النموذج يتعلم من أسماء الأشياء، فقد يرتبك بسبب الكلمات ذات المعاني المزدوجة.

مثال: إذا كانت الفئة هي "Drake" (نوع من الطيور)، فقد يرتبك النموذج مع "Drake" (المغني الشهير) لأن المشفر النصي يعرف أن المغني أكثر شهرة.
الإصلاح: وجدوا أن هذا يحدث نادراً جداً ولا يؤثر حقاً على الإجابة النهائية، لكنه شيء يجب مراقبته.

ملخص التشبيه

تخيل أن لديك رئيس طهاة ماهر يصنع أفضل حساء ولكنه يرفض مشاركة الوصفة.

الطريقة القديمة: تستأجر ناقداً غذائياً مشهوراً (CLIP) ليتذوق الحساء ويخمن المكونات. لكن الناقد لديه أذواق غريبة ويتقاضى مبالغ طائلة.
الطريقة الجديدة (TextUnlock): تبني مترجماً صغيراً يستمع إلى أفكار رئيس الطهاة الداخلية. تعلم المترجم أن يحاكي "ملف النكهة" الخاص برئيس الطهاة. فجأة، يمكن للمترجم أن يخبرك: "رئيس الطهاة استخدم الجزر والكمون"، رغم أن رئيس الطهاة لم يقل ذلك أبداً. ومع ذلك، لا يزال رئيس الطهاة يصنع الحساء بنفس الطريقة، وبنفس المذاق الرائع.

تقدم هذه الورقة طريقة لفتح "الصندوق الأسود" للذكاء الاصطناعي، وجعله قابلاً للتفسير، والقيام بذلك مجاناً، دون الحاجة للأدوات المكلفة التي يستخدمها الجميع.

إليك ملخص تقني مفصل لورقة البحث "U-F2-CBM: نماذج عنق الزجاجة المفاهيمية غير المعتمدة على CLIP، وغير المعتمدة على التسميات، وغير الخاضعة للإشراف".

1. بيان المشكلة

صُممت نماذج عنق الزجاجة المفاهيمية (CBMs) لتحسين قابلية التفسير في المصنفات للتعلم العميق من خلال رسم خرائط الميزات البصرية إلى مفاهيم يمكن للبشر تفسيرها (مثل "له أجنحة"، "لونه أحمر") قبل اتخاذ التنبؤ النهائي. ومع ذلك، تواجه نماذج CBM الحالية ثلاث قيود رئيسية:

الاعتماد على CLIP: تعتمد نماذج CBM الحديثة "غير المعتمدة على التسميات" (Label-Free) بشكل كبير على نموذج CLIP لتوليد تسميات (image-concept annotations) للصور، مما يربط استدلال النموذج القديم بالفضاء التضميني لـ CLIP، مما قد ينقل تحيزات CLIP (مثل التحيز الطباعي) ويفشل في الاستفاد من التمثيلات المتخصصة وعالية الأداء التي تعلمها النموذج الأصلي.
المتطلبات التوضيحية: الطرق التي لا تستخدم CLIP تتطلب عادةً جهداً بشرياً مكثفاً لتوفير تسميات يدوية (صورة-مفهوم) لتدريب طبقة عنق الزجاجة.
المجسات الخطية الخاضعة للإشراف: تتطلب جميع نماذج CBM الحالية تدريب مصنف خطي خاضع للإشراف (مجس خطي/linear probe) لربط تنشيطات المفاهيم المستخرجة بملصقات الفئات، مما يستلزم وجود تسميات حقيقية للفئات (ground-truth class labels).

يتساءل المؤلفون: كيف يمكننا تحويل أي مصنف بصري عالي الأداء ومجمد إلى نموذج CBM قابل للتفسير، دون استخدام CLIP، ودون تسميات يدوية، ودون تدريب مجس خطي خاضع للإشراف؟

2. المنهجية

يقترح المؤلفون إطار عمل يتكون من مرحلتين: TextUnlock و U-F2-CBM.

أ. TextUnlock: محاذاة توزيعات الرؤية والنصوص

الابتكار الجوهري هو TextUnlock، وهي طريقة تعمل على محاذاة توزيع المصنف البصري المجمد مع نظيره المقابل (رؤية-لغة) دون استخدام CLIP أو تسميات حقيقية.

الآلية:
- ليكن $F_v$ هو المشفر البصري المجمد و $W$ هو مصنفه الخطي المجمد.
- ليكن $T$ هو مشفر نصي مجمد (مثل MiniLM).
- يتم إدخال شبكة عصبية متعددة الطبقات (MLP) خفيفة الوزن وقابلة للتدريب لتمثيل الميزات البصرية ( $f$ ) من الفضاء البصري إلى فضاء التضمين النصي ( $\tilde{f}$ ).
- هدف التدريب: يتم تدريب الـ MLP لتقليل خسارة الإنتروبيا المتقاطعة (cross-entropy loss) بين توزيع الاحتمالات الناعم للمصنف الأصلي ( $o$ ) والتوزيع المتوقع المستمد من الميزات المسقطة وتضمينات النصوص لأسماء الفئات.
- الرؤية الجوهرية: بدلاً من استخدام التسميات الحقيقية، تعامل الطريقة توزيع مخرجات النموذج الأصلي كـ "معلم". يتعلم الـ MLP رسم خريطة للميزات البصرية إلى الفضاء النصي بحيث يعيد تشابه جيب التمام (cosine similarity) بين الميزات المسقطة وتضمينات النصوص لأسماء الفئات إنتاج احتمالات الفئات الأصلية.
- النتيجة: الميزات البصرية الآن محاذية لفضاء التضمين النصي، مما يسمح بالاستعلام عن النموذج بأي نص (ليس فقط أسماء الفئات) مع الحفاظ على حدود القرار وعملية الاستدلال الخاصة بالنموذج الأصلي.

ب. U-F2-CBM: نموذج CBM غير خاضع للإشراف، وغير معتمد على التسميات، وغير معتمد على CLIP

بمجرد محاذاة المصنف عبر TextUnlock، يتم بناء الـ CBM عبر خطوتين غير خاضعتين للإشراف:

اكتشاف المفاهيم (غير خاضع للإشراف):
- يتم ترميز مجموعة محددة مسبقاً من المفاهيم النصية (على سبيل المثال، أكثر 20 ألف كلمة شائعة في اللغة الإنجليزية) باستخدام نفس المشفر النصي $T$ .
- يتم مقارنة الميزات البصرية المسقطة $\tilde{f}$ مقابل هذه التضمينات المفاهيمية عبر تشابه جيب التمام لتوليد تنشيطات المفاهيم.
- ملاحظة: لا يلزم وجود تدريب؛ هذه خطوة استدلال مباشرة.
التنبؤ من المفهوم إلى الفئة (غير خاضع للإشراف):
- تقليدياً، يتم تدريب مجس خطي لربط المفاهيم بالفئات. هنا، يشتق المؤلفون هذا المصنف الخطي تحليلياً.
- بما أن كلاً من تضمينات المفاهيم ( $C$ ) وتضمينات أسماء الفئات ( $U$ ) موجودان في نفس الفضاء النصي، يتم حساب أوزان المصنف الخطي من المفهوم إلى الفئة ( $W_{con}$ ) كـ مصفوفة تشابه جيب التمام بين المفاهوهات والفئات: $W_{con} = C \cdot U^T$ .
- الصيغة الرياضية: التنبؤ النهائي هو $\tilde{f} \cdot (C^T C) \cdot U^T$ . يعمل المصطلح $(C^T C)$ كعامل قياس لمصفوفة جرام (Gram matrix)، مما يحول فعلياً المصنف القائم على الميزات إلى مصنف قائم على المفاهيم دون تغيير المنطق الأساسي.

3. المساهمات الرئيسية

CBM غير معتمد على CLIP وغير معتمد على التسميات: أول طريقة لتحويل أي مصنف بصري مجمد (CNNs، Transformers، أو الهجين) إلى نموذج CBM دون الاعتماد على CLIP، أو نماذج رؤية-لغة خارجية، أو تسميات يدوية (صورة-مفهوم).
مجس خطي غير خاضع للإشراف: أول نهج لاشتقاق المصنف الخطي من المفهوم إلى الفئة بطريقة غير خاضعة للإشراف تماماً، مما يلغي الحاجة إلى مرحلة تدريب خاضعة للإشراف لطبقة التنبؤ النهائية.
الحفاظ على الاستدلال: تحافظ الطريقة صراحة على توزيع قرار المصنف الأصلي وعملية استدلاله، مما يتجنب تدهور الأداء الذي يحدث غالباً عند إعادة التدريب أو الإجبار على الدخول في فضاء تضمين CLIP.
وصف الصور (Image Captioning) بنمط Zero-Shot: تمكن الطريقة من وصف الصور بنمط Zero-Shot للمصنفات غير التابعة لـ CLIP من خلال استغلال الفضاء النصي المحاذي واستخدام (prefix-tuning) لمفكك لغوي مجمد.

4. النتائج

تم تقييم الطريقة على أكثر من 40 مصنفاً بصرياً (بما في ذلك ResNets، ViTs، ConvNeXt، DINOv2، إلخ) على مجموعة بيانات ImageNet-1K وغيرها من مجموعات البيانات المتخصصة (Places365، EuroSAT، DTD).

أداء التصنيف:
- تؤدي عملية تحويل TextUnlock إلى انخفاض ضئيل جداً في الدقة (متوسط $\Delta \approx -0.2\%$ )، مما يثبت أن الطريقة تحافظ على قدرات النموذج الأصلي.
- الأداء الأفضل (SOTA): تتفوق نماذج U-F2-CBM الناتجة على نماذج CBM الحالية المعتمدة على CLIP والمشرفة (مثل LF-CBM، LaBo، CDM).
- الكفاءة: نموذج ResNet-50 بسيط تم تدريبه فقط على ImageNet-1K (1.2 مليون صورة) يتفوق على نماذج CBM المعتمدة على CLIP المدربة على 400 مليون زوج من الصور والنصوص. كما أن نموذج EfficientNetv2-S (21 مليون معلمة) يتفوق على نموذج CLIP ViT-L/14 الضخم (428 مليون معلمة) بنسبة +5.1%.
القابلية للتفسير:
- نجحت تدخلات المفاهيم (تصفير مفاهيم معينة) في الحد من التحيزات (مثل تحيز خلفية "طائر الماء")، مما يؤكد أن المفاهيم ذات معنى دلالي وسببية في التنبؤ.
- نجحت الطريقة في تحديد مفاهيم خاصة بالفئات (مثل "الرمح" لقرش المطرقة) التي تميزها عن الفئات المشابهة.
وصف الصور (Zero-Shot Captioning):
- على مجموعة بيانات COCO، حققت الطريقة أداءً رائداً (SOTA) في مقاييس CIDEr و SPICE، متفوقة على النماذج المرجعية المعتمدة على CLIP (مثل ZeroCap، ConZIC) رغم استخدام بيانات أقل بكثير.
- ساهم الوصف التركيبي (باستخدام نموذج لغوي كبير لتجميع المفاهيم المكتشفة) في تعزيز مقاييس n-gram (مثل BLELE، METEOR).

5. الأهمية

يحدث هذا العمل تحولاً جذرياً في نموذج الذكاء الاصطناي القابل للتفسير:

الفصل عن CLIP: يثبت أن التفسير عالي الجودة لا يتطلب نموذج CLIP الضخم والمنحاز والمستهلك للموارد. يمكن جعل النماذج المتخصصة القديمة قابلة للتفسير وفقاً لمنطقها الخاص.
كفاءة البيانات: من خلال إزالة الحاجة إلى تسميات مفاهيم يدوية وتدريب مسبق واسع النطاق للصور والنصوص، تجعل هذه الطة نماذج CBM متاحة للمجالات التي تندر فيها البيانات أو تكون ملكية خاصة.
رؤية نظرية: يوفر اشتقاق المجس الخطي عبر تشابه النص-إلى-النص ( $C \cdot U^T$ ) رابطاً نظرياً جديداً بين مساحات المفاهيم ومساحات الفئات، مما يوضح أن "استدلال" المصنف يمكن تفكيكه إلى مفاهيم دلالية دون الحاجة لإعادة التدريب.

باختتام القول، يقدم U-F2-CBM إطار عمل عالي الكفاءة، والقابلية للتوسع، والمتانة النظرية لجعل أي مصنف بصري شفافاً، وقابلاً للتفسير، وقابلاً للتحكم، واضعاً معياراً جديداً في مجال نماذج عنق الزجاجة المفاهيمية.