💻 computer science

Exploring Open-Vocabulary Object Recognition in Images using CLIP

تقترح هذه الورقة إطار عمل مبسطاً ومكوناً من مرحلتين للتعرف على الأشياء ذات المفردات المفتوحة دون الحاجة إلى تدريب، يجمع بين تجزئة الأشياء ومحاذاة الميزات القائمة على CLIP وCNN/MLP، مما يثبت أن نهج CLIP المنفرد بدون تحليل القيم المفردة (SVD) يحقق أداءً يضاهي أحدث المعايير في الاختبارات القياسية.

المؤلفون الأصليون: Wei Yu Chen, Ying Dai

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wei Yu Chen, Ying Dai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عملاقاً وذكياً للغاية يُدعى CLIP. لقد قرأ هذا الأمين كل كتاب واطلع على كل صورة على الإنترنت. وبسبب ذلك، إذا عرضت عليه صورة لـ "كلب من فصيلة جولدن ريتريفر" وسألته: "هل هذا كلب؟" أو "هل هذا قط؟"، يمكنه الإجابة فوراً دون أن يتم تعليمه خصيصاً عن الكلاب أو القطط. إنه "يعرف" ببساطة بناءً على تدريبه الهائل.

ومع ذلك، فإن معظم أنظمة الرؤية الحاسوبية تشبه أمناء المكتبة الذين لا يعرفون سوى قائمة ثابتة من 1000 كتاب فقط. فإذا عرضت عليهم صورة لـ "سنجاب"، قد يقولون: "ليس لدي كتاب لهذا في فهرسي"، حتى لو كانت الصورة واضحة تماماً.

تقترح هذه الورقة البحثية طريقة جديدة لبناء نظام رؤية حاسوبية يعمل كـ محقق مرن ومنفتح الذهن، يمكنه التعرف على أي شيء تصفه له، دون الحاجة للعودة إلى المدرسة (إعادة التدريب) في كل مرة يظهر فيها جسم جديد.

إليك كيف يعمل نظامهم، مقسماً إلى خطوات بسيطة:

1. استراتيجية المرحلتين: "القص والتحقق"

بدلاً من محاولة النظر إلى الصورة الفوضوية بأكملها دفعة واحدة، يستخدم النظام عملية مكونة من خطوتين:

الخطوة 1: القص (Segmentation): تخيل أن لديك صورة لشارع مزدحم. يستخدم النظام أولاً "مقصاً رقمياً" لقص الأجسام الفردية (سيارة، شخص، كلب) من الخلفية. إنه يعزلها حتى تركز الخطوة التالية على شيء واحد فقط في كل مرة.
الخطوة 2: التحقق (Recognition): بمجرد قص الأجسام، يطرح النظام السؤال: "ما هذا؟"

2. طريقتان لـ "سؤال" أمين المكتبة

اختبر الباحثون طريقتين مختلفتين لتحديد هذه الأجسام المقصوصة:

الطريقة أ: أمين المكتبة الأصلي (المعتمد على CLIP)
يأخذون الصورة المقصوصة ويقدمونها مباشرة إلى أمين المكتبة فائق الذكاء (CLIP). يقوم أمين المكتبة بمقارنة الصورة بقائمة الكلمات التي تعطيها له (مثل "بيتزا"، "دراجة هوائية"، أو "كائن فضائي"). وبما أن أمين المكتبة يفهم بالفعل العلاقة بين الصور والكلمات، فإنه يطابقها بدقة مثالية.
- النتيجة: حققت هذه الطة أفضل النتائج. الأمر يشبه استخدام متحدث أصلي يعرف اللغة بطلاقة.
الطريقة ب: المترجم (CNN/MLP)
أراد الباحثون معرفة ما إذا كان بإمكانهم بناء "مترجم" مخصص وأرخص بدلاً من استخدام أمين المكتبة المكلف. أخذوا الصورة، ومرروها عبر عدسة كاميرا قياسية (CNN)، ثم استخدموا "مترجماً" (MLP) لمحاولة تحويل سمات الصورة إلى لغة أمين المكتبة.
- النتيجة: كانت هذه الطريقة متعثرة نوعاً ما. فالمترجم غالباً ما كان يخطئ في المعنى قليلاً، مما يؤدي إلى الارتباك (مثلاً، تسمية "كوب" على أنه "زجاجة"). لقد أظهرت الطريقة بوادر نجاح لكنها لم تكن بحدة ودقة أمين المكتبة الأصلي.

3. "فلتر الضجيج" (SVD)

حاول الباحثون إضافة "فلتر ضجيج" يسمى SVD إلى العملية. فكر في هذا الأمر كمهندس صوت يحاول إزالة التشويش في الخلفية من تسجيل ما لجعل الصوت أكثر وضوحاً.

ماذا حدث؟ للمفاجأة، جعل الفلتر الأمور أسوأ. لقد قام بتنعيم التفاصيل لدرجة أن النظام بدأ يخمن بشكل خاطئ في كثير من الأحيان. كان الأمر يشبه محاولة تنظيف صورة باستخدام ممحاة ثقيلة، مما أدى بالخطأ إلى لطخ الأجزاء المهمة. وجد الباحثون أن "الأقل هو الأكثر"؛ فلم يكونوا بحاجة إلى الفلتر.

4. الاكتشاف الكبير

الاكتشاف الأكثر إثارة هو أنك لست بحاجة لقضاء شهور في تعليم الكمبيوتر أشياء جديدة (إعادة التدريب) أو توظيف أشخاص لرسم مربعات حول آلاف الأجسام (التوسيم/Annotation).

سحر "الخلو من التدريب": من خلال استخدام أمين المكتبة المدرب مسبقاً (CLIP) وطريقة "القص والتحقق"، تفوق النظام على العديد من الأنظمة المعقدة والمكلفة التي تتطلب كميات هائلة من البيانات وقوة حوسبة كبيرة.
التشبيه: الأمر يشبه إدراك أنك لست بحاجة لتوظيف طباخ جديد لكل وصفة جديدة؛ بل تحتاج فقط لإعطاء طباخك الحالي المتميز قائمة بالمكونات، وسيمكنه طبخها فوراً.

ملخص

تتعلق هذه الورقة البحثية ببناء نظام تمييز أجسام ذكي وقابل للتكيف يقوم بـ:

قص الأجسام من المشهد.
سؤال ذكاء اصطوي مدرب مسبقاً (CLIP) عن ماهيتها باستخدام أوصاف نصية بسيطة.
تخطي عمليات إعادة التدريب المعقدة والمكلفة و"فلاتر الضجيج" الإضافية.

النتيجة هي نظام أرخص، أسرع، ودقيق بشكل مدهش، قادر على التعرف على أشياء جديدة بمجرد قراءة وصف لها، تماماً كما يفعل البشر.

1. بيان المشكلة

تواجه طرق التعرف على الأشياء مفتوحة المفردات (OVOR) الحالية ثلاث عيوب حرجة:

تعقيد عالٍ في النظام: تتطلب العديد من النهج عمليات تقطير متعددة المراحل معقدة أو فروع شبكة إضافية.
تكاليف تدريب باهظة: تعتمد معظم الطرق على التوسيم (annotation) كثيف الجهد، أو الضبط الدقيق (fine-tuning)، أو إعادة التدريب على مجموعات بيانات محددة.
تعميم محدود: غالبًا ما تعاني النماذج مع الفئات غير المرئية أو يكون أداؤها ضعيفًا عند الانتقال إلى مجموعات بيانات جديدة بسبب الاعتماد القوي على مجموعة البيانات.

التحدي الجوهري هو الاستفادة من القدرات الدلالية لنماذج الرؤية واللغة (VLMs) مثل CLIP للتعرف على فئات الأشياء العشوائية دون قيود مجموعة الملصقات الثابتة، مع تقليل عبء التدريب وتعقيد النظام إلى أدنى حد.

2. المنهجية

يقترح المؤلفون إطار عمل جديد ومبسط لـ OVOR يتكون من مرحلتين: تجزئة الأشياء (Object Segmentation) يليه التعرف (Recognition). يعمل النظام كما يلي:

أ. تحديد موقع الأشياء وتجزئتها

المعالجة المسبقة: تُستخدم طريقة تجزئة غير خاضعة للإشراف (تعتمد على ميزات EfficientNet وتجميع PCA) لتوليد مناطق الأشياء المرشحة دون تدخل بشري.
استخراج المناطق: يقوم تحليل المكونات المتصلة (connected-component analysis) بتصفية الضوضاء، ويتم حساب صناديق الإحاطة (bounding boxes) لقص قطع الأشياء (patches) من الصورة الأصلية.

ب. توليد التضمين النصي (Text Embedding Generation)

مشفر نصوص CLIP: يستخدم النظام مشفر نصوص CLIP (ViT-B/32) لتحويل أسماء الفئات إلى ناقلات دلالية.
هندسة الأوامة (Prompt Engineering): للتعامل مع المفردات المفتوحة، تم تصميم ثلاثة نماذج للأوامة (على سبيل المثال: "صورة لـ [فئة عليا] مثل [فئة]").
المتوسط (Averaging): يتم حساب متوسط التضمينات لهذه النماذج الثلاثة لإنشاء تمثيل "العبارة المتوسطة" (Avg Phrase) قوي، مما يقلل التباين الناتج عن الاختلافات في الصياغة. كما تم تضمين فئة "شيء آخر" (something else) للتعامل مع الحالات الخارجة عن التوزيع (out-of-distribution).

ج. توليد التضمين الصوري (Image Embedding Generation) - نهجان:

تقارن الورقة بين طريقتين متميزتين لتوليد تضمينات صور على مستوى الكائن:

المعتمد على CLIP (الأساس): يستخدم مباشرة مشفر صور CLIP (ViT-B/32) لمعالجة مناطق الأشياء المقصوصة. يعمل هذا كخط أساس للمحاذاة الأصلية.
المعتمد على CNN/MLP (بديل):
- استخراج الميزات: يستخدم EfficientNet-B0 لاستخراج خرائط ميزات ثنائية الأبعاد (7×7×1280).
- المحاذاة عبر MLP: يقوم مدرج متعدد الطبقات (MLP) مكون من ثلاث طبقات متصلة بالكامل برسم خرائط الميزات ثنائية الأبعاد إلى فضاء متجه ذي 512 بُعدًا لمطابقة أبعاد تضمين نص CLIP.
- التدريب: يتم تدريب الـ MLP باستخدام نموذج تعلم تبايني (contrastive learning) مع دالة خسارة قائمة على المسافة. تعمل الدالة على تقليل المسافة بين تضمين الصورة وتضمين النص الإيجابي المقابل لها، مع زيادة المسافة إلى التضمينات النصية السلبية.

د. دمج و l إسقاط الميزات (Feature Fusion and Projection)

الدمج (Concatenation): يتم دمج تضمينات صور الأشياء وتضمينات نصوص الفئات لتشكيل مصفوفة ميزات مشتركة.
إسقاط SVD: يتم تطبيق تحليل القيم المفردة (SVD) على المصفوفة المدمجة لاستخراج المكونات الرئيسية، وتقليل الضوضاء، وإسقاط البيانات في فضاء مشترك كامن. يتم ضبط عدد المكونات المستبقاة ( $k$ ) ليكون مساويًا لعدد الفئات في مجموعة البيانات المحددة.

هـ. آلية التعرف

مطابقة التشابه: يتم حساب تشابه جيب التمام (Cosine similarity) بين تضمينات الصور وجميع تضمينات النصوص.
التصنيف: تقوم دالة Softmax بتحويل التشابهات إلى احتمالات. يتم تطبيق عتبة ثابتة ( $\theta$ ) لاستبعاد التنبؤات منخفضة الثقة، مما يضمن الموثوقية.

3. المساهمات الرئيسية

إطار عمل خالٍ من التدريب: المساهمة الأساسية هي نظام OVOR يعتمد على CLIP يحقق أداءً يضاهي أحدث التقنيات (SOTA) دون الحاجة لعمليات تقطير معقدة أو إعادة تدريب أو توسيم مجهد.
استراتيجية الترميز المزدوج: تقدم الورقة وتقيم طريقة ترميز تعتمد على CNN/MLP تقلل من الاعتماد على مشفر صور CLIP الثقيل، مما يوفر بديلًا مرنًا لاستخراج الميزات.
تحليل SVD: تدرس الدراسة بشكل نقدي تأثير SVD على فضاءات التمثيل المشتركة، وتكشف أنه بينما يمكن لـ SVD زيادة الاستدعاء (Recall)، إلا أنه غالبًا ما يقلل من الدقة (Precision) والدقة المتوسطة (AP).
تحسين الأوامة (Prompt Optimization): أظهر استخدام تضمينات الأوامة المتوسطة ("Avg Phrase") تفوقًا على نهج الأوامة المنفردة لتمثيل النصوص.

4. النتائج التجريبية

أُجريت التجارب على مجموعات بيانات COCO و Pascal VOC و ADE20K.

أداء الترميز المعتمد على CLIP:
- حقق النهج المعتمد على CLIP بدون SVD أعلى أداء عبر جميع مجموعات البيانات، متفوقًا على أحدث الطرق (SOTA).
- COCO: حقق 41.9% AP (مقابل 39.4% لـ DK-DETR).
- Pascal VOC: حقق 72.6% AP (مقابل 72.2% لـ ViLD).
- ADE20K: حقق 12.7% AP (مقابل 6.16% لـ MaskCLIP).
تأثير SVD:
- أدى تطبيق SVD على تضمينات CLIP عمومًا إلى تقليل AP والدقة (Precision) مع زيادة طفيفة في الاستدعاء (Recall) والدقة (Accuracy). يشير هذا إلى أن SVD يعمل على تسطيح طيف القيم المفردة، مما يضعف الإشارات التمييزية ويؤدي إلى نتائج إيجابية كاذبة.
أداء الترميز المعتمد على CNN/MLP:
- أظهر النهج المعتمد على MLP (المدرب على ImageNet) أداءً قابلاً للتطبيق ولكنه كان أقل أداءً باستمرار مقارنة بمشفر CLIP الأصلي، لا سيما في الدقة (Precision) و AP.
- تشير هذه الفجوة إلى أن المحاذاة عبر الوسائط باستخدام MLP بسيط غير كافية مقارنة بفضاء CLIP المحاذى مسبقًا.
- ومع ذلك، أظهر نهج MLP إمكانات واعدة، حيث حقق درجات استدعاء/F1 مماثلة لـ CLIP في مقاييس محددة، مما يشير إلى أن الضبط الدقيق لـ MLP على مجموعات البيانات المستهدفة قد يكون مسارًا قابلًا للتطبيق لحلول OVOR المستقبلية غير المعتمدة على CLIP.

5. الأهمية والخاتمة

الواقعية: تثبت الدراسة أن التعرف الفعال على المفردات المفتوحة يمكن تحقيقه باستخدام خط معالجة يعتمد على CLIP فقط وخالٍ من التدريب، مما يلغي الحاجة لإعادة التدريب أو التقطير المكلف.
رؤية حول البنية: تسلط النتائج الضوء على أن المحاذاة الفعالة عبر الوسائط أكثر أهمية من تعقيد البنية. فالمحاذاة الأصلية لـ CLIP تتفوق على محاذاة MLP المخصصة في هذا السياق.
الاتجاهات المستقبلية: يقترح المؤلفون أنه بينما يمثل نهج MLP الحالي عقبة، فإن الضبط الدقيق لـ MLP على مجموعات البيانات المستهدفة (مثل COCO) وتطوير دوال خسارة أفضل قد يسمح في النهاية ببناء أنظمة OVOR عالية الأداء لا تعتمد على النماذج سابقة التدريب مفتوحة المصدر مثل CLIP.

باختصار، تقدم هذه الورقة إطار عمل OVOR عالي الكفاءة وخالٍ من التدريب يستفيد من القوة الدلالية لـ CLIP للتفوق على الطرق المعقدة والمستهلكة للتدريب، مع التقييم النقدي للمقايضات بين تقليل الأبعاد (SVD) ومستخرجات الميزات البديلة (MLP).