Visual Words Meet BM25: Sparse Auto-Encoder Visual Word Scoring for Image Retrieval

إليك ملخص تقني مفصل لورقة البحث بعنوان "الكلمات المرئية تلتقي بـ BM25: المشفر التلقائي المتناثر" (BM25-V).

1. بيان المشكلة

يعتمد استرجاع الصور المتطور حالياً بشكل كبير على الاسترجاع الكثيف (باستخدام مشفرات رؤية مثل ViT لتعيين الصور إلى تضمينات مستمرة وإجراء بحث عن الجيران الأقرب التقريبي). ورغم فعالية هذا النموذج، إلا أنه يعاني من ثلاث عيوب حرجة:

• الافتقار إلى القابلية للتفسير: تعتمد القرارات على متجهات مستمرة متشابكة، مما يجعل من الصعب تدقيق سبب استرجاع صورة معينة (وهو أمر بالغ الأهمية في التطبيقات الطبية، والجنائية، والتجارة الإلكترونية).
• التكلفة من حيث التوسع والذاكرة: يتطلب تخزين التضمينات الكثيفة كاملة الدقة لمكتبات تضم مليارات الصور ذاكرة هائلة ($O(N \cdot D)$). وتقنيات الضغط مثل التكميم بالمنتج (Product Quantization - PQ) تقلل الذاكرة ولكنها تتسبب في تدهور ملحوظ في الدقة (1–6%).
• فقدان الأدلة دقيقة التفاصيل: يقوم الاسترجاع الكثيف عادةً بتجميع ميزات مستوى الرقعة (patch-level) في تضمين عالمي واحد عبر التجميع (pooling). هذه العملية تقمع التفاصيل المحلية المميزة (مثل أنسجة معينة أو أشكال أجزاء معينة) الضرورية للاسترجاع دقيق التفاصيل.

يقترح المؤلفون حلاً يستعيد القابلية للتفسير وكفاءة الفهرسة دون التخلي عن معلومات مستوى الرقعة، بهدف مطابقة دقة الاسترجاع الكثيف مع تمكين التصفية الأولية الفعالة للمرشحين.

2. المنهجية: BM25-V

الابتكار الجوهري هو تطبيق دالة تسجيل Okapi BM25 (خوارزمية كلاسيكية لاسترجاع النصوص) على تنشيطات المشفر التلقائي المتناثر (SAE) المستمدة من ميزات رقعات محول الرؤية (ViT).

أ. استخراج الكلمات المرئية عبر SAE

1. العمود الفقري (Backbone): يستخدم النظام نموذج SigLIP2 (ViT) مجمد لاستخراج ميزات الرقعة من الطبقة الأخيرة للمحول ($\ell=26$).
2. المشفر التلقائي المتناثر (SAE): يتم تطبيق SAE خطي على متجه ميزة الرقعة الكثيفة. يقوم الـ SAE بنقل ميزات الرقعة الكثيفة إلى فضاء كامن متناثر عالي الأبعاد (عامل التوسع $e=16$، مما ينتج حوالي 18,432 بُعداً).
3. قيد التناثر: لكل رقعة، يتم الاحتفاظ بأكبر $k$ من التنشيطات (حيث $k=16$) فقط (عبر عملية top-k)، مما ينشئ متجهاً "للكلمة المرئية" متناثراً حيث يمثل كل بُعد فيه ميزة أحادية المعنى.
4. التجميع على مستوى الصورة:
   • تجميع المجموع (Sum Pooling): يتم جمع المتجهات المتناثرة من جميع الرقع لإنشاء متجه على مستوى الصورة. يعمل هذا كـ تردد المصطلح (TF)، حيث يحصي إجمالي مقدار تنشيط كل كلمة مرئية عبر الصورة.
   • تصفية ما بعد التجميع: يتم تطبيق مرشح top-k ثانٍ ($k_{post}=16$) على متجه مستوى الصورة للاحتفاظ بالمفاهيم المرئية الأكثر هيمنة فقط، مما يزيل الضجيج الناتج عن التنشيطات النادرة أو العرضية.
   • التكميم (Quantization): يتم تكميم القيم إلى uint16 لتقليل حجم الفهرس.

ب. آلية تسجيل BM25

يعامل المؤلفون أبعاد SAE كقاموس من "المصطلحات" والصور كـ "وثائق".

• توزيع زيبف (Zipfian Distribution): يظهر التحليل التجريبي أن ترددات الكلمات المرئية تتبع توزيع زيبف (قانون القوة). حيث يوجد عدد قليل من الكلمات المنتشرة (الخلفيات، الأنسجة الشائعة)، بينما الغالبية العظمى من الكلمات نادرة ومميزة.
• وزن التردد العكسي للوثيقة (IDF): بسبب هذا التوزيع، يعد مكون التردد العكسي للوثيقة (IDF) في BM25 فعالاً للغاية؛ فهو يقوم تلقائياً بخفض وزن الكلمات المرئية المنتشرة (التي لها قيمة معلوماتية منخفضة) ورفع وزن الكلمات النادرة والمميزة.
• صيغة التسجيل: يتم حساب درجة الاسترجاع باستخدام BM25 القياسي:
  $$\text{BM25}(d, Q) = \sum_{i \in Q} \text{IDF}_i \cdot \frac{f_i(d)(k_1+1)}{f_i(d) + k_1(1 - b + b \frac{|d|}{\overline{dl}})}$$
  حيث $f_i(d)$ هو مجموع التنشيط المجمع (sum-pooled) للكلمة المرئية $i$ في الصورة $d$.

ج. خط أنابيب الاسترجاع ذو المرحلتين

لتحقيق السرعة والدقة العالية معاً، يعمل النظام في مرحلتين:

1. المرحلة الأولى (الاسترجاع المتناثر): يستخدم BM25-V فهرساً مقلوباً لاسترجاع أفضل $K$ من المرشحين (مثلاً $K=200$) من كامل المكتبة. هذه العملية سريعة جداً ($O(k \cdot \text{df})$) وتهدف لرفع نسبة الاستدعاء (Recall).
2. المرحلة الثانية (إعادة الترتيب الكثيف): يتم إعادة ترتيب أفضل $K$ من المرشحين باستخدام تشابه جيب التمام الكثيف (Dense Cosine Similarity) على التضمينات المجمعة عالمياً (MAP-pooled).
   • يقلل هذا من الحساب الكثيف من $O(N \cdot D)$ إلى $O(K \cdot D)$، حيث $K \ll N$.
   • يضيف الفهرس المتناثر عبئاً ضئيلاً على الذاكرة (96 بايت/صورة) مقارنة بالتضمينات الكثيفة.

3. المساهمات الرئيسية

1. أول تطبيق لـ BM25 على الـ SAE المرئية: تثبت الورقة أن الكلمات المرئية المشتقة من SAE تظهر نفس توزيع "زيبف" (الذي يسود في النصوص)، مما يجعل BM25 خياراً مبنياً على أسس علمية وليس مجرد تجريبي في الاسترجاع المرئي.
2. خط أنابيب مرحلتين بدقة تقارب الدقة الكثيفة: يحقق النظام Recall@200 $\ge$ 0.993 عبر سبعة معايير. وعند دمجه مع إعادة الترتيب الكثيف، فإنه يستعيد دقة Rank-1 القريبة من الدقة الكثيفة (ضمن 0.2% في المتوسط) مع تقليل الحوسبة بشكل كبير.
3. التعميم عبر النطاقات بدون تدريب مسبق (Zero-Shot): نموذج SAE الذي تم تدريبه مرة واحدة على ImageNet-1K ينتقل بفعالية إلى سبعة مجموعات بيانات دقيقة (طيور، سيارات، زهور، أنسجة، إلخ) دون الحاجة لأي ضبط دقيق (Fine-tuning).
4. قابلية التفسير المتأصلة: على عكس النماذج الكثيفة، يمكن إرجاع كل قرار استرجاع إلى كلمات مرئية محددة مع مساهمات IDF كمية، مما يسمح بشروحات شفافة على مستوى المصطلح.
5. الكفاءة والقابلية للتوسع:
   • الذاكرة: يوفر الفهرس المتناثر ضغطاً بمقدار 48 ضعفاً مقارنة بالمتجهات الكثيفة من نوع float32.
   • وقت البناء: بناء الفهرس هو $O(N \cdot k)$، وهو أسرع بعدة مراتب من بناء رسوم HNSW البيانية.
   • التحديثات الديناميكية: إدخال أو حذف الصور هو $O(k)$، مما يتجنب مشا-كل التدهور الهيكلي التي تواجهها الفهارس القائمة على الرسوم البيانية.

4. النتائج التجريبية

تم التقييم على سبعة مجموعات بيانات دقيقة (CUB-200, Cars-196, Aircraft, Pets, Flowers-102, DTD, Food-101):

• الدقة: يحقق خط الأنابيب ذو المرحلتين (BM25-V + Dense Rerank) أداءً يطابق أو يتجاوز قليلاً أداء الاسترجاع الكثيف الكامل.
  • متوسط تحسن R@1: يطابق الكثيف (0.857 مقابل 0.859).
  • مكاسب محددة: +0.7% في DTD و +0.1% في Flowers-102، مما يثبت أن الأدلة المحلية المتناثرة تكمل الدلالات العالمية.
• الاستدعاء (Recall): يحقق BM25-V وحده R@100 $\ge$ 0.984 و R@200 $\ge$ 0.993، مما يضمن أن إعادة الترتيب الكثيفة لا تفقد الصورة الصحيحة تقريباً.
• الكفاءة:
  • عند $N=1M$، زمن استعلام BM25-V أقل بمقدار 5.2 ضعف من البحث الكثيف الدقيق.
  • وقت بناء الفهرس أسرع بمقدار 50,000 ضعف من HNSW (0.09 ثانية مقابل 75 دقيقة).
  • يتجنب النظام انخفاض الدقة بنسبة 1–6% الذي تسببه طرق التكميم بالمنتج (PQ).

5. الأهمية

يجمع هذا العمل بين الاسترجاع المتناثر القابل للتفسير والاسترجاع الدلالي الكثيف.

• رؤية نظرية: يثبت أن خاصية "زيبف"، المعروفة في معالجة اللغات الطبيعية، تحكم أيضاً التمثيلات المرئية العميقة عند جعلها متناثرة عبر SAEs. وهذا يبرر استخدام أوزان IDF في الرؤية.
• الأثر العملي: يقدم بنية قابلة للتوسع للبحث عن الصور بمقياس المليارات تكون قابلة للتدقيق (وهو أمر ضروري للصناعات المنظمة)، وموفرة للذاكرة، وأقل تكلفة حوسبية من الحلول الحالية التي تعتمد على الكثافة فقط أو PQ، دون التضحية بالدقة.
• تحول في النموذج: يعيد إحياء مفهوم "حقيبة الكلمات المرئية" (Bag-of-Visual-Words) ولكنه يستبدل الواصفات المصنوعة يدوياً (SIFT/HOG) وتجميع K-means بـ ميزات متعلمة وأحادية المعنى من المحولات العميقة، جامعاً بين أفضل ما في الطرق الكلاسيكية والحديثة.