ملخص تقني: التشابه ليس منطقاً: الاستدلال المُجزأ لنماذج الرؤية واللغة ثنائية المُشفّر

1. بيان المشكلة

تقوم نماذج الرؤية واللغة (VLMs) ثنائية المُشفّر (Dual-encoder)، مثل CLIP وSigLIP، بتمثيل الصور والنصوص في فضاء تضمين مشترك باستخدام واجهة تشابه قياسية (عادةً ما تكون تشابه جيب التمام أو الضرب النقطي). وبينما تعد هذه الواجهة فعالة للغاية في عمليات الاسترجاع لصفرية الخطوات (zero-shot retrieval)، إلا أنها تفشل في تلبية القيود التركيبية التي تتضمن معاملات منطقية (النفي، العطف، الفصل).

تكمن المشكلة الجوهرية في تأثير "حقيبة المفاهيم" (Bag-of-Concepts) على مستوى الواجهة. فعندما يحتوي الاستعلام على معاملات منطقية (مثل "مظلة و لا شخص")، فإن درجة التشابه القياسية تقترب من كونها متوسط تجميع (mean pooling) للأدلة الخاصة بالمفاهيم الفردية بدلاً من تنفيذ المعامل المنطقي. وبناءً على ذلك:

• يفشل النفي: الاستعلامات مثل "لا شخص" غالباً ما تسترجع صوراً تحتوي على شخص لأن درجة التشابه تتبع وجود المفهوم بدلاً من غيابه.
• عدم استقرار العطف: الاستعلامات مثل "A و B" غالباً ما تسترجع صوراً تحتوي على A فقط أو B فقط.
• فشل الاستبعاد: الاستعلامات التي تهدف إلى استبعاد مفاهيم (مثل "لا A ولا B") تسترجع بشكل منهجي صوراً تحتوي على تلك المفاهيم.

يعزو المؤلفون هذا الفشل ليس إلى نقص المعلومات المعتمدة على المعامل في تضمينات النص (والتي هي موجودة ولكنها ضعيفة)، بل إلى آلية التنفيذ: فعملية تسجيل النقاط بالضرب النقطي تجمع الأدلة بطريقة تقمع الدلالات المنطقية، حيث تعمل كعملية "متوسط تجميع ناعم" بغض النظر عن البنية المنطقية.

2. المنهجية: الاستدلال المُجزأ وLCSE

تقترح الورقة البحثية الاستدلال المُجزأ (Factored Inference)، وهو نموذج يفصل بين استخراج الأدلة وتنفيذ القيود. فبدلاً من الاعتماد على التشابه الشامل لاستعلام مركب، تقوم الطريقة باستخراج أدلة ذرية لكل مفهوم وتنفيذ المعاملات المنطقية خارجياً.

2.1. تحرير درجة التشابه المقيد بالمنطق (LCSE)

المساهمة الرئيسية هي LCSE، وهي طريقة لا تتطلب تدريباً تعمل على تعديل درجة التشابه لنموذج VLM مجمد لفرض القيود المنطقية مع الحفاظ على أداء الاسترجاع القياسي. تتضمن العملية أربع خطوات:

1. التحليل (Parsing): يتم تحليل الاستعلام إلى مفاهيم بصرية ($c_i$)، وأقطابها (حاضر/غائب، $n_i$)، والمعامل المنطقي ($o$).
2. استخراج الأدلة: يقوم نموذج VLM المجمد بترميز الصورة وكل عبارة مفهوم ذرية بشكل مستقل لتوليد درجات الوجود ($p_i$). ويتم معايرة هذه الدرجات من التشابه الخام إلى احتمالات باستخدام دالة سيجمويد (sigmoid).
3. تنفيذ القيود:
   • تعديل القطبية: بالنسبة للمفاهيم المنفية، يتم عكس الدرجة ($1 - p_i$).
   • التجميع: يتم تجميع الدرجات المعدلة باستخدام المتوسط القوي (power mean) ($M_\gamma$).
     • يستخدم العطف ($A \land B$) قيمة $\gamma < 0$ (تقترب من الحد الأدنى/min).
     • يستخدم الفصل ($A \lor B$) قيمة $\gamma \gg 1$ (تقترب من الحد الأقصى/max).
     • هذا يستبدل "متوسط التجميع الناعم" الضمني للدرجة الشاملة بتجميع وظيفي حقيقي.
4. تحرير الدرجة (خطوة "LCSE"): لمنع فقدان المعلومات الشاملة (سياق المشهد، الأسلوب، التوزيع المكاني) التي لا تلتقطها درجات المفاهيم الذرية، تطبق الطريقة تصحيحاً خفيف الوزن للدرجة الشاملة الأصلية ($s_{hol}$):
   $$s_{LCSE} = s_{hol} + \frac{1}{\beta} \left( \text{logit}(p_{logic}) - \text{logit}(p_{soft}) \right)$$
   حيث أن $p_{logic}$ هي درجة القيد المجمعة، و $p_{soft}$ هي المتوسط البسيط لدرجات المفاهيم. يعمل هذا المصطلح على تعديل الدرجة الشاملة فقط عندما يتطلب المعامل المنطقي تجميعاً غير متوسط (مثل العطف الصارم أو النفي). وإذا لم تكن هناك معاملات، يتلاشى التصحيح وتعود الطريقة إلى الاسترجاع الشامل القياسي.

3. المساهمات الرئيسية

1. التحليل الآلي لفشل القيود: قدم المؤلفون "تفكيك بقايا النطاق" (span-residual decomposition) لتضمينات النص، موضحين أنه بينما توجد إشارات تعتمد على المعامل في المكون المتبقي، إلا أنها ضعيفة جداً أو غير متوافقة لتؤثر على الترتيب تحت نظام تسجيل الضرب النقطي القياسي. مكون النطاق (الذي يهيمن عليه دليل المفهوم) يقترب من عملية "متوسط التجميع".
2. واجهة خالية من التدريب (LCSE): طريقة لتنفيذ القيود البوليانية صراحةً فوق الأدلة الذرية دون إعادة تدريب المُشفّرات. وهي تحافظ على سلوك الاسترجاع القياسي حيث لا توجد قيود.
3. FACTOR-Bench: معيار جديد مصمم لاختبار دلالات المعاملات البوليانية باستخدام أزواج وصفية متضادة في المعاملات (نفس المفاهيم، معاملات مختلفة) مع التحقق من وجود/غياب المفهوم كحقيقة أرضية.
4. التحقق التجريبي: تقييم واسع النطاق يظهر أن LCSE يتفوق بشكل كبير على النماذج المرجعية التي تم ضبطها بدقة (fine-tuned) في القيود المنطقية مع الحفاظ على أداء الاسترجاع لصفرية الخطوات.

4. النتائج التجريبية

قيم المؤلفون LCSE على FACTOR-Bench و NegBench ومهام الحفاظ على الاسترجاع القياسية باستخدام نماذج خلفية CLIP و SigLIP 2.

• دقة FACTOR-Bench:
  • LCSE (CLIP): حقق دقة 85.5%، متفوقاً بشكل كبير على أفضل نموذج مرجعي مضبوط بدقة (NegationCLIP بنسبة 73.2%).
  • LCSE (SigLIP 2): حقق دقة 90.7%، مما يثبت أن تحسين الأدلة الذرية يترجم إلى تنفيذ أفضل للقيود.
  • التعامل مع النفي: في اختبار NegBench MCQ، حسنت LCSE الدقة من 56.2% (NegCLIP-NegFull) إلى 60.3% لـ CLIP، ومن 27.2% إلى 65.2% لـ SigLIP 2.
• الحفاظ على الاسترجاع: على عكس النماذج التي تم ضبطها بدقة والتي غالباً ما تتدهور في الاسترجاع القياسي (ارتباط راندر $\rho \approx 0.63\text{--}0.85$)، تحافظ LCSE على أداء الاسترجاع القياسي بشكل شبه مثالي ($\rho = 0.999$ لـ CLIP، ولم يتغير R@5).
• التحليل الطبقي: يتناسب تحسن أداء LCSE مع جودة الأدلة الذرية. فعندما يكون اكتشاف المفهوم موثوقاً (AUC > 0.90)، تصل LCSE إلى دقة 90.4%، بينما تحقق الدرجة الشاملة 57.8% فقط.
• دراسة الاستئصال (Ablation): تعمل الطريقة عبر مختلف الخلفيات واستراتيجيات التجميع. مكون "تحرير الدرجة" حاسم؛ فإزالته (باستخدام التسجيل المُجزأ فقط) تؤدي إلى تدهور الاسترجاع في الاستعلامات ذات اللغة الطبيعية التي تفتقر إلى معاملات صريحة.

5. الأهمية والادعاءات

تزعم الورقة أن فشل نماذج VLM في التعامل مع التركيب المنطقي هو في المقام الأول عنق زجاجة على مستوى الواجهة (كيف تجمع الدرجات الأدلة) وليس فشلاً في التمثيل (ما تمثله المُشفّرات).

• نطاق متواضع: يذكر المؤلفون صراحةً أن تحليلهم وطريقتهم تم التحقق منها على المعاملات البوليانية فوق المفاهيم البصرية (مفهوم واحد إلى اثنين، مع بعض التوسع إلى 3-4 مفاهيم). هم لا يدعون حل جميع مشكلات الاستدلال التركيبي (مثل ربط الصفات، العلاقات، العد)، لكنهم يقترحون أن مبدأ الاستدلال المُجزأ قد يمتد إذا توفرت أدلة ذرية موثوقة.
• الأثر العملي: تقدم الطريقة حلاً خالياً من التدريب يمكن تطبيقه على نماذج VLM مجمدة حالية لتمكين الاستعلامات المهيكلة والفلترة دون الحاجة إلى استقرار أو متطلبات البيانات المرتبطة بالضبط الدقيق (fine-tuning).
• القيود: يعتمد النهج على القدرة على تحليل البنية البوليانية (التي يتم التعامل معها بواسطة محلل LLM بدقة عالية) وعلى جودة اكتشاف المفهوم الذري للمُشفّر الأساسي. إذا لم يستطع المُشفّر اكتشاف مفهوم ما بشكل موثوق، فلا يمكن للتنفيذ الخارجي استعادة الصحة.

باخت summary، تجادل الورقة بأن "التشابه ليس منطقاً" وتقترح الاستدلال المُجزأ كآلية لفصل استخراج الأدلة عن تنفيذ القيود المنطقية، محققة دقة عالية في المهام المنطقية مع الحفاظ على قدرات الاسترجاع القوية لصفرية الخطوات لنماذج VLM القياسية.