💬 NLP

Inference-Time Structural Reasoning for Compositional Vision-Language Understanding

تقدم هذه الورقة إطاراً موحداً لتقييم وتعزيز نماذج الرؤية واللغة عبر الاستدلال الهيكلي باستخدام الرسوم البيانية للمشهد، مما يثبت أن نموذج Qwen3-VL-8B-Thinking يتفوق بشكل كبير على البنيات الأخرى في معيار Winoground، لا سيما عند تعزيزه باستراتيجية تصفية الرسوم البيانية للمشهد متعددة الجولات.

المؤلفون الأصليون: Amartya Bhattacharya

نُشر 2026-03-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amartya Bhattacharya

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تنظر إلى صورة لكلب يطارد قطة. الآن، تخيل أن شخصاً ما سألك سؤالين عن تلك الصورة:

"هل الكلب يطارد القطة؟"
"هل القطة تطارد الكلب؟"

بالنسبة للإنسان، الإجابة واضحة تماماً: "نعم" للسؤال الأول، و"لا" للثاني. لكن بالنسبة للعديد من نماذج الذكاء الاصطناعي المتقدمة (التي تُسمى نماذج الرؤية واللغة)، تبدو هاتان الجملتان متطابقتين تقريباً لأنهما تحتويان على نفس الكلمات بالضبط: كلب، قطة، مطاردة. يصاب الذكاء الاصطناعي بالارتباك، حيث يعامل الجمل كأنها "حقيبة كلمات" لا يهم فيها الترتيب. إنه يفشل في فهم القصة أو العلاقة بين الشخصيات.

هذه الورقة البحثية تدور حول تعليم نماذج الذكاء الاصطناعي هذه التوقف عن مجرد قراءة الكلمات والبدء في فهم الحبكة.

المشكلة: فخ "حقيبة الكلمات"

استخدم الباحثون اختباراً يسمى Winoground. فكر في هذا الاختبار كأنه لعبة "أوجد الفروق" للذكاء الاصطناعي. يعرضون على الذكاء الاصطناعي صورتين وجملتين. تستخدم الجمل نفس الكلمات ولكن مع تبديل الأدوار (على سبيل المثال: "الرجل يحمل الكلب" مقابل "الكلب يحمل الرجل").

تفشل معظم نماذج الذكاء الاصطناعي في هذا الاختبار لأنها تشبه شخصاً يحصي فقط المكونات في الكعكة لكنه لا يعرف كيفية خبزها. إنهم يرون "رجل"، "كلب"، و"حمل"، لذا يعتقدون أن كلتا الجملتين تصفان الشيء نفسه. إنهم يفتقدون التفصيل الحاسم: من يفعل ماذا لمن.

الحل: إعطاء الذكاء الاصطناعي "سيناريو"

أدرك المؤلفون أنه إذا استطاعوا إجبار الذكاء الاصطناعي على النظر إلى بنية الجملة (القواعد والعلاقات) بدلاً من مجرد الكلمات، فسيصبح أكثر ذكاءً. لقد بنوا أداة تسمى TextSceneGraphParser.

التشبيه: مخرج الفيلم
تخيل أن الذكاء الاصطناعي ممثل يحاول حفظ نص مسرحي.

بدون الأداة: يقرأ الممثل السطور فقط: "كلب. قطة. مطاردة." هو لا يعرف من هو البطل ومن هو الضحية.
مع الأداة: يعطي الباحثون الممثل سيناريو المخرج (مخطط المشهد - Scene Graph). هذا السيناريو يفكك الجملة إلى مخطط انسيابي واضح:
- الفاعل: الكلب
- الفعل: مطاردة
- المفعول به: القطة
- القاعدة: الكلب هو المطارد النشط؛ والقطة هي الهارب المستسلم.

يعمل هذا "السيناريو" كخريطة هيكلية، مما يضمن فهم الذكاء الاصطناعي للعلاقات، وليس فقط للمفردات.

التجربة: اختبار "أدمغة" مختلفة

اختبر الباحثون أربعة أنواع مختلفة من نماذج الذكاء الاصطناعي، تتراوح من النماذج القديمة والبسيطة إلى النماذج الضخمة والحديثة التي تمتلك قدرات "تفكير" عالية.

الحرس القديم (CLIP, BLIP): هذه النماذج تشبه الطلاب المتفوقين في حفظ الحقائق لكنهم سيئون في المنطق. عندما أعطاهم الباحثون "السيناريو"، لم يساعدهم ذلك كثيراً؛ فقد كانوا جامدين للغاية لدرجة تمنعهم من تغيير طريقة تفكيرهم.
الطفل الأوسط (LLaVA): هذا النموذج ذكي ولكنه يرتبك إذا أعطيته الكثير من التعليمات. عندما حاول الباحثون فرض "السيناريو" ضمن محادثته، أصبح أداؤه أسوأ. الأمر يشبه محاولة إعطاء خريطة معقدة لسائق يفضل اتباع حدسه؛ الخريطة جعلته يفرط في التفكير ويصطدم.
النجم (Qwen3-VL-8B-Thinking): هذا هو النموذج الجديد والقوي. إنه يشبه المحقق الذي يجيد بالفعل حل الجرائم ولكنه قد يغفل أحياناً عن دليل صغير.
- الوضع العادي: حتى بدون مساعدة، حقق درجة جيدة بلغت 62.8%.
- خدعة "تعدد الخطوات": لم يقم الباحثون بصب السيناريو كاملاً أمام الذكاء الاصطناعي دفعة واحدة، بل استخدموا محادثة من خطوتين:
  - الخطوة 1: "يا ذكاء اصطناعي، انظر إلى هذه الصورة وهذه الجملة. أي أجزاء من الجملة تتطابق فعلياً مع ما تراه في الصورة؟ تجاهل الباقي." (يقوم الذكاء الاصطناعي بتصفية الضجيج).
  - الخطوة 2: "حسناً، الآن باستخدام تلك الأجزاء المتطابقة فقط، أخبرني ما إذا كانت الجملة صحيحة."
- النتيجة: هذه الخدعة البسيطة في المحادثة رفعت الدرجة إلى 66.0%، متفوقة على جميع النماذج مفتوحة المصدر السابقة، ومقتربة جداً من الأداء البشري.

الخلاصة الكبرى: "لا يمكنك تعليم كلب عجوز حِيلاً جديدة"

النتيجة الأكثر إثارة للاهتمام تتعلق بـ القدرة.

إذا كان الذكاء الاصطناعي ضعيفاً جداً (مثل النماذج القديمة)، فإن إعطاءه خريطة هيكلية لن يفيد لأنه لا يستطيع فهم الخريطة في المقام الأول.
أما إذا كان الذك de الذكاء الاصطناعي ذكياً بما يكفي لفهم العالم، فإن إعطاءه خريطة هيكلية يعمل مثل العدسة، التي تساعده على التركيز على التفاصيل الصحيحة وتجاهل المشتتات.

الخاتمة

تظهر هذه الورقة البحثية أننا لا نحتاج دائماً إلى إعادة تدريب نماذج الذكاء الاصطناعي الضخمة من الصفر لجعلها أكثر ذكاءً. أحياناً، نحتاج فقط إلى تغيير طريقة طرحنا للأسئلة. من خلال إضافة خطوة "الاستدلال الهيكلي" — أي طلب من الذكاء الاصطناعي التوقف، وتفكيك الجملة إلى خريطة منطقية، وتصفية الضجيج — يمكننا إطلاق العنان للذكاء الكامن الذي كان موجوداً بالفعل، وكان ينتظر فقط من يستخدمه بشكل صحيح.

إنه الفرق بين طلب من طالب أن "يخمن الإجابة" وبين طلبه أن "يوضح خطوات عمله" قبل التخمين. الخيار الثاني يؤدي دائماً إلى نتيجة أفضل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الاستدلال الهيكلي في وقت الاستنتاج للفهم التركيبي للرؤية واللغة" (Inference-Time Structural Reasoning for Compositional Vision-Language Understanding).

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) نجاحاً ملحوظاً في مهام وصف الصور والاسترجاع. ومع ذلك، فهي تفشل باستمرار في الاستدلال التركيبي (compositional reasoning): وهو القدرة على التمييز بين الأوصاف التي تشترك في نفس المفردات ولكنها تختلف في البنيوية العلاقاتية (على سبيل المثال: "الكلب يطارد القطة" مقابل "القطة تطارد الكلب").

تحدد الورقة أن النماذج القياسية للرؤية واللغة تعتمد غالباً على إحصائيات "حقيبة الكلمات" (bag-of-words) بدلاً من فهم الأدوار النحوية والدلالية (الفاعل مقابل المفعول به) داخل المشهد. وقد تم اختبار هذا الفشل بصرامة باستخدام معيار Winoground، الذي يقدم أزواجاً من الصور والتعليقات النصية ذات التباين الأدنى حيث يجب على النماذج مطابقة التعليقات مع الصور بناءً على البنية العلاقاتية فقط. وتتطلب الحلول الحالية غالباً إعادة تدريب مكلفة (ضبط دقيق) أو تعتمد على مولدات مخططات المشهد البصرية التي تُدخل أخطاءها الخاصة.

2. المنهجية

يقترح المؤلفون إطار عمل موحداً يعمل بالكامل في وقت الاستنتاج (inference time)، مما لا يتطلب إعادة تدريب النموذج. يجمع النهج بين التحليل الهيكلي للنصوص واستراتيجيات التعزيز الخاصة بالبنية المعمارية.

أ. المكونات الأساسية

محلل مخطط مشهد النص (TextSceneGraphParser):
- محلل قائم على القواعد باستخدام spaCy يستخرج ثلاثيات (فاعل-علاقة-مفعول به) من التعليقات.
- يتعامل مع خمسة بناءات نحوية: (فاعل-فعل-مفعول به)، الجمل الظرفية، الجمل الخبرية، الجمل الوجودية، وجمل الملكية.
- يقوم بإثراء العبارات الاسمية بالواصفات ويخزن النتائج مؤقتاً لزيادة الكفاءة.
مُقيّم عدم التماثل الهيكلي (Graph Asymmetry Scorer):
- يحسب الفرق الهيكلي بين تعليقين ( $G_a$ و $G_b$ ) باستخدام المطابقة الثنائية المثلى (خوارزمية هنغاري).
- يحسب درجة عدم التماثل ( $\Delta_{SG}$ ) التي تستهدف تحديداً انعكاس أدوار الفاعل والمفعول به. إذا تبادل الفاعل والمفعول به الأدوار، فإن الدرجة تعكس هذا التغيير الهيكلي، مما يوفر "أولوية هيكلية" (structural prior).
استراتيجيات التعزيز الخاصة بالبنية المعمارية:
- للنماذج القائمة على الترميز (مثل CLIP و BLIP): يستخدم التعزيز الإضافي (Additive Augmentation). حيث تُضاف درجة عدم التماثل كحد مضاف إلى درجة التشابه الأساسية: $s_{SG} = s_{base} + \lambda \cdot \Delta_{SG}$ .
- للنماذج التوليدية (مثل LLaVA و Qwen3-VL): يستخدم حقن المطالبات (Prompt Injection). حيث يتم حقن الثلاثيات المستخرجة في المطالبة اللغوية الطبيعية لتوجيه انتباه النموذج نحو العلاقات الهيكلية قبل اتخاذ القرار.
تصفية مخطط المشهد متعددة الخطوات (المبتكر المقترح):
- مصممة خصيصاً للنماذج التوليدية (Qwen3-VL-8B-Thinking).
- الخطوة 1: يقوم النموذج بتوليد مجموعة فرعية من الثلاثيات المستخرجة ذات الصلة البصرية بالصورة (يعمل كمرشح للضجيج).
- الخطوة 2: يستخدم النموذج فقط هذه الثلاثيات المفلترة وذات الصلة لإجراء قرار المطابقة النهائي. هذا يتجنب مشكلة "الإفراط في التحديد" (over-specification) حيث يمكن للثلاثيات غير ذات الصلة أن تشتت النموذج.

ب. بروتوكول التقييم

يختبر إطار العمل أربعة نماذج متنوعة من الرؤية واللغة: CLIP (ترميز مزدوج)، BLIP (انتباه متقاطع)، LLaVA (فك تشفير توليدي)، و Qwen3-VL-8B-Thinking (نماذج الخبراء التوليدية - MoE).

المقاييس: درجة النص، درجة الصورة، ودرجة المجموعة (وهي حاصل ضرب درجتي النص والصورة، مما يتطلب مطابقة صحيحة لكلا الزوجين في مثال Winoground).
دراسة الاستئصال (Ablation Study): حجب وتبديل الفاعل/المفعول به في التعليقات بشكل منهجي لقياس الاعتماد على هوية الكيان مقابل النحو العلاقاتي.

3. المساهمات الرئيسية

إطار تقييم موحد: مجموعة معايير قياسية لأربعة نماذج رؤية ولغة متميزة معمارياً على Winoground تحت كل من الأنظمة العادية والمعززة بمخطط المشهد.
محلل مخطط مشهد النص (TextSceneGraphParser): محلل قوي قائم على القواعد قادر على استخراج بنى نحوية معقدة من النص دون الحاجة إلى مولد مخطط مشهد بصري.
مُقيّم عدم التماثل الهيكلي: آلية تسجيل مبتكرة تستخدم المطابقة الثنائية لقياس الاختلافات الهيكلية، وتستهدف تحديداً انعكاسات الفاعل والمفعول به.
تصفية مخطط المشهد متعددة الخطوات: استراتيجية مبتكرة في وقت الاستنتاج تسمح للنماذج التوليدية بتصفية المعلومات الهيكلية غير ذات الصلة ذاتياً، مما يعزز الأداء بشكل كبير.
تحليل مقايضة تعزيز القدرات: يوضح أن التعزيز الهيكلي يكون أكثر فعالية للنماذج التي تمتلك بالفعل قدرات تركيبية أساسية قوية، بينما يقدم مكاسب ضئيلة أو سلبية للنماذج الأضعف.

4. النتائج

أسفرت التجارب عن النتائج الرئيسية التالية:

أداء رائد (State-of-the-Art): حقق نموذج Qwen3-VL-8B-Thinking، عند تعزيزه باستراتيجية التصفية متعددة الخطوات لمخطط المشهد، درجة مجموعة (Group Score) بلغت 66.0%.
- وهذا يتفوق على أفضل أداء سابق مفتوح المصدر (SCRAMBAle-Molmo-7B، بنسبة 54.8%) بمقدار 11.2 نقطة.
- كما يقترب من الأداء البشري (85.5%) دون أي تدريب إضافي.
مقارنة خط الأساس (Baseline):
- Qwen3-VL العادي: سجل 62.8% (يتفوق بالفعل على جميع النماذج القائمة على الترميز).
- CLIP/BLIP: أظهرت تحسناً ضئيلاً أو معدوماً مع تعزيز مخطط المشهد، مما يؤكد أن الأولويات الهيكلية لا يمكنها تعويض نقص القدرة التركيبية الأساسية.
- LLaVA: انخفض أداؤها مع الحقن المسطح للمطالبات ( $\Delta_{grp} = -0.073$ ) بسبب "الإفراط في التحديد"، حيث ركز النموذج على الكيانات المدرجة بدلاً من الأدلة البصرية.
رؤى الاستئصال (Ablation Insights):
- أظهر Qwen3-VL أكبر انخفاض في الأداء عند حجب أو تبديل الفاعل/المفعول به، مما يؤكد اعتماده الشديد على النحو العلاقاتي.
- أدى حجب المفعول به إلى ضرر أكبر من حجب الفاعل في جميع النماذج.

5. الأهمية والآثار المترتبة

كفاءة وقت الاستنتاج: تثبت الورقة أن إعادة التدريب ليست ضرورية لتحقيق استدلال تركيبي رائد. من خلال الاستفادة من القدرات المتأصلة للنماذج التوليدية الكبيرة وحقن الأولويات الهيكلية في وقت الاستنتاج، يمكن تحقيق مكاسب كبيرة.
الاتساق الذاتي المهيكل: يتم تأطير التصفية متعددة الخطوات لمخطط المشهد كشكل من أشكال "الاتساق الذاتي المهيكل". فهي تستخدم التأسيس البصري الخاص بالنموذج لتصفية الضجيج (الثلاثيات غير ذات الصلة) قبل اتخاذ القرار النهائي، مما يعالج عيباً معروفاً في طرق سلسلة الأفكال (CoT).
أداة تشخيصية: تعمل دراسة استئصال التعليقات (Caption Ablation Study) المقترحة كبروتوكول تشخيصي قابل لإعادة الاستخدام. من خلال تحليل كيفية تفاعل النموذج مع حجب وتبديل الكيانات، يمكن للباحثين التنبؤ بما إذا كان نموذج معين من الرؤية واللغة سيستفيد من التعزيز الهيكلي.
الوعي بالبنية المعمارية: يسلط العمل الضوء على ضرية وجوب تخصيص استراتيجيات التعزيز لتناسب بنية النموذج. فالتقييم الإضافي (Additive scoring) يعمل للنماذج المرمزة، بينما يعد التصفية متعددة الخطوات ضرورياً للمحللات التوليدية لتجنب الإفراط في التحديد.

في الختام، يضع هذا العمل معياراً جديداً للفهم التركيبي دون تكلفة إعادة التدريب، من خلال إثبات أن النماذج الأساسية الكافية، عندما يتم توجيهها بآليات استدلال مهيكلة في وقت الاستنتاج، يمكنها التغلب على قيود "حقيبة الكلمات" التي تعاني منها نماذج الرؤية واللغة الحالية.