💻 computer science

Semantic-Enriched Latent Visual Reasoning

تقدم هذه الورقة البحثية إطار عمل الاستدلال البصري الكامن المعزز دلاليًا (SLVR)، وهو إطار عمل ثنائي المراحل يعزز الاستدلال البصري الكامن من خلال إثراء التمثيلات بدلالات السمات دقيقة التفاصيل ومواءمتها مع استعلامات متنوعة عبر تحسين السياسة النسبي للمجموعات متعدد الاستعلامات، مدعومًا بمجموعة بيانات SLV-Set المنشأة حديثًا ومعيار SV-QA.

المؤلفون الأصليون: Tianrun Xu, Yue Sun, Qixun Wang, Jingyi Lu, Yuan Wang, Tianren Zhang, Longteng Guo, Fengyun Rao, Jing Lyu, Feng Chen, Jing Liu

نُشر 2026-05-20

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tianrun Xu, Yue Sun, Qixun Wang, Jingyi Lu, Yuan Wang, Tianren Zhang, Longteng Guo, Fengyun Rao, Jing Lyu, Feng Chen, Jing Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز معقد، ولكن بدلاً من النظر إلى الصورة الكاملة، يتعين عليك وصف القطع لصديق يجلس في غرفة مظلمة.

المشكلة: "التفكير بالصور" مقابل "التفكير في الظلام"
تقوم نماذج الذكاء الاصطوي الحالية التي تنظر إلى الصور وتجيب على الأسئلة عادةً بواحد من أمرين:

طريقة "القص واللصق": تقوم بقص الصورة فعلياً لتكبير جزء معين منها (مثل قص صورة من مجلة) ثم تفكر فيه. هذه الطريقة بطيئة وغير مرنة.
طريقة "الذاكرة البصرية": تقوم بضغط الصورة في "فقاعة فكر" صغيرة وغير مرئية (تمثيل كامن/Latent Representation) وتجري عمليات الاستدلال داخل تلك الفقاعة. هذه الطريقة أسرع، لكن الورقة البحثية تجادل بأن هذه الفقاعات تكون فارغة جداً. فهي تتذكر ما هو شكل الشيء (الألوان، الأشكال)، لكنها تنسى ماذا يعني (هل هو كلب "يجري" أم كلب "نائم"؟).

الحل: SLVR (الاستدلال البصري الكامن الغني بالمعاني الدلالية)
يقترح المؤلفون نظاماً جديداً يسمى SLVR. فكر في SLVR كعملية تعليم للذكاء الاصطناعي لبناء "فقاعة فكر" أكثر ثراءً وتفصيلاً، لا تحتوي فقط على الصورة المرئية، بل أيضاً على وصف تفصيلي لشخصية الشيء وأفعاله.

يقومون بذلك عبر مرحلتين، مثل تدريب ممثل على دور في مسرحية:

المرحلة الأولى: تدريب "ورقة الشخصية"
تخيل أنك تدرب ممثلاً ليلعب شخصية محددة. بدلاً من إخباره فقط: "أنت رجل يرتدي قميصاً أحمر"، تعطي له "ورقة شخصية" مفصلة.

نهج الورقة البحثية: يُعرض على الذكاء الاصطناعي منطقة من صورة (مثل شخص يحمل كاميرا) ويُجبر على ملء "ورقة شخصية" لهذه المنطقة. تسرد هذه الورقة سمات محددة: ما لون القميص؟ هل الشخص واقف أم جالس؟ ماذا يحمل؟ هل يوجد نص على الشيء؟
النتي نتيجة: يتعلم الذكاء الاصطناعي ضغط الصورة في "فقاعة فكر" مليئة بهذه التفاصيل المحددة (الدلالات/Semantics)، وليس مجرد صورة ضبابية.

المرحلة الثانية: تدريب "المقابلة"
الآن، تخيل أن نفس الممثل يتم إجراء مقابلة معه من قبل صحفيين مختلفين في نفس الوقت.

الصحفي (أ) يسأل: "ماذا يفعل هذا الشخص؟"
الصحفي (ب) يسأل: "ما لون سترته؟"
نهج الورقة البحثية: يُعطى الذكاء الاصطناعي نفس "فقاعة الفكر" (نفس منطقة الصورة) ويُطلب منه الإجابة على كلا السؤالين. يستخدم النظام تقنية تدريب خاصة (تسمى M-GRPO) لضمان أن تكون "فقاعة الفكر" متسقة. فهي تجبر الذكاء الاصطناعي على إدراك أن نفس الصورة الذهنية يجب أن تكون قادرة على الإجابة على كلا السؤالين بشكل صحيح دون تغيير رأيها أو الارتباك.
النتيجة: يتعلم الذكاء الاصطناعي أن "فقاعة فكره" الداخلية هي مصدر حقيقة مستقر وموثوق يمكنه الإجابة على أنواع مختلفة من الأسئلة حول الشيء نفسه.

مجموعة البيانات الجديدة: SLV-Set
لتعليم الذكاء الاصطناعي هذه الطريقة، بنى المؤلفون مكتبة ضخمة جديدة من بيانات التدريب تسمى SLV-Set.

تحتوي على 400,000 "ورقة شخصية" مفصلة (أوصاف السمات) لأجزاء مختلفة من الصور.
تحتوي على 800,000 زوج من الأسئلة حيث يتم طرح سؤالين مختلفين عن الجزء نفسه تماماً من الصورة.
كما أنشأوا اختباراً يسمى SV-QA لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي التعامل مع هذه "المقابلات" حيث يتم استجواب نفس الصورة من زوايا مختلفة.

النتائج
عندما اختبروا هذه الطريقة الجديدة:

أصبح الذكاء الاصطناعي أفضل بكثير في الإجابة على الأسئلة المتعلقة بأجزاء محددة من الصورة.
أصبح أكثر اتساقاً. إذا سألته سؤالين مختلفين عن نفس الشيء، فإنه يعطي إجابات منطقية معاً (على عكس الطرق القديمة التي قد ترتبك).
حقق أداءً أفضل من الطرق السريعة السابقة (الاستدلال الكامن) وكان منافساً لطرق "القص واللصق" الأبطأ، ولكن دون التكلفة الحسابية العالية.

باختصار
تدعي الورقة البحثية أنه من خلال إجبار الذكاء الاصطناعي على تعلم "أوراق السمات" التفصيلية لأجزاء الصور، ثم اختبار تلك الأجزاء بأسئلة متعددة في وقت واحد، يبني الذكاء الاصطناعي فهماً داخلياً أذكى وأكثر استقراراً للصور. الأمر يشبه الانتقال من مجرد لقطة ضبابية في ذهنك إلى نموذج ثلاثي الأبعاد عالي الدقة مرفق بسيرة ذاتية كاملة لكل كائن.

ملخص تقني: الاستدلال البصري الكامن المعزز دلاليًا (SLVR)

1. بيان المشكلة

يهدف الاستدلال في الفضاء الكامن متعدد الوسائط إلى استبدال عمليات "التفكير بالصور" الصريحة والمكلفة حوسبيًا (مثل الاقتصاص المتكرر أو استدعاء الأدوات) من خلال إجراء الاستدلال البصري مباشرة داخل فضاء كامن مدمج. ومع ذلك، تواجه الأساليب الحالية عقبتين رئيسيتين:

الافتقار إلى الثراء الدلالي: تعتمد الطرق الحالية عادةً على الإشراف البصري وحده، مما يتسبب في جعل التمثيلات الكامنة تشفر ملامح المظهر بينما تفشل في الحفاظ صراحةً على المحتوى الدلالي الدقيق (مثل خصائص الأشياء، حالاتها، وتفاعلاتها) الضروري لمهام الاستدلال المتنوعة.
التحسين أحادي المهمة: غالبًا ما يتم توجيه التدريب الكامن بواسطة استعلام أو صياغة مهمة واحدة. لا توجد آلية موحدة لضبط كيفية دعم تمثيل كامن واحد معزز لأنواع استعلامات متنوعة ومستويات استدلال مختلفة مستندة إلى نفس المنطقة البصرية.

وبناءً على ذلك، تفتقر التمثيلات الكامنة الحالية إلى المعلومات الدلالية الهيكلية المطلوبة للتعامل بمتانة مع مهام الاستدلال على مستوى المنطقة حيث يجب معالجة منظورات دلالية متعددة في آن واحد.

2. المنهجية

يقترح المؤلفون إطار عمل الاستدلال البصري الكامن المعزز دلاليًا (SLVR)، وهو إطار تعلم ثنائي المرحلة مصمم لإثراء التمثيلات الكامنة بخصائص دلالية بصرية على مستوى السمات ومواءمتها مع أهداف استدلال متنوعة.

2.1. بناء البيانات (SLV-Set)

لدعم إطار العمل، قام المؤلفون ببناء SLV-Set، والتي تتكون من مكونين متكاملين يعتمدان على سلسلة التفكير البصرية (Visual-CoT):

مجموعة بيانات السمات على مستوى الخصائص: حوالي 400 ألف تعليق توضيحي للسمات على مستوى المنطقة. باستخدام Qwen3-VL-235B، يقوم النظام بتوليد ملفات تعريف دلالية مهيكلة للمناطق الرئيسية، تغطي المظهر (اللون، الشكل، المادة)، الأفعال، التفاعلات، السمات المكانية، والنصوص. يتم تشفير هذه البيانات في تضمينات دلالية ذات 4096 بُعدًا لتكون بمثابة إشارات إشراف دقيقة التفاصيل.
مجموعة بيانات الاستعلامات المتعددة: حوالي 800 ألف زوج من (السؤال-الإجابة) حيث يتم ربط سؤالين متميزين دلاليًا بنفس المنطقة البصرية، لاستقصاء جوانب دلالية مختلفة.

بالإضافة إلى ذلك، تم تقديم SV-QA كمعيار تقييم (591 عينة مزدوجة) لتقييم متانة الاستدلال الكامن تحت التباين الدلالي، مما يوسع المعايونات الحالية (V*, HRBench-4K, HRBench-8K) عبر الاستعلام عن نفس المنطقة من منظورات متعددة.

2.2. المرحلة الأولى: التعلم الكامن المهيكل

في المرحلة الأولى، يتعلم النموذج تمثيلات كامنة مركزة على المنطقة تدمج صراحةً بين الأدلة البصرية والسمات الدلالية.

بناء المدخلات: تتم معالجة صورة وسؤال. يتم تشفير منطقة الاهتمام (ROI) إلى جزء كامن بصري ( $H_{vis}$ ). يتم إدراج رمز خاص <sem> لتوليد كامن دلالي واحد ( $z_{sem}$ ).
المواءمة البصرية: يتم مواءمة رموز الكامن البصري مع ميزات مشفر الرؤية باستخدام خسارة متوسط مربع الخطأ (MSE) للحفاظ على التفاصيل البصرية الدقيقة.
المواءمة الدلالية: يتم إسقاط الكامن الدلالي ( $z_{sem}$ ) ومواءمته مع التضمين الدلالي المحسوب مسبقًا للسمات ( $e$ ) باستخدام خسارة MSE. هذا يجبر الكامن على التقاط السمات المهيكلة (مثل "يمسك بكاميرا"، "سترة خضراء").
الهدف: $L_{stage1} = L_{vis} + L_{sem}$ .

2.3. المرحلة الثانية: تحسين السياسة النسبية للمجموعات متعددة الاستعلامات (M-GRPO)

تعمل المرحلة الثانية على صقل الكوامن المتعلمة لضمان دعمها لأهداف استدلال متنوعة باستمرار.

الآلية: بالنظر إلى أسئلة متعددة ( $q_1, q_2$ ) مرتبطة بنفس المنطقة، يقوم النموذج بتوليد أزواج كامنة مقابلة. يقوم M-GRPO بإجراء تحديثات للسياسة لتحسين هذه الكوامن بشكل مشترك.
مكونات المكافأة:
1. صحة الإجابة: مكافأة الإجابات الصحيحة لكل استعلام (يتم تقييمها بواسطة حكم خارجي).
2. الاتساق الكامن: معاقبة التباعد بين الكوامن المولدة للاستعلامات المختلفة ( $q_1$ مقابل $q_2$ ) المرتبطة بنفس المنطقة، لضمان بقاء التمثيل الكامن مستقرًا عبر التباينات الدلالية.
3. تنظيم الاستقرار: تثبيت الكوامن المحسنة على التوزيع الذي تم تعلمه في المرحلة الأولى باستخدام صيغة قائمة على الهامش لمنع الانحراف المفرط.
التحسين: يستخدم إطار العمل هدف تحسين السياسة النسبية للمجموعات (GRPO)، حيث يتم تحديث السياسة عبر مجموعات من الاستعلامات المرتبطة بالمناطق لتشجيع التمثيلات التي تكون فعالة في آن واحد لعدة استعلامات دلالية.

3. المساهمات الرئيسية

إطار عمل SLVR: نموذج تعلم ثنائي المرحلة يثري التمثيلات الكامنة بسمات بصرية دقيقة المستوى ويواءمها مع متطلبات الاستدلال المتنوعة عبر M-GRPO.
مجموعة بيانات SLV-Set: مورد واسع النطاق يحتوي على حوالي 400 ألف تعليق توضيحي للسمات على مستوى المنطقة وحوالي 800 ألف عينة (سؤال-جواب) متعددة الاستعلامات، مما يوفر الإشراف اللازم للإثراء الدلالي والمواءمة الكامنة.
معيار SV-QA: معيار تقييم جديد مصمم لاختبار متانة الاستدلال الكامن تحت التباين الدلالي عبر الاستعلام عن نفس المنطقة البصرية من منظورات دلالية مختلفة.
التحقق التجريبي: تجارب مكثفة تثبت أن SLVR يحسن متانة الاستدلال والاتساق الدلالي مقارنة بالأساليب الكامنة الحالية وأساليب "التفكير بالصور".

4. النتائج التجريبية

أُجريت التجارب على معايير VQA القياسية (OKVQA, GQA, VizWiz, ChartQA, TextVQA, AI2D) ومعيار SV-QA المقترح.

المعايير القياسية: تفوق نموذج SLVR-7B على طرق الاستدلال الكامن السابقة (مثل LVR) وظل منافسًا لأساليب "التفكير بالصور" (مثل GRIT, DeepEyes). لوحظت مكاسب ملحوية في OKVQA (+11.2% عن LVR) و VizWiz (+24.7%).
معيار SV-QA: حقق SLVR أداءً متفوقًا في مقياس "كلاهما صحيح" (الصحة المشتركة لسؤالين متميزين على نفس المنطقة) عبر V*, HRBench-4K, و HRBench-8K. على سبيل المثال، في HRBench-8K، حسن SLVR درجة "كلاهما صحيح" بنسبة +4.0% عن LVR.
الألغاز البصرية (VisualPuzzles): حقق SLVR أفضل دقة إجمالية (34.2%) مقارنة بـ LVR (29.4%)، مع تحسينات كبيرة في فئات الاستدلال الاستنباطي (+5.0) والمكاني (+7.4).
دراسات الاستئصال (Ablation Studies): أكدت النتائج أن الإشراف الدلالي في المرحلة الأولى وقيود الاتساق في M-GRPO أمران حاسمان. كانت النماذج المرجعية التي تعتمد على النص فقط، حتى مع التدريب متعدد الاستعلامات، متأخرة عن متغيرات الاستدلال الكامن في الحفاظ على ربط متسق عبر منظورات دلالية متعددة.

5. الأهمية والادعاءات

يزعم البحث أن SLVR يعالج الفجوة الحرجة في الاستدلال متعدد الوسائط من خلال الانتقال لما وراء الإشراف البصري البحت إلى تمثيلات كامنة معززة دلاليًا. ويرى المؤلفون أن:

العمليات البصرية الصريحة (الاقتصاص) غير فعالة حوسبيًا، بينما تفتقر الكوامن البصرية البحتة إلى العمق الدلالي.
من خلال الإشراف الصريح على الكوامن بالسمات على مستوى الخصائص وفرض الاتساق عبر استعلامات متعددة، يمكن للنماذج تحقيق استدلال أكثر متانة واتساقًا دلاليًا دون العبء الناتج عن التلاعب البصري الصريح.
يتيح إطار العمل المقترح للتمثيلات الكامنة دعم مهام ومستويات استدلال مختلفة بمرونة، مستندة إلى نفس الدليل البصري، مما يقدم بديلًا قابلًا للتوسع لعمليات "التفكير بالصور" الصريحة.

يُصنف هذا العمل كتقدم في مجال تعلم الآلة، وتحديدًا في تعزيز كفاءة ودقة التمثيل الدلالي للاستدلال الكامن متعدد الوسائط.