💻 computer science

SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification

تقدم الورقة البحثية SEER، وهي واجهة استدلال وقت التشغيل خالية من التدريب لنماذج الرؤية واللغة المجمدة، والتي تعمل على تحسين تصنيف العلاقات المكانية من خلال بناء رؤى أدلة محددة للاستعلام مع أدوار صريحة للموضوع/المفعول به وسياق هندسي تكميلي، مما يقلل بشكل كبير من الأخطاء الناجمة عن الرؤى العالمية الغامضة أو الاختيار غير الصحيح للنماذج.

المؤلفون الأصليون: Feixiang Liu, Likun Wang, Qiang Qiu, Hui Xu, Huawei Shen, Xueqi Cheng

نُشر 2026-08-05

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Feixiang Liu, Likun Wang, Qiang Qiu, Hui Xu, Huawei Shen, Xueqi Cheng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز حيث يجب أن يتطابق قطعتان معاً بشكل مثالي. في عالم الذكاء الاصطناعي، توجد "نماذج الرؤية واللغة" (VLMs) — وهي عقول حاسوبية ذكية جداً يمكنها النظر إلى صورة وقراءة سؤال عنها. هي بارعة في التعرف على الأشياء؛ فإذا عرضت عليها صورة لقط وكلب، ستعرف أيهما هو الآخر. لكن الجزء الصعب هنا هو أنه عندما تسألها: "هل القط على يسار الكلب؟"، فإنها قد ترتبك أحياناً. قد ترى الحيوانات بشكل صحيح ولكنها تخلط بين مواقعها، أو قد تخمن بناءً على ما قرأته في الكتب بدلاً مما تراه فعلياً. هذا يشبه طالباً يعرف تعريفات "اليسار" و"اليمين" ولكنه يستمر في الإشارة إلى الاتجاه الخاطئ عند النظر إلى خريطة. يهتم العلماء بإصلاح هذا لأنهم إذا لم تستطع عقول الذكاء الاصطناعي فهم العلاقات المكانية، فلن تتمكن من مساعدتنا في أشياء مثل قيادة السيارات، أو توجيه الروبوتات، أو قراءة المخططات المعقدة بأمان.

إليك SEER، وهي خدعة ذكية جديدة لهذه العقول الاصطناعية لا تتطلب تعليمها أي شيء جديد. فكر في SEER كـ "نظام تسليط الضوء والوسم". بدلاً من ترك الذكاء الاصطناعي يحدق في الصورة الفوضوية بأكملها ويخمن، يقوم SEER أولاً بالعثور بهدوء على الشيئين اللذين يسأل عنهما السؤال (مثل القط والكلب). ثم ينشئ عرضاً خاصاً ومقرباً لهذين العنصرين فقط. إنه يرسم صندوقاً أحمر حول الموضوع وصندوقاً أزرق حول الشيء، ويسماهما بوضوح كـ "موضوع" (Subject) و"هدف" (Object). كما يخفي الإجابات المحتملة (مثل "يسار" أو "يمين") خلال هذه الخطوة حتى لا يعتمد الذكاء الاصطناعي على خيارات الإجابة لتحديد أين ينظر. من خلال إجبار الذكاء الاصطناعي على التركيز على عرض نظيف وموسوم لهذين العنصرين فقط، يساعد SEER الذكاء الاصطناعي على اتخاذ قرار أفضل بكثير. وجد الباحثون أن طريقة "إعادة التركيز والوسم" البسيطة هذه جعلت الذكاء الاصطناعي أفضل بكثير في فهم العلاقات المكانية، حيث حسنت دقته بنحو 4% في المتوسط عبر اختبارات مختلفة.

المشكلة: "الضبابية العملاقة" للذكاء الاصطناعي

تخيل أنك في غرفة مزدحمة بالناس، وسألك أحدهم: "هل الشخص الذي يرتدي قبعة حمراء يقف على يسار الشخص الذي يرتدي قميصاً أزرق؟" إذا نظرت فقط إلى الغرفة بأكملها، فقد تخطئ. ربما ترى قبعة حمراء في أقصى اليسار وقميصاً أزرق في أقصى اليمين، لكن الأشخاص المعنيين بالسؤال يقفون في الواقع بجانب بعضهم البعض في المنتصف.

غالباً ما ترتكب نماذج الذكاء الاصطناعي الحالية نفس هذا الخطأ. يمكنها رؤية الأشياء، لكنها تضيع في "العرض العالمي" للصورة. قد تعتمد على ما "تعتقد" أنه يحدث عادة (مثل "القطط تكون عادة على اليسار") بدلاً من التحقق فعلياً من المواقع المحددة في الصورة. يُسمى هذا "هلوسة" أو "فشلاً في الربط" (failure to ground) بالإدلة البصرية الصحيحة. تجادل الورقة البحثية بأن المشكلة ليست في أن الذكاء الاصطناعي غبي جداً لدرجة عدم فهم "اليسار" أو "اليمين"، بل في أنه ينظر إلى الجزء الخطأ من الصورة أو يرتبك بسبب الكثير من الضجيج في الخلفية.

الحل: "المصباح اليدوي ذاتي الربط" لـ SEER

ابتكر مؤلفو هذه الورقة، الذين يعملون في معهد علوم الحاسوب في الصين، طريقة تسمى SEER (الاستدلال القائم على الأدلة ذاتي الربط للعلاقات بين الكيانات). إنها تشبه إعطاء الذكاء الاصطناعي مصباحاً يدوياً وأقلام تحديد، ولكن مع قاعدة صارمة للغاية: لا تنظر إلى مفتاح الإجابة بعد.

إليك كيف يعمل SEER، خطوة بخوتوة:

البحث "الأعمى": عندما يتلقى الذكاء الاصطناعي سؤالاً مثل "هل الكوب على يسار الكتاب؟"، يطلب SEER أولاً من الذكاء الاصطناعي العثور على الكوب والكتاب في الصورة. ومن الأهمية بمكان أنه يخفي الإجابات المحتملة (يسار، يمين، فوق، تحت) خلال هذا البحث. هذا يمنع الذكاء الاصطناعي من الاعتماد على كلمة "يسار" ثم العثور ببساطة على كوب على الجانب الأيسमान من الصورة، بغض النظر عن مكان الكتاب الفعلي.
عرض "التقريب": بمجرد أن يجد الذكاء الاصطناعي الكوب والكتاب، يقوم SEER بقص صورة صغيرة تحتوي على هذين العنصرين فقط. ويرسم صندوقاً أحمر حول الكوب (الموضوع) وصندوقاً أزرق حول الكتاب (الهدف)، ويسمهما بوضوح.
التحقق "المحدد الدور": الآن، ينظر الذكاء الاصطناعي إلى هذه الصورة النظيفة والمقربة. يرى: "حسناً، الصندوق الأحمر هو الكوب، والصندوق الأزرق هو الكتاب. الآن، هل الصندوق الأحمر على يسار الصندوق الأزرق؟". ولأن الخلفية قد اختفت والأدوار قد وُسمت، فمن غير المرجح أن يرتبك الذكاء الاصطناعي.
"التحقق المزدوج" (اختياري): في بعض الأحيان، قد يظل الذكاء الاصطناعي غير متأكد. يمتلك SEER خدعة ذكية تسمى "الاتساق التبادلي". يقوم بتبديل الأدوار: "حسناً، الآن افترض أن الكتاب هو الموضوع والكوب هو الهدف. هل الكتاب على يمين الكوب؟". إذا كانت إجابة الذكاء الاصطناي منطقية في كلا الاتجاهين (إذا كان أ على يسار ب، فإن ب يجب أن يكون على يمين أ)، فإنه يؤكد الإجابة. وإذا تعارضت الإجابات، فهو يعرف أن هناك خطأ ما ويحاول مرة أخرى.

ماذا أظهرت التجارب

اختبر الباحثون هذه الطريقة على عدة مجموعات بيانات مختلفة، وهي عبارة عن مجموعات ضخمة من أزواج الصور والأسئلة. استخدموا مجموعة اختبار "مجمدة"، مما يعني أنهم اختاروا أسئلة الاختبار قبل البدء في تشغيل التجارب، بحيث لا يمكنهم تعديل طريقتهم بالصدفة لحفظ الإجابات.

الفوز الكبير: في مجموعة اختبار تسمى GQA-Train900 (والتي تحتوي على 900 صورة فريدة)، حسن SEER دقة الذكاء الاصطناعي بنسبة +3.94% مقارنة بمجرد النظر إلى الصورة الكاملة. قد يبدو هذا صغيراً، ولكن في عالم معايير الذكاء الاصطناعي، فإن قفزة تقارب 4% هي أمر ضخم جداً. هذا يعني أن الذكاء الاصطناعي أجاب على ما يقرب من 40 سؤالاً إضافياً بشكل صحيح من بين كل 1000 سؤال.
نماذج مختلفة، نجاح واحد: جربوا هذا على أنواع مختلفة من عقول الذكاء الاصطناعي (مثل Qwen3 و InternVL3.5). تحسن كل واحد منها بلا استثناء. على سبيل المثال، في اختبار مختلف يسمى EmbSpatial، تحسن أحد النماذج بنسبة هائلة بلغت +11.79%.
لماذا نجح الأمر: أجرى الباحثون اختبارات خاصة لمعرفة لماذا نجح الأمر. وجدوا أن السحر لم يكن مجرد "التقريب" (قص الصورة). بل كان الوسوم (Labels). عندما قاموا بقص الصورة ولكن دون تسمية أي منهما هو الموضوع وأيهما هو الهدف، لم يتحسن الذكاء الاصطناعي بنفس القدر. كانت الوسوم الواضحة "الصندوق الأحمر = موضوع" و"الصندوق الأزرق = هدف" هي المفتاح. لقد أجبرت الذكاء الاصطناعي على الانتباه للأدوار المحددة للأشياء.
ما لم يقم بإصلاحه: الطريقة ليست مثالية. لقد واجهت بعض الصعوبة مع كلمة "على" (مثل "الكوب على الطاولة") لأن "على" يصعب تمييزها عن مجرد كونها "فوق" بدون عمق ثلاثي الأبعاد. كما لم تساعد كثيراً عندما كان على الذكاء الاصطناعي تخمين "صواب" أو "خطأ" في الأسئلة الثنائية، مما يشير إلى أن الخدعة تعمل بشكل أفضل عندما تكون هناك خيارات محددة للاختيار من بينها.

الخلاصة

يثبت SEER أنك لا تحتاج دائماً لبناء ذكاء اصطناعي أكبر أو أذكى أو أغلى ثمناً لحل مشكلة ما. أحياناً، تحتاج فقط إلى تغيير كيفية عرض المشكلة على الذكاء الاصطناعي. من خلال إخفاء خيارات الإجابة أثناء البحث، ثم تقديم عرض نظيف وموسوم للأشياء ذات الصلة فقط، يمكن للذكاء الاصطناعي أن يتوقف عن التخمين ويبدأ في الرؤية حقاً.

يؤكد المؤلفون بحذر أن هذه ليست عصا سحرية تحل كل المشكلات المكانية. لا يزال يتعين على الذكاء الاصطناعي أن يكون جيداً في العثور على الأشياء في المقام الأول. ولكن بمجرد العثد على الأشياء، يعمل SEER كدليل مساعد، يضمن أن ينظر الذكاء الاصطناعي إلى الشيء الصحيح بالطريقة الصحيحة. إنه تذكير بأنه في السباق نحو ذكاء اصطناعي أكثر ذكاءً، قد يكون أفضل تحديث هو واجهة أفضل.

ملخص تقني: SEER – واجهة أدلة ذاتية التوجيه لتصنيف العلاقات المكانية المنضبطة

بيان المشكلة

غالبًا ما تفشل نماذج الرؤية واللغة (VLMs) في الاستدلال على العلاقات المكانية، حتى عندما يمكنها التعرف بشكل صحيح على الكيانات الفردية. تُظهر الاختبارات المرجعية مثل VSR وWhat'sUp وGQA وARO أن النماذج غالبًا ما تتعرف على الأشياء لكنها تفشل في مقارنة مواقعها، معتمدةً بدلاً من ذلك على الأولويات اللغوية، أو الانتباه إلى الحالات الخاطئة، أو تفسير الرؤى العالمية الغامضة. إن نقاط التفتيش الحالية الموجهة نحو الاستدلال والنماذج متعددة الوسائط لا تضمن بطبيعتها اختيار الأدلة البصرية الصحيحة. تكمن المشكلة الجوهرية في أن الإجابة المكانية تكون موثوقة بقدر موثوقية المدخلات الأدلية؛ فإذا انتبه النموذج إلى حالة غير صحيحة أو افتقر إلى التكييف الصريح للأدوار، فإن أساس التنبؤ بالعلاقة يفسد قبل اتخاذ القرار.

المنهجية: SEER

إن SEER (الأدلة ذاتية التوجيه لاستدلال الكيان-العلاقة) هو واجهة أدلة تعمل في وقت الاستدلال وبدون تدريب، مصممة لنماذج الرؤية واللغة المجمدة. هي لا تقوم بتدريب نماذج جديدة أو تعتمد على كواشف خارجية. بدلاً من ذلك، تقوم ببناء حالات أدلة بصرية خاصة بالاستعلام لتوجيه عملية اتخاذ القرار في نموذج الرؤية واللغة. تعمل الطريقة عبر أربع مراحل:

1. التوجيه الذاتي المخفي للعلاقة-الهدف

يقوم SEER أولاً بتحديد موقع زوج (الموضوع $S$ والمفعول به $O$ ) باستخدام نموذج توجيه مجمد ( $G$ ). ومن الأهمية بمكان أن خطوة التوجيه هذه تكون مخفية عن العلاقة-الهدف: حيث يتلقى النموذج الصورة وأسماء الكيانات ولكنه يُحجب صراحةً عن العلاقات المرشحة وخيارات الإجابة. هذا يمنع الموجه من الانحياز في اختيار الصناديق نحو علاقة معينة.

التحقق من الصحة: يتم التحقق من الصناديق للتأكد من وجود مساحة إيجابية وإحداثيات صالحة. إذا فشل التوجيه، يلجأ النظام إلى الصورة الكاملة.

2. بناء حالات الأدلة المتكاملة

يولد SEER ثلاثة أنواع متميزة من الأدلة لنفس زوج الموضوع/المفعول به:

أدلة الصورة الكاملة: الصورة الأصلية والسؤال، مما يحافظ على السياق العالمي. وتعمل هذه كخيار احتياطي آمن.
عرض العلامة ذاتي التوجيه: عرض مقصوص يحتوي على اتحاد صناديق الإحاطة للموضوع والمفعول به. يتم تمييز الموضوع بصندوق أحمر يحمل العلامة "S"، والمفعول به بعلامة زرقاء تحمل "O". يوفر هذا الوضع إعادة تركيز محلية وتعيينًا صريحًا للأدوار، مما يجبر النموذج على الانتباه للزوج المحدد وأدواره اللغوية دون العلاقات المرشحة.
الهندسة المؤهلة للعتبة: مرشح حتمي مشتق من مراكز الصناديق وامتداداتها. يكون مؤهلاً فقط لعلاقات محددة (مثل يسار/يمين عبر الإزاحة الأفقية، داخل/يحتوي عبر تغطية الصندوق) ويمتنع عن غيرها (مثل أمام/خلف، فوق/تحت) حيث تكون الهندسة ثنائية الأبعاد غير كافية.

3. قرار الأدلة الخالي من التدريب

تجمع مرحلة القرار التنبؤات من الحالات المتاحة باستخدام قاعدة ثابتة وحتمية:

القرار الأمامي: إذا كانت الهندسة مؤهلة وكان درجات التخطيط الخاصة بها تتجاوز العتبة ( $\tau=0.5$ )، فإنها تأخذ الأولوية. خلاف ذلك، يختار النظام الحالة البصرية (الكاملة أو العلامة) ذات فجوة درجات الخيارات الأكبر (الفرق بين المرشح الأعلى والمرشح الثاني).
تحسين الاتساق المتبادل: بالنسبة للبروتوكولات التي تحتوي على علاقات عكسية دقيقة (مثل يسار $\leftrightarrow$ يمين)، يقوم SEER بإجراء فحص متبادل. حيث يقوم بتبديل أدوار الموضوع والمفعول به (والعلامات S/O) ويعيد تقييم الاستعلام. إذا كانت حالة واحدة فقط (الكاملة أو العلامة) تحترم العلاقة العكسية بينما لا تحترمها الأخرى، ينتقل النظام إلى الحالة المتسقة. يعمل هذا كآلية لحل النزاع فقط عندما توجد علاقة عكسية دقيقة.

المساهمات الرئيسية

واجهة أدلة خاصة بالاستعلام: يصيغ البحث الإجابة المكانية كمسألة واجهة أدلة، مقدمًا توجيهًا ذاتيًا مخفيًا للعلاقة-الهدف. هذا يحول الزوج المستعلم عنه إلى دليل بصري صريح الأدوار دون تدريب نموذج الرؤية واللغة أو كواشف خارجية.
تحسين الاتساق المتبادل: تحسين اختياري خاص بالبروتوكول يستخدم التبادل الدقيق للموضوع/المفعول به للحصول على إشارة اتساق ملحوظة للأدلة المتضاربة، دون الحاجة إلى معايرة متعلمة أو تسميات مستهدفة.
عزل الآلية: من خلال المقابلات المضادة المتطابقة (مثل القص بدون علامات، تبديل هويات S/O، استخدام صناديق الحقيقة المطلقة/Oracle)، يعزل المؤلفون إعادة التركيز المحلي والتكييف الصريح للأدوار كدوافع رئيسية للتحسن، بدلاً من مجرد القص البسيط أو تعليمات نصية إضافية.

النتائج التجريبية

تم تقييم SEER على مجموعات اختبار منفصلة عن الصور ومجمعات تطويرية عبر نماذج متعددة (Qwen3-Instruct/Thinking, Qwen2.5, R1-Onevision, InternVL3.5) وبيانات (GQA, Visual Genome, EmbSpatial, VSR, SpatialSense).

GQA-Train900 (اختبار مجمد): على مجموعة اختبار تضم 900 صورة فريدة مجمدة قبل التسجيل، حقق SEER مكسبًا مجمعًا قدره +3.94 فوق خط الأساس للصورة الكاملة (بفاصل ثقة 95% [2.17, 5.72]). ظل المكسب إيجابيًا تحت موازنة الهاش المستقلة عن التسمية (+2.56).
مجمعات التطوير (GQA/VG): عبر 41,544 تقييمًا، حسن SEER جميع تركيبات النماذج/البيانات الثمانية. كان المكسب المجمع +3.99 فوق الحالة الكاملة. ساهم تحسين الاتساق المتبادل بمقدار إضافي قدره +1.36 فوق القرار الأمامي.
EmbSpatial: على 2,343 سؤالًا من أسئلة العلاقة-الزوج المفلترة، حسن SEER نماذج Qwen3-Instruct وQwen3-Thinking وInternVL3.5 بمقدار +4.35 و +5.09 و +11.79 على التوالي.
تحليل الآلية:
- إعادة التركيز المحلي: الانتقال من الصورة الكاملة إلى العرض المقصوص (Crop) حقق مكسبًا قدره +1.25.
- تكييف الدور: إضافة علامات S/O الصريحة إلى القص (Self-Marker) حقق مكسبًا إضافيًا قدره +1.64.
- فجوة الحقيقة المطلقة (Oracle Gap): استخدام صناديق الحقيقة المطلقة (Oracle-Marker) قدم مكسبًا قدره +6.17 فوق Self-Marker، مما يشير إلى مساحة كبيرة للتحسن في جودة التوجيه.
- المتانة: استمرت المكاسب حتى عند إزالة علاقات "على" (on) الغامضة أو أسماء الكيانات المتكررة، رغم أن الأداء تباين حسب نوع العلاقة (مثل مكاسب قوية في "داخل"، ونتائج مختلطة في "يمين من").
القيود: لا تنتقل الطريقة بشكل موحد إلى أحكام الحقيقة الثنائية (مثل VSR, SpatialSense)، حيث يكون الاتساق المتبادل أقل فعالية. أداء الطريقة محدود بجودة التوجيه الذاتي؛ ورغم أن تقاطع IoU ليس مثاليًا، إلا أن المكاسب تستمر حتى مع انخفاض التداخل.

الأهمية والادعاءات

يدعي البحث أن بناء الأدلة الصريح هو التدخل الرئيسي لتحسين الاستدلال المكاني في نماذج الرؤية واللغة المجمدة. من خلال جعل المواقع والأدوار الخاصة بالاستعلام قابلة للفحص المشترك، يقلل SEER من حالات الفشل الناتجة عن الانتباه إلى المثال الخاطئ أو الاعتماد على الأولويات اللغوية.

الأدلة فوق الاستدلال: تشير النتائج إلى أن حتى نقاط التفتيش المتقدمة للاستدلال تستفيد بشكل كبير من واجهات الأدلة البصرية الأفضل، مما يؤكد أن "الإجابة المكانية تكون جيدة بقدر جودة أدلتها المدخلة".
كفاءة خالية من التدريب: يحقق SEER هذه المكاسب دون تدريب، باستخدام قاعدة ثابتة ونموذج رؤية ولغة مجمد. وبينما يتكبد تكلفة حوسبية (حوالي 7.12 ضعف درجة الصورة الكاملة الواحدة)، يشير المؤلفون إلى أن البوابة التكيفية يمكن أن تحتفظ بنحو 81% من المكسب بتكلفة 2.57 ضعفًا فقط.
التواضع: يصرح المؤلفون صراحةً بأن SEER هو واجهة أدلة، وليس شهادة على التوجيه الدقيق. التحسينات لا تعني استعادة مثالية للنماذج، وتظل الطريقة محدودة بوضوح العلاقات في المظهر المحلي والتخطيط ثنائي الأبعاد. يوصف تحسين الاتساق المتبادل بأنه "تحسين أصغر خاص بالبروتوكول" وليس حلاً عالميًا.

في الختام، يوضح SEER أن التحكم في حالة الأدلة البصرية — وتحديدًا من خلال التوجيه الذاتي المخفي للعلاقة-الهدف والتكييف الصريح للأدوار — يمكن أن يصلح بشكل كبير إخفاقات الاستدلال المكاني في نماذج الرؤية واللغة، مما يوفر بديلًا قويًا وخاليًا من التدريب لإعادة تدريب النماذج أو أدوات الكشف الخارجية.