DeepScan: A Training-Free Framework for Visually Grounded Reasoning in Large Vision-Language Models
يُعد DeepScan إطار عمل لا يتطلب تدريباً يعمل على تعزيز الاستدلال القائم على الرؤية في النماذج اللغوية البصرية الضخمة من خلال توظيف نهج من الأسفل إلى الأعلى يعتمد على المسح الهرمي، وإعادة التركيز، والاستدلال المعزز بالأدلة للتخفيف بفعالية من السياقات المشتتة وتحقيق أداء رائد عبر مختلف البنيات والمقاييس.
تخيل أنك تحاول العثور على تفصيل صغير ومحدد وسط حشد هائل وفوضوي في مهرجان موسيقي. ربما تحتاج للبحث عن صديق يرتدي قبعة حمراء ذات خط أزرق.
الطريقة القديمة (الذكاء الاصطناعي التقليدي): تعمل معظم نماذج الذكاء الاصطناعي الحالية مثل شخص يحدق في الحشد بأكمله من بعيد ويخمن: "أعتقد أن القبعة الحمراء هناك!". إنهم يحاولون رصد الكائن بأكرله في نظرة واحدة ضخمة.
المشكلة: إذا كان هناك 500 شخص يرتدون قبعات حمراء، أو إذا كانت الإضاءة سيئة، فسيصاب الذكاء الاصطناعي بالارتباك. قد يمسك بالشخص الخطأ، أو يتشتت بانتباهه ببالون أحمر، أو يستسلم ببساطة ويخمن عشوائياً. في الورقة البحثية، يسمون هذا "انحراف الانتباه" (attention drift) أو "بالوعة الانتباه" (attention sink) — حيث يلتصق تركيز الذكاء الاصطناعي بالشيء الخطأ.
الطريقة الجديدة (DeepScan): يقترح مؤلفو هذه الورقة، DeepScan، استراتيجية أكثر ذكاءً مستوحاة من كيفية حل البشر للألغاز فعلياً. بدلاً من التحديق في الحشد بأكمله، تقوم بتفكيك المشكلة.
إليك كيف يعمل DeepScan، باستخدام تشبيه بسيط:
1. "البحث الشبكي" (المسح الهرمي)
بدلاً من النظر إلى الصورة بأكملها دفعة واحدة، يقوم DeepScan بتقطيع الصورة إلى العديد من البلاطات الصغيرة والسهلة الإدارة (مثل لوحة السودوكو).
التشبيه: تخيل أنك محقق يبحث في مسرح جريمة. بدلاً من النظر إلى الغرفة بأكملها، تنظر إلى قدم مربعة واحدة في كل مرة.
الحيلة: في كل بلاطة صغيرة، يسأل الذكاء الاصطناعي: "هل يوجد هنا أي شيء يشبه الدليل؟". إنه يجد "تلميحاً" (مثل قطعة صغيرة من قماش أحمر).
سحر "من الأسفل إلى الأعلى": بمجرد العثور على تلميح، لا يكتفي بالتخمين الكلي للكائن. بل يقوم بعمل زووم (تكبير) فقط على ذلك التلميح للحصول على صورة واضحة. يكرر هذه العملية، فيجد الأدلة واحداً تلو الآخر، ثم يجمعها معاً. هذا يمنع الذكاء الاصطناعي من التشتت بالخلفية الصاخبة.
2. "التحقق المزدوج" (إعادة التركيز)
أحياناً، حتى بعد عمل الزووم، قد يكون الذكاء الاصطناعي ينظر إلى الشخص الخطأ أو تكون الزاوية غريبة.
التشبيه: تخيل أنك وجدت قبعة حمراء، لكنك لست متأكداً ما إذا كانت على صديقك أم على تمثال عرض (مانيكان). أنت تسأل خبيراً ثانياً ("خبير بصري") للتحقق مجدداً.
العملية: يعمل DeepScan من خلال جعل الذكاء الاصطناعي الرئيسي وأداة بصرية متخصصة يعملان معاً. يقولان: "حسناً، لقد وجدنا القبعة الحمراء. لنبتعد قليلاً لنرى السياق، أو نقترب أكثر لرؤية الخط الأزرق". يقومان بتعديل الرؤية حتى يتأكدا بنسبة 100% أنهما يمتلكان الدليل الصحيح.
الآن بعد أن وجد الذكاء الاصطناعي الأدلة وتحقق منها، فإنه لا يكتفي بإعطاء إجابة فقط.
التشبيه: قبل إعطاء الحكم النهائي، يكتب المحقق بالضبط ما رآه: "رأيت قبعة حمراء بخط أزرق على رجل بلحية".
النتيجة: يستخدم الذكاء الاصطناعي "دفتر الملاحظات" هذا المليء بالأدلة المتحقق منها للإجابة على السؤال. ولأن لديه الدليل، فلا يمكنه "الهلوسة" (اختلاق أشياء من العدم). إنه يعطي إجابة واثقة ودقيقة.
لماذا يعد هذا أمراً هاماً؟
لا يتطلب تدريباً: عادةً، لجعل الذكاء الاصطناعي أكثر ذكاءً، يجب عليك تغذيته بالملايين من الأمثلة الجديدة وإعادة تدريبه لأسابيع (مثل تعليم كلب حركات جديدة). DeepScan هو نظام "خالٍ من التدريب" (training-free). إنه يشبه إعطاء الذكاء الاصطناعي نظارة جديدة واستراتيجية أفضل، دون أن يتغير الذكاء الاصطناعي نفسه. يمكنك استخدامه مع أي نموذج ذكاء اصطناعي كبير موجود.
يعمل على التفاصيل الدقيقة: تُظهر الورقة أن DeepScan مذهل في العثور على الأشياء الصغيرة (مثل النص الموجود على قميص أو جسم صغير في منظر طبيعي واسع) التي تفوتها نماذج الذكاء الاصطناعي الأخرى.
سريع وغير مكلف: نظرًا لأنه لا يحتاج إلى إعادة تدريب، فمن السهل استخدامه الآن.
باخت-صيغة
DeepScan هو بمثابة ترقية للذكاء الاصطناعي من "مجرد مُخمّن" إلى "محقق منهجي".
الذكاء الاصطناعي القديم: "أعتقد أن الإجابة هي (س) لأن الصورة بأكملها تبدو مثل (س)". (غالباً ما يكون مخطئاً).
DeepScan: "دعني أمسح الصورة في أجزاء، وأجد الأدلة المحددة، وأتحقق منها، ثم أعطيك الإجابة بناءً على الدليل". (دقيق دائماً تقريباً).
تسمح هذه الطريقة للذكاء الاصطناعي برؤية العالم بنفس المنطق الدقيق والخطوة بخطوة الذي يستخدمه البشر عند حل لغز بصري صعب.
إليك ملخص تقني مفصل لورقة البحث بعنوان "DeepScan: إطار عمل خالٍ من التدريب للاستدلال القائم على التأسيس البصري في نماذج الرؤية واللغة الكبيرة".
1. بيان المشكلة
تعاني نماذج الرؤية واللغة الكبيرة (LVLMs) من صعوبة في الاستدلال القائم على التأسيس البصري (Visually Grounded Reasoning) في البيئات المعقدة، أو عالية الدقة، أو المليئة بالضجيج. تتبع الطرق الحالية المتطورة عادةً نموذج "من الأعلى إلى الأسفل، ومن الخشن إلى الناعم" (Top-down, Coarse-to-fine paradigm):
تحاول إجراء تحديد موضعي (Localization) بـ "دفعة واحدة" لمنطقة الأدلة بأكملها (على سبيل المثال، عبر مقترحات المناطق أو صناديق الكشف).
تقوم بتنقية هذه المنطقة للإجابة على السؤال.
قيود النهج الحالية:
هبوط أو انحراف الانتباه (Attention Sink/Drift): في السياقات المليئة بالضجيج، غالبًا ما تنجذب النماذج إلى كائنات متشابهة دلاليًا ولكنها غير ذات صلة، أو تتشتت بسبب سياق الصورة العالمي، مما يؤدي إلى تحديد موضعي خاطئ.
الأدلة غير المكتملة: إذا أخطأ التحديد الموضعي الأولي الخشن في رصد تفصيل دقيق أو إذا امتد عبر عدة قطع (Patches)، فإن عملية التنقية اللاحقة ستفشل في استعادة المعلومات المفقودة.
التكلفة العالية: الطرق التي تعتمد على التعلم التعزيزي (RL) أو الضبط الدقيق (Fine-tuning) مكلفة للتدريب ويصعب توسيع نطاقها عبر بنيات النماذج المختلفة.
2. المنهجية: DeepScan
DeepScan هو إطار عمل خالٍ من التدريب (Training-free framework) يحاكي سلوك البحث البصري البشري من خلال اعتماد نهج من الأسفل إلى الأعلى (Bottom-up approach). يتكون من ثلاث مراحل أساسية: المسح الهرمي (Hierarchical Scanning)، إعادة التركيز (Refocusing)، والاستدلال المعزز بالأدلة (Evidence-Enhanced Reasoning).
أ. المسح الهرمي (التحديد الموضعي من الأسفل إلى الأعلى)
بدلاً من البحث في الصورة بأكملها دفعة واحدة، يقوم DeepScan بتقسيم الصورة إلى قطع واستكشاف الإشارات المحلية لاستعادة الأدلة تدريجيًا.
استكشاف الإشارات المحلية:
يتم تقسيم الصورة إلى قطع (Patches).
يقوم خبير البحث (Search Expert) (مثل BLIP-ITM) بتوليد خريطة انتباه لكل قطعة بناءً على السؤال.
الوكلاء القائمون على النقاط (Point-based Proxies): بدلاً من صناديق الإحاطة، يحدد النظام "إشارات" (مكونات متصلة في خريطة الانتباه) ويختار نقطة داخلية (وكيل) لكل إشارة. يتم اختيار هذا الوكيل عن طريق تعظيم مزيج من درجة الانتباه والمسافة إلى الحدود (لتجنب عيوب الحواف).
استخراج الأدلة متعدد المقاييس:
يتم تغذية الوكلاء المختارين إلى خبير بصري (Visual Expert) (مثل LangSAM) لتوليد أقنعة التجزئة (Segmentation Masks).
المعالجة المورفولوجية اللاحقة: لإصلاح الثقوب أو الحدود غير المكتملة في الأقنعة، يطبق النظام عملية "الإغلاق المورفولوجي" (لسد الثقوب) و"التمدد" (لتوسيع السياق).
التسريع الاستدلالي: يقوم النظام بتصفية المناطق الكبيرة والواضحة (التي تستطيع نماذج LVLM رؤيتها بالفعل) ويركز على أصغر k من المناطق، حيث أن هذه الأهداف "الأقل بروزًا" غالبًا ما توفر أكبر مكاسب في الأداء.
الاستعادة التكرارية: يكرر النظام العمل عبر القطع، مع حجب الأدلة التي تم العثور عليها بالفعل لمنع التكرار، وبناء مجموعة من مرشحي الأدلة دقيقة التفاصيل.
ب. إعادة التركيز (تحسين السياق)
بمجرد تحديد الأدلة دقيقة التفاصيل، قد يكون السياق المحيط غير كافٍ (مقرب للغاية) أو مفرطًا (ضجيج زائد).
البحث التعاوني: يعامل DeepScan عرض الأدلة كحالة بحث. يستخدم النموذج (LVLM) والخبير البصري لتقييم العروض المرشحة.
فضاء العمليات (Action Space): يتم تحديد إجراءين:
التكبير (Zoom-In): تضييق العرض ليشمل اتحاد عمليات الكشف.
التصغير (Zoom-Out): توسيع العرض ليشمل المزيد من السياق.
استراتيجية البحث: على عكس عمليات البحث الشجري المعقدة (MCTS)، يستخدم DeepScan توسعاً بعمق مستويين (Depth-2 expansion) من عرض أولي. يختار ببراعة أصغر عرض يحتوي على جميع الأدلة الضرورية، موازنًا بين اكتمال المعلومات وكبح الضجيج.
ج. الاستدلال المعزز بالأدلة
ذاكرة الأدلة الهجينة: يقوم النظام بتجميع الأدلة دقيقة التفاصيل (من المسح الهرمي) والعرض الخشن المحسن (من إعادة التركيز) في هيكل ذاكرة واحد.
الاستدلال: يعالج نموذج LVLM هذا المطالبة (Prompt) متعددة المستويات (قائمة مرتبة من الصور) لتوليد الإجابة النهائية. يسمح هذا للنموذج بحل سمات الكائنات المحددة من التفاصيل الدقيقة بينما يستنتج العلاقات المكانية من السياق الأوسع.
3. المساهمات الرئيسية
إطار عمل DeepScan: خط إنتاج مبتكر خالٍ من التدريب يعزز بشكل كبير أداء LVLM دون الحاجة إلى ضبط دقيق أو تكاليف تكييف إضافية.
المسح الهرمي: يقدم نموذج تحديد موضعي من الأسفل إلى الأعلى باستخدام وكلاء قائمين على النقاط ومعالجة مورفولوجية لاقتناص الأدلة بدقة، مما يقلل بفعالية من انحراف الانتباه والسياقات المليئة بالضجيج.
آلية إعادة التركيز: نموذج بحث تعاوني يعيد معايرة عرض الأدلة ديناميكيًا، مما يضمن امتلاك LVLM للنافذة السياقية المثلى للاستدلال.
القابلية للتوسع والتعميم: يعمل الإطار بسلاسة عبر بنيات LVLM المختلفة (LLaVA, Qwen, InternVL) ويتوسع (من 7B إلى 72B)، مما يظهر تحسنات ثابتة.
4. النتائج التجريبية
تم تقييم DeepScan في عدة اختبارات مرجعية، بما في ذلك V Bench* (السمات دقيقة التفاصيل والاستدلال المكاني)، وHR-Bench (الإدراك عالي الدقة)، وTreeBench (الاستدلال المعقد).
الأداء على V Bench:*
عند دمجه مع Qwen2.5-VL-7B، حقق DeepScan دقة إجمالية بلغت 90.6%، بزيادة قدرها +16.3% عن النموذج الأصلي.
تفوق على النماذج القوية القائمة على التعلم التعزيزي (مثل DeepEyes وPixelReasoner) وعلى طرق أخرى خالية من التدريب (مثل DyFo وZoomRefine).
حتى أنه تفوق على النماذج العامة الأكبر (70B+) في مهام إدراكية محددة.
الأداء على TreeBench:
حقق نتائج تنافسية مقابل طرق RL المتطورة، محققًا تحسنًا قدره +5.5% في متوسط تقاطع الاتحاد (mIoU) الإجمالي مقارنة بنموذج Qwen2.5-VL-7B الأساسي.
دراسات الاستئصال (Ablation Studies):
أكدت أن المسح الهرمي هو المحرك الرئيسي للأداء.
أظهرت أن إعادة التركيز تضيف مكاسب إضافية مع حد أدنى من زمن التأخير.
أثبتت أن الطريقة قوية تجاه حجم الخبراء الخارجيين المستخدمين.
الكفاءة:
رغم أنه أبطأ قليلاً من طرق "الدفعة الواحدة" بسبب العملية التكرارية، إلا أن DeepScan أكثر كفاءة بكثير من وكلاء التعلم التعزيزي متعددي الخطوات.
قللت التحسينات الهندسية (التعامل مع الدفعات، وbackend vLLM) من زمن التأخير، مما يجعله قابلاً للتطبيق في الواقع العملي.
5. الأهمية والأثر
تحول في النموذج (Paradigm Shift): يتحدى DeepScan النموذج السائد "من الخشن إلى الناعم" في نماذج LVLM، ويثبت أن النهج القائم على الإشارات من الأسفل إلى الأعلى هو الأفضل للتعامل مع المهام البصرية عالية الدقة والمليئة بالضجيج ودقيقة التفاصيل.
سهولة الوصول: كحل خالٍ من التدريب، فإنه يجعل الاستدلال البصري المتقدم متاحًا للجميع. يمكن للباحثين والمطورين دمجه في نماذج LVLM الحالية لتعزيز الأداء فورًا دون التكلفة الحسابية الهائلة لإعادة التدريب أو التعلم التعزيزي.
القابلية للتفسير: من خلال تحديد وعرض الأدلة المستخدمة في الاستدلال بشكل صريح، يقلل DeepScan من الهلوسة ويوفر إجابات قابلة للتفسير، وهو أمر بالغ الأهمية في التطبيقات الحساسة للسلامة (مثل القيادة الذاتية أو التصوير الطبي).
الاتجاه المستقبلي: تشير الورقة إلى أن "توسيع الحوسبة" عبر المسح الحتمي والدفعات أكثر فعالية للاستدلال البصري من أشجار البحث الاستدلالية أو استكشاف التعلم التعزيزي.
باختصار، يوفر DeepScan إطار عمل قويًا وقابلًا للتوسع وفعالًا، يسد الفجوة بين استراتيجيات البحث البصري الشبيهة بالبشر وقدرات نماذج الرؤية واللغة الكبيرة الحالية.