💻 computer science

From Web to Pixels: Bringing Agentic Search into Visual Perception

تقدم هذه الورقة البحثية "Perception Deep Research"، وهو تحدٍ جديد للإدراك البصري في العالم المفتوح حيث يجب تحديد الأشياء عبر المعرفة الخارجية قبل التوطين، وتعالج هذا التحدي من خلال معيار WebEye وإطار العمل الوكيل Pixel-Searcher، الذي يُظهر أداءً رائدًا مفتوح المصدر في عمليات التوطين القائمة على البحث، والتجزئة، والأسئلة والأجوبة البصرية (VQA).

المؤلفون الأصليون: Bokang Yang, Xinyi Sun, Kaituo Feng, Xingping Dong, Dongming Wu, Xiangyu Yue

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bokang Yang, Xinyi Sun, Kaituo Feng, Xingping Dong, Dongming Wu, Xiangyu Yue

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تلعب لعبة "أين والدو؟" (أو "أين والي؟")، ولكن مع لمسة مختلفة.

في اللعبة الكلاسيكية، تبحث في صورة مزدحمة لتجد "والدو" بناءً على مظهره: قميص مخطط باللونين الأحمر والأبيض، وقبعة، ونظارات. لست بحاجة لمعرفة من هو والدو؛ ما عليك سوى رصد النمط البصري.

تجادل هذه الورقة البحثية بأن معظم أنظمة الرؤية الحاسوبية الحالية عالقة في لعب هذه اللعبة الكلاسيكية. فهي بارعة في العث Find أشياء تبدو مثل "سيارة حمراء" أو "شخص يرتدي قميصاً أزرق". لكنها تواجه صعوبة عندما لا يكون السؤال عما يبدو عليه الشيء، بل عن من يكون بناءً على حقائق لا يمكنك رؤيتها في الصورة.

التحدي الجديد: "الضيف الغامض"

قدم المؤلفون نسخة جديدة وأصعب من اللعبة تسمى البحث العميق بالإدراك (Perception Deep Research).

تخيل صورة لحفلة مزدحمة. السؤال ليس "جد الشخص الذي يرتدي قميصاً أحمر". بد instead، السؤال هو:

"جد الشخص الذي أصبح سفيراً عالمياً لعلامة تجارية للعناية بالبشرة في يناير 2026، بعد أن استحوذت شركة على تلك العلامة التجارية مقابل 2.7 مليار دولار."

لا يمكنك حل هذا بمجرد النظر إلى الصورة. فالصورة لا تُظهر سعر الاستحواذ أو تاريخ إعلان السفراء. للعثور على الشخص الصحيح، يجب على الذكاء الاصطناعي القيام بما يلي:

القيام برحلة بحث عبر الويب: البحث في الإنترنت لمعرفة أي علامة تجارية تم شراؤها، وفي أي شهر، ومن هو السفير.
حل اللغز: إدراك أن: "آه، الشخص المسمى 'وينتر' في الصورة هو الشخص الذي نبحث عنه".
الإشارة إلى البكسل: أخيراً، العودة إلى الصورة ورسم مربع حول "وينتر".

تطلق الورقة على هذه العملية اسم "من الويب إلى البكسلات" (From Web to Pixels). إنها تتعلق بربط حقائق الإنترنت بنقاط محددة في صورة ما.

الأدوات التي بنوها

لاختبار قدرة الذكاء الاصطناعي على فعل ذلك، بنى الفريق شيئين رئيسيين:

1. WebEyes (مسار الاختبار)
اعتبر هذا المسار بمثابة مسار عقبات متخصص للذكاء الاصطناعي. يحتوي على 120 صورة معقدة ومئات الأسئلة المخادعة.

اللمسة المختلفة: كل سؤال يتطلب من الذكاء الاصطناعي البحث عن حقائق مخفية (مثل دور مشهور حديث، أو تاريخ إطلاق منتج، أو خلفية درامية لشخصية ما) قبل أن يتمكن حتى من تخمين مكان البحث في الصورة.
الهدف: يجب ألا يكتفي الذككاء الاصطناعي بالإجابة على السؤال فحسب؛ بل يجب عليه الإشارة إلى الشخص أو الشيء المحدد في الصورة الذي يطابق الإجابة.

2. Pixel-Searcher (المحقق الذكي)
هذا هو وكيل الذكاء الاصطناعي الجديد الذي ابتكره المؤلفون لخوض الاختبار. بدلاً من مجرد التحديق في الصورة والتخمين، يعمل Pixel-Searcher كالمحقق الذي يحمل عدسة مكبرة وجهاز كمبيوتر محمول.

الخطوة 1: البحث. يقوم بتفكيك السؤال. "من كان السفير؟" "متى حدثت الصفقة؟" يبحث في الويب ويقرأ النتائج.
الخطوة 2: الاستنتاج. يربط النقاط ببعضها. "حسناً، الصفقة تمت في يناير، والسفير هو وينتر".
الخطوة 3: المطاردة. يعود إلى الصورة. يبحث عن شخص يشبه "وينتر" (ربما من خلال التحقق من ملابس معينة أو ملامح ذُكرت في عملية البحث) ويرسم مربعاً حوله.

ماذا وجدوا؟

اختبر الباحثون Pixel-Searcher مقابل نماذج ذكاء اصطناعي ذكية أخرى. وإليكم النتيجة:

نماذج الذكاء الاصطناعي القديمة: عندما واجهت هذه الأسئلة من نوع "الضيف الغامض"، ارتبكت نماذج الذكاء الاصطناعي القياسية. حاولت التخمين بناءً على ما رأته فقط في الصورة أو ما كانت "تعرفه" مسبقاً من تدريبها. وغالباً ما اختارت الشخص الخطأ لأنها لم تستطع العثور على الحقائق المخفية.
Pixel-Searcher: حقق هذا الوكيل الجديد أفضل أداء بين النماذج مفتوحة المصدر. فمن خلال البحث الفعلي في الويب والاستنتاج عبر الأدلة، نجح في العثور على الأهداف الصحيحة في كثير من الأحيان.

أين لا يزال يواجه صعوبات:
تشير الورقة إلى أن الذكاء الاصطناعي لا يفشل لأنه لا يستطيع رسم مربع مثالي حول الشخص. بل يفشل في مرحلة أبكر في العملية:

البحث السيئ: قد يبحث عن الشيء الخطأ أو يفتقد حقيقة رئيسية.
الهوية الخاطئة: يستنتج الحقائق الصحيحة ولكنه يختار الشخص الخطأ في الصورة (على سبيل المثال، يعرف أن السفير هو "وينتر"، لكنه يشير إلى الشخص الخطأ المسمى "وينتر").
الربط (Binding): يواجه صعوبة في ربط "الحقيقة" (وينتر) بـ "الجانب البصري" (الشخص في الصورة).

الصورة الكبيرة

تخلص الورقة إلى أنه لكي يفهم الذكاء الاصطناعي العالم حقاً، لا يمكنه أن يكون مجرد "كاميرا" ترى الأشكال. بل يجب أن يكون "باحثاً" يمكنه البحث عن المعلومات، وحل الألغاز، ثم استخدام تلك المعرفة للإشارة إلى الشيء الصحيح في صورة ما. إنهم يطلقون على هذا المجال الجديد اسم "البحث العميق بالإدراك" (Perception Deep Research)، وقد وفروا الأدوات (WebEyes و Pixel-Searcher) لمساعدة العلماء الآخرين على بناء أجهزة ذكاء اصطناعي "تحقيقية" أفضل.

ملخص تقني: من الويب إلى البكسلات: جلب البحث الوكيل إلى الإدراك البصري

1. تعريف المشكلة: البحث العميق للإدراك

تحدد الورقة فجوة حرجة في أنظمة الإدراك البصري الحالية. فبينما تقدمت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) من مجرد التعرف على الفئات المرئية إلى تحديد الأهداف الضمنية بناءً على المعرفة الداخلية، إلا أنها تعاني في البيئات المفتوحة (open-world settings). في هذه السيناريوهات، يكون الكائن المستهدف مرئيًا في الصورة، ولكن الدليل الحاسم المطلوب لتحديده يقع خارج الصورة ويتجاوز المعرفة البارامترية المجمدة للنموذج.

يصيغ المؤلفون هذا التحدي تحت مسمى البحث العميق للإدراك (Perception Deep Research). وخلافًا لمهام فهم التعبيرات المرجعية أو التجزئة الاستنتاجية القياسية حيث تكون الأدلة بصرية أو داخلية، تتطلب هذه البيئة من النموذج أن يقوم بـ:

حل هوية الهدف من خلال حقائق خارجية (مثل الأحداث الأخيرة، الكيانات طويلة الذيل، العلاقات متعددة الخطوات، أو الانتماءات للمبدعين).
ربط هذه الهوية التي تم حلها بـ مثال بصري ملموس (صندوق، قناع، أو إجابة على مستوى المنطقة) داخل الصورة.

يكمن الصعوبة الجوهرية في اقتران خطوتين: تحويل الأدلة الحقائقية غير المباشرة إلى فرضية هدف صريحة، ثم التحقق من أن هذه الفرضية متوافقة مع المنطقة البصرية المرصودة، وتمييزها عن المشتتات أو الأشياء المتشابهة بصريًا.

2. المنهجية

2.1 معيار WebEyes

لقياس التقدم في هذا المجال، قدم المؤلفون WebEyes، وهو معيار مرتبط بالكائنات مصمم بأدلة قابلة للتحقق وتوصيفات دقيقة.

البناء: يتبع نظام مجموعة البيانات سير عمل "الأولوية للكائن" (object-first). يقوم الموثقون باختيار صور تحتوي على مثيلات متعددة، وتحديد الكائنات الأمامية، ثم يستخدمون "وكيلًا" (agent) لإجراء عمليات بحث متسلسلة عبر الويب لجمع الأدلة (الأدوار، تواريخ الإصدار، الانتماءات للعلامات التجارية) قبل إنشاء استعلامات كثيفة المعرفة.
الحجم: يتكون من 120 صورة، و473 مثيل كائن موثق، و645 زوجًا فريدًا من الأسئلة والأجوبة، مما ينتج عنه 1,927 عينة مهمة.
رؤى المهام: يقيم WebEyes ثلاث مهام متكاملة:
1. التوطين القائم على البحث (Search-based Grounding): التنبؤ بصندوق محيط (bounding box) من استعلام يتطلب معرفة خارجية.
2. التجزئة القائمة على البحث (Search-based Segmentation): التنبؤ بقناع على مستوى البكسل.
3. الإجابة على الأسئلة البصرية (VQA) القائمة على البحث: اختيار الوصف الصحيح الغني بالمعرفة لمنطقة محددة.
ضبط الجودة: يتضمن خط العمل تصفية آلية لإزالة "الاختصارات" (الأسئلة التي يمكن حلها بالمعرفة المغلقة أو الرؤية وحدها) والتحقق اليدوي لضمان صحة الأدلة وتفرد الهدف.

2.2 Pixel-Searcher: سير عمل من البحث إلى البكسل بنظام الوكيل

يقترح المؤلفون Pixel-Searcher، وهو سير عمل مرجعي يفكك المهمة إلى حلقة وكيلة بدلاً من التنبؤ المباشر من النهاية إلى النهاية. ويعمل في مرحلتين:

البحث الوكيل وحل الهوية:
- يحلل الوكيل الاستعلام ويفككه إلى أهداف فرعية قابلة للبحث.
  ما يدخل في حلقة البحث والاستنتاج (Search-Reason loop)، حيث يتناوب بين استرجاع الأدلة الخارجية (عبر أدوات البحث)، والاستنتاج بناءً على الحقائق المتراكمة، وحل فرضية مهيكلة $h = \{e, c, K\}$ ، حيث $e$ هو اسم الكيان، و $c$ هو الفئة البصرية، و $K$ تمثل الإشارات القابلة للتحقق منها في الصورة.
- يتحقق الوكيل من أن الكيان الذي تم حله ليس مجرد دليل وسيط بل هو الهدف المرئي النهائي.
التوطين الوكيل واستخدام الأدوات:
- باستخدام الفرضية المحلولة $h$ ، يوجه الوكيل أدوات التوطيد البصري.
- للتوطيد/التجزئة: يحدد المناطق المرشحة، ويتحقق منها مقابل الأدلة المحلولة، ويستدعي أداة تجزئة قابلة للتحفيز (SAM3) لتحسين القناع.
- لـ VQA: يعكس العملية، حيث يحلل كل خيار إجابة إلى إشارات واعية بالأدلة ويختار الخيار الذي يتوافق بشكل أفضل مع المنطقة البصرية الموطدة.

3. المساهمات الرئيسية

تقدم الورقة ثلاث مساهمات أساسية:

البحث العميق للإدراك: صياغة جديدة للإدراك البصري في العالم المفتوح حيث يجب على النماذج البحث بنشاط عن أدلة خارجية لحل الهويات المخفية قبل توطيدها.
معيار WebEyes: مجموعة بيانات تتميز بأدلة خارجية قابلة للتحقق، واستعلامات كثيفة المعرفة، وتوصيفات دقيقة عبر رؤى التوطيد والتجزئة وVQA، المصممة خصيصًا لاختبار القدرة على تحويل معرفة الويب إلى مخرجات على مستوى البكسل.
Pixel-Searcher: سير عمل وكيل يوضح فعالية الاستنتاج من البحث إلى البكسل. يقدم المؤلفون تجارب تشخيصية تكشف أن اختناقات الأداء تكمن أساسًا في اكتساب الأدلة، وحل الهوية، وتوطيد المثيل البصري، وليس في خطوة تحسين القناع النهائية.

4. النتائج التجريبية

أُجريت التجارب على WebEyes باستخدام نماذج مفتوحة ومغلقة المصدر متنوعة دون ضبط دقيق خاص بالمهمة.

الأداء: يحقق Pixel-Searcher أقوى أداء بين جميع الطرق مفتوحة المصدر عبر رؤى المهام الثلاث.
- في التوطيد القائم على البحث، حسن من IoU للنموذج الأساسي Qwen3-VL-8B من 26.81% إلى 34.17% ومن Recall@0.5 من 32.61% إلى 41.30%.
- في التجزئة القائمة على البحث، حسن من gIoU من 35.78% إلى 39.17% ومن cIoU من 25.94% إلى 32.41%.
- في VQA القائم على البحث، حقق دقة 42.24%، متفوقًا على النماذج الأخرى مفتوحة المصدر.
المقارنة: بينما يتصدر Pixel-Searcher الطرق مفتوحة المصدر، لا تزال هناك فجوة في الأداء مقارنة بالنماذج رفيعة المستوى مغلقة المصدر (مثل Doubao-Seed وGemini)، مما يشير إلى أن اختيار الأدلة وحل الكيانات يظلان تحديًا حتى بالنسبة للوكلاء المتقدمين.
دراسة الاستئصال وتحليل الفشل:
- أدى إزالة إشارات التوطيد المباشرة إلى أكبر انخفاض في الأداء.
- أنماط الفشل: حدثت حوالي 78% من حالات الفشل (304 من أصل 389) في مرحلة البحث/حل الهوية (تحديد الكيان بشكل غير صحيح أو تخطيط البحث). نسبة صغيرة فقط (10 حالات) كانت بسبب أخطاء نقل الصندوق إلى القناع. وهذا يؤكد أن الاختناق الرئيسي هو تحديد الكيان الصحيح وليس تحسين الحدود البصرية.

5. الأهمية والادعاءات

تزعم الورقة أن WebEyes يوفر البنية التحتية اللازمة لتقييم وتطوير "البحث العميق للإدراك"، مما ينقل الإدراك البصري من تحليل الصور الثابتة إلى التفاعل الديناميكي القائم على المعرفة.

تكمن أهمية Pixel-Searcher في إثبات أن البحث الوكيل هو آلية حيوية وضرورية للإدراك البصري في العالم المفتوح. يجادل المؤلفون بأنه بالنسبة للمهام التي تختبئ هوية الهدف خلف حقائق خارجية، فإن الاعتماد فقط على السمات البصرية أو المعرفة المجمدة للنموذج ليس كافيًا. يثبت سير العمل أن حل "من" (الهوية) قبل تحديد "أين" (الموقع) أمر بالغ الأهمية، وأن حالات الفشل في هذا المجال هي في الغالب دلالية (أخطاء البحث/الاستنتاج) وليست هندسية (أخطاء تحسين القناع).

تخلص الورقة إلى أن هذا الاتجاه يتطلب من النماذج البحث بنشاط عن أدلة خارجية والتحقق من الهويات مقابل المثيلات البصرية، مما يقدم نقطة انطلاق بسيطة وفعالة لدراسة كيفية جسر الفجوة بين معرفة الويب والإدراك على مستوى البكسل عبر البحث الوكيل.