🤖 AI

FOCUS: Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization

تقدم هذه الورقة البحثية FOCUS، وهو إطار تدريب ثنائي المراحل يجمع بين قيود الدعم البصري وتحسين السياسة النسبي للمجموعات (GRPO) لتحقيق تحديد موضعي للأجسام داخل السياق بشكل قوي ومستقل عن الفئة دون إشراف صريح، مما يمكّن نموذجاً بـ 7 مليارات معلمة من التفوق بشكل ملحوظ على نماذج أكبر تصل إلى 72 مليار معلمة.

المؤلفون الأصليون: Mohammed Asad Karim, Vinay Kumar Verma

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mohammed Asad Karim, Vinay Kumar Verma

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقاً ذكياً جداً في قراءة الكتب، لكنه سيء للغاية في العثور على الأشياء في غرفة فوضوية. إذا سألته: "ابحث عن الكوب الأحمر"، فقد يبحث عن أي كوب أحمر لأنه يعرف ما هو "الكوب". ولكن ماذا لو قلت له: "ابحث عن ذلك الكوب الأحمر المحدد الذي به خدش على حافته، تماماً مثل الذي في هذه الصورة"؟ قد يظل الصديق الذكي المعتاد مرتبكاً وقد يمسك بكوباً أحمر آخر لأنه يعتمد على معرفته العامة بـ "الأكواب" بدلاً من التركيز على التفاصيل البصرية المحددة التي أعطيته إياها.

تقدم هذه الورقة البحثية طريقة جديدة لتعليم نماذج الرؤية الحاسوبية (الذكاء الاصطناعي الذي يرى ويفهم الصور) القيام بذلك بالضبط: العثور على جسم محدد بناءً على أمثلة بصرية فقط، دون الاعتماد على اسمه أو فئته.

إليك تفصيل نهجهم، FOCUS، باستخدام تشبيهات بسيطة:

المشكلة: عُقدة "بطاقة الاسم"

نماذج الذكاء الاصطناعي الحالية تشبه الطلاب الذين يتم تعليمهم حل المسائل الرياضية عبر حفظ أسماء الأرقام بدلاً من فهم المنطق.

المشكلة: عندما تحاول هذه النماذج العثور على جسم في صورة جديدة، فإنها غالباً ما تتجاهل التفاصيل البصرية المحددة (مثل الشكل، أو الموقع، أو الخدوش الفريدة) وبدلاً من ذلك تخمن بناءً على اسم الجسم (على سبيلך: "إنه كلب، لذا لا بد أن يبدو ككلب نموذجي").
النتيجة: إذا أريتهم صورة لكلب يرتدي قبعة وسألتهم أن يجدوا "ذلك الكلب تحديداً" وسط حشد من الكلاب الأخرى، فقد يختارون الكلب الخطأ لأنهم يفكرون في "الكلاب" بشكل عام، وليس في ذلك الكلب بعينه.

الحل: FOCUS (فرض التوطين الموضوعي داخل السياق)

ابتكر المؤلفون طريقة تدريب من خطوتين لإجبار الذكاء الاصطناعي على التوقف عن التخمين بناءً على الأسماء والبدء في البحث بناءً على الأدلة البصرية.

الخطوة 1: تدريب "تسليط الضوء" (تحسين الانتباه)

تخيل أنك تعلم طفلاً كيف يجد لعبة مخبأة. بدلاً من قول "ابحث عن الدب"، تشير إلى صورة اللعبة وتقول: "انظر هنا تماماً".

ما فعلوه: قاموا بإزالة جميع التسميات النصية (مثل "قطة"، "سيارة"، "كلب") من عملية التدريب. يرى الذكاء الاصطناعي فقط سلسلة من الصور: بعضها يحتوي على مربع مرسوم حول الجسم المستهدف، وصورة نهائية حيث يتعين عليه تخمين مكان نفس هذا الجسم.
الحيلة: أضافوا قاعدة خاصة (دالة خسارة/loss function) تعمل مثل "كشاف الضوء". إذا نظرت "عيون" الذكاء الاصطناعي الداخلية (الانتباه) إلى الجزء الخطأ من الصورة أو تجاهلت المربع الموجود في الصورة المثال، فإن النظام يعطيه "إشارة سلبية". هذا يجبر الذكاء الاصطناعي على التعلم: "يجب أن أنظر إلى الشكل والموقع المحدد الموضح في المثال، وليس مجرد التخمين بناءً على ما أعتقده عن اسم هذا الشيء".

الخطوة 2: "صافرة المدرب" (التعلم المعزز باستخدام GRPO)

بمجرد أن يعرف الذكاء الاصطناعي أين ينظر، فإنه لا يزال بحاجة إلى الدقة. تخيل مدرباً يراقب رياضياً يتدرب على رمي الكرة.

ما فعلوه: استخدموا تقنية تسمى تحسين السياسة النسبية للمجموعات (GRPO). فكر في الأمر كمدرب لا يكتفي بقول "عمل جيد" أو "عمل سيء"، بل يطلب من الرياضي تجربة الرمية خمس مرات مختلفة.
المقارنة: يقارن المدرب بين الرميات الخمس. إذا كانت إحدى الرميات أفضل قليلاً من غيرها، يقول المدرب: "افعل ذلك أكثر". وإذا كانت إحداها أسوأ، يقول: "توقف عن فعل ذلك".
المكافأة: يحصل الذكاء الاصطناعي على "درجة" بناءً على مدى مطابقة المربع الذي رسمه مع الجسم الحقيقي (باستخدام مقياس يسمى IoU، وهو يشبه قياس مدى تداخل شكلين). من خلال مقارنة محاولاته باستمرار واختيار الأفضل منها، يتعلم الذكاء الاصطناعي رسم المربع بدقة متناهية.

النتائج: عقل صغير، انتصارات كبيرة

الجزء الأكثر إثارة للدهشة في الورقة هو حجم النموذج الذي استخدموه.

قاموا بتدريب نموذج يحتوي على 7 مليارات معلمة (parameters) (فكر في هذا كعقل صغير ولكنه ذكي جداً).
قارنوه بنماذج ضخمة تحتوي على 72 مليار معلمة (عقول عملاقة).
النتيجة: تفوق نموذجهم الصغير المدرب خصيصاً على النماذج العملاقة. لقد أثبتوا أن تعليم الذكاء الاصطناعي كيف ينظر (الاستراتيجية) أهم من مجرد جعل الذكاء الاصطناعي أكبر (التوسع).

لماذا هذا مهم (وفقاً للورقة البحثية)

تزعم الورقة أن هذه الطريقة ضرورية في حالات مثل:

الأجسام التي ليس لها أسماء: مثل العثود على صخرة غريبة الشكل أو أداة مصنعة خصيصاً لا تندرج تحت الفئات القياسية.
عندما تحتاج للعثيد "ذلك الشيء" المحدد: مثل تعديل صورة لإزالة ذلك الشخص المحدد الذي أشرت إليه، وليس كل من يشبهه.
البحث الشخصي: العثور على "كوبي الأزرق الخاص بي" وسط مجموعة من الأكواب الزرقاء الأخرى.

باختصار، تعلم الورقة الذكاء الاصطناعي التوقف عن الاعتماد على "قاموسه" والبدء في الاعتماد على "عينيه"، مما يسمح له بالعثور على أشياء محددة في حشد من الأشياء بمجرد النظر إلى صورة مرجعية، حتى لو لم يسبق له رؤية ذلك الجسم المحدد من قبل.

ملخص تقني: FOCUS – فرض التوطين السياقي للكائنات من خلال قيود الدعم البصري وتحسين السياسة

1. تعريف المشكلة والدوافع

التوطين السياقي للكائنات (ICOL) هو مهمة تحديد وتوطين كائن مستهدف محدد في صورة استعلام بناءً فقط على مجموعة صغيرة من الأمثلة البصرية الداعمة (صور مع صناديق إحاطة) يتم توفيرها وقت الاستدلال، دون أي تحديث للمعلمات أو تدريب على الكائن المستهدف المحدد.

على الرغم من التقدم الكبير في نماذج الرؤية واللغة (VLMs)، إلا أنها تعاني في مهام ICOL في الإعدادات الواقعية غير المرتبطة بفئة محددة. تعتمد الطرق الحالية، مثل IPLoc، غالبًا على الأولويات الدلالية (مثل أسماء الفئات أو التسميات الوهمية) بدلاً من الأدلة البصرية الصرفة. يؤدي هذا إلى نمطين حرجين من الفشل:

التحيز للفئة (Category Bias): تميل النماذج إلى توطين النسخة الأكثر نموذجية أو بروزًا بصريًا من الفئة بدلاً من النسخة المحددة التي يحددها المثال الداعم (على سبيل المثال، توطين أي "وعاء" بدلاً من "الوعاء" المحدد الموضح في المثال الداعم).
الربط البصري الضعيف (Weak Visual Grounding): غالبًا ما توزع آليات الانتباه في النماذج الحالية التركيز بشكل مشتت عبر صورة الاستعلام أو تعتمد بشدة على رموز الفئات (category tokens)، فاشلة في التركيز على الإشارات الهندسية والمكانية التي توفرها صناديق الإحاطة الداعمة.

يجادل البحث بأنه لتطبيقات مثل البحث البصري الشخصي وتحرير الصور الخاص بالنسخ، يجب على النماذج استنتاج الهدف بناءً على التطابق البصري والاستدلال المكاني وحدهما، مع الفصل التام عن تسميات الفئات النصية.

2. المنهجية: إطار عمل FOCUS

يقترح المؤلفون FOCUS، وهو إطار عمل تدريبي يتكون من مرحلتين مصمم لفرض الربط البصري وإزالة التحيز للفئة. يعمل النهج على فرضية مستقلة عن الفئة: يتلقى النموذج مدخلات بصرية فقط (الصور الداعمة وصناديق الإحاطة الخاصة بها) وصورة الاستعلام، دون وجود أسماء فئات في المطالبة (prompt).

المرحلة 1: تحسين صندوق الإحاطة القائم على الانتباه (الضبط الدقيق الخاضع للإشراف)

تعالج المرحلة الأولى مشكلة "الانتباه الضعيف" من خلال تحسين خرائط الانتباه الكامنة للنموذج صراحةً لإعطاء الأولوية للتوسيمات المكانية.

تحديد المطالبة (Prompt Specification): المدخل هو تسلسل متداخل من تعليمات باللغة الطبيعية، وصور داعمة مع صناديق الإحاطة الخاصة بها (المسلسلة كرموز نصية)، وصورة الاستعلام. ومن الأهمية بمكان عدم تضمين أسماء الفئات.
فقدان الانتباه ( $L_{bbox}$ ): يقدم المؤلفون دالة فقدان تجبر أوزان الانتباه من رموز صورة الاستعلام على التركيز على رموز توسيم صناديق الإحاطة (BBOX tokens) الخاصة بالصور الداعمة.
- يميز قناع ثنائي بين رموز BBOX والرموز غير التابعة لـ BBOX.
- تقلل دالة الفقد من حد أدنى يعتمد على الهامش (margin-based hinge loss)، مما يشجع النموذج على تخصيص كتلة انتباه أكبر لرموز BBOX ( $p^+$ ) مقارنة بغير رموز BBOX ( $p^-$ ).
- يضمن ذلك أن يتعلم النموذج "النظر" إلى القيود الهندسية المقدمة من الأمثلة الداعمة بدلاً من الاعتماد على الاختصارات الدلالية.
التنفيذ: تستخدم هذه المرحلة الضبط الدقيق الخاضع للإشراف (SFT) مع تقنية LoRA (التكيف منخفض الرتبة) على نموذج لغوي بصري أساسي (مثل Qwen2-VL-7B).

المرحلة 2: التعلم المعزز باستخدام تحسين السياسة النسبي للمجموعة (GRPO)

تعمل المرحلة الثانية على تحسين دقة صناديخ الإحاطة المتوقعة.

الهدف: تقليل خطأ التوطين (IoU) وضمان الصحة النحوية للمخرجات.
دالة المكافأة (Reward Function): تُستخدم مكافأة مركبة $R$ $R$ :
1. مكافأة IoU ( $r_{iou}$ ): هي تقاطع الاتحاد (Intersection-over-Union) بين الصندوق المتوقع والحقيقة الأرضية (ground truth).
2. مكافأة التنسيق ( $r_{fmt}$ ): مكافأة ثنائية تضمن اتباع المخرجات للتنسيق المطلوب (مثل <answer>[x_min, y_min, x_max, y_max]</answer>).
التحسين: يتم استخدام GRPO لتحديث السياسة. بخلاف PPO، لا يتطلب GRPO ناقدًا (critic) متعلمًا؛ وبدلاً من ذلك، يقوم بحساب المزايا من خلال مقارنة المخرجات المختارة ضمن مجموعة بالنسبة لمتوسط مكافأة المجموعة. هذا يعمل على استقرار التدريب في حالات التعلم القليل (few-shot settings) ويحسن المحاذاة عالية الجودة بشكل مباشر.

3. المساهمات الرئيسية

إطار عمل مستقل عن الفئة: يقدم البحث إعداد توطين سياقي بصري نقي يزيل جميع أسماء الفئات من المطالبات، مما يجبر النموذج على الاعتماد حصريًا على المظهر البصري والهندسة.
تحسين خريطة الانتباه: تم اقتراح دالة فقدان مبتكرة لضبط انتباه النموذج مع رموز صناديخ الإحاطة الداعمة صراحةً، مما يصحح ميل نماذج VLMs لتجاهل القيود المكانية لصالح الأولويات الدلالية.
التحسين باستخدام GRPO: يسمح دمج تحسين السياسة النسبي للمجموعة (GRPO) بالتقليل المباشر لخطأ التوطين (IoU) ويفرض تنسيق مخرجات صارم، مما يحسن الدقة على مستوى النسخة (instance-level).
الكفاءة والقابلية للتوسع: يوضح المؤلفون أن نموذجًا بـ 7 مليارات معلمة تم تدريبه بهذه الأهداف يتفوق بشكل كبير على النماذج الأكبر حجمًا (التي تصل إلى 72 مليار معلمة)، مما يثبت أن أهداف التوطين الواعية بالسياق أكثر أهمية من مجرد زيادة حجم النموذج.

4. النتائج التجريبية

قام المؤلفون بتقييم FOCUS على مجموعة متنوعة من الاختبارات المرجعية، بما في ذلك TAO، وGOT-10k، وLaSOT، وPerSeg، وPerMIRS.

الأداء مقابل النماذج المرجعية: حقق FOCUS (المبني على Qwen2-VL-7B) نتائج رائدة (SOTA)، متفوقًا بشكل كبير على النماذج القوية مثل IPLoc (7B)، وQwen2-VL-72B، وInternVL2-76B.
- في اختبار GOT-10k (التعميم الصفري للفئات)، حقق FOCUS نسبة 82.6% (في حالة 4-shot)، متجاوزًا نموذج Qwen2-VL ذو الـ 72 مليار معلمة (59.9%) بفارق كبير.
- في اختبار TAO (العالم المفتوح، متعدد الكائنات)، وصل FOCUS إلى 68.5% (في حالة 4-shot)، مقارنة بـ 55.6% لنموذج Qwen2-VL-72B.
التعميم: أظهر النموذج قدرة قوية على التعميم للفئات غير المرئية وتحولات النطاق (مثل البيانات الاصطناعية في PerSeg)، محافظًا على أداء عالٍ حيث فشلت النماذج المعتمدة على الفئات في التمييز بين النسخ.
دراسات الاستئصال (Ablation Studies):
- أدى حذف فقدان الانتباه إلى انخفاض كبير في الأداء، مما أكد ضرورة فرض الانتباه على رموز BBOX.
- أدى إضافة GRPO فوق SFT + فقدان الانتباه إلى تحقيق زيادة إضافية قدرها 11.4% في حالة 4-shot على TAO.
- وُجد أن تطبيق فقدان الانتباه على الطبقات الخمس الأولى من المحول (transformer) كان الأكثر فعالية للربط، مما يشير إلى أن الطبقات المبكرة حاسمة لتأسيس الارتباط المكاني.

5. الأهمية والادعاءات

يدعي البحث أن FOCUS ينجح في إعادة صياغة التوطين السياقي كمسألة استدلال بصري بدلاً من كونها مسألة استرجاع دلالي. من خلال إلغاء الإشراف بالفئة وفرض تطابق بصري صارم من خلال قيود الانتباه وتحسين السياسة، يحقق النهج ربطًا قويًا على مستوى النسخة.

يؤكد المؤلفون أن نهجهم يثبت أن أهداف التدريب المتخصصة يمكن أن تحقق أداءً فائقًا مقارنة بمجرد زيادة حجم النموذج. نموذج بـ 7 مليارات معلمة مع FOCUS يتفوق على نماذج 72 مليار معلمة، مما يسلط الضوء على أن "أهداف التوطين الواعية بالسياق" هي مسار أكثر كفاءة لحل مشكلة التوطين المستقل عن الفئة من الاعتماد على أعداد هائلة من المعلمات وحدها. يشير العمل إلى أنه بالنسبة للتطبيقات التي يقودها المستخدم والتي تستهدف نسخًا محددة، يجب تدريب النماذج على تجاهل الأولويات الدلالية والتركيز بدقة على الأدلة البصرية.