Grasp Any Region: Towards Precise, Contextual Pixel Understanding for Multimodal LLMs
تقدم الورقة البحثية نموذج "Grasp Any Region" (GAR)، وهو نموذج لغوي كبير متعدد الوسائط يستفيد من إعادة تشغيل الميزات المتوافقة مع منطقة الاهتمام (RoI-aligned feature replay) لدمج السياق العالمي من أجل فهم دقيق وتفاعلي على مستوى المنطقة واستدلال تركيبي، محققاً أداءً هو الأفضل في فئته على كل من معايير الصور والفيديو.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تنظر إلى غرفة مزدحمة وفوضوية من خلال نظارات.
المشكلة في نظارات الذكاء الاصطناعي القديمة
معظم نماذج "النماذج اللغوية الكبيرة متعددة الوسائط" الحالية (الذكاء الاصطنا- الذي يرى ويتحدث) تشبه الأشخاص الذين يرتدون عدسات واسعة الزاوية. إنهم بارعون في إعطائك جولة عامة في الغرفة: "إنها غرفة نوم بها سرير، ومكتب، ونافذة". ولكن إذا أشرت إلى جسم معين وسألت: "ما هذا الشيء الأخضر على الأرض؟"، فإن العدسة واسعة الزاوية غالباً ما ترتبك. قد تخبرك: "هذا ضفدع حقيقي!" لأنها رأت الشكل الأخضر، متجاهلة تماماً حقيقة أنه في الواقع خُف (شبشب) على شكل ضفدع موضوع على السرير. إنها تفتقر إلى القدرة على التكبير (الزوم) دون فقدان سياق الغرفة.
حاولت نماذج ذكاء اصطناعي أخرى إصلاح ذلك باستخدام عدسات مكبرة. كانوا يقومون بقص الجزء الذي يحتوي على الجسم الأخضر فقط والنظر إليه عن قرب. لكن هذا يشبه النظر إلى قطعة واحدة من أحجية (بازل) بشكل منعزل؛ يمكنك رؤية الملمس، لكنك لن تعرف ما إذا كان ضفدعاً أم خُفاً لأنك لا تستطيع رؤية السرير الذي يجلس عليه.
الحل: الإمساك بأي منطقة (Grasp Any Region - GAR)
يقدم البحث نموذج ذكاء اصطناعي جديد يسمى GAR (الإمساك بأي منطقة). فكر في GAR كـ محقق فائق الذكاء يرتدي نظارات خاصة ذات ميزة فريدة: "إعادة عرض الميزات المتوافقة مع منطقة الاهتمام" (RoI-Aligned Feature Replay).
إليك كيف يعمل GAR، باستخدام تشبيهات بسيطة:
1. "الصورة الكاملة" مقابل "التكبير" (العدسة السحرية)
تخيل أنك تنظر إلى لوحة لغابة.
- الذكاء الاصطناعي القديم: إما ينظر إلى الغابة بأكملها (ويفقد الطائر الصغير) أو يكبر على الطائر (وينسى أنه موجود في غابة).
- GAR: يحتفظ بالغابة بأكملها في ذهنه بينما يقوم في الوقت نفسه بالتكبير على الطائر. إنه يستخدم تقنية RoI-Aligned Feature Replay.
- التشبيه: تخيل أن لديك خريطة عالية الدقة للمدينة بأكملها. عندما تريد النظر إلى شارع معين، لا يقوم GAR بقص الشارع من الخريطة، بل يسلط "كشاف ضوء" على الخريطة. ترى الشارع بدقة عالية، لكن لا يزال بإمكانك رؤية المباني والطرق المحيطة به في الخلفية. هذا يساعد GAR على إدراك: "آه، هذا الشيء الأخضر ليس ضفدعاً؛ إنه خُف لأنه موجود على سرير".
2. "الدردشة الجماعية" (التفاعل متعدد المطالبات)
معظم نماذج الذكاء الاصطناعي تشبه الأشخاص الذين يمكنهم التحدث مع شخص واحد فقط في كل مرة. إذا عرضت عليهم صورة بها كلب، وكرة، وشخص، وسألت عن الكلب، فسيتحدثون عن الكلب. إذا سألت عن الكرة، فسيتحدثون عن الكرة. إنهم يواجهون صعوبة في فهم العلاقة بينهم.
GAR يشبه مشرف الدردشة الجماعية.
- يمكنك الإشارة إلى الكلب، والكرة، والشخص جميعاً في وقت واحد.
- يفهم GAR الديناميكية: "الشخص يرمي الكرة إلى الكلب".
- يمكنه التعامل مع أسئلة معقدة مثل: "هل ينظر الكلب إلى الكرة، أم أن الكرة تنظر إلى الكلب؟" (حسناً، الكرات لا تنظر، لكنك تفهم الفكرة — إنه يفهم التفاعل).
3. "دفتر ملاحظات المحقق" (الاستنتاج التركيبي)
لا يكتفي GAR بوصف ما يراه فحسب؛ بل يستنتج مثل المحقق.
- اختبار المرآة: إذا عرضت على GAR صورة لشخص يقف أمام مرآة، وأشرت إلى الانعكاس، سيعرف GAR: "هذا ليس شخصاً حقيقياً؛ إنه انعكاس". غالباً ما يقع الذكاء الاصطناعي القديم في الفخ ويظن أن هناك شخصين.
- اختبار "أين": إذا سألته: "هل الكوب الأحمر على يسار أم يمين الكوب الأزرق؟"، فسيقوم GAR بالنظر إلى المشهد بأكمله لتحديد التخطيط المكاني، بدلاً من مجرد التخمين بناءً على لون الكوب.
لماذا هذا مهم (النتائج)
اختبر الباحثون GAR في "امتحان" جديد أنشأوه يسمى GAR-Bench.
- النتيجة: GAR بارع جداً لدرجة أن نسخة صغيرة منه (GAR-1B) هزمت نموذجاً ضخماً وباهظ الثمن (InternVL3-78B) في هذه المهام المحددة.
- ميزة الفيديو: على الرغم من أن GAR تم تدريبه على الصور، إلا أنه كان ذكياً جداً لدرجة أنه عندما عرضوا عليه فيديوهات، فهم الحركة بشكل أفضل من النماذج المصممة خصيصاً للفيديو. الأمر يشبه تعليم شخص ما القيادة على جهاز محاكاة، ثم يركب سيارة حقيقية ويقود بشكل أفضل من شخص تدرب فقط على الطرق الحقيقية.
باخت_صار
GAR هو ذكاء اصطناعي تعلم أخيراً كيف يكبّر (يزووم) دون أن يفقد الصورة الكبيرة. يمكنه النظر إلى تفصيل صغير، وتذكر مكانه في العالم، وفهم كيفية تفاعله مع الأشياء الأخرى، والإجابة على أسئلة معقدة حول العلاقات، كل ذلك مع تجنب الأخطاء السخيفة (مثل تسمية الخُف بضفدع) التي ترتكبها نماذج الذكاء الاصطناعي الأخرى.
إنه ينقل الذكاء الاصطناعي من كونه مراقباً سلبياً (الذي يصف الغرفة بأكملها فقط) إلى مشارك نشط (يمكنه الإشارة إلى أي شيء، وفهم السياق، وإجراء محادثة عميقة عنه).
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.