InterCoG: Towards Spatially Precise Image Editing with Interleaved Chain-of-Grounding Reasoning
تقدم هذه الورقة البحثية InterCoG، وهو إطار عمل جديد لسلسلة استدلال "التأريض" المتداخلة بين النص والرؤية، والذي يعزز تحرير الصور دقيق التفاصيل في المشاهد المعقدة متعددة الكيانات من خلال استنتاج مواقع الأهداف صراحةً عبر الاستدلال المكاني القائم على النص قبل إجراء التأريض البصري وتحديد النتيجة، مدعوماً بمجموعة بيانات جديدة ووحدات تدريب مساعدة لضمان الدقة المكانية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مدير فني تعطي تعليمات لرسام رقمي موهوب للغاية، ولكنه حرفي التفكير قليلاً.
المشكلة: حيرة "أي واحد؟"
تشير إلى صورة مزدحمة لمشهد في شارع وتقول: "غيّر قميص المرأة الواقفة بين الطفلين إلى اللون الأخضر".
غالباً ما ترتبك نماذج الذكاء الاصطناعي القديمة. قد تفكر: "أي امرأة؟ هناك عشر نساء!" أو "أي طفلين؟ هل هما اللذان على اليسار أم اليمين؟" لأنها تجد صعوبة في فهم العلاقات بين الأشياء (مثل "بين"، "بجانب"، أو "يمسك بيد")، فقد تلون قميص الشخص الخطأ بالأخضر، أو قد تغير لون الشارع بأكمله بالخطأ. إنها بارعة في الرسم، لكنها سيئة في تحديد مكان الرسم بدقة.
الحل: InterCoG (الرسام المحقق)
يقدم هذا البحث إطار عمل جديداً يسمى InterCoG. فكر في InterCoG ليس كمجرد رسام، بل كـ محقق هو أيضاً رسام. بدلاً من القفز مباشرة إلى الرسم، يتبع InterCoG عملية تحقيق صارمة وخطوة بخطوة قبل لمس اللوحة.
إليك كيف يعمل، باستخدام تشبيه بسيط:
1. المحقق النصي (الخريطة الذهنية)
أولاً، يقرأ المحقق تعليماتك وينظر إلى الصورة، لكنه لا يلمس الصورة بعد. إنه يعمل مثل محقق يكتب تقريراً في دفتر ملاحظاته.
- يفكر: "حسناً، أرى مجموعة من الناس. هناك امرأة في المنتصف. هي تمسك بيد طفل. يحيط بها طفلان آخران. لا بد أن هذه هي الهدف".
- التشبيه: الأمر يشبه قراءة خريطة والقول: "الكنز تحت شجرة البلوط الكبيرة، بجانب المقعد الأحمر"، قبل أن تبدأ في الحفر حتى. إنه يفهم منطق المشهد باستخدام الكلمات.
2. المحقق البصري (قلم التحديد)
بمجرد أن يتأكد المحقق من الموقع، فإنه لا يخمن فحباً. بل يخرج قلم تحديد ويرسم صندوقاً وقناعاً فوق الشخص المحدد الذي حدده في الخطوة الأولى.
- يقوم بـ: تحديد المرأة باللون الأحمر على الشاشة.
- التشبيه: هذا يشبه وضع ملصق "تم تحديد الهدف" على الشخص المطلوب تماماً. إنه يثبت لنفسه: "نعم، هذا هو الشخص الذي كنت أتحدث عنه".
3. إعادة الكتابة (الموضح)
الآن بعد أن عرف بالضبط من الذي سيقوم بتعديله، يعيد كتابة تعليماتك الأصلية لتصبح دقيقة للغاية.
- يغير: "غيّر قميص المرأة بين الأطفال" إلى "غيّر القميص الأزرق للمرأة المحددة في الصندوق الأحمر إلى اللون الأخضر".
- التشبيه: إنه مثل المترجم الذي يتأكد من أن الرسام يفهم الفروق الدقيقة بدقة، مما يزيل أي غموض.
4. الرسام (التنفيذ)
أخيراً، مع تحديد الهدف، وتأكيد المنطق، وتوضيح التعليمات، يبدأ الرسام في العمل. ولأن الهدف محدد بدقة، تكون النتيجة مثالية. يتحول قميص المرأة إلى الأخضر، ويبقى الأطفال بجانبها كما هم تماماً.
لماذا هذا مميز؟
تحاول معظم نماذج الذكاء الاصطري الأخرى تخمين الموقع فوراً. إذا كان المشهد معقداً (مثل حشد، أو سوق مزدحم، أو غابة)، فإنها تضيع.
InterCoG مميز لأنه يدمج (interleaves) بين التفكير والرؤية. فهو لا "يفكر" ثم "يفعل" فحسب، بل يفكر، ويتحقق من عمله بصرياً، ثم يفكر مرة أخرى، ثم يفعل. إنه مثل الطاهي الذي يتذوق الحساء، ويضيف رشة ملح، ثم يتذوقه مرة أخرى، ثم يقدمه، بدلاً من مجرد تخمين الوصفة مرة واحدة والأمل في الحصول على أفضل نتيجة.
"مدرسة التدريب" (GroundEdit-45K)
لتعليم هذا الذكاء الاصطناعي أن يكون محققاً جيداً كهذا، بنى الباحثون مدرسة تدريب ضخمة تسمى GroundEdit-45K.
- لم يكتفوا بعرض الصور على الذكاء الاصطناعي وقول "أصلح هذا".
- بل عرضوا الصور على الذكاء الاصطناعي وأجبروه على كتابة تقرير المحقق (خطوات الاستنتاج) قبل إصلاح الصورة.
- كما أنشأوا "امتحاناً اختبارياً" (GroundEdit-Bench) حيث يتعين على الذكاء الاصطناعي العثور على أهداف مخفية في مواقف صعبة.
النتيجة
تظهر الورقة البحثية أن InterCoG أفضل بكثير في هذه المهام الصعبة التي تتطلب "البحث عن إبرة في كومة قش" مقارنة بالنماذج السابقة. فهو لا يغير البكسلات فحسب؛ بل يفهم قصة الصورة ويعدل الجزء الصحيح من القصة دون إفساد الباقي.
باختصار، InterCoG هو ذكاء اصطناعي يرفض التخمين. إنه يفكر، ويتحقق، ثم يعمل، مما يضمن أنه عندما تطلب تغييراً محدداً في غرفة مزدحمة، فإنه يغير بالضبط ما قصدته، ولا شيء غير ذلك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.