Can Unsupervised Segmentation Reduce Annotation Costs for Video Semantic Segmentation?
تُثبت هذه الورقة أن الاستفادة من النماذج التأسيسية مثل SAM وSAM 2 لأتمتة توليد الأقنعة من الإطارات غير المشروحة والتعليقات التوضيحية التقريبية يمكن أن تقلل تكاليف التوسيم اليدوي بمقدار الثلث مع الحفاظ على أداء مماثل لتجزئة الفيديو الدلالية، حيث ثبت أن تنوع إطارات مجموعة البيانات أكثر أهمية من الحجم المجرد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية قيادة سيارة من خلال عرض آلاف الساعات من لقطات كاميرا لوحة القيادة (dashcam). لتعليم الروبوت بفعالية، تحتاج إلى رسم حدود دقيقة حول كل سيارة، ومشاة، وإشارة مرور في كل إطار من إطارات الفيديو. يسمى هذا التقطيع الدلالي للفيديو (Video Semantic Segmentation).
ما هي المشكلة؟ رسم هذه الحدود يدويًا أمر مرهق للغاية، ومكلف، وبطيء. الأمر يشبه توظيف فنان ليرسم كل إطار في فيلم، بكسل تلو الآخر.
يسأل هذا البحث سؤالاً بسيطاً ولكنه ثوري: "هل يمكننا استخدام مساعد ذكاء اصطناعي فائق الذكاء للقيام بمعظم عملية الرسم بدلاً منا، بحيث لا يتعين علينا سوى القيام بالقليل من العمل؟"
إليك تفصيل حلهم، باستخدام بعض التشبيهات من الحياة اليومية.
1. المشكلة: ضريبة "الرسم المثالي"
حالياً، لتدريب هذه الروبوتات، يحتاج الباحثون إلى توصيفات دقيقة التفاصيل (Fine-Grained Annotations).
- التشبيه: تخيل أنك تعلم طفلاً كيفية رسم قطة. يجب أن تريه صورة حيث تم رسم حدود القطة بشكل مثالي، مع كل شارب وطرف أذن في مكانه الصحيح تماماً.
- التكلفة: القيام بذلك لـ 30 إطاراً يستغرق حوالي 90 دقيقة لكل صورة. إنه استنزاف هائل للوقت.
ومع ذلك، هناك نوعان آخران من البيانات المتاحة وهما أقل تكلفة بكثير:
- الإطارات غير الموصوفة (Unannotated Frames): فيديو خام بدون أي رسومات على الإطلاق. (مجاني، لكنه عديم الفائدة بدون مساعدة).
- التوصيفات التقريبية (Coarse Annotations): رسومات تخطيطية خشنة. ربما قام الطفل فقط بتلوين منطقة "السيارة" باللون الأحمر دون الاهتمام بالعجلات أو النوافذ.
- التكلفة: تستغرق هذه العملية حوالي 7 دقائق فقط لكل صورة.
2. الحل: "المتتبع السحري" (SAM و SAM 2)
استخدم المؤلفون أداتين جديدتين قويتين للذكاء الاصطناعي تُسميان SAM (نموذج التجزئة الشامل) و SAM 2. فكر في هذه الأدوات كأنها "متتبعات سحرية".
- كيف تعمل: تعطي الذكاء الاصطناعي تلميحاً تقريبياً (مثل نقطة على سيارة)، ويقوم هو فوراً برسم خط خارجي دقيق ومفصل حول تلك السيارة. لقد تم تدريبه على ملايين الصور، لذا فهو يعرف تماماً كيف تبدو السيارة، أو الشخص، أو الشجرة.
استخدم الباحثون هذه "المتتبعات السحرية" بطريقتين ذكيتين لتقليل العمل اليدوي بمقدار الثلث دون فقدان الكثير من الأداء.
الاستراتيجية (أ): "تأثير الدومينو" (استخدام الإطارات غير الموصوفة)
في الفيديو، تتغير الإطارات ببطء. إذا كنت تعرف كيف تبدو السيارة في الإطار 20، فمن المحتمل أن تبدو مشابهة جداً في الإطار 10 والإطار 30.
- التجربة: بدلاً من رسم الإطار 20، والإطار 10، والإطار 30 يدوياً، قام الباحثون برسم الإطار 20 فقط يدوياً.
- الحيلة: قاموا بتغذية الإطار 20 في "المتتبع السحري" (SAM 2). ثم قام الذكاء الاصطناعي بـ "تتبع" الأشياء للأمام وصولاً إلى الإطار 30 وللخلف وصولاً إلى الإطار 10، ورسم الخطوط الخارجية لتلك الإطارات تلقائياً.
- النتيجة: استبدلوا نصف (أو حتى ثلثي) الرسومات اليدوية بهذه الرسومات التي أنشأها الذكاء الاصطناعي.
- العقبة: وجدوا أن التنوع أهم من الكمية.
- النهج السيئ: استخدام الذكاء الاصطناعي لرسم 20 إطاراً متتالياً. الفيديو متشابه جداً؛ الروبوت سيشعر بالملل ولن يتعلم شيئاً جديداً.
- النهج الجيد: استخدام الذكاء الاصطناعي لرسم إطارات متباعدة (على سبيل المثال، الإطار 10 والإطار 30). هذا يعطي الروبوت مجموعة متنوعة من الأمثلة، مثل إظهار سيارة في الصباح، وفي الظهيرة، وفي الليل، بدلاً من إظهاره 20 إطاراً لنفس السيارة في نفس المكان.
الاستراتيجية (ب): "المحرر" (تحسين التوصيفات التقريبية)
أحياناً، يكون لديك تلك "الرسومات التخطيطية الخشنة" (التوصيفات التقريبية) حيث قام شخص ما فقط بتلوين كتلة حمراء لتمثيل سيارة.
- التجربة: أخذوا هذه الكتل الخشنة وقدموها إلى "المتتبع السحري" (SAM).
- الحيلة: أخبروا الذكاء الاصطناعي: "مهلاً، هذه الكتلة الحمراء هي سيارة. هل يمكنك إصلاح الحواف وجعلها تبدو كسيارة حقيقية؟". قام الذكاء الاصطناعي بتنظيف الحدود الفوضوية.
- النتيجة: أصبحت هذه الرسومات الخشنة "المُحسنة" جيدة تقريباً مثل تلك المرسومة يدوياً والمكلفة.
- القصور: لم يعمل هذا بشكل جيد إلا مع أشياء محددة مثل السيارات، والناس، واللافتات. لم يعمل بشكل جيد مع أشياء مثل "السماء" أو "الغطاء النباتي" لأنها لا تملك حدوداً واضحة للتتبع.
3. الاكتشاف الكبير
لم يكن الاكتشاف الأكثر إثارة للدهشة هو قدرة الذكاء الاصطناعي على الرسم فحسب، بل كان كيفية استخدامهم له.
اكتشف الباحثون أن التنوع هو الملك.
- إذا كان لديك 1,000 إطار مرسوم يدوياً لسيارة تسير في خط مستقيم، فسوف يتعلم الروبوت ذلك المشهد المحدد.
- إذا كان لديك 300 إطار مرسوم يدوياً لسيارة تنعطف، وسيارة في المطر، وسيارة في الليل، فإن الروبوت سيتعلم كيفية القيادة.
من خلال استخدام الذكاء الاصطناعي لإنشاء تسميات للإطارات التي تختلف عن تلك التي رسمها البشر، حصلوا على أفضل النتائج. وجدوا أنه يمكنهم تقليل العمل البشري بنسبة 66% (مع الاحتفاظ بثلث العمل اليدوي فقط) ومع ذلك الحصول على روبوت يقود بشكل جيد تقريباً مثل الروبوت المدرب على بيانات يدوية بنسبة 100%.
الخلاصة
يثبت هذا البحث أننا لسنا بحاجة لتوظيف جيوش من الفنانين لرسم كل إطار من إطارات الفيديو. من خلال استخدام أدوات الذكاء الاصطناعي الذكية كـ "مساعدين" لملء الفجوات وتحسين الرسومات الخشنة، يمكننا تدريب روبوتات الفيديو بشكل أسرع وأرخص بكثير.
باختصار: لا تحاول رسم كل إطار بمفرده. ارسم بعض الإطارات الرئيسية، واترك الذكاء الاصطناعي يكمل الباقي، وتأكد من أن الإطارات التي تختارها مختلفة عن بعضها البعض. الفرق هو الفرق بين قراءة كتاب واحد مرة واحدة، وقراءة ثلاثة كتب مختلفة؛ فالخيار الثاني سيعلمك أكثر بكثير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.