TAPNext++: What's Next for Tracking Any Point (TAP)?
يعزز نموذج TAPNext++ نموذج TAPNext الأصلي من خلال تقديم استراتيجيات تدريب قائمة على البيانات، وتعزيزات هندسية، ومقياس جديد لإعادة الكشف لتحقيق أداء رائد في تتبع النقاط عبر تسلسلات الفيديو الطويلة والتعامل مع النقاط المتكررة بزمن انتقال منخفض.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة "أين والدو؟" (Where's Waldo?)، ولكن بدلاً من كتاب، أنت تشاهد فيديو سريع الحركة وفوضوي. أحياناً يركض والدو خلف شجرة، وأحياناً يقفز خارج الإطار تماماً، وأحياناً يعود وهو يرتدي قبعة مختلفة.
تتبع أي نقطة (TAP) هي مهمة في الرؤية الحاسوبية تجعل الكمبيوتر يثبت عينيه على نقطة محددة (أو "نقطة") مهما كانت حركة الكاميرا جنونية أو مهما اختفت تلك النقطة عدة مرات.
يقدم البحث نموذج TAPNext++، وهو نموذج ذكاء اصطناعي بارع للغاية في هذه اللعبة. إليك قصة كيفية عمله، مشروحة ببساطة.
المشكلة: ذكاء اصطناعي بـ "ذاكرة قصيرة المدى"
البطل السابق، المسمى TAPNext، كان مثل عداء سريع يتمتع بذاكرة رائعة للثواني القليلة الماضية، ولكن ذاكرته سيئة جداً للدقائق القليلة الماضية.
- المشكلة: إذا كان الفيديو قصيراً، كان TAPNext مذهلاً. ولكن إذا كان الفيديو طويلاً (مثل مشهد فيلم كامل)، كان الذكاء الاصطناعي يصاب بـ "الارتباك". كان ينسى أين بدأت النقطة.
- فشل "إعادة الدخول": إذا اختفت نقطة خلف جدار ثم ظهرت مرة أخرى من الجانب الآخر، كان TAPNext غالباً لا يتعرف عليها. كان الأمر يشبه رؤية صديقك يخرج من الغرفة ثم يدخل من الباب الآخر، لكنك تعتقد: "من هذا الغريب؟".
الحل: TAPNext++ (العداء الخارق)
أخذ المؤلفون نفس المحرك (بنية "الدماغ") الذي استخدمه TAPNext ولكن منحوه ترقية هائلة في التدريب. لم يبنوا سيارة جديدة؛ بل قاموا فقط بتعليم السيارة القديمة كيف تقود على طرق أطول وأكثر صعوبة.
إليك الحيل الثلاث الرئيسية التي استخدموها:
1. "تدريب الماراثون" (التسلسلات الطويلة)
تخيل أنك تدرب كلباً على إحضار كرة.
- الطريقة القديمة: ترمي الكرة 50 مرة، ولكن على مسافة 10 أقدام فقط. يصبح الكلب جيداً في الرميات القصيرة ولكنه يصاب بالذعر عندما ترمي الكرة لمسافة 100 قدم.
- طريقة TAPNext++: علم الباحثون الذكاء الاصطناعي على فيديوهات طولها 1,000 إطار (حوالي 30-40 ثانية من الحركة المستمرة).
- السحر التقني: للقيام بذلك، لم يستطيعوا وضع الفيديو بأكمله في ذاكرة حاسوب واحد. لذا، استخدموا تقنية تسمى توازي التسلسل (Sequence Parallelism). فكر في الأمر كسباق تتابع حيث يمر 8 عدائين (وحدات معالجة رسومية - GPUs) العصا (البيانات) لبعضهم البعض فورياً. لقد قسموا الفيديو الطويل إلى أجزاء، وعالجوا كل جزء معاً، ثم دمجوا الذاكرة مرة أخرى. سمح هذا للذكاء الاصطناعي بتعلم كيفية تذكر الأشياء لفترة طويلة دون تعب.
2. تدريب "الأفعوانية" (إعادة الدخول)
كانت نقطة الضعف الكبرى هي عندما تغادر النقاط الشاشة ثم تعود إليها.
- التشبيه: تخيل أنك تشاهد كرة قدم. تتدحرج بعيداً عن الجانب الأيسر من الشاشة. في الفيديو العادي، تكون قد انتهت. ولكن في العالم الحقيقي، إذا تحركت الكاميرا جهة اليمين، فقد تدخل هذه الكرة مجدداً من الجانب الأيمن.
- الإصلاح: أنشأ الباحثون "تعزيز دوران" (Roll augmentation) خاصاً. أخذوا فيديوهات التدريب وقاموا فعلياً بتدويرها ولفها حول نفسها. إذا خرجت نقطة من الحافة اليمنى، فإنها تظهر فوراً من الحافة اليسرى.
- النتيجة: أُجبر الذكاء الاصطناعي على تعلم أن: "أوه، مجرد اختفائي لا يعني أنني ذهبت للأبد؛ قد أكون في الجانب الآخر من العالم". هذا جعله خبيراً في العثور على النقاط التي تظهر مجدداً بعد أن كانت مختبئة.
3. تدريب "الصديق الخفي" (الاحتجاب)
أحياناً تكون النقاط مخفية خلف أشياء أخرى (الاحتجاب/Occlusion).
- الطريقة القديمة: كان الذكاء الاصطناعي يُعاقب فقط إذا فقد النقطة عندما تكون النقطة مرئية. إذا كانت النقطة مخفية، كان بإمكان الذكاء الاصطناعي التخمين عشوائياً والإفلات من العقاب.
- الطريقة الجديدة: أخبروا الذكاء الاصطناعي: "حتى عندما تكون النقطة مخفية، يجب عليك تخمين أين ستكون لو استطعت رؤيتها". أعطوا الذكاء الاصطناعي "واجباً منزلياً" صغيراً للاستمرار في تتبع النقطة غير المرئية. بهذه الطريقة، عندما تظهر النقطة مجدداً، يكون الذكاء الاصطناعي بانتظارها بالفعل في المكان الصحيح.
لوحة النتائج الجديدة: AJRD
أدرك المؤلفون أن أنظمة التسجيل القديمة كانت تغش. كانوا يقيسون مدة بقاء النقطة مرئية، لكنهم لم يهتموا بما إذا كان الذكاء الاصطناعي قد فقدها ثم وجدها مجدداً.
اخترعوا درجة جديدة تسمى AJRD (متوسط جاكارد لإعادة الكشف).
- فكر في الأمر هكذا: في لعبة "الاستغماية" أو المطاردة، إذا فقدت الشخص الذي يطاردك، ثم ركضت بعيداً، ثم أمسك بك مجدداً، يجب أن يعرف اللاعب الجيد من أنت. يقيس AJRD بدقة مدى براعة الذكاء الاصطناعي في قول: "آها! أنا أعرفك، رغم أنك كنت مختبئاً لفترة من الوقت!".
النتيجة: سريع، خفيف، وقوي
والجزء الأفضل؟ لم يصبح TAPNext++ بطيئاً أو ثقيلاً.
- السرعة: يعمل بسرعة 60 إطاراً في الثانية أو أكثر (سرعة الوقت الفعلي).
- الذاكرة: يستخدم ذاكرة حاسوب قليلة جداً، مما يعني أنه يمكنه العمل على هاتف أو روبوت.
- الأداء: يتفوق على كل الطرق الأخرى في الفيديوهات الطويلة، وهو الوحيد الذي يجد باستمرار النقاط التي كانت مختبئة أو غادرت الشاشة.
الملخص
TAPNext++ يشبه أخذ عداء سريع وذكي وتدريبه على مسار ماراثون مليء بالعقبات، وعصابات العين، والقدرة على الانتقال الآني. الآن، يمكن لهذا العداء تتبع نقطة عبر فيديو فوضوي، حتى لو اختفت النقطة لفترة طويلة، أو عادت من زاوية مختلفة، أو اختبأت خلف جدار. إنه يثبت أنك لا تحتاج إلى دماغ أكبر أو أثقل لحل هذه المشكلات؛ بل تحتاج فقط إلى تدريب أفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.