💻 computer science

InstAP: Instance-Aware Vision-Language Pre-Train for Spatial-Temporal Understanding

تقدم هذه الورقة البحثية إطار InstAP، وهو إطار للتدريب المسبق للرؤية واللغة القائم على الوعي بالنماذج (instance-aware)، والمدعوم بمجموعة بيانات InstVL واسعة النطاق، والذي يعزز بشكل كبير كلاً من الاستدلال على مستوى النموذج والفهم المكاني الزماني الشامل من خلال التحسين المشترك لمحاذاة المشهد الكلية مع أهداف التباين الدقيقة والموضحة على مستوى النموذج.

المؤلفون الأصليون: Ashutosh Kumar, Rajat Saini, Jingjing Pan, Mustafa Erdogan, Mingfang Zhang, Betty Le Dem, Norimasa Kobori, Quan Kong

نُشر 2026-04-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ashutosh Kumar, Rajat Saini, Jingjing Pan, Mustafa Erdogan, Mingfang Zhang, Betty Le Dem, Norimasa Kobori, Quan Kong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد مشهد شارع مزدحم في مقطع فيديو. النموذج التقليدي للذكاء الاصطناعي يشبه سائحاً يرى فقط "الصورة الكبيرة". إذا سألته: "ماذا يحدث؟" قد يقول: "إنه شارع مزدحم بالسيارات والناس". هذا صحيح، لكنه وصف غامض. إذا سألته بعد ذلك: "أين هي الكرة الحمراء التي يرميها الطفل؟" فقد يشير السائح إلى الشارع بأكمله، أو الأسوأ من ذلك، قد يشير إلى كلب قريب لأن الكلب يتحرك أيضاً. هو يرى المشهد، لكنه لا يستطيع تمييز الشخصيات أو العناصر المحددة.

تقدم هذه الورقة البحثية InstAP، وهي طريقة جديدة لتعليم الذكاء الاصطناعي ألا يكون مجرد سائح، بل محققاً.

إليك تفصيل كيفية قيامهم بذلك، باستخدام تشبيهات بسيطة:

1. المشكلة: الكاميرا "المغبرة/غير الواضحة"

تُدرب نماذج الذكاء الاصطناعي الحالية على ملايين الفيديوهات والتعليقات الوصفية. لكن التعليقات عادة ما تصف الفيديو بأكمله (مثل: "كلب يطارد كرة"). يتعلم الذكاء الاصطناعي ربط الفيديو بالكامل بتلك الجملة.

العيب: هو لا يتعلم أي جزء من الفيديو هو الكلب وأي جزء هو الكرة. الأمر يشبه الاستماع إلى سيمفونية ومعرفة عنوان الأغنية، لكن دون القدرة على تمييز عزف الكمان المنفرد عن بقية الأوركسترا.

2. الحل: "دفتر ملاحظات المحقق" (مجموعة بيانات InstVL)

لإصلاح ذلك، أنشأ الباحثون (من قسم Woven التابع لشركة تويوتا) مكتبة تدريب ضخمة وجديدة تسمى InstVL.

الطريقة القديمة: كانوا يعطون الذكاء الاصطناعي فيديو وجملة واحدة: "كلب يطارد كرة".
الطريقة الجديدة (InstVL): أعطوا الذكاء الاصطناعي نفس الفيديو، ولكن مع نوعين من الملاحظات:
1. الصورة الكبيرة: "كلب يطارد كرة". (وصف عام)
2. ملاحظات المحقق: "الكلب البني يركض"، و"الكرة الحمراء ترتد". والأهم من ذلك، أن هذه الملاحظات مرتبطة بمربعات محددة تتحرك حول الكلب والكرة بمرور الوقت.

فكر في الأمر كأنك تعطي طالباً كتاباً مدرسياً، وبدلاً من مجرد قراءة ملخص الفصل، يُجبر أيضاً على تحديد كل شخصية وعنصر محدد في النص ورسم خط يربط كلمة "كلب" بصورة الكلب.

3. التدريب: "أوجد الفرق" (إطار عمل InstAP)

يتم تدريب نموذج الذكاء الاصطناعي، InstAP، باستخدام لعبة خاصة تسمى التعلم التبايني (Contrastive Learning).

اللعبة: يرى الذكاء الاصطناعي مقطع فيديو وجملة. وعليه أن يخمن: "هل تصف هذه الجملة المقطع بأكمله، أم تصف فقط هذا الجزء المحدد المتحرك؟"
الخدعة: إذا كانت الجملة تقول "الكرة الحمراء"، يُعاقب الذكال الاصطناعي إذا نظر إلى الشارع بأكمله. يجب عليه أن يركز فقط على الكرة الحمراء. إذا نظر إلى الكلب بدلاً من ذلك، فإنه يتلقى إشارة "إجابة خاطئة".
النتيجة: يتعلم الذكاء الاصطناعي بناء خريطة ذهنية حيث تكون كلمات مثل "الكرة الحمراء" مرتبطة ارتباطاً وثيقاً ببيكسلات الكرة المحددة، وليس فقط بالجو العام للفيديو.

4. المفاجأة: أفضل في كل شيء

توقع الباحثون أن تعليم الذكاء الاصطناعي ليكون "محققاً" (يركز على التفاصيل الصغيرة) قد يجعله أسوأ في كونه "سائحاً" (يفهم المشهد بأكمله).

الواقع: جعله ذلك أفضل في كليهما.
التشبيه: تخيل طباخاً يتعلم تقطيع جزرة واحدة بإتقان. قد تعتقد أنه سينسى كيفية طبخ الحساء بأكمله. بدلاً من ذلك، لأنه يفهم الجزرة جيداً، يصبح طباخاً أفضل للحساء بأكمله. من خلال فهم الأجزاء المحددة (النماذج/Instances)، يفهم الذكاف الاصطناعي القصة الكاملة (المشهد العام) بشكل أعمق.

5. لماذا هذا مهم؟

هذه التكنولوجيا تمثل أمراً بالغ الأهمية لمستقبل الذكاء الاصطناعي في السيارات والروبوتات.

السيارات ذاتية القيادة: بدلاً من مجرد رؤية "سيارة أمامها"، تحتاج السيارة إلى معرفة أن "هذا طفل على دراجة يرتدي خوذة حمراء". إذا خلطت السيارة بين الطفل وسلة مهملات، فستكون تلك كارثة. يساعد InstAP السيارة على رؤية الشيء المحدد، وليس مجرد المشهد العام.
البحث في الفيديو: تخيل البحث في فيديوهاتك المنزلية عن "اللحظة التي أمسك فيها كلبي بالقرص الطائر (frisbee)". قد يعرض لك الذكاء الاصطناটি الحالي اليوم بأكمله. أما InstAP فسيجد تلك الثانية بالضبط ويعرض لك الكلب والقرص فقط.

الملخص

InstAP يشبه ترقية الذكاء الاصطناعي من سائح يلتقط صورة ضبابية لحشد، إلى محقق يمكنه الإشارة بإصبعه بدقة على من يفعل ماذا، مع تذكر القصة بأكملها في نفس الوقت. لقد فعلوا ذلك من خلال إنشاء "دليل تدريب للمحقق" ضخم (InstVL) وتعليم الذكاء الاصطناعي ربط كلمات محددة بأشياء متحركة محددة في الزمان والمكان.

إليك ملخص تقني مفصل لورقة البحث: "InstAP: التدريب المسبق للرؤية واللغة القائم على الوعي بالنماذج (Instance-Aware) للفهم المكاني-الزماني."

1. بيان المشكلة

تتفوق نماذج التدريب المسبق للرؤية واللغة (VLP) الحالية، مثل CLIP وامتداداتها للفيديو، في الفهم العالمي للمشهد (مطابقة فيديو كامل مع وصف نصي)، لكنها تعاني في الاستدلال على مستوى النموذج/الكيان (Instance-level reasoning).

الفجوة: تعتمد النماذج الحالية على الإشراف العالمي فقط، مما يجعلها تفشل في تحديد وتمييز كائنات أو كيانات محددة مذكورة في النص (على سبيل المثال، التمييز بين "الكرة الحمراء" و"الكرة الزرقاء" في مشهد معقد).
محدودية النهج الحالي:
- البيانات: توفر مجموعات بيانات الفيديو والنص واسعة النطاق عادةً أوصافًا شاملة وعامة فقط، وتفتقر إلى التوصيفات المرتبطة بمواقع (grounded) لكائنات أو مسارات محددة.
- البنية الهيكلية: تكافئ الأهداف السائدة المحاذاة الشاملة، ولا تقدم أي حافز للنموذج للتركيز على التفاصيل الدقيقة.
- الإصلاحات اللاحقة: تعتمد المحاولات الأخيرة لإضافة الوعي بالنماذج (instance awareness) على دمج كواشف كائنات خارجية أو رؤوس مساعدة على النماذج المدربة مسبقًا. ترث هذه الأساليب أخطاء الكواشف وتفشل في دمج الفهم على مستوى النموذج في عملية تعلم التمثيل الجوهري.

2. المنهجية

يقترح المؤلفون InstAP، وهو إطار عمل يعمل على تحسين المحاذاة بين الرؤية والنص على المستويين العالمي ومستوى النموذج (Instance-level) بشكل مشترك.

أ. مجموعة بيانات InstVL

لتمكين هذا التدريب، قدم المؤلفون InstVL، وهي مجموعة بيانات واسعة النطاق تحتوي على مليوني صورة و 50,000 فيديو.

توصيفات ثنائية التدرج: يتضمن كل عينة ما يلي:
1. أوصاف عالمية (Global Captions): أوصاف شاملة للمشهد.
2. أوصاف النماذج (Instance Captions): أوصاف كثيفة ومرتبطة بمناطق مكانية محددة (في الصور) أو مسارات مكانية-زمانية (في الفيديوهات).
تنسيق البيانات:
- تم جلب الصور من LAION-400M؛ والفيديوهات من HDVILA.
- سلسلة العمل (Pipeline): تستخدم AutoShot للتقسيم، و GroundingDINO للكشف مفتوح المفردات، و SAM2 لتتبع النماذج.
- التوليد: يقوم نموذج رؤية-لغة ضخم بتوليد جمل حرة لكل من المشهد بأكمله ولنماذج (instances) محددة متتبعة.
- تقسيمات الاختبار: تتضمن تقسيمات (zero-shot) محجوزة (من COYO) لضمان أن الأداء ليس مجرد حفظ لتوزيعات التدريب.

ب. إطار عمل InstAP

يستخدم النموذج بنية المعلم-الطالب (Teacher-Student) مع عملية تدريب مكونة من مرحلتين:

نمذجة الفيديو المقنعة ذاتية الإشراف (التدريب المسبق):
- يتم تدريب محول فيديو طالب ( $f_\theta$ ) على إعادة بناء ميزات معلم (CLIP-ViT) مجمد ( $g$ ) من الرموز (tokens) المقنعة.
- الآلية: بدلاً من إعادة بناء البكسلات، يقوم النموذج بعملية استرجاع الميزات الدلالية (semantic feature regression) على الرموز غير المقنعة. تستخدم استراتيجية قناع موجهة بالانتباه لإخفاء الرموز الأقل معلوماتية، مما يجبر الطالب على تعلم تمثيلات مكانية-زمانية غنية من السياق المرئي.
المحاذاة المحلية-العالمية الواعية بالنماذج:
يتم ضبط النموذج بدقة باستخدام دالة خسارة مركبة تجمع بين أهداف عالمية وأهداف على مستوى النموذج:
- الأهداف العالمية: تعمل خسائر تباين الفيديو-النص (VTC)، ومطابقة الفيديو-النص (VTM)، ونمذجة اللغة المقنعة (MLM) القياسية على محاذاة الفيديو بالكامل مع الوصف.
- أهداف النماذج (Instance Objectives):
  - استخراج الميزات: يتم ترميز قصاصات النماذج (أو قصاصات المسار) ويتم عمل cross-attention مع ميزات المشهد الكامل لحقن السياق العالمي.
  - خسارة Instance VTC: تفرض المحاذاة بين قصاصات النماذج المحددة ومذكراتها النصية المقابلة. ومن الأهمية بمكان أنها تستخدم آلية قناع ( $\alpha_{n,m}$ ) لمنع معاملة النماذج الأخرى داخل نفس الفيديو كعينات سلبية (لتجنب السلبيات الكاذبة بسبب التداخل الدلالي).
  - Instance VTM و MLM: مهام مطابقة واستعادة مماثلة تُطبق على مستوى النموذج.
- إجمالي الخسارة: $L = L_{rec} + L_{global} + L_{inst}$ ، حيث تسمح الأوزان بالضبط المستقل للأهداف العالمية مقابل أهداف النماذج.

3. المساهمات الرئيسية

مجموعة بيانات InstVL: أول مورد واسع النطاق في المجال العام يوفر توصيفات جمل حرة لكل من المناطق الثابتة ومسارات الفيديو الكاملة، مما يسد الفجوة بين البيانات الشاملة وبيانات مستوى النموذج.
إطار عمل InstAP: نموذج تدريب مسبق مبتكر يدمج الوعي بالنماذج مباشرة في المرمز الأساسي عبر التحسين المشترك، بدلاً من كونه مهمة مساعدة.
التعميم المثبت: يثبت أن المحاذاة الدقيقة للنماذج تعزز، بدلاً من أن تضعف، الفهم العالمي للمشهد، مما يؤدي إلى أداء رائد (SOTA) في اختبارات zero-shot.

4. النتائج التجريبية

قيم المؤلفون InstAP مقابل نماذج رائدة (مثل VideoPrism، CLIP4Clip، UMT-L) في عدة اختبارات معيارية.

استرجاع مستوى النموذج (اختبار InstVL):
- يتفوق InstAP بشكل كبير على جميع النماذج المرجعية. في مهمة استرجاع النموذج (InstVL-1K video)، حقق 60.63 T2V R@1، متجاوزاً بفارق كبير أفضل النتائج السابقة (VideoPrism عند 40.86).
- دراسة الاستئصال (Ablation): عند مقارنته بنموذج UMT-L قوي تم تدريبه على نفس مجموعة بيانات InstVL (باستخدام الأوصاف العالمية فقط أو معاملة جميع الأوصاف كأوصاف عالمية)، لا يزال InstAP يتفوق عليه بشكل كبير (على سبيل المثال، 44.05 مقابل 34.83 T2V R@1 في InstVL-10K img). وهذا يثبت أن المكاسب تأتي من إطار المحاذاة، وليس فقط من حجم البيانات.
التعميم الصفري (Zero-Shot Generalization):
- يحقق InstAP نتائج رائدة جديدة في الاختبارات المعيارية القياسية: MSR-VTT (41.1 R@1) و DiDeMo (54.0 R@1).
- والجدير بالذكر أن مجرد الضبط الدقيق للنماذج المرجعية باستخدام InstVL غالباً ما يؤدي إلى تدهور أدائها العالمي، بينما يقوم InstAP بتحسينه، مما يؤكد أن التدريب المسبق الواعي بالنماذج يخلق تمثيلات أكثر قوة.
التأسيس البصري (Visual Grounding):
- في مهمة التأسيس InstVL-1K، يحسن InstAP بشكل كبير مقياس IoU@90 (من 14.44 إلى 25.13 في تقسيمات الفيديو)، مما يثبت قدرته على تحديد المذكرات النصية بدقة في المناطق المكانية-الزمانية.
التحليل النوعي:
- تظهر عمليات التصور أن InstAP يركز الانتباه على مناطق محددة ذات صلة بالوصف (مثل لوحة ترخيص معينة)، بينما تظهر النماذج التي تعتمد على المستوى العالمي فقط انتباهاً مشتتاً على مستوى المشهد بالكامل.

5. الأهمية

تحول في النموذج: يتحدى InstAP فكرة أن فهم مستوى النموذج يجب أن يكون مهمة مساعدة. إنه يثبت أن الوعي بالنماذج هو خاصية جوهرية يجب تعلمها أثناء التدريب المسبق لتحقيق فهم مكاني-زماني حقيقي.
القوة والمتانة: يوضح هذا العمل أن إجبار النماذج على تأسيس كيانات محددة لا يضحي بالسياق العالمي؛ بل على العكس، فإنه يخلق تمثيلاً ثنائي التدرج يتفوق في كل من الاسترجاع الدقيق وفهم المشهد الشامل.
أساس للمهام المستقبلية: من خلال حل مشكلة "الانتباه المشتت"، يمهد InstAP الطريق لتطبيقات متقدمة تتطلب تتبعاً دقيقاً للأجسام، والإجابة على الأسئلة المكانية-الزمانية، والاستدلال المعقد للفيديو.