All in One: A Unified Synthetic Data Pipeline for Multimodal Video Understanding
تقترح هذه الورقة البحثية مساراً موحداً لتوليد البيانات الاصطناعية يقوم تلقائياً بإنشاء تسميات توضيحية متنوعة ومتعددة المهام للفيديو لتدريب النماذج اللغوية الكبيرة متعددة الوسائط، مما يثبت أن النماذج التي تتدرب بشكل أساسي على هذه البيانات الاصطناعية يمكنها التعميم بفعالية، وغالباً ما تتفوق على نظيراتها المدربة على بيانات من العالم الحقيقي، عبر مهام مثل عد الأشياء، والإجابة عن الأسئلة البصرية، والتجزئة.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد تعليم روبوت كيف يفهم الفيديوهات. تريد أن يكون قادراً على عدّ الأشخاص في مشهد ما، والإجابة على أسئلة مثل "ما الذي يطارده الكلب؟"، أو حتى تحديد مكان سيارة متحركة بدقة في كل إطار من إطارات الفيديو.
للقيام بذلك، ستحتاج عادةً إلى مكتبة ضخمة من فيديوهات العالم الحقيقي التي تم تصنيفها بعناية من قبل البشر. ولكن هنا تكمن المشكلة: التصنيف البشري بطيء، ومكلف، وممل. الأمر يشبه محاولة توظيف جيش من الناس لمشاهدة آلاف الساعات من أفلام الفيديو المنزلية وكتابة كل تفصيل فيها. بالإضافة إلى ذلك، فإن الحياة الواقعية فوضوية؛ فقد تحصل على الكثير من الفيديوهات لكلاب في المتنزهات، ولكن القليل جداً من الكلاب في الفضاء، مما يجعل الروبوت سيئاً في فهم جانب "الفضاء".
تقدم هذه الورقة البحثية حلاً يسمى "الكل في واحد" (All in One)، وهو مصنع ذكي يبني بيانات التدريب الخاصة به.
الفكرة الجوهرية: "مصنع الخيال"
بدلاً من انتظار البشر للعثور على فيديوهات حقيقية وتصنيفها، قام المؤلفون ببناء مسار عمل (Pipeline) يتخيل فيديوهات من صورة واحدة فقط. فكر في الأمر كورشة عمل للكتابة الإبداعية لا تنفد أفكارها أبداً.
إليك كيف يعمل هذا "المصنع"، خطوة بخطوة:
- البذرة (الصورة): تبدأ بصورة ثابتة واحدة فقط. ربما تكون صورة لعائلة تقيم نزهة.
- الراوي (النص): ذكاء اصطناعي فائق الذكاء (مثل ChatGPT متطور جداً) ينظر إلى تلك الصورة ويكتب قصة عما قد يحدث بعد ذلك. هو لا يكتفي بالقول "هناك كلب"، بل يقول: "الكلب يطارد كرة، والأطفال يضحكون، وسحابة تمر فوق الرأس". هذا يعطي الفيديو حبكة درامية.
- المخرج (الفيديو): ذكاء اصطناعي آخر يأخذ تلك الصورة والقصة ويقوم بتحريكها. إنه يحول الصورة الثابتة إلى فيديو متحرك يتوافق مع القصة.
- مهندس الصوت (اختياري): إذا أرادوا، يمكنهم إضافة مؤثرات صوتية (نباح، ضحك، رياح) لتتناسب مع الفيديو.
- المُصنِّف (السحر): هذا هو الجزء الأفضل. بما أن الذكاء الاصطناعي هو من أنشأ الفيديو، فهو يعرف بالضبط ما الذي يحتويه. يقوم تلقائياً بكتابة:
- "هناك 3 أشخاص."
- "الكلب يرتدي طوقاً أحمر."
- "الكرة تحركت من اليسار إلى اليمين."
- حتى أنه يرسم حدوداً غير مرئية حول كل جسم في كل إطار.
لماذا يسمى هذا "الكل في واحد"؟
عادةً، إذا كنت تريد تدريب روبوت على العدّ، فأنت بحاجة إلى مجموعة بيانات واحدة. وإذا كنت تريده أن يجيب على الأسئلة، فستحتاج إلى مجموعة أخرى. وإذا كنت تريد تتبع الأجسام، فستحتاج إلى ثالثة.
هذا المسار يشبه السكين السويسري. فهو يأخذ صورة واحدة ويخرج منها حزمة كاملة: فيديو، وقصة، وعدّ للأجسام، ومجموعة من الأسئلة والأجوبة—كل ذلك متزامن بدقة. إنه "متجر شامل" لبيانات التدريب.
السر الكامن: طرح الأسئلة، وليس مجرد القراءة
لاحظ المؤلفون أن معظم الروبوتات يتم تدريبها بمجرد قراءة التسميات التوضيحية (مثل "كلب يركض"). هذا يجعل الروبوت كسولاً؛ فهو يحفظ الكلمات فقط دون النظر فعلياً.
بدلاً من ذلك، قاموا بتدريب روبوتاتهم باستخدام الإجابة البصرية على الأسئلة (VQA).
- الطريقة القديمة: "هذا فيديو لكلب. التسمية هي 'كلب يركض'".
- الطريقة الجديدة: "هذا فيديو. السؤال: كم عدد أرجل الكلب؟ الإجابة: أربعة. السؤال: هل الكلب يركض نحو الشجرة أم بعيداً عنها؟ الإجابة: نحوها".
هذا يجبر الروبوت على النظر فعلياً إلى الفيديو والتفكير، بدلاً من مجرد التخمين بناءً على النص. إنه الفرق بين حفظ الخريطة وبين التنقل الفعلي في التضاريس.
النتائج: هل البيانات المزيفة تعمل؟
قد تعتقد: "إذا كان الفيديو مزيفاً، ألن يرتبك الروبوت عندما يرى الحياة الواقعية؟"
لقد اختبر المؤلفون ذلك. قاموا بتدريب روبوتهم بالكامل تقريباً على هذه الفيديوهات "المتخيلة". ثم وضعوه في اختبارات من العالم الحقيقي (مثل عدّ الناس في شارع مزدحم أو الإجابة على أسئلة حول فيديوهات حقيقية).
لم ينجح الروبوت فحسب، بل تفوق في الاختبار.
لقد حقق أداءً أفضل من الروبوتات التي تم تدريبها على بيانات حقيقية مكلفة. لماذا؟ لأن البيانات "المزيفة" كانت متنوعة بشكل مثالي. استطاع المصنع توليد 10,000 فيديو لقطط في الفضاء، و10,000 فيديو لسيارات تسير تحت المطر، و10,000 فيديو لأشخاص يرقصون، وكلها بتصنيفات مثالية. لقد تعلم الروبوت قواعد كيفية عمل العالم، وليس مجرد الأمثلة المحددة التي رآها.
الصورة الكبيرة
تثبت هذه الورقة البحثية أننا لسنا بحاجة للاعتماد كلياً على العمالة البشرية المكلفة لتعليم الذكاء الاصطناعي. من خلال بناء "مصنع" يولد فيديوهات اصطناعية عالية الجودة، ومصنفة، ومتنوعة، يمكننا تدريب روبوتات فهم الفيديو لتكون أكثر ذكاءً وقدرة وبسرعة وتكلفة أقل.
الأمر يشبه تعليم طفل القيادة. بدلاً من السماح له فقط بالقيادة على طريق واحد محدد (بيانات حقيقية)، تضعه في محاكي قيادة مثالي (بيانات اصطناعية) حيث يمكنه ممارسة القيادة في الثلوج، والمطر، والازدحام المروري ملايين المرات. وعندما يخرج أخيراً إلى الطريق الحقيقي، سيكون مستعداً لكل شيء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.