LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training
تقدم الورقة البحثية LAION-BVD، وهو مجموعة بيانات مفتوحة ضخمة تضم 80 مليون فيديو (10 ملايين ساعة) مع تعليقات توضيحية مُولدة اصطناعياً، مما يتيح التدريب المسبق متعدد الوسائط بأسلوب الحالة الراهنة عبر مهام الفيديو والصوت والنص-الصورة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العصر الحديث للذكاء الاصطناعي، تتعلم الحواسيب رؤية وسماع العالم ليس من خلال تلقيها قواعد جاهزة، بل عبر امتصاص كميات هائلة من الأمثلة. لسنوات طويلة، بنى الباحثون مكتبات ضخمة من الصور المقترنة بالأوصاف النصية، لتعليم الآلات أن صورة الكلب غالباً ما تأتي مصحوبة بكلمة "كلب". هذه العملية، المعروفة باسم التعلم متعدد الوسائط (multimodal learning)، تسمح للحواسيب بربط ما تراه بما تقرؤه، مما يشكل الأساس لأنظمة يمكنها وصف الصور، أو الإجابة عن أسئلة حولها، أو حتى توليد صور جديدة من النصوص. ومع ذلك، بينما نمت هذه المكتبات من الصور الثابتة لتشمل مليارات المدخلات، ظلت المجموعات المماثلة للصور المتحركة والصوت صغيرة بشكل مفاجئ. فالأفلام أكثر تعقيداً من الصور الثابتة؛ فهي تحتوي على الحركة، وتغير المشاهد، وغالباً ما تتضمن مقطعاً صوتياً يروي قصة جنباً إلى جنب مع المرئيات. وقد تمثل التحدي في أن جمع بيانات فيديو كافية لتدريب هذه الأنظمة القوية أمر صعب للغاية، حيث غالباً ما تكون مقاطع الفيديو محتجزة خلف جدران المنصات التجارية وتتطلب قدرة حوسبة هائلة لمعالجتها.
لقد نجح فريق من الباحثين الآن في كسر هذا الحاجز من خلال إطلاق مجموعة بيانات ذات نطاق غير مسبوق تسمى LAION-BVD. تمثل هذه المجموعة قفزة هائلة للأمام في مجال العلوم المفتوحة، حيث تقدم مكتبة تضم 10 ملايين ساعة من الفيديو. ولوضع هذا في منظور، إذا أراد المرء مشاهدة كل ساعة من هذه اللقطات دون توقف، فسيستغرق الأمر أكثر من ألف عام لإنهاء المشاهدة. تم بناء مجموعة البيانات هذه من خلال جمع 1.3 مليار رابط لمقاطع فيديو من الويب العام أولاً، وتحديداً من منصات رئيسية مثل يوتيوب، وفيميو، ودالي موشن. ومن هذه القائمة الضخمة، نجح الباحثون في تحميل 80 مليون فيديو متميز. ثم استخدموا أدوات مؤتمتة لتقطيع هذه الفيديوهات الطويلة إلى مقاطع أقصر وذات مغزى بناءً على تغير المشاهد، لضمان أن كل جزء يلتقط لحظة متماسكة بدلاً من أن يكون مزيجاً مشوشاً من لقطات غير مترابطة.
يكمن الابتكار الحقيقي لهذا العمل في كيفية تعليم الكمبيوتر فهم هذه المقاطع. وبما أنه لا يمكن لأي إنسان مشاهدة 10 ملايين ساعة من الفيديو وكتابة وصف لكل ثانية، فقد استخدم الفريق الذكاء الاصطناعي لتوليد العلامات النصية تلقائياً. لقد قاموا بتدريب نماذج متخصصة لمشاهدة مقاطع الفيديو وكتابة تعليقات اصطناعية قصيرة تصف الحدث، بينما قامت نماذح أخرى بالاستماع إلى المسارات الصوتية لوصف الأصوات، من الموسيقى إلى الكلام إلى الضوضاء المحيطة. كما استخرجوا إطارات فردية من مقاطع الفيديو لإنشاء مجموعة ضخمة تضم 300 مليون صورة، لكل منها وصفها الخاص. خلقت هذه العملية مجموعة بيانات غنية ومتعددة الطبقات حيث يمكن للكمبيوتر أن يتعلم ربط الفيديو بالنص، والصوت بالنص، وحتى الصور الفردية بالنص، وكل ذلك من نفس المصدر.
عندما اختبر الباحثون هذه البيانات الجديدة عبر تدريب نماذج حاسوبية عليها، كانت النتائج مذهلة. فقد تعلمت النماذج فهم الفيديو والصوت بنفس كفاءة، وفي بعض الحالات أفضل من، النماذج التي تدربت على مجموعات بيانات أصغر موجودة مسبقاً. تحسن الأداء باستمرار مع تغذية النماذح بمزيد من البيانات واستخدام بنيات حاسوبية أكبر، مما يشير إلى أن هذه المكتبة الضخمة هي مورد عالي الجودة لتعليم الآلات. أصبحت نماذج الفيديو أفضل في التعرف على الأفعال البشرية، مثل تحديد شخص يلعب كرة السلة أو يؤدي رقصة معينة، وأصبحت أكثر مهارة في العثور على الفيديو المناسب عند إعطائها وصفاً نصياً. وبالمثل، أظهرت النماذج المدربة على الصوت قدرة قوية على مطابقة الكلمات المنطوقة أو الأوصاف المكتوبة مع الأصوات الصحيحة، سواء كان ذلك زقزقة عصفور أو صوت محرك سيارة.
ولعل الأمر المثير للدهشة هو أن الصور المستخرجة من هذه الفيديوهات أثبتت أيضاً أنها مصدر قوي جديد للتعلم. وبينما لم تكن النماذج التي تدربت على صور مستمدة من الفيديو هي الأفضل مطلقاً في تحديد أشياء محددة بأسلوب أكاديمي جامد، إلا أنها تفوقت في مهمة مختلفة: وهي العثور على الصورة المناسبة لوصف معين. وهذا يشير إلى أن العالم المرئي الملتقط في الفيديوهات يقدم نوعاً مختلفاً من التنوع عن صور الويب القياسية، مما يوفر منظوراً فريداً يساعد الحواسيب على فهم العالم بشكل أوسع. ووجد الباحثون أن التعليقات التي ولدها نظامهم المؤتمت كانت دقيقة بما يكفي لتكون مفيدة، حيث وصفت الغالبية العظمى من المحتوى بشكل صحيح.
إن هذا العمل لا يكتفي فقط بتوفيد مجموعة بيانات جديدة؛ بل يثبت أن العائق أمام تدريب ذكاء اصطناعي متقدم للفيديو والصوت لم يعد نقصاً في البيانات المتاحة، بل هو الجهد الهندسي المطلوب لمعالجتها. ومن خلال إظبات أن مجموعة ضخمة ومتاحة للجميع من فيديوهات الويب يمكن تنسيقها واستخدامها بنجاح لتدريب نماذج متطورة، فتح الباحثون الباب أمام جيل جديد من الذكاء الاصطناعي. لقد أثبتوا أنه مع الأدوات المناسبة، يمكن تحويل المحيط الشاسع والفوضوي من فيديوهات الإنترنت إلى مورد تعليمي منظم، مما يسمح للآلات بالتعلم من كامل طيف التجربة البشرية كما تتحرك وتصدر أصواتاً، وليس فقط كما تقبع ساكنة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.