KVAE: Family of Tokenizers for Multimodal Generative Models
تقدم هذه الورقة البحثية KVAE، وهي عائلة من أجهزة الترميز (tokenizers) عالية الأداء للصوت والصورة والفيديو، والتي تحقق جودة في إعادة البناء والتوليد تضاهي أو تتفوق على النماذج مفتوحة المصدر الرائدة، مع توفير تفاصيل تدريب شاملة ورموز برمجية لتسهيل استخدامها في النماذج التوليدية متعددة الوسائط المشروطة بالنص.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية رسم لوحة فنية، أو تأليف سيمفونية، أو إخراج فيلم. لا يمكنك ببساطة أن تعطي الروبوت كومة عشوائية وفوضوية من البكسلات، أو مليارات الموجات الصوتية؛ فهذا يشبه محاولة بناء منزل عن طريق رمي الطوب على الجدار والأمل في أن يلتصق. يحتاج الروبوت إلى مخطط. في عالم الذكاء الاصطناعي، يُسمى هذا المخطط "المُجزئ" (tokenizer). فكر في المُجزئ كأنه مترجم فائق الذكاء يأخذ فيديو عالي الدقة أو مقطعاً صوتياً معقداً ويضغطه في مجموعة أنيقة وصغيرة من التعليمات — "الفضاء الكامن" (latent space) — الذي يمكن للذكاء الاصطناعي فهمه واللعب به بالفعل.
لفترة طويلة، اعتقد العلماء أن أهم شيء لهذا المترجم هو أن يكون ناسخاً مثالياً: إذا أعطيته صورة، يجب أن يكون قادراً على رسمها مجدداً تماماً كما كانت. لكن فكرة جديدة بدأت تطفو على السطح: ربما أفضل مترجم ليس هو الذي ينسخ بدقة، بل هو الذي ينظم المعلومات بطريقة تجعل من السهل على الذكاء الاصطناعي ابتكار أشياء جديدة. إنه الفرق بين آلة التصوير التي تصنع نسخة مثالية لخريطة، وبين رسام خرائط يعيد رسم الخريطة بطرق واضحة ومنطقية تجعل من السهل على المسافر العثور على وجهات جديدة. يغوص هذا البحث في هذا السؤال تحديداً، مستكشفاً كيفية بناء هذه المترجمات للصور والفيديوهات والأصوات لكي يتمكن الذكاء الاصطناعي من إنشاء محتوى أفضل وأسرع وأكثر إبداعاً.
عائلة KVAE: المترجمون النهائيون لمبدعي الذكاء الاصطناعي
تعرف على عائلة KVAE، وهي مجموعة جديدة من الأدوات التي ابتكرها فريق مختبر كاندينسكي (Kandinsky Lab). هذه أدوات "مُجزئة" متخصصة صُممت لتعمل كجسر بين البيانات الخام (مثل مقطع فيديو أو أغنية) ونماذج الذكاء الاصطناعي التي تولدها. أدرك الفريق أن جودة العمل النهائي للذكاء الاصطناعي تعتمد بشكل كبير على مدى جودة بناء هذا الجسر. إذا كان الجسر مهتزاً، سيتعثر الذكاء الاصطناعي؛ وإذا كان سلساً ومنظماً جيداً، يمكن للذكاء الاصطناعي أن يعمل بسرعة ويبدع أشياء مذهلة.
يقدم البحث ثلاثة أعضاء رئيسيين لهذه العائلة، كل منها مصمم لنوع مختلف من الوسائط:
- KVAE-Audio: مترجم للصوت يعمل بتردد عالٍ قدره 48 كيلو هرتز (المعيار القياسي للصوت عالي الجودة). يقوم بضغط الصوت في تنسيق مدمج بـ 64 قناة، مما يسمح للذكاء الاصطناعي بسماع وإنشاء صوت كامل النطاق دون فقدان تفاصيل الموسيقى أو الكلام.
- KVAE-3D: مجموعة من المترجمات للفيديو. صُممت للتعامل مع بُعد "الزمن" المعقد في الفيديو، حيث تضغط الإطارات ليفهم الذكاء الاصطناعي الحركة. وتأتي بحجمين: أحدهما يضغط الفيديو بمقدار 4 مرات في الزمن و16 مرة في المساحة، والآخر يضغطها بشكل أكثر قوة.
- KVAE-2D: مترجم للصور الثابتة، يضغطها بمعامل قدره 8 لإنشاء تمثيل نظيف وفعال ليعمل عليه الذكاء الاصطناعي.
الاكتشاف الكبير: الأمر لا يتعلق بالنسخ المثالي
الاكتشاف الأكثر إثارة في هذا البحث هو أمر غير متوقع قليلاً. لسنوات، كان الهدف من هذه المترجمات هو أن تكون مثالية في إعادة البناء (reconstruction) — أي أنه إذا أدخلت صورة، يجب أن تبدو المخرجات مطابقة تماماً للمدخلات. وجد فريق KVAE أن السعي وراء إعادة البناء المثالية هو في الواقع فخ.
اكتشفوا أن المُجزئ يمكن أن يكون رائعاً في نسخ صورة ما، ولكنه سيء جداً في مساعدة الذكاء الاصطناعي على توليد صور جديدة. الأمر يشبه وجود طالب يمكنه حفظ الكتاب المدرسي كلمة بكلمة، لكنه يفشل في كتابة مقال حول موضوع جديد. يشير البحث إلى أن "السر" يكمن في شيء يسمونه "القابلية للانتشار" (diffusability). وهذه طريقة منمقة لقول: "ما مدى سهولة التعامل مع هذه البيانات المضغوطة من قبل الذكاء الاصطناعي؟"
لقياس ذلك، طور الفريق اختباراً ذكياً يسمى ميل اضمحلال الارتباط (Correlation Decay Slope - CDS). تخيل أنك تنظر إلى نمط من النقاط على شبكة. إذا كانت النقاط متشابهة جداً مع جيرانها، فإن النمط يكون "لزجاً" ويصعب على الذكاء الاصطناعي تحريكه. أما إذا كانت النقاط تتغير بطريقة محددة ومتوقعة أثناء حركتك عبر الشبكة، فإن النمط يكون "انسيابياً" وسهل التلاعب به من قبل الذكاء الاصطناعي. تم ضبط نماذج KVAE لتكون ذات هذه الصفة "الانسيابية"، حتى لو عنى ذلك أنها لم تكن الأفضل على الإطلاق في نسخ الصورة الأصلية بدقة.
النتائج: أفلام وموسيقى وفنون أفضل
عندما اختبر الفريق هذه المترجمات الجديدة عبر تدريب نماذج الذكاء الاصطناعي عليها، كانت النتائج مبهرة.
- بالنسبة للصور: عندما استخدموا KVAE-2D لتوليد صور من النصوص، أنتج الذكاء الاصطناعي صوراً صنفها البشر بأنها أعلى جودة وأكثر التزاماً بالوصف مقارنة بالصور الناتجة عن أدوات مفتوحة المصدر أخرى مشهورة. ومن المثير للاهتمام أن النموذج الذي كان الأفضل في نسخ الصور (إعادة البناء) أنتج في الواقع صوراً أسوأ من نموذج KVAE، مما يثبت أن إعادة البناء ليست القصة بأكملها.
- بالنسبة للفيديو: ساعدت نماذج KVAE-3D الذكاء الاصطناعي على توليد فيديوهات تتحرك بشكل طبيعي وتبدو أكثر حدة. وفي الاختبارات المباشرة ضد مُجزئات الفيديو الرائدة الأخرى، تفوقت نماذج KVAE في سرعة التدريب وجودة الفيديوهات النهائية، خاصة في مدى مطابقة الفيديو للوصف النصي.
- بالنسبة للصوت: كان مُجزئ KVAE-Audio بمثابة تغيير لقواعد اللعبة بالنسبة للصوت. فخلافاً للأدوات الأخرى التي تقطع الصوت إلى قطع منخفضة الجودة أو تفقد "الطور" (phase) (أي توقيت الموجات الصوتية)، حافظ KVAE-Audio على جودة 48 كيلو هرتز الكاملة. وعند استخدامه لتوليد الموسيقى والكلام، أنتج أصواتاً فضلها البشر على النماذج الأخرى المتطورة، رغم أنه استخدم "قنوات" أقل (64 قناة) مقارنة بمنافسيه (الذين استخدموا 128 أو 256 قناة).
المقايضة: لماذا قد يكون "الأقل" هو "الأكثر"
أحد الدروس الرئيسية في البحث يتعلق بالتوازن. جرب الفريق جعل المترجمات "أعرض" (بإضافة المزيد من القنوات) لمعرفة ما إذا كان ذلك سيساعد. بالنسبة للفيديو، وجدوا أن جعل المترجم أعرض ساعد في كل من النسخ والتوليد. ولكن بالنسبة للصوت، وجدوا نقطة مثالية. إذا جعلوا مترجم الصوت أعرض جداً (قنوات كثيرة جداً)، سيعاني الذكاء الاصطناعي في تعلم كيفية توليد أصوات جديدة، رغم أن عملية النسخ ستتحسن قليلاً.
تبين أن بالنسبة للصوت، فإن 64 قناة هي "المنطقة الذهبية" — مثالية تماماً ليتعلم الذكاء الاصطناعي بسرعة وينتج صوتاً عالي الجودة. وهذا يشير إلى أنه لا يوجد حجم واحد "أفضل" لهذه المترجمات؛ فالأمر يعتمد على ما إذا كنت تتعامل مع فيديو أو صور أو أصوات، وكمية المعلومات التي يحتاج الذكاء الاصطناعي للتعامل معها.
الخلاصة
لم يقم فريق KVAE ببناء مترجمات أفضل فحسب، بل اكتشفوا لماذا تعمل بعض المترجمات بشكل أفضل من غيرها في العمليات الإبداعية. من خلال التركيز على كيفية تنظيم البيانات (القابلية للانتشار) بدلاً من مجرد مدى مثالية نسخها، أنشأوا أدوات تساعد الذكاء الاصطناعي على توليد وسائط ليست عالية الجودة فحسب، بل أيضاً أكثر تماسكاً وتوافقاً مع التعليمات البشرية.
والجزء الأفضل؟ لم يحتفظوا بهذه الأسرار لأنفسهم. فالأكواد والنماذج مفتوحة المصدر، مما يعني أن أي شخص يمكنه استخدام هذه الأدوات لبناء مولدات الفن والموسيقى والفيديو الخاصة به. إنه تذكير بأنه في عالم الذكاء الاصطناعي، أحياناً لا تكمن الخطوة الأهم في جعل الروبوت أكثر ذكاءً فحسب، بل في إعطائه خريطة أفضل ليتنقل بها في العالم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.