Bagpiper: Solving Open-Ended Audio Tasks via Rich Captions

تخيل أنك تحاول تعليم روبوت فهم عالم الصوت. لفترة طويلة، تعامل العلماء مع الصوت كأنه مجموعة من الصناديق المنفصلة والصلبة؛ كان هناك صندوق خاص بالكلام، وصندوق مختلف للموسيقى، وآخر للضوضاء العشوائية مثل صفارات الإنذار أو المطر. ولجعل الروبوت ذكياً، كان على الباحثين بناء مجموعة محددة من التعليمات لكل صندوق، آملين أن يتمكن الروبوت في النهاية من معرفة كيفية التنقل بينها. لكن هذا النهج يشبه محاولة تعلم لغة عبر حفظ قاموس لكل كلمة على حدة، دون تعلم كيفية تدفق الجمل معاً أبداً. إنه أمر بطيء، وعقيم، ويعاني عندما تطلب من الروبوت القيام بشيء جديد، مثل "اصنع أغنية جاز تبدو وكأنها يوم ممطر في مدينة صاخبة".

الفكرة الكبيرة التي تستكشفها هذه الورقة البحثية هي أن البشر لا يستمعون إلى الصوت في صناديق. فعندما نسمع مشهداً معقداً، يدمج دماغنا فوراً الموجات الصوتية الفيزيائية مع أفكارنا ومشاعرنا وذكرياتنا. نحن لا نسمع فقط "طبلة"؛ بل نسمع "إيقاعاً حيوياً يجعلني أرغب في الرقص". تقدم هذه الورقة طريقة جديدة لتعليم الآلات هذا النوع من الاستماع الشمولي. فبدلاً من إجبار الذكاء الاصطناعي على حفظ آلاف المهام المحددة، يمنحه الباحثون "مترجماً عالمياً" يحول الصوت الخام إلى قصص غنية ومفصلة. ومن خلال تعليم الذكاء الاصطناعي وصف الصوت بنفس العمق الذي يستخدمه البشر، يأملون في إنشاء نموذج يمكنه فهم وإنشاء أي نوع من الصوت، من الهمس إلى السيمفونية، بمجرد اتباع محادثة طبيعية.

إليك "باغيبايبير" (Bagpiper)، وهو نموذج صوتي جديد بـ 8 مليارات معلمة (parameter) يعمل كراوٍ بارع للقصص الصوتية. الفلسفة الأساسية وراء "باغيبايبير" بسيطة ولكنها قوية: قبل أن يحاول فهم صوت ما أو ابتكار صوت جديد، يقوم أولاً بترجمة الصوت إلى "وصف غني". فكر في هذا الوصف ليس كعلامة بسيطة مثل "نباح كلب"، بل كقصة حية متعددة الجمل تلتقط كل شيء عن الصوت: الحالة المزاجية، الآلات الموسيقية، عاطفة المتحدث، ضوضاء الخلفية، وحتى السياق الثقافي. إنه الفرق بين قول الروبوت "تم رصد ضوضاء" وبين وصف شاعر لـ "نباح حاد وإيقاعي لكلب من فصيلة جولدن ريتريفر يتردد صداه في رصيف مبلل، ممتزجاً مع الهمهمة البعيدة لحافلة مدينة".

لقد درب الباحثون "باغيبايبير" على نظام غذائي هائل من 600 مليار "توكن" (قطع من النصوص والصوت). خلال هذا التدريب، تعلم النموذج بناء جسر ثنائي الاتجاه بين الموجات الصوتية الخام وهذه القصص الإدراكية الغنية. تعلم أن نمطاً معيناً من الموجات الصوتية يتوافق دائماً مع شعور معين بـ "الجاز الهادئ"، وبالعكس، أن قصة عن "صباح هادئ" يمكن تحويلها مجدداً إلى صوت زقزقة العصافير وتحضير القهوة. وتحدث هذه العملية دون أن يُقال للنموذج أبداً: "حسناً، أنت الآن برنامج للتعرف على الكلام"، أو "الآن أنت مولد موسيقى". إنه يتعلم لغة الصوت نفسها فحسب.

بمجرد بناء هذا الأساس، علم الباحثون "باغيبايبير" كيفية حل المشكلات باستخدام سير عمل "الوصف ثم المعالجة". تخيل أنك تطلب من "باغيبايبير" أن "يخلق صوتاً لروبوت يقع في الحب". بدلاً من تخمين الصوت مباشرة، يكتب النموذج أولاً قصة داخلية مفصلة (سلسلة من الأفكار/Chain of Thought) حول كيف سيكون ذلك الصوت: هدير ميكانيكي يتباطأ، رنين ناعم يعزف، الصوت يصبح أكثر دفئاً... ثم يستخدم هذه القصة كمخطط لتوليد الصوت الفعلي. وهذا يسمح للنموذج بالتعامل مع الطلبات المفتوحة التي لم يسبق له رؤيتها، لأنه لا يعتمد على قائمة مهام مبرمجة مسبقاً؛ بل يستخدم فهمه لـ "قصة" الصوت للارتجال.

تشير النتائج إلى أن هذا النهج يعمل بشكل جيد للغاية. في الاختبارات، أثبت "باغيبايبير" قدرته على توليد مجموعة متنوعة من الأصوات - بما في ذلك الكلام والموسيقى والمؤثرات الصوتية - وحتى مزجها معاً بطرق معقدة، مثل أغنية راب مع إيقاع جاز وضحكات جمهور في آن واحد. لقد قدم أداءً يضاهي النماذج المتخصصة الأكبر حجماً في فهم الصوت، وتفوق على نماذج أخرى رفيعة المستوى في اتباع التعليمات الإبداعية المعقدة. تظهر الورقة البحثية أنه من خلال منح الذكاء الاصطناعي "وصفاً غنياً" ليفكر به، يمكنه سد الفجوة بين الصوت الفيزيائي والمفاهيم البشرية، وحل المهام الصوتية بطريقة مرنة ومفتوحة واجهت النماذج السابقة صعوبة في تحقيقها. ورغم أن النموذج لا يزال يرث بعض الأخطاء من القصص التي يولدها، إلا أن التجارب تشير إلى أن طريقة "التفكير في القصص" هذه هي مسار واعد نحو ذكاء صوتي عالمي حقيقي.