VibeVoice-ASR-BitNet Technical Report
يُعد VibeVoice-ASR-BitNet نموذجاً مضغوطاً للتعرف التلقائي على الكلام في الوقت الفعلي، مُحسَّناً لمعالجات الحافة (edge CPUs) عبر التكميم غير المتجانس (INT8 للمُشفر التلقائي VAE وأوزان ثلاثية بأسلوب BitNet للنموذج اللغوي) ونواة SIMD مخصصة، محققاً سرعة استنتاج تزيد بمقدار 1.6 إلى 2.3 ضعفاً مقارنة بـ Whisper.cpp مع حد أدنى من فقدان الدقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول وضع مكتبة ضخمة وعالية الدقة من الكتب داخل حقيبة ظهر صغيرة. عادةً، إذا أردت أن تكون الكتب قابلة للقراءة ودقيقة، يجب أن تكون سميكة وثقيلة. وإذا حاولت تقليص حجمها كثيراً، ستتحول الصفحات إلى خربشات ضبابية، أو ستصبح حقيبة الظهر ثقيلة جداً لدرجة أنك لا تستطيع حملها على الإطلاق. هذا هو الصراع اليومي للحواسيب التي تحاول فهم الكلام البشري. لسنوات، كانت أفضل أنظمة "تحويل الكلام إلى نص" تشبه المكتبات الضخمة والثقيلة التي لا يمكن أن تعيش إلا في مراكز بيانات ضخمة ومكلفة (السحابة). كانت ذكية للغاية ولكنها تتطلب حاسوباً فائق القدرة للتشغيل، مما يعني أن صوتك كان يجب أن يسافر عبر الإنترنت ليتم معالجته. هذا أثار مخاوف بشأن الخصوصية وتسبب في تأخيرات مزعجة. ومن ناحية أخرى، كانت الأنظمة الصغيرة والسريعة التي يمكن أن تعمل على هاتفك أو حاسوبك المحمول غالباً مثل دفتر رسومات طفل: سريع في التصفح، لكنه لا يستطيع فهم الجمل المعقدة أو العديد من اللغات المختلفة. كان السؤال الكبير للعلماء هو: هل يمكننا بناء نظام يكون بذكاء المكتبة الضخمة، ولكنه خفيف بما يكفي ليتسع في حقيبة ظهر ويعمل فوراً على شريحة حاسوب عادية؟
يقدم هذا البحث حلاً جديداً يسمى VibeVoice-ASR-BitNet، والذي يعمل كخبير تغليف محترف لتلك المكتبة الصوتية. وجد الباحثون أن ليست كل أجزاء نظام التعرف على الكلام ثقيلة بنفس الطريقة؛ فبعض الأجزاء تشبه "الآذان" التي تستمع لموجات الصوت، وأجزاء أخرى تشبه "الدماغ" الذي يستنتج معنى الكلمات من تلك الأصوات. وبدلاً من استخدام صندوق واحد بحجم واحد لكل شيء، استخدموا استراتيجية "غير متجانسة" ذكية — حيث مزجوا بين نوعين مختلفين من الضغط. بالنسبة لـ "الآذان" (الجزء الذي يعالج الصوت الخام)، استخدموا ضغط INT8 لكامل المسار، وهو يشبه طباعة الصفحات على ورق أقل سماكة قليلاً مع الحفاظ على حدة الحبر. أما بالنسبة لـ "الدماغ" (الجزء الذي يتنبأ بالكلمة التالية)، فقد استخدموا ضغطاً أكثر عدوانية بأسلوب BitNet ternary، حيث قلصوا الأوزان إلى ثلاث قيم فقط: -1، و0، و+1. فكر في الأمر كاستبدال الفقرات المعقدة بشفرة بسيطة من الأسهم والنقاط والشرطات.
من خلال الجمع بين هاتين الطريقتين، تمكن الفريق من تقليص حجم النموذج بأكمله من حجم ضخم يبلغ 4.62 جيجابايت إلى حجم رشيق يبلغ 1.58 جيجابايت — أي تقليص بمقدار 2.9 ضعف. والنتيجة هي نظام يمكنه العمل على معالج حاسوب قياسي (CPU) دون الحاجة إلى بطاقة رسوميات قوية. وفي اختباراتهم، استطاع هذا النموذج المضغوط الاستماع إلى مقطع صوتي مدته 20 ثانية وكتابته بسرعة أكبر من سرعة تشغيل الصوت نفسه (عامل وقت حقيقي أقل من 1)، حتى على الحواسيب ذات عدد قليل جداً من مسارات المعالجة. وبينما هو أقل دقة بقليل من النسخة الضخمة غير المضغوطة (مظهراً زيادة طفيفة في الأخطاء، تتراوح عادة بين 1-4%)، إلا أنه أسرع وأكثر كفاءة بكثير من الأنظمة المماثلة في الحجم، حيث تفوق على نظام Whisper.cpp الشهير في السرعة بمقدار 1.6 إلى 2.3 مرة. ويشير المؤلفون إلى أنه بينما يعد هذا خطوة كبيرة للأمام لتشغيل الذكاء الاصطناعي الذكي على الأجهزة اليومية، فإن النظام يعمل حالياً بشكل أفضل مع التسجيلات الصوتية المسجلة مسبقاً ولم يتم اختباره بعد للمحادثات المباشرة (البث الحي).
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.