VQ-bench: A Composable Vector Quantization Framework

تخيل أنك تحاول وضع مكتبة ضخمة من الكتب داخل حقيبة ظهر صغيرة للغاية. لا يمكنك حمل المكتبة بأكملها، لذا عليك أن تكون ذكياً. قد تلخص كل كتاب في جملة واحدة، أو ربما تكتفي بالاحتفاظ بقائمة لأهم الكلمات المفتاحية. في عالم الذكاء الاصطناي، تُسمى مشكلة "حقيبة الظهر" هذه التكميم المتجهي (vector quantization). وبدلاً من الكتب، تتعامل أنظمة الذكاء الاصطناعي مع "المتجهات" (vectors)—وهي قوائم طويلة من الأرقام التي تمثل أشياء مثل معنى جملة، أو وجهاً في صورة، أو ذاكرة محادثة. هذه القوائم ضخمة وتستهلك مساحة كبيرة. ولجعل الذكاء الاصطناعي أسرع وأرخص، يحاول العلماء تقليص هذه القوائم إلى أكواد صغيرة، مثل تحويل رواية مكونة من 1000 صفحة إلى رقم هاتف مكون من 10 أرقام.

الجزء الصعب هو أنه عندما تقلص شيئاً ما، فإنك عادةً ما تفقد بعض التفاصيل. الهدف هو تقليص الشيء قدر الإمكان دون فقدان القدرة على الإجابة على الأسئلة بشكل صحيح. على سبيل المثال، إذا سألت الذكاء الاصطناعي: "ما هي القصة الأكثر تشابهاً مع هذه القصة؟"، يجب أن يجد الذكاء الاصطناعي الإجابة الصحيحة حتى لو كان ينظر فقط إلى الأكواد الصغيرة والمقلصة. لعقود من الزمن، ابتكر الباحثون طرقاً مختلفة للقيام بهذا التقليص، لكنهم جميعاً كانوا يتحدثون لغات مختلفة. فبعضهم يقيس النجاح بمدى تذكر القصة، والبعض الآخر بمدى سرعة البحث، وجميعهم يختبرون على مكتبات مختلفة. الأمر يشبه محاولة مقارنة سرعة سيارة فيراري، ودراجة هوائية، ومركبة فضائية، بينما جميعها تسير على مسارات مختلفة وبخطوط نهاية مختلفة.

هنا يأتي دور الورقة البحثية الجديدة، VQ-bench، لتعيد النظام إلى الفوضى. أدرك المؤلفون، أشوين باداكي، وأمير إنغبر، وإيدو ليبرتي، أن جميع هذه الطرق المختلفة للتقليص مبنية في الواقع من نفس المجموعة الصغيرة من مكعبات "الليغو". أطلقوا على هذه المكعبات اسم "النماذج الأولية" (primitives). فكر في هذه النماذج كأدوات المطبخ الأساسية: الخلاط (لخلط الأشياء)، والمصفاة (لفصل الأجزاء)، والميزان (لوزن الأشياء)، والمطحنة (لتصغير الحجم). تجادل الورقة بأن أي طريقة تكميم معقدة هي مجرد وصفة محددة لهذه الأدوات المرتبطة ببعضها البعض.

بنى الفريق إطار عمل جديداً مفتوح المصدر يسمى VQ-bench يعمل مثل مطبخ عالمي. فبدلاً من الجدال حول أي وصفة هي الأفضل، يمكنهم الآن أخذ أي طريقة، وتفكيكها إلى مكعبات "الليغو" الخاصة بها، وتشغيلها عبر نفس المطبخ لرؤية كيفية أدائها بالضبط. لقد حددوا 7 نماذج أولية شائعة (مثل "توسيط" البيانات، أو "تدويرها" لجعلها متساوية، أو "تقريب" الأرقام إلى أعداد صحيحة) وأظهروا كيف أن 25 طريقة شهيرة مختلفة هي مجرد تركيبات مختلفة من هذه النماذج. على سبيل المثال، طريقة "التكميم بالمنتج" (Product Quantization) هي ببساطة "تقسيم البيانات إلى أجزاء" ثم "إيجاد أقرب تطابق" لكل جزء.

باستخدام هذا النظام الموحد، اختبر المؤلفون 14 طريقة مختلفة على 5 مجموعات بيانات مختلفة (مجموعات من بيانات الذكاء الاصطناعي) لمعرفة أي منها يعمل بشكل أفضل حقاً. لم ينظروا فقط إلى مدى صغر حجم الملفات؛ بل قاسوا أيضاً مدى قدرة الذكاء الاصطناعي على العثور على الإجابات الصحيحة، وكمية الذاكرة التي استخدموها، والوقت الذي استغرقه التشغيل. تشير نتائجهم إلى أنه بينما قد تكون بعض الطرق القديمة سريعة، إلا أنها غالباً ما تفقد الكثير من الجودة. ومن ناحية أخرى، يبدو أن الطرق الأحدث مثل EDEN و E-RaBitQ تحقق أفضل توازن، حيث تقدم نتائج عالية الجودة دون الحاجة إلى الكثير من قدرة الحوسبة.

والأهم من ذلك، توضح الورقة البحثية أن هذا الإطار مصمم لـ "تكميم ما بعد التدريب" (post-training quantization)—أي تقليص النماذج التي تم بناؤها بالفعل. وهي تستبعد صراحةً "التدريب الواعي بالتكميم" (quantization-aware training)، وهو عملية مختلفة وأكثر تعقيداً حيث يتعلم الذكاء الاصطناعي كيفية تقليص نفسه أثناء عملية التعلم. ويشير المؤلفون بحذر إلى أنه بينما يعد إطار عملهم خطوة كبيرة للأمام في مقارنة الطرق، فإنه ليس عصا سحرية تجعل كل خوارزمية مثالية؛ فقد تعمل بعض الطرق بشكل أبطأ في نظامهم بسبب الطبقات الإضافية من التنظيم، حتى لو كانت ستكون أسرع في نسخة مخصصة.

باخت-اختصار، لا يبتكر VQ-bench مجرد طريقة جديدة لتقليص البيانات فحسب، بل يبتكر طريقة جديدة للتحدث عن كل طرق تقليص البيانات. فمن خلال تحويل كومة فوضوية من التقنيات المختلفة إلى نظام نمطي نظيف، فإنه يساعد الباحثين على رؤية بوضوح أي الأفكار جديدة حقاً وأيها مجرد أفكار قديمة ترتدي قبعة جديدة. والنتيال هو مسار أوضح نحو بناء ذكاء اصطناعي قوي وفعال في آن واحد، دون الضياع في ضجيج التقارير المتضاربة.