When Local Variance Optimality Is Not Enough: RoPE-Aligned Q/K Rotations for Dynamic 4-Bit Quantisation
تُثبت هذه الورقة أنه بينما تُعد تدويرات الأزواج المتوافقة مع RoPE مثالية تحليلياً لتقليل بديل تباين مجمع محدد تحت قيود تبادلية صارمة، إلا أنها تفشل في تحسين دقة التكميم الديناميكي بـ 4 بت مقارنة بتحويلات هادامارد كاملة الرأس بسبب عدم توافق جوهري بين افتراضات البديل والإحصائيات المعتمدة على الرمز (token-wise) التي يستخدمها المكمم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حشر سحابة عملاقة ومنتفخة من البيانات داخل صندوق صغير وصلب. هذه هي المعاناة اليومية لجعل نماذج الذكاء الاصطناعي (AI) الضخمة أصغر وأسرع حتى يمكن تشغيلها على أجهزة الكمبيوتر العادية أو الهواتف. وللقيام بذلك، يستخدم العلماء حيلة تسمى "التكميم" (quantization)، وهي تشبه ضغط السحابة لتقليل دقتها. لكن المشكلة تكمن في أن السحابة تحتوي على بعض البقع شديدة السطوع وثقيلة الوزن تسمى "القيم المتطرفة" (outliers). إذا قمت بضغط السحابة بأكملها دون عناية، فستتحطم تلك البقع الثقيلة، ويبدأ الذكاء الاصطناعي في ارتكاب أخطاء سخيفة.
ولحل هذه المشكلة، استخدم الباحثون طريقة تسمى "الدوران" (rotation). تخيل أن السحابة مكونة من خيوط من المعكرونة (السباغيتي). إذا قمت بضغط الحزمة بأكملها فقط، فستنكسر الخيوط السميكة. ولكن إذا قمت بلف الحزمة أولاً، يمكنك توزيع السماكة بشكل متساوٍ، مما يجعل من السهل ضغطها دون كسر أي شيء. إحدى الطرق الشائعة لليّ هذه الخيوط تعتمد على ما يسمى "RoPE" (تضمين الموضع الدوار)، وهو بمثابة دليل تعليمات خاص يخبر الذكاء الاصطناعي بكيفية فهم ترتيب الكلمات في الجملة. هذا الدليل يقسم السباغيتي طبيعيًا إلى أزواج من الخيوط المرتبطة معًا.
السؤال الكبير الذي يطرحه هذا البحث هو: عندما نقوم بليّ السباغيتي لنجعلها تتناسب مع المكان، هل يجب أن نليّ الحزمة الكاملة من الخيوط دفعة واحدة، أم يجب أن نليّ فقط أزواج الخيوط المحددة التي يقول دليل التعليمات إنها مرتبطة ببعضها؟ يبدو من المنطقي أن احترام أزواج الدليل سيكون أفضل، أليس كذلك؟ لقد وضع المؤلفون هذه الفكرة (الليّ الزوجي) تحت الاختبار، آملين في إيجاد طريقة أذكى وأكثر كفاءة لليّ البيانات.
الالتواء الذي لم ينجح
قرر الباحثون، شوهان وانغ، وييلين لو، وفريقهم، وضع فكرة "الليّ الزوجي" هذه قيد الاختبار. لقد بنوا نظرية رياضية توضح أنه إذا كنت تريد ليّ البيانات بطريقة تحترم دليل تعليمات Roote بشكل مثالي، فأنت مجوهر رياضيًا لليّ أزواج محددة فقط من الخيوط. حتى أنهم حسبوا الزاوية "المثالية" للي كل زوج لتقليل "القابلية للضغط" (التباين) في البيانات، مما خلق نقطة مثالية محلية ينبغي أن تكون، من الناحية النظرية، أفضل التواء ممكن لهذا الزوج المحدد.
ومع ذلك، عندما جربوا هذا في العالم الحقيقي باستخدام التكميم رباعي البت الديناميكي (طريقة محددة لتقليص حجم البيانات)، كانت النتائج بمثابة تحول غير متوقع في الحبكة. فعلى الرغم من حساباتهم الرياضية المثالية، جعلت طريقة "الالتواء الزوجي فقط" الذكاء الاصطناعي أسوأ في فهم اللغة مقارنة بالطريقة القديمة المتمثلة في ليّ الحزمة الكاملة دفعة واحدة.
في تجاربهم على أربعة نماذج ذكاء اصطناعي مختلفة (بما في ذلك Llama و Mistral)، أدى استبدال الالتواء الكامل للرأس بالالتواء الزوجي الجديد "المثالي رياضيًا" إلى زيادة ارتباك النموذج. يقيس البحث هذا الارتباك باستخدام درجة تسمى "الحيرة" (perplexity)؛ حيث تعني الدرجة العالية أن النموذج أكثر تشتتًا. وجدوا أن الطريقة الزوجية زادت من درجة الحيرة بمقدار يتراوح بين +0.05 إلى +1.33 نقطة عبر النماذج المختلفة. على سبيل المثال، في نموذج Llama-3.2-1B، جعلت الطريقة الزوجية النموذج أكثر ارتباكًا بمقدار 1.33 نقطة مقارنة بالطريقة القياسية. وحتى عندما حاولوا إصلاح الرياضيات عبر النظر فقط إلى البيانات التي يتم ضغطها (تدفق K) لحساب زاوية الالتواء، لم تستطع الطريقة الزوجية اللحاق بالطريقة الكاملة للرأس.
لماذا فشلت الرياضيات المثالية؟
أدرك المؤلفون أن المشكلة لم تكن في أن رياضياتهم خاطئة، بل في أن رياضياتهم كانت تحل المشكلة "الخاطئة" بالنسبة للأداة المحددة التي يستخدمونها.
فكر في الأمر بهذه الطريقة: صمم الباحثون مفتاحًا (الالتواء الزوجي) يناسب قفلًا محددًا تمامًا (التباين الرياضي لأزواج البيانات). لكن الباب الذي حاولوا فتحه (المكمّم/quantizer) لم يكن يستخدم ذلك القفل، بل كان يستخدم آلية مختلفة تمامًا: فقد نظر إلى نطاق البيانات عبر مجموعة أكبر بكثير من الخيوط، وليس فقط الأزواج الصغيرة.
يوضح البحث أن الطريقة "الزوجية" لا تملك سوى القدرة على تنعيم بقعة ثقيلة عبر توزيعها على خيطين فقط. لكن طريقة "الرأس الكامل" يمكنها توزيع تلك البقعة الثقيلة عبر 128 خيطًا (أو عدد الخيوط الموجودة في النموذج). الأمر يشبه محاولة تسوية صخرة ضخمة؛ إذا كان لديك فقط مطرقة يمكنها ضرب نقطتين في وقت واحد، فستترك نتوءًا. أما إذا كانت لديك مطرقة يمكنها ضرب الصخرة بأكملها في وقت واحد، فيمكنك تسويتها تمامًا. كان "دعم الخلط" (mixing support) — أي عدد الخيوط التي يمكن للالتواء التأثير عليها — هو البطل الحقيقي. فبينما اختبر المؤلفون لّ مجموعات أكبر فأكبر من الخيوط (من 2 إلى 128)، رأوا أنه كلما زاد عدد الخيووت التي يمكنهم خلطها، قل ارتباك النموذج.
الخلاصة
الدرس الرئيسي هنا هو أنه ليس لمجرد أن طريقة ما مثالية رياضيًا لقاعدة معينة (مثل احترام أزواج RoPE) يعني أنها ستكون الأفضل للمهمة الفعلية (حشر البيانات في صندوق صغير). وجد المؤلفون أن القدرة على خلط وتوزيع البيانات عبر المجموعة الكاملة من الخيوط أكثر أهمية من اتباع الهيكل الزوجي بدقة.
لم يجدوا طريقة جديدة وأفضل لليّ البيانات؛ بل وجدوا سببًا واضحًا للغاية لسبب فشل نهج يبدو أكثر ذكاءً وهيكلية. لم تستطع المثالية "المحلية" للالتواء الزوجي التغلب على الميزة "العالمية" للالتواء الكامل للرأس. وفي النهاية، يشير البحث إلى أنه عند تصميم أدوات الذكاء الاصطنا هذه، نحتاج إلى التأكد من أن أهدافنا الرياضية تتوافق مع القواعد الفعلية للمكمّم الذي نستخدمه، بدلاً من مجرد افتراض أن اتباع القواعد الهيكلية لبنية الذكاء الاصطناعي سيؤدي تلقائيًا إلى نتائج أفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.