Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference
تقدم هذه الورقة البحثية طريقة "ضرب المصفوفات المختزل" (RMM)، وهي طريقة استدلال تكيفية مع المدخلات ولا تتطلب تدريباً، تعمل على تقليل التكاليف الحسابية في النماذج القائمة على تقنية "ترانسفورمر" عبر الاحتفاظ انتقائياً بشرائح غنية بالمعلومات من نواتج ضرب المصفوفات، محققةً بذلك توازناً قابلاً للتوسع بين الدقة والكفاءة عبر مختلف أحجام النماذج والمهام والأنماط دون تعديل أوزان النموذج.
تخيل عقل حاسوب حديث كأنه أمين مكتبة ضخم وفائق الذكاء. هذا الأمين لا يكتفي بقراءة الكتب فحسب، بل يكتبها، ويحل المسائل الرياضية، بل وحتى ينظر إلى الصور ليروي القصص. وللقيام بذلك، يستخدم نوعاً خاصاً من بنية الدماغ يسمى "المحول" (Transformer). فكر في "المحول" كأنه مصنع عملاق تتدفق فيه المعلومات عبر خطوط تجميع. وفي كل محطة على هذه الخطوط، يقوم المصنع بعملية حسابية هائلة: إنه يضرب شبكات ضخمة من الأرقام ببعضها البعض. هذه هي "عمليات ضرب المصفوفات" التي تمنح السحر قوته. المشكلة هي أن هذه الحسابات ثقيلة للغاية؛ فهي تتطلب الكثير من الطاقة والوقت، تماماً مثل محاولة نقل جبل من الرمال باستخدام ملعقة صغيرة. ومع ازدياد ذكاء نماذج الذكاء الاصطنا هذه وضخامتها، يصبح "الجبل" أكثر ارتفاعاً، مما يجعل تشغيلها مكلفاً وبطيئاً. لطالما تساءل العلماء: هل يستخدم أمين المكتبة حقاً كل حبة رمل في ذلك الجبل لكل مهمة، أم أن هناك الكثير من الرمال غير الضرورية التي يمكننا كنسها دون أن يلاحظ أمين المكتبة ذلك؟
تقدم هذه الورقة خدعة ذكية جديدة تسمى "ضرب المصفوفات المختزل" (Reduced Matrix Multiplication - RMM). فبدلاً من محاولة تقليص حجم المصنع بشكل دائم أو حذف أجزاء من ذاكرة أمين المكتبة (مما قد يؤدي إلى تعطل الأشياء)، يعمل RMM كمرشح ذكي وفوري. في كل مرة يوشك فيها أمين المكتبة على إجراء عملية حسابية ضخمة، يتوقف RMM ويسأل: "أي أرقام محددة في هذه الشبكة هي التي تقوم بالعمل الشاق الآن؟" ثم يختار فقط الأرقام الأكثر أهمية—على سبيلের 50% أو 70% مثلاً—ويتجاهل الباقي في تلك اللحظة تحديداً. الأمر يشبه طباخاً، بدلاً من تقطيع كل خضروات الثلاجة من أجل حساء ما، يتذوق المرق بسرعة ويقرر استخدام الجزر والبصل المطلوبين حالياً لهذا المذاق المحدد فقط. والأفضل من ذلك؟ لا يحتاج أمين المكتبة إلى إعادة تدريب أو تعليم لكيفية القيام بذلك؛ بل يعمل الأمر بشكل طبيعي مع الأرقام التي يولدها بالفعل.
اختبر الباحثون هذه الفكرة على مجموعة متنوعة من نماذج الذكاء الاصطناعي، بدءاً من النماذج الصغيرة التي تحتوي على مليار معلمة وصولاً إلى العمالقة التي تحتوي على 70 مليار معلمة. ووجدوا أن هذه النماذج مرنة بشكل مدهش. فعندما قللوا كمية العمليات الحسابية التي يتم إجراؤها عبر الاحتفاظ بجزء فقط من الأرقام، لم تنهار هذه النماذج. في الواقع، كلما كان النموذج أكبر، بدا أنه مستعد للتخلي عن المزيد من الرمال دون أن يفقد عقله. على سبيل المثال، استطاع النموذج العملاق ذو الـ 70 مليار معلمة التعامل مع تقليص بنسبة 50% في الحسابات مع الاستمرار في الإجابة على الأسئلة وكتابة القصص بنفس جودة السابق تقريباً. ومع ذلك، اكتشفت الورقة أيضاً سمة غريبة في كيفية بناء هذه المصانع: فأجزاء "الانتباه" (Attention)—حيث يقرر النموذج ما يركز عليه—هادئة جداً ويمكنها تحمل فقدان نصف عملها بسهء. لكن أجزاء "MLP" (الأجزاء التي تعالج المعلومات وتحولها فعلياً) أكثر حساسية؛ فإذا قمت بالتقليص كثيراً هناك، يبدأ النموذج في التعثر.
كما أظهر الفريق أن هذه الخدعة تعمل مع النماذج التي يمكنها الرؤية والتحدث، وليس فقط تلك المخصصة للنصوص. حتى إنهم بنوا أدوات برمجية خاصة لإثبات أن تخطي هذه الأرقام يجعل الحاسوب يعمل بشكل أسرع في الواقع، خاصة عندما تصبح القصص أو الجمل طويلة جداً. وبينما تشير الورقة إلى أن هذه الطريقة واعدة لجعل الذكاء الاصطناعي أرخص وأسرع، إلا أنها تشير أيضاً إلى عدم وجود إعداد "مثالي" واحد للجميع؛ إذ يتعين عليك ضبط مقدار التقليص بناءً على النموذج المحدد وما تطلبه منه. ولكن بشكل عام، يوفر RMM طريقة جديدة لا تتطلب تدريباً لجعل هذه العمالقة الرقمية تعمل بخفة أكبر، مما يثبت أن القيام بمزيد من العمليات الحسابية أقل قد يساعدك في التفكير بوضوح تام.
بيان المشكلة تحقق النماذج اللغوية القائمة على المحولات (Transformers) أداءً قويًا، لكنها تتسبب في تكاليف استنتاج باهظة مدفوعة بعمليات ضرب المصفوفات عالية الأبعاد المتكررة في طبقات الانتباه (Attention) وطبقات التغذية الأمامية (MLP). وبينما عالجت الأعمال السابقة كفاءة الاستنتاج من خلال التقليم المهيكل (Structured Pruning)، أو التقريب منخفض الرتبة (Low-rank Approximation)، أو ضغط الرموز (Token Compression)، أو إدارة ذاكرة التخزين المؤقت لـ KV (KV-cache management)، إلا أن هذه الطرق عادة ما تعدل هياكل ثابتة للنموذج أو تقصر المدخلات/التخزين المؤقت. وهي لا تعالج بشكل مباشر ما إذا كان يمكن تقليل الحسابات المختزلة داخل كل عملية ضرب مصفوفة بشكل تكيفي لمدخل معين دون تعديل أوزان النموذج. تركز طرق ندرة التنشيط (Activation-sparsity) الحالية (مثل TEAL و CATS) على تخطي مدخلات الحالة الخفية ذات المقدار المنخفض، لكنها تركز على جعل الحالات الخفية متفرقة بدلاً من تقليل محاور التقلص المشتركة لعمليات ضرب المصفوفات العامة.
المنهجية: ضرب المصفوفات المختزل (RMM) يقترح المؤلفون ضرب المصفوفات المختزل (RMM)، وهو طريقة استنتاج تكيفية مع المدخلات ولا تتطلب إعادة تدريب. يعمل RMM على الصيغة الموحدة لحسابات المحولات، Y=AB، حيث تمثل A مصفوفة التنشيط وتمثل B مصفوفة الأوزان (أو التمثيل الوسيط).
الآلية الجوهرية: بدلاً من حساب حاصل الضرب الكامل AB، يقوم RMM ديناميكيًا باختيار مجموعة فرعية من المؤشرات I على طول بُعد التقلص المشترك d بناءً على مقادير تنشيط المدخل الحالي. ويقوم بحساب المنتج المختزل A:,IBI,:.
استراتيجية الاختيار: تستخدم الطريقة اختيار الأبعاد المدرك للتنشيط. لكل بُعد ميزة j، يتم حساب درجة الأهمية sj=∥A:,j∥2 (معيار العمود لمصفوفة التنشيط). ويتم الاحتفاظ بالمؤشرات الـ k الأعلى درجات، حيث k=⌈ρd⌉ و ρ هو نسبة الاحتفاظ التي يتحكم فيها المستخدم.
الأساس النظري: يثبت المؤلفون أن اختيار TopK بواسطة معيار العمود هو أمثل (minimax optimal) لتقليل خطأ التقريب في أسوأ الحالات لجميع مصفوفات الأوزان B الممكنة عندما تكون A هي المعلومة فقط وقت الاختيار. وهذا يوفر تبريرًا مبدئيًا لاستخدام مقادير التنشيط لتوجيه الاختزال.
نطاق التطبيق: يُطبق RMM على:
طبقات الانتباه (Attention Layers): تقليل بُعد الميزة في QK⊤ (تفاعل الاستعلام-المفتاح) واختياريًا في بُعد الرموز في PV (تفاعل الاستعلام-القيمة).
التنفيذ: تتطلب الطريقة حساب درجات الميزات وإجراء اختيار top-k، وهي عمليات متجهية خفيفة الوزن مقارنة بعمليات ضرب المصفوفات الكثيفة التي تحل محلها. تم تنفيذ نوى Triton مخصصة لتحقيق هذه الوفورات في الممارسة العملية.
المساهمات الرئيسية
الاختزال التكيفي مع المدخلات: يقدم منظورًا جديدًا لتحسين الاستنتاج عبر تقليل الحسابات المختزلة لعمليات ضرب المصفوفات نفسها، وهو أمر متميز عن تقليم الأوزان، أو ضغط الرموز، أو إدارة التخزين المؤقت.
بدون إعادة تدريب وقابل للتحكم: لا تتطلب الطريقة إعادة تدريب وتوفر مقايضة سلسة ومتوقعة بين الدقة والكفاءة يتم التحكم فيها من خلال نسبة الاحتفاظ البسيطة (ρ).
رؤى ميكانيكية: من خلال دراسات الاستئصال (Ablation studies)، يكشف البحث عن عدم تماثل هيكلي في المحولات:
حسابات جانب الانتباه (إسقاطات Q، K، V، و QK⊤، و PV) هي أكثر قابلية للاختزال والمتانة تجاه التقليم الشديد.
مكونات MLP أكثر حساسية للاختزال بشكل ملحوظ، حيث يكون الإسقاط "للأعلى" (Up projection) هو الأكثر حساسية والإسقاط "للأسفل" (Down projection) هو الأكثر متانة. يؤدي تقليم كتلة MLP بأكملها إلى انهيار حاد في الأداء.
التعميم: يوضح البحث أن المبدأ يمتد إلى ما وراء النماذج النصية فقط ليشمل استنتاج الرؤية واللغة متعدد الوسائط (مثل Qwen2.5-VL).
النتائج التجريبية قيم المؤلفون RMM عبر نماذج تتراوح من 1 مليار إلى 70 مليار معلمة (بما في ذلك عائلات LLaMA 3.1/3.2 و Qwen) ومهام متنوعة (الأسئلة والأجوبة، الاستدلال، التلخيص، السياق الطويل، والرؤية واللغة).
الأداء مقابل النماذج المرجعية الثابتة/العشوائية: تحت نسب احتفاظ ثابتة (مثل ρ=0.5)، يتفوق RMM باستمرار على طرق التقليم الثابتة (SparseGPT، Wanda، SliceGPT) والتقليم العشوائي. تعاني الطرق الثابتة من تدهور غير مستقر، بينما يحافظ RMM على قدرات التوليد والاستدلال المتماسكة.
اتجاهات القياس: تتحمل النماذج الأكبر عمومًا اختزالًا أكثر عدوانية. على سبيل المثال، يظل LLaMA 3.1 70B قريبًا من أداء النموذج الكامل عند ρ=0.8 في معظم الاختبارات المرجعية، بينما تتدهور النماذج الأصغر بسرعة أكبر، خاصة في المهام الصعبة مثل GSM8K و HumanEval.
المتانة: يظل RMM مستقرًا في التوليد التكراري (Autoregressive generation) وفي إعدادات السياق الطويل (حتى 30 ألف رمز)، مما يظهر تدهورًا سلسًا بدلاً من الفشل المفاجئ.
كفاءة وقت التشغيل: تظهر الاختبارات المرجعية على وحدات NVIDIA A100 باستخدام نوى مخصصة أن وفورات الحوسبة تترجم إلى تسريع عملي في الوقت الفعلي، خاصة عند أطوال التسلسل الطويلة (على سبيل المثال، تسريع بمقدار 1.40x عند 4096 رمزًا). ومن الجدير بالذكر أنه عند 4096 رمزًا، نفدت ذاكرة التنفيذ الكثيف، بينما أكمل RMM الاستنتاج.
التوافق: الطريقة متوافقة مع تكميم أوزان INT8 وتمتد إلى مختلف هياكل نماذج الرؤية واللغة.
الأهمية والادعاءات يضع البحث RMM كاتجاه قابل للتوسع لـ تحسين الاستنتاج التكيفي مع المدخلات. تكمن أهميته الأساسية في إثبات أن الحشو (Redundancy) في استنتاج المحولات ليس موزعًا بانتظام؛ بل يتركز في مكونات محددة (خاصة عمليات جانب الانتباه) ويتغير بتغير المدخلات. من خلال الاستفادة من عدم التماثل الهيكلي ومعلومات التنشيط المعتمدة على المدخلات، يحقق RMM مكاسب كفاءة قابلة للتحكم دون الحاجة إلى إعادة تدريب النموذج أو تعديل الهيكل. ويخلص المؤلفون إلى أن الاختزال التكيفي على مستوى ضرب المصفوفات هو مسار واعد لاستنتاج المحولات الفعال، مما يشير إلى أن الطرق المستقبلية يجب أن تأخذ في الاعتبار أنماط الحشو الخاصة بكل مكون.
القيود يركز العمل على صيغة لا تتطلب إعادة تدريب. يقر المؤلفون بأنهم لم يستكشفوا توسعات تتجاوز هذا الإعداد (مثل دمج الاختزال التكيفي في أهداف ما قبل التدريب) ولم يجروا دراسة تفصيلية لأنماط الحشو عبر جميع مكونات نماذج الرؤية واللغة المعقدة بخلاف التقييم الأولي. بالإضافة إلى ذلك، بينما تظهر النوى المخصصة سرعات أعلى، فإن التكامل الكامل مع جميع أطر الاستنتاج وخلفيات التكميم (Quantized backends) يظل عملاً مستقبليًا.