Jacobian-guided Noise Injection for Quantization Robustness in Large Language Models

لقد وصل الذكاء الاصطنا الحديث إلى نقطة أصبحت فيها أكثر ابتكاراته قوة، والمعروفة باسم النماذج اللغوية الكبيرة، قادرة على كتابة الشعر، وحل المشكلات المعقدة، وإجراء محادثات تبدو بشرية بشكل لافت. ومع ذلك، فإن هذه العقول الرقمية تأتي مع ثمن باهظ: فهي تتطلب كميات هائلة من ذاكرة الحاسوب والطاقة لتشغيلها. ولجعل هذه النماذج مفيدة على الأجهزة اليومية مثل الهواتف الذكية أو أجهزة الكمبيوتر المحمولة، سعى المهندسون طويلاً لإيجاد طريقة لتقليص حجمها دون كسرها. والحل القياسي هو عملية تسمى "التكميم" (quantization)، والتي تعمل على تبسيط الأرقام داخل النموذج. تخيل أخذ صورة عالية الدقة وضغطها في ملف أصغر؛ ستفقد بعض التفاصيل، لكن الصورة تظل قابلة للتمييز. وفي عالم الذكاء الاصطناعي، يعني هذا تحويل الأرقام الداخلية للنموذج من تنسيق دقيق وثقيل إلى تنسيق أخف وأقل دقة. يمكن لهذا الاختزال أن يقلص حجم النموذج بمقدار أربعة أضعاف ويجعله يعمل أسرع بثلاث مرات، مما قد يسمح لعقل بحجم الحاسوب الخارق بأن يتسع في شريحة هاتف محمول.

ومع ذلك، فإن هذا الضغط لا يخلو من المخاطر. فعندما تصبح الأرقام خشنة للغاية، يمكن للنموذج أن يبدأ في التعثر، خاصة في الأجزاء من عقله المسؤولة عن فهم السياق والعلاقات. ركز الباحثون وراء هذه الدراسة على نقطة اختناق محددة في هذه النماذج: وهي آلية تسمى "الانتباه الذاتي" (self-attention)، والتي تساعد النموذج على تحديد أي الكلمات في الجملة هي الأكثر أهمية لبعضها البعض. وداخل هذه الآلية، تعمل خطوة رياضية تسمى "softmax" كحارس بوابة، حيث تحول الدرجات الخام إلى احتمالات. وقد اكتشف الفريق أن هذا الحارس هش للغاية؛ فعندما تتعرض الأرقام التي تغذيه لتشويه طفيف بسبب الضغط، يمكن للحارس أن يبالغ في رد فعله، مما يضخم الأخطاء الصغيرة إلى أخطاء جسيمة تفسد مخرجات النموذج. وتعد هذه الحساسية خطيرة بشكل خاص عندما يواجه النموذج قيماً غير عادية أو متطرفة، مما يتسبب في انحراف النظام بأكمله عن سلوكه المقصود.

ولحل هذه المشكلة، طور الباحثون استراتيجية تدريب جديدة تعمل مثل اختبار إجهاد لطيف ومستهدف للنموذج. فبدلاً من محاولة إجبار النموذج على أن يكون مثالياً، قاموا عمداً بإدخال تقلبات عشوائية صغيرة في الأرقام مباشرة قبل وصولها إلى بوابة "softmax" الهشة. وكان الابتكار الرئيسي في كيفية تحديد حجم هذه التقلبات؛ فبدلاً من استخدام كمية ثابتة من الضجيج لكل جزء من النموذج، قاموا بحساب مقياس للحساسية لكل موقع محدد. فإذا كان جزء من النموذج شديد الحساسية للأخطاء، قام الباحثون بحقن جرعة أكبر من الضجيج لتدريبه على أن يكون أكثر متانة. أما إذا كان الجزء مستقراً بالفعل، فقد حقنوا القليل جداً. هذا النهج، الذي يسمدونه بـ "حقن الضجيج الموجه بجاكوبي" (Jacobian-guided noise injection)، يعلم النموذج البقاء ثابتاً حتى لو كانت أرقامه الداخلية مختلة قليلاً. وهو يشبه كيف يتدرب البحار على الإبحار في أمواج هائجة ليتعلم كيفية الحفاظ على استقرار القارب، بدلاً من التدرب فقط في مياه هادئة.

كانت نتائج هذه الطريقة مذهلة. فعندما اختبر الباحثون نهجهم على العديد من النماذج اللغوية المتطورة، حافظت النماذج التي خضعت لهذا التدريب المحدد على الكثير من ذكائها حتى بعد ضغطها بشدة. وفي بعض الحالات، حسنت الطريقة "الارتباك النسبي" (relative perplexity) بنسبة تصل إلى 40% على مجموعة بيانات WikiText للنماذج اللغوية في إعدادات البت المنخفضة. وبالنسبة لنماذج الرؤية، وتحديداً عند استخدام طريقة RepQViT على بنية SigLIP، حقق النهج مكاسب نسبية تصل إلى 37% في دقة "Top-1" عند نفس عرض البت. والأهم من ذلك، أن هذا التدريب لم يجعل النماذج أسوأ عندما كانت تعمل في شكلها الأصلي غير المضغوط. لقد تعلمت النماذج أن تكون متينة دون التضحية بأدائها الأساسي، ولم تتطلب التقنية أي قوة حوسبة إضافية عند استخدام النماذج فعلياً.

من خلال التركيز على السلوك الرياضي المحدد لآلية الانتباه في النموذج، وجد الفريق طريقة لجعل هذه الأدوات القوية أكثر عملية للاستخدام في العالم الحقيقي. ويشير عملهم إلى أنه من خلال فهم أين تكمن نقاط ضعف النموذج بالضبط، يمكن للمهندسين تطبيق تدريب دقيق ومتكيف لتقويته ضد العيوب الحتمية للتشغيل على أجهزة ذات موارد محدودة. وهذا لا يجعل النماذج أصغر فحسب، بل يجعلها موثوقة بما يكفي لنشرها في البيئات التي تندر فيها الذاكرة والطاقة، مما يقرب قدرات الذكاء الاصطناعي المتقدم من الأجهزة اليومية دون الحاجة إلى مراكز بيانات ضخمة.