ARCHead: Activation-Metric Residual Correction for Large Language Model Output Heads
تُعدُّ ORCHead طريقةً مبتكرةً لتصحيح المتبقي عبر مقياس التنشيط، حيث تقوم بضغط رؤوس مخرجات النماذج اللغوية الكبيرة باستخدام جوهر منخفض الرتبة مُكمَّم ومتبقيات INT4 مجموعية، مما يحقق اختزالاً كبيراً في التخزين (3.7–3.9 ضعفاً) مع الحفاظ على تشتت قريب من غير منقوص وتأثير ضئيل على معدل الإنتاجية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول وضع مكتبة ضخمة ومعقدة داخل حقيبة ظهر صغيرة. هذا هو التحدي اليومي للمهندسين الذين يعملون مع النماذج اللغوية الكبيرة (LLMs)، وهي الأدمغة الذكية للغاية وراء برامج الدردشة الآلية والكتاب المبدعين. تُبنى هذه النماذج من مليارات المفاتيح الرياضية الصغيرة التي تسمى "الأوزان" (weights). ولجعلها سريعة ومنخفضة التكلفة للتشغيل على أجهزة الكمبيوتر العادية، يستخدم العلماء حيلة تسمى التكميم (quantization). فكر في التكميم كعملية ترجمة فيلم عالي الدقة بدقة 4K إلى نسخة أقل دقة بدقة 1080p؛ فأنت تفقد القليل من جودة الصورة، لكن حجم الملف يتقلص بشكل كبير، مما يجعل حمله سهلاً.
ومع ذلك، هناك عقبة. فبينما أصبح المهندسون بارعين جداً في ضغط أجزاء "التفكير" الرئيسية للذكاء الاصطناعي (كتل المحولات - transformer blocks)، إلا أنهم غالباً ما يتركون الجزء الأخير تماماً — وهو الجزء الذي يختار الكلمة التالية لقولها — دون ضغط. الأمر يشبه حزم ملابسك في حقيبة الظهر بملابس خفيفة ومضغوطة، لكنك نسيت ضغط معطف الشتاء الثقيل والضخم. هذا "المعطف" يسمى رأس النموذج اللغوي (LM-head)؛ وهو عبارة عن خريطة كثيفة وعملاقة تربط أفكار الذكاء الاصطناعي بكل كلمة ممكنة في مفرداته. ولأن هذا الجزء كبير وتُرك بتنسيقه الأصلي الثقيل، فإنه يستغرق مساحة هائلة، وأحياناً أكثر من كل الملابس المضغوطة مجتمعة. إذا كنت تريد تصغير هذه النماذج حقاً، فعليك اكتشاف كيفية طي هذا المعطف الثقيل دون تمزيقه.
هنا يأتي دور طريقة جديدة تسمى ARCHead. فقد أدرك الباحثون وراءها أن مجرد سحق هذا المعطف الثقيل باستخدام ضغط "منخفض البت" (low-bit) قياسي (مثل تحويل كل شيء إلى أرقام 4-بت صغيرة) كان بمثابة أداة بدائية للغاية. كان الأمر أشبه بمحاولة وضع منحوتة دقيقة ومعقدة في صندوق عبر سحقها فحسب؛ وكانت النتيجة عبارة عن فوضى مشوهة جعلت الذكاء الاصطناعي يتلعثم ويرتكب أخطاء سخيفة.
بدلاً من ذلك، تستخدم ARCHead استراتيجية ذكية مكونة من خطوتين تعمل كخياط ماهر وليس كمطرقة ثقيلة. أولاً، تأخذ المعطف الثقيل وتنشئ نسخة "هيكلية" منه — وهي رسم تخطيطي منخفض الدقة يلتقط الشكل العام باستخدام عدد قليل جداً من البتات. ولكن الرسم التخطيطي ليس مثالياً، لذا فإن الخطوة الثانية هي السحر: تقوم ARChead بإضافة "طبقة تصحيح". هذه ليست مجرد ضوضاء عشوائية، بل هي رقعة ذكية منخفضة الرتبة (low-rank patch) تعمل خصيصاً على إصلاح الأخطاء في الأماكن التي يكون فيها دماغ الذكاء الاصطناعي أكثر نشاطاً. تخيل أن لديك رسماً تخطيطياً تقريبياً لوجه، وأنت تعرف بالضبط أي الملامح (مثل العينين أو الابتسامة) هي الأكثر أهمية للتعرف على الشخص. تقوم ARCHead بإضافة تفاصيل دقيقة وصغيرة فقط لتلك الملامح المهمة، متجاهلة الخلفية الأقل أهمية.
النتائج مبهرة. فعندما اختبر الفريق هذه الطريقة على نموذج يسمى Qwen3-8B-Base، وجدوا أن ARCHead يمكنها تقليص المساحة التخزينية المطلوبة لهذا "المعطف" بمقدار 4 مرات تقريباً (تحديداً، استخدمت حوالي 25.6% فقط من المساحة التي كان يشغلها النسخة الأصلية الثقيلة). والأفضل من ذلك، أن أداء الذكاء الاصطناعي لم ينخفض إلا قليلاً. فـ "الحيرة" (perplexity) (وهي درجة تقيس مدى ارتباك الذكاء الاصطناعي) ظلت قريبة جداً من الأصل، بنسبة 1.007، مقارنة بنسبة 1.15 وهي نسبة أسوأ بكثير لطرق الضغط القياسية.
كما يوضح البحث أن هذه الطريقة تعمل كبديل "جاهز للاستخدام" (drop-in replacement) مثالي. فإذا كان لديك بالفعل نموذج ذكاء اصطناعي مضغوط باستخدام أدوات شائعة أخرى مثل AWQ أو bitsandbytes، يمكنك استبدال معطفه الثقيل غير المضغوط بمعطف ARCHead دون كسر أي شيء. إنها تضيف قدراً ضئيلاً جداً من الارتباك الإضافي (حوالي 0.006 إلى 0.007 في الإنتروبيا المتقاطعة/cross-entropy)، وهو أمر لا يكاد يُلاحظ، لكنها توفر مساحة هائلة. وقد قاس الباحثون أن هذا لم يبطئ سرعة الذكاء الاصطناعي؛ حيث ظل معدل التوليد كما هو تقريباً، بتغيير يقل عن 2%.
باختختصار، لا تحاول ARCHead إعادة اختراع العجلة أو ضغط الذكاء الاصطناعي بالكامل من الصفر. بدلاً من ذلك، هي تعالج مشكلة محددة ومزعجة وهي "المعطف الثقيل المتبقي" الذي تتجاهله الطرق الأخرى. ومن خلال استخدام نظام تصحيح ذكي يعتمد على النشاط، تثبت أنها يمكنك جعل نماذج الذكاء الاصطناعي العملاقة أصغر بكثير وأسهل في الحمل دون التضحية بجودة محادثاتها. إنها خطوة عملية ومدروسة للأمام، تشير إلى أنه مع تقنية الطي الصحيحة، حتى الأجزاء الأكثر ضخامة من أدمغتنا الرقمية يمكن أن تتسع في جيب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.