Compress and Forget: bitsandbytes Quantization Amplifies Proactive Interference in LLMs
تُثبت هذه الورقة أن التكميم بـ 4 بت عبر bitsandbytes يضاعف بشكل كبير من التداخل الاستباقي في النماذج اللغوية الكبيرة، مما يتسبب في انخفاض ملحوظ في دقة الاسترجاع للقيم المتشابهة دلالياً والمكتوبة فوق بعضها بشكل متكرر بسبب زيادة أخطاء التطفل من نفس المفتاح داخل العمود الفقري للمحول (transformer backbone).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نموذج لغة كبير كأنه مساعد شديد الانتباه يمكنه إجراء محادثة، وتذكر التفاصيل، وتحديث معرفته مع وصول معلومات جديدة. في العالم الحقيقي، غالبًا ما يُطلب من هؤلاء المساعدين تتبع الحقائق المتغيرة: مثل وقت اجتماع يتغير من الثانية إلى الثالثة ثم إلى الرابعة تمامًا، أو تفضيل مستخدم يتطور عبر حوار طويل. ولكي تكون هذه الأنظمة مفيدة، يجب ألا تكتفي بتذكر آخر تحديث فحسب، بل يجب أن تتجاهل أيضًا النسخ القديمة التي أصبحت غير صحيحة الآن. ومع ذلك، اكتشف الباحثون نقطة ضعف محددة في كيفية تعامل هذه النماذج مع مثل هذه التحديثات. فعندما يتم استبدال قطعة من المعلومات مرات عديدة، تبدأ قدرة النموذج على استرجاع النسخة الأكثر حداثة في التلاشي؛ إذ يبدأ في الخلط بين الإجابة الحالية وإحدى النسخ القديمة التي تم التخلص منها. هذه الظاهرة، المعروفة باسم "التداخل الاستباقي" (proactive interference)، هي نمط فشل موثق حيث يجعل تراكم التحديثات الماضية من الصعب تذكر الحقيقة الراهنة، مما يحاكي صراعًا مشابهًا موجودًا في الذاكرة العاملة البشرية.
ومع انتقال هذه النماذج من مختبرات الأبحاث إلى التطبيقات اليومية، يواجه المطورون تحديًا عمليًا: كيف يشغلونها بكفاءة على الأجهزة القياسية؟ ولتوفير الذاكرة وتسريع المعالجة، اعتمدت الصناعة على نطاق واسع تقنية تسمى "تكميم ما بعد التدريب" (post-training quantization). تقوم هذه العملية بضغط الأرقام الداخلية للنموذج، مما يقلل من دقتها من تنسيق عالي الدقة إلى نسخة أصغر وأكثر خشونة. وقد ظهر اعتقاد شائع بأن هذا الضغط آمن، ولا يسبب سوى خسارة طفيفة في الأداء العام؛ والافتراض هو أنه بينما تكون الأرقام أقل دقة بقليل، فإن ذكاء النموذج الجوهري يظل سليمًا. لكن هذا الافتراض لم يُختبر قط ضد المهمة الهشة المتمثلة في تتبع المعلومات التي تتغير بشكل متكرر.
لقد وضع فريق من الباحثين هذا الافتراض تحت الاختبار مباشرة. حيث أخذوا ثلاثة نماذج مختلفة وشعبية من نماذج اللغة مفتوحة المصدر، وأجروا عليها اختبار ذاكرة صارمًا مصممًا لقياس التداخل الاستباقي. في هذا الاختبار، قُدمت للنماذج شخصية يتم تحديث سماتها، مثل لونها المفضل أو مهنتها، بشكل متكرر. وتراوح عدد التحديثات من تحديث واحد فقط إلى ما يصل إلى ستة وتسعين تحديثًا. وبعد التحديث الأخير، طُلب من النماذج استرجاع القيمة الأحدث فقط. أجرى الباحثون هذا الاختبار نفسه على كل نموذج باستخدام ثلاثة مستويات مختلفة من الدقة: النسخة الأصلية عالية الدقة، ونسخة مضغوطة بثماني بتات (8-bit)، ونسخة عالية الضغط بأربع بتات (4-bit). وحافظوا على المهمة كما هي تمامًا، مغيرين فقط دقة الأرقام الداخلية للنموذج.
كشفت النتائج عن نمط واضح ومثير للقلق. فبينما كان أداء النماذج شبه مثالي عند استخدام إعدادات الدقة العالية الأصلية، عانت النسخ المضغوطة ذات الأربع بتات بشكل كبير عندما كان عدد التحديثات مرتفعًا. وفي أحد النماذج التي تم اختبارها، انخفضت الدقة من واحد وثمانين بالمائة في النسخة عالية الدقة إلى ثمانية وستين بالمائة فقط في نسخة الأربع بتات عند مواجهة عدد كبير من التحديثات. لم يكن هذا مجرد تقلب طفيف؛ فقد أكد التحليل الإحصائي أن هذا الانخفاض كان حقيقيًا ومتسقًا عبر النماذج الثلاثة المختلفة. ووجد الباحثون أن النماذج المضغوطة لم تكن ترتكب أخطاء عشوائية ببساطة، بل كانت تحديدًا تخلط بين الإجابة الحالية وإحدى القيم القديمة التي تم استبدالها. وعندما فشل النموذج، كان يختار دائمًا قيمة كانت صحيحة في وقت سابق من المحادثة ولكنها لم تعد صحيحة الآن.
ومن الأهمية بمكان أن الدراسة أظهرت أن هذه المشكلة لم تكن ناتجة عن ضجيج عام أو فقدان بسيط للذكاء. فعندما اختبر الباحثون النماذج بقيم عددية، مثل أسعار الأسهم أو درجات الحرارة، حيث لا تتشابه الأرقام في المعاني، لم يكن لضغط الأربع بتات أي تأثير سلبي تقريبًا. لقد تعاملت النماذج مع التحديثات العددية بنفس جودة النسخ عالية الدقة. وهذا التمييز حيوي لأنه يثبت أن الضغط لا يجعل النموذج "أغبى" بشكل عام، بل إنه يطمس تحديدًا الخطوط الفاصلة بين الأشياء المتشابهة دلاليًا، مما يجعل من الصعب على النموذج الحفاظ على تميز المفاهيم المختلفة عند تحديثها بشكل متكرر.
كما بحث الباحثون في المكان الذي يحدث فيه هذا الانهيار داخل النموذج. ووجدوا أن المشكلة تنبع من الجسم الرئيسي للنموذج، وهو الجزء المسؤول عن معالجة المعلومات والاحتفاظ بها، وليس في الطبقة النهائية التي تنتج الإجابة. وهذا يشير إلى أن عملية الضغط نفسها تغير كيفية تمثيل النموذج للأفكار المتشابهة، مما يؤدي إلى تداخلها بطريقة تؤدي إلى الارتباك. علاوة على ذلك، تحدت الدراسة فكرة أن مستوى الضغط المتوسط، باستخدام ثماني بتات، كان آمنًا تمامًا. فبينما كان أداء الثماني بتات أفضل من نسخة الأربع بتات، وجد الباحثون أنه لا يزال يحمل عقوبة صغيرة ولكنها قابلة للقياس في نموذجين من النماذج الثلاثة المختبرة. وهذا يشير إلى أن حتى مستويات الضغط "الأكثر أمانًا" ليست خالية تمامًا من المخاطر في المهام التي تتضمن تحديثات متكررة.
تشير هذه النتائج إلى أن الممارسة الواسعة لضغط نماذج اللغة لتوفير الموارد قد تأتي بتكلفة خفية للتطبيقات التي تعتمد على تتبع المعلومات المتطورة والكثيفة دلاليًا. فبالنسبة لروبوت محادثة يدير محادثة طويلة أو نظام يتتبع تغير تفضيلات المستخدم، قد تخفي المعايير القياسية التي تظهر دقة إجمالية عالية هذه الثغرة النوعية. قد تبدو النماذج أنها تعمل بشكل مثالي في الاختبارات العامة، ولكن عندما تواجه تدفقًا من التحديثات حيث يجب نسيان الماضي لتذكر الحاضر، فإن النسخ المضغوطة تكون أكثر عرضة للتعثر. وتخلص الدراسة إلى أنه بينما يعد الضغط أداة قوية للنشر، إلا أنه ليس أداة محايدة؛ فهو يعمل بشكل انتقائي على تآكل الآلية التي تسمح لهذه النماذج بمقاومة الارتباك بين الأفكار المتشابهة، وهو عيب لا يمكن كشفه إلا من خلال الاختبار المستهدف.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.