💬 NLP

Through a Compressed Lens: Investigating The Impact of Quantization on Factual Knowledge Recall

تتقصى هذه الورقة البحثية تأثير التكميم على استرجاع المعرفة الواقعية في النماذج اللغوية الكبيرة، كاشفةً أنه بينما يتسبب التكميم عموماً في فقدان المعلومات وتدهور الأداء — لا سيما في النماذج الأصغر — إلا أنه لا يضعف الاسترجاع دائماً ويمكنه أحياناً تعزيزه، حيث أظهرت BitSandBytes أعلى مستوى من الحفاظ على القدرات الأصلية.

المؤلفون الأصليون: Qianli Wang, Mingyang Wang, Nils Feldhus, Simon Ostermann, Yuan Cao, Hinrich Schütze, Sebastian Möller, Vera Schmitt

نُشر 2026-04-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qianli Wang, Mingyang Wang, Nils Feldhus, Simon Ostermann, Yuan Cao, Hinrich Schütze, Sebastian Möller, Vera Schmitt

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة، مفصلة للغاية من الحقائق داخل عقل كمبيوتر (نموذج لغوي كبير). هذا العقل يعرف كل شيء، من "من هو والد بيونسيه؟" إلى "ما هي عاصمة فرنسا؟".

الآن، تخيل أنك تريد تقليص حجم هذه المكتبة لتناسب رفاً أصغر، مما يجعل تشغيلها أسرع وأرخص. هذه العملية تسمى الكمية (Quantization). إنها تشبه تحويل صورة عالية الدقة إلى ملف أصغر حجماً؛ عادةً ما تفقد القليل من التفاصيل في هذه العملية، لكن الصورة تظل تبدو جيدة.

هذه الورقة البحثية تسأل سؤالاً محدداً للغاية: عندما نقوم بضغط هذه العقول الاصطناعية، هل تبدأ في نسيان الحقائق التي كانت تعرفها؟

إليك ما وجده الباحثون، مشروحاً عبر تشبيهات بسيطة:

1. عملية "التقليص"

تخيل النموذج الذكي كفريق من العمال. في النسخة الأصلية "كاملة الدقة"، يمتلك كل عامل آلة حاسبة متطورة ودفتر ملاحظات سميكاً.
الكمية (Quantization) هي مثل إجبار هؤلاء العمال على استخدام آلات حاسبة أصغر وأرخص ودفاتر ملاحظات أرق.

الهدف: توفير المساحة وتسريع العمل.
المخاطرة: قد يفقد العمال بعض المعلومات لأن أدواتهم الجديدة ليست بنفس الدقة.

2. الاكتشاف الرئيسي: "الأطفال الصغار ينسون أكثر"

اختبر الباحثون ثلاث طرق مختلفة لضغط النماذج (مثل استخدام علامات تجارية مختلفة من الآلات الحاسبة الرخيصة) على ثلاثة نماذج ذكاء اصطناعي مختلفة (اثنان صغيران وواحد متوسط الحجم).

النتيجة: عندما تقلص النموذج، فإنه يفقد بعض الحقائق بشكل عام. ومع ذلك، فإن النماذج الأصغر (مثل إصدارات 7B أو 8B) تكون أكثر هشاشة.
التشبيه: تخيل طفلاً صغيراً يحاول حمل حقيبة ظهر ثقيلة. إذا جعلت الحقيبة أثقل قليلاً (أو في هذه الحالة، ضغطت المعلومات بقوة أكبر)، سيسقط الطفل الأشياء. أما الشخص البالغ الأكبر (نموذج 14B الأكبر) فيمكنه التعامل مع الضغط بشكل أفضل ويحافظ على حقائقه آمنة.

3. المفاجأة: أحياناً يساعد الضغط!

قد تعتقد أن جعل الأداة "أقل ذكاءً" (أقل دقة) يجعلها دائماً أسوأ. لكن الباحثين وجدوا شيئاً غريباً: أحياناً، جعل ضغط النموذج يحسن من قدرته على تذكر الحقائق.

التشبيه: إنه يشبه طالباً يشعر بتوتر شديد بسبب كثرة المعلومات لدرجة أنه لا يستطيع التركيز. إذا أعطيته كتاباً مدرسياً أبسط قليلاً (الكمية)، فقد يؤدي أداءً أفضل لأن "الضجيج" قد اختفى. لقد عمل الضغط كمرشح (فلتر)، مما ساعد النموذج على التركيز على الحقائق الصحيحة.

4. أين تذهب الذاكرة؟

لم يكتفِ الباحثون بفحص الإجابة النهائية فحسب؛ بل نظروا داخل النموذج ليروا أين فُقدت الذاكرة.

مشكلة "الطبقة الأخيرة": وجدوا أن فقدان المعلومات يحدث غالباً في الخطوات الأخيرة جداً من عملية تفكير النموذج.
التشبيه: تخيل سباق تتابع. العداؤون (الطبقات) يمررون العصا (المعلومات) عبر الخط. وجد الباحثون أن العصا عادة ما تُسقط عند خط النهاية مباشرة عندما يكون النموذج مضغوطاً. العداؤون في البداية بخير، لكن العداء الأخير يعاني في التمسك بالحقيقة.

5. طريقة الضغط "الأفضل"

اختبرت الورقة ثلاث تقنيات ضغط مختلفة:

GPTQ
AWQ
BitSandBytes (bib)

الفائز: كانت BitSandBytes هي الأفضل في الحفاظ على الحقائق سليمة. كانت تشبه استخدام جهاز تفريغ هواء عالي الجودة يزيل الهواء ولكنه يحافظ على الطعام طازجاً.
الخاسر: بعض الطرق، خاصة عند الضغط إلى دقة منخفضة جداً (4-bit)، تسببت في نسيان النموذج للكثير من المعلومات، لا سيما بالنسبة للنماذج الصغيرة.

6. اختبار "الجسر"

لاختبار مدى قدرة النماذج على ربط النقاط (مثل: "من هي والدة مغني أغنية 'Superstition'؟")، استخدموا اختبار "تعدد الخطوات" (multi-hop).

النتيجة: أثر الضغط على الخطوة الأولى من الاستنتاج أكثر من غيرها. إذا لم يستطع النموذج تذكر الحقيقة الأولى (من يغني 'Superstition')، فلن يتمكن من حل اللغز بأك-مله. ومع ذلك، إذا تجاوز الخطوة الأولى، فقد كان جيداً بشكل مدهش في إكمال السلسلة.

الخلاصة

ضغط نماذج الذكاء الاصطناعي يشبه إلى حد ما حزم حقيبة سفر لرحلة.

إذا حزمتها بإحكام شديد (ضغط عالٍ)، فقد تترك بعض الجوارب خلفك (تنسى الحقائق).
الحقائب الأصغر (النماذج الأصغر) يصعب حزمها دون فقدان أشياء.
بعض طرق الحزم (مثل BitSandBytes) أفضل بكثير من غيرها.
أحياناً، الحزم بإحكام أكثر يساعدك في العثور على ما تحتاجه بشكل أسرع، حتى لو فقدت جورباً أو اثنين.

بشكل عام، تخلص الورقة إلى أنه بينما يتسبب الضغط في بعض فقدان المعلومات، إلا أنه لا يزال استراتيجية فعالة للغاية. النماذج لا تتعطل؛ بل تصبح فقط "أقل دقة" أو "ضبابية" قليلاً عند الحواف، وبالنسبة للعديد من الاستخدامات، فإن هذا الضباب يعتبر مقايضة عادلة مقابل توفير السرعة والمساحة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "من خلال عدسة مضغوطة: استقصاء تأثير التكميم على استرجاع المعرفة الواقعية."

1. بيان المشكلة

بينما يُعتمد التكميم (Quantization) على نطاق واسع لتسريع استدلال النماذج اللغوية الكبيرة (LLMs) وتقليل تكاليف النشر، إلا أن تأثيره على استرجاع المعرفة الواقعية (Factual Knowledge Recall - FKR) لا يزال غير مستكشف بشكل كافٍ. لقد فحصت الدراسات السابقة آثار التكميم على تعدد اللغات، والتحيز، والمواءمة، ولكن هناك نقص في الفهم الشامل لكيفية تأثير تقليل دقة المعلمات (parameters) على قدرة النموذج على الوصول إلى المعرفة الواقعية المخزنة واسترجاعها. وتحديداً، ليس من الواضح ما إذا كان التكميم يسبب فقداناً منهجياً للمعلومات، وكيف يتجلى هذا الفقدان عبر البنى الهيكلية والطبقات المختلفة للنماذج، وما إذا كانت النماذج ذات عدد البتات الأقل تضعف أداؤها باستمرار مقارنة بنظيراتها ذات الدقة الكاملة في المهام كثيفة المعرفة.

2. المنهجية

أجرى المؤلفون دراسة تجريبية شاملة تجمع بين اختبار الأداء والتحليل القائم على التفسير (interpretability-driven analysis).

النماذج وتقنيات التكميم:
- النماذج: Llama3-8B، وQwen2.5-7B، وQwen2.5-14B.
- التقنيات: تم تقييم ثلاث طرق للتكميم بعد التدريب (PTQ) عند عروض بتات مختلفة (4-bit و8-bit):
  - GPTQ: تحسين قائم على هسيان (Hessian) من الدرجة الثانية.
  - AWQ: تكميم الأوزان المدرك للتنشيط (Activation-aware) للتعامل مع القيم المتطرفة.
  - BitSandBytes (bib): تكميم صحيح باستخدام نوى (kernels) محسنة منخفضة البت (bib4 وbib8).
- النموذج المرجعي (Baseline): نماذج الدقة الكاملة.
مجموعات البيانات:
- LRE (سبر المعرفة): مجموعة بيانات من الثلاثيات المعرفية $(s, r, o)$ تُستخدم لقياس دقة الاسترجاع الواقعي المباشر.
- TwoHop-Fact: مجموعة بيانات مصممة لاختبار الاستدلال متعدد الخطوات الكامن (Latent Multi-hop Reasoning - LMHR)، والتي تتطلب من النموذج الربط بين حقيقتين (مثلاً: $e_1 \to e_2 \to e_3$ ) للإجابة على استعلام.
التحليل التفسيري:
- تحليل حفظ المعرفة: باستخدام نظرية عصبون المعرفة (Knowledge Neuron Theory)، تتبع المؤلفون فقدان المعلومات إلى عصبونات وطبقات محددة. وقاموا بحساب "درجات المساهمة" (الزيادة في الاحتمالية اللوغاريتمية للرموز الصحيحة) للعصبونات في نماذج الدقة الكاملة مقابل النماذج المكممة لتحديد العصبونات التي تفقد تأثيرها.
- تحليل الاستدلال متعدد الخطوات الكامن: تم التقييم باستخدام ثلاثة مقاييس:
  1. درجة استرجاع الكيان (ENTREC): القدرة على استرجاع الكيان الجسري ( $e_2$ ) في سلسلة من خطوتين.
  2. درجة الاتساق (CNSTSCORE): التشابه بين توزيعات المخرجات للمطالبات أحادية الخطوة وثنائية الخطوة.
  3. دقة استرجاع المعرفة الواقعية (FKR Accuracy): التنبؤ الصحيح بالهدف النهائي.

3. المساهمات الرئيسية

تقييم منهجي لاسترجاع المعرفة الواقعية (FKR): تقديم أول تحليل شامل لكيفية تدهور أو الحفاظ على استرجاع المعرفة الواقعية عبر تقنيات PTQ وعروض البتات المختلفة عبر عائلات نماذج متعددة.
رؤى على مستوى الطبقة والعصبون: ربط تدهور المعرفة بمكونات معمارية محددة، مما كشف أن التكميم يؤثر بشكل أساسي على الطبقات الأخيرة من الشبكة حيث يتم غالباً دمج المعرفة الواقعية.
نتائج غير متوقعة: إثبات أن التكميم منخفض البت لا يؤدي دائماً إلى أداء أسوأ؛ ففي بعض الحالات، يعمل التكميم كمنظم (regularizer)، مما يؤدي عن غير قصد إلى تعزيز استرجاع المعرفة الواقعية.
مقارنة الطرق: تحديد BitSandBytes (bib) كأكثر التقنيات فعالية في الحفاظ على FKR مقارنة بـ GPTQ وAWQ، خاصة في تكوينات 8-bit.

4. النتائج الرئيسية

أ. اتجاهات الأداء العام

فقدان المعلومات: يتسبب التكميم عادةً في فقدان المعلومات، مما يؤدي إلى انخفاض دقة FKR. ويتضخم هذا التأثير في النماذج الأصغر (مثل 7B/8B) ضمن نفس العائلة مقارنة بالنسخ الأكبر (14B).
الحساسية لعرض البتات:
- نماذج 4-bit: أظهرت باستمرار انخفاضات كبيرة في الدقة، خاصة مع GPTQ وAWQ.
- نماذج 8-bit: حافظت عموماً على أداء مماثل لنماذج الدقة الكاملة.
- BitSandBytes (bib): أظهرت أعلى قدرة على الحفاظ على قدرات FKR الأصلية. وفي كثير من الحالات، حافظت bib8 وحتى bib4 على دقة قريبة من الدقة الكاملة.

ب. التحليل التفصيلي (العصبونات والطبقات)

التأثير حسب الطبقة: التدهور ليس موحداً. وجدت الدراسة أن التكميم يؤثر بشكل أساسي على الطبقات الأخيرة للنموذج.
- في Qwen2.5-7B، حدث أكبر انخفاض في درجات مساهمة العصبونات في الطبقتين الأخيرتين.
- في Llama3-8B، حدث التراجع في الطبقات المتوسطة إلى المتأخرة، مع بعض التعافي في الطبقات النهائية، مما يشير إلى اختلافات معمارية في كيفية تخزين المعرفة.
مساهمة العصبون: انخفض عدد "العصبونات عالية المساهمة" (تلك الحاسمة للإجابات الصحيحة) بشكل كبير بعد التكميم، خاصة بالنسبة للعلاقات التي لم تكن قد وصلت للتشبع بعد في نموذج الدقة الكاملة (مثل "شخص، أب لـ"، "معلم على قارة").

ج. الاستدلال متعدد الخطوات (TwoHop-Fact)

حساسية الخطوة الأولى: يؤثر التكميم بشكل غير متناسب على الخطوة الأولى ( $r_1$ ) من سلاسل الاستدلال. ويرتبط التدهور في الخطوة الأولى ارتباطاً قوياً (معامل سبيرمان $\rho = 0.93$ ) بالفشل في التنبؤ بالكيان الجسري، مما يؤدي لاحقاً إلى فشل الخطوة الثانية.
عدم القدرة على التنبؤ: تأثير التكميم متباين. فبينما أدت بعض النماذج المكممة إلى أداء أسوأ، أدت نماذج أخرى (تحديداً متغيرات bib) أحياناً إلى التفوق على نماذج الدقة الكاملة، ويرجع ذلك على الأرجح إلى تأثير التنظيم (regularization) أو حقن الضوضاء المفيدة.

د. الهشاشة المرتبطة بالعلاقة

أنواع المعرفة التي لم تكن مشبعة تماماً في نموذج الدقة الكاملة (مثل بعض الحقائق البيوغرافية المحددة) كانت أكثر هشاشة تحت التكميم من المعرفة الشائعة (مثل "عاصمة الدولة").

5. الأهمية والآثار المترتبة

قابلية النشر: تؤكد الدراسة أن التكميم يظل استراتيجية ضغط قابلة للتطبيق لنماذج LLM. ورغم أن فقدان الدقة أمر لا مفر منه، إلا أنه يظل طفيفاً بشكل عام ولا يمس فائدة النموذج للمهام الواقعية، خاصة عند استخدام تكميم 8-bit أو طريقة BitSandBytes.
اختيار النموذج: بالنسبة للتطبيقات التي تتطلب استرجاعاً عالياً للدقة الواقعية، يُوصى باستخدام BitSandBytes (bib) بدلاً من GPTQ أو AWQ، خاصة في ظل قيود 4-bit.
الفهم المعماري: تشير النتائج إلى أن المعرفة الواقعية تُخزن بشكل مختلف عبر عائلات النماذج (Llama مقابل Qwen) وتتركز في الطبقات المتأخرة من الشبكة. وهذا يوفر هدفاً جديداً للبحث المستقبلي في ضغط النماذج وتحرير المعرفة.
التحسن المتناقض: إن ملاحظة أن التكميم يمكن أن يحسن أحياناً من الاسترجاع تتحدى الافتراض بأن الضغط ضار دائماً، مما يشير إلى أن الضوضاء المحكومة أو التنظيم الناتج عن التكميم قد يساعد في تصفية الارتباطات الزائفة.

القيود

نطاق اللغة: اقتصرت التجارب على مجموعات البيانات الإنجليزية؛ قد تتأثر الـ FKRL متعددة اللغات بشكل مختلف.
حجم النموذج: اقتصرت التحليلات القائمة على التدرج (Gradient-based) على النماذج التي حجمها $\le$ 14B بسبب قيود ذاكرة وحدة معالجة الرسومات (GPU).
نطاق التكميم: ركزت الدراسة على تكميم الأوزان فقط (weight-only PTQ). لم يتم تضمين تكميم التنشيط (Activation quantization)، أو ضغط ذاكرة الكاش (KV cache compression)، أو التدريب المدرك للتكميم (QAT).