🤖 machine learning

Calibration-Preserving Pruning: Compression as a Reliability Contract

تقدم هذه الورقة البحثية طريقة "التقليم المحافظ على المعايرة" (CPP)، وهي طريقة تعزز ضغط النماذج من خلال دمج بروز تدرج عدم المطابقة لتقليل أحجام مجموعات التنبؤ في التنبؤ المطابق، مع الحفاظ على ضمانات التغطية ذات العينات المحدودة، مما يظهر مكاسب كفاءة كبيرة في مهام التصنيف ذات الملصقات الكبيرة دون المساس بالموثوقية.

المؤلفون الأصليون: Ibne Farabi Shihab, Adria Binte Habib, Anuj Sharma

نُشر 2026-08-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ibne Farabi Shihab, Adria Binte Habib, Anuj Sharma

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناญي، تُعد النماذج اللغوية الكبيرة محركات قوية يمكنها القراءة والكتابة والاستنتاج، لكنها أيضاً ثقيلة للغاية ومكلفة في التشغيل. ولجعلها عملية للاستخدام على الأجهزة اليومية، يحاول الباحثون غالباً تقليص حجمها عن طريق إزالة الأجزاء غير الضرورية، وهي عملية تُعرف باسم "التقليم" (pruning). ومع ذلك، هناك عقبة: عندما تقطع أجزاءً من النموذج، فإنك تخاطر بكسر قدرته على إخبارك بمدى تأكده من إجاباته. وبالنسبة للعديد من التطبيقات الحرجة، مثل التشخيص الطبي أو الاستشارات المالية، فإن معرفة مستوى اليقين لا تقل أهمية عن الحصول على الإجابة الصحيحة نفسها. فإذا كان النموذج واثقاً ولكنه مخطئ، أو إذا قدم قائمة من عشر إجابات محتملة بينما اثنتان فقط منهما مرجحتان، فإنه يصبح أقل فائدة. التحدي يكمن في تقليص هذه النماذج دون فقدان تلك القدرة الجوهرية على قياس الموثوقية.

لقد طور فريق من الباحثين من جامعة ولاية آيوا والجامعة المستقلة في بنغلاديش طريقة جديدة لحل هذه المشكلة المحددة. ويطلقون عليها اسم "التقليم المحافظ على المعايرة" (Calibration-Preserving Pruning). ويركز عملهم على تقنية تُسمى "التنبؤ المطابق" (conformal prediction)، وهي وسيلة تتيح للكمبيوتر توليد قائمة من الإجابات المحتملة مع ضمان أن تكون الإجابة الصحيحة موجودة داخل هذه القائمة بنسبة مئوية معينة. تخيل خبير أرصاد جوية يقول: "هناك احتمال بنسبة 90% أن تكون درجة الحرارة بين 60 و70 درجة". الهدف هو الحفاظ على هذا الضمان بنسبة 90% حقيقياً حتى بعد تقليص حجم النموذج، ولكن مع جعل نطاق درجات الحرارة هذا ضيقاً قدر الإمكان. فنطاق يتراوح بين 60 و70 أكثر فائدة بكثير من نطاق يتراوح بين 50 و80، حتى لو كان كلاهما صحيحاً تقنياً بنسبة 90% من الوقت.

اكتشف الباحثون أن مجرد تقليص حجم النموذج ثم إعادة معايرته لاحقاً ليس كافياً. فبينما يمكن استعادة ضمان أن يكون النموذج صحيحاً بنسبة 90% من الوقت، إلا أن قائمة الإجابات المحتملة غالباً ما تصبح طويلة وغامضة دون داعٍ. يحدث هذا لأن عملية التقليم يمكن أن تطمس الفوارق بين الإجابات المختلفة، مما يجعل النموذج أقل يقيناً بشأن أي منها هو الأفضل. ولإصلاح ذلك، ابتكر الفريق طريقة جديدة لتحديد الأجزاء التي سيتم قطعها من النموذج. فبدلاً من مجرد النظر إلى مدى أهمية وزن معين بالنسبة للإجابة النهائية، تنظر طريقتهم أيضاً إلى مدى قدرة قطع هذا الوزن على إرباك شعور النموذج باليقين. إنهم يستخدمون فحص حساسية رياضياً خاصاً لمعرفة مدى "تذبذب" درجات ثقة النموذج إذا تم إزالة جزء معين. ومن خلال الاحتفاظ بالأجزاء الأكثر أهمية للحفاظ على تميز تلك الدرجات، يمكنهم تقليص حجم النموذج مع الحفاظ على قائمة الإجابات المحتملة ضيقة ومحددة.

اختبر الفريق هذا النهج على عدة نماذج لغوية كبيرة، بما في ذلك نسخة تسمى Qwen2.5-1.5B، عبر مهام متنوعة مثل تصنيف المقالات الإخبارية والاستفسارات المصرفية. وقارنوا طريقتهم الجديدة بالطرق الموجودة لتقليص حجم النماذج. وأظهرت النتائج أن نهجهم نجح في تقليل حجم قوائم الإجابات دون التضحي بالدقة. على سبيل المثال، في مجموعة بيانات تحتوي على أربعة عشر فئة مختلفة من النصوص، قللت طريقتهم متوسط عدد الإجابات في القائمة من 10.1 إلى 8.6، مع تحسين قدرة النموذج فعلياً على اختيار الإجابة الفردية الصحيمة. وفي حالة أخرى، قللوا حجم القائمة من 11.2 إلى 9.0، رغم أن ذلك جاء مع مقايضة صغيرة جداً في الدقة. وعبر العديد من الاختبارات المختلفة، أنتجت طريقتهم قوائم إجابات أصغر وأكثر فائدة في غالبية الحالات مقارنة بالتقنيات القياسية.

ومع ذلك، يوضح الباحثون بحذر أن هذا ليس حلاً سحرياً يجعل كل عمليات التقليم أفضل. فقد وجدوا أن جزءاً كبيراً من التحسن جاء ببساطة من استخدام معلومات أفضل حول كيفية تعلم النموذج، بدلاً من حيلتهم الجديدة المحددة وحدها. فعندما قارنوا طريقتهم بالتقنيات المتقدمة الأخرى التي تستخدم أيضاً إشارات التعلم، أصبح التفوق أصغر، وفي بعض الحالات، كانت النتائج غير قابلة للتمييز إحصائياً. وتتطلب النسخة الأكثر فعالية من طريقتهم وقتاً إضافياً من الحاسوب لحساب حساسية كل جزء من أجزاء النموذج قبل القطع، وهو تكلفة يجب موازنتها مقابل الفائدة من الحصول على قائمة إجابات أصغر. وتؤكد الدراسة أنه من الممكن تحسين نموذج مضغوط خصيصاً من أجل الموثوقية، ولكن ذلك يتطلب توازناً دقيقاً بين تكلفة التحضير والربح في الدقة.

كما يسلط العمل الضوء على أهمية كيفية إجراء التجارب. فقد استخدم الباحثون بروتوكولاً صارماً حيث يتم فصل البيانات المستخدمة لتقليم النموذج، والبيانات المستخدمة لضبط الإعدادات، والبيانات المستخدمة للتحقق من الموثوقية النهائية تماماً. وهذا يضمن أن النتائج صادقة وليست مجرد صدفة سعيدة ناتجة عن البيانات. وقد وجدوا أنه عند اتباع هذه القواعد، فإن الوعد بنموذج مضغوط وموثوق يصمد أمام الاختبار. لا تدعي الدراسة حل كل مشكلات الذكاء الاصطناعي، ولا تقترح أن هذه النماذج المضغوطة جاهزة لكل مهمة ممكنة. بدلاً من ذلك، هي تقدم مساراً واضحاً ومثبتاً لجعل النماذج أصغر وأكثر كفاءة مع الحفاظ على قدرتها على قول "أنا لست متأكداً" بطريقة مفيدة حقاً. وبالنسبة للمطورين الذين يبنون أنظمة تكون فيها الثقة أمراً أساسياً، فإن هذا يوفر أداة ملموسة لضمان أن الكفاءة لا تأتي على حساب الموثوقية.

ملخص تقني: التقليم المحافظ على المعايرة (CPP)

بيان المشكلة
تتناول الورقة فجوة محددة في ضغط النماذج اللغوية الكبيرة (LLMs): المقايضة بين تخلخل النموذج (Sparsity) والموثوقية في أنظمة اتخاذ القرار اللاحقة. بينما تحافظ طرق التقليم القياسية (مثل Magnitude وWanda وSparseGPT) غالبًا على دقة التسميات العليا، إلا أنها قد تؤدي إلى تدهور هندسة درجات عدم المطابقة (Nonconformity scores). هذا التدهور يتسبب في تضخم مجموعات التنبؤ التوافقية (Conformal prediction sets) — المستخدمة في المهام الحساسة للموثوقية مثل الفرز أو التحقق من الاسترجاع — بشكل غير ضروري للحفاظ على ضمانات التغطية. يجادل المؤلفون بأنه بينما يمكن لإعادة المعايرة المستقلة عبر التقسيم (Independent split-conformal recalibration) استعادة الصلاحية (التغطية الهامشية) لأي نموذج مقلّم ثابت، إلا أنها لا تستطيع استعادة الكفاءة (أحجام المجموعات الصغيرة) إذا كان التقليم قد تسبب في انهيار الفصل بين التسميات المحتملة. المشكلة الجوهرية هي ما إذا كان يمكن تحسين عملية التقليم للحفاظ على هندسة الدرجات بشكل كافٍ لإنتاج مجموعات تنبؤ أصغر وصالحة دون التضحية بالدقة.

المنهجية: التقليم المحافظ على المعايرة (CPP)
لا يعد CPP بديلاً لخوارزميات التقليم الأساسية، بل هو تعزيز يعدل آلية تسجيل الأهمية. فهو يدمج حدًا من حساسية تدرج عدم المطابقة في درجات الأهمية القياسية (مثل تلك المستمدة من Wanda أو SparseGPT).

صياغة الدرجة: بالنسبة للوزن $\theta_j$ ، يتم الجمع بين الأهمية الأساسية $I_{acc}(\theta_j)$ وحدٍ محافظ على المعايرة $I_{cal}(\theta_j)$ .
- يقيس $I_{cal}(\theta_j)$ الإزاحة من الدرجة الأولى لدرجة عدم المطابقة $s(x, y; \theta)$ الناتجة عن ضبط $\theta_j$ لتصبح صفرًا.
- بالنسبة لـ CPP ذي التسمية الحقيقية، يتم حساب ذلك كـ $\theta_j^2 \mathbb{E}[(\partial s / \partial \theta_j)^2]$ ، مما يعمل فعليًا كعامل فيشر تجريبي قطري.
- درجة الأهمية النهائية هي مجموع موزون: $I_{CPP} = (1-\lambda)\tilde{I}_{acc} + \lambda\tilde{I}_{cal}$ .
حساسية التسمية المرشحة: إدراكًا بأن حساسية التسمية الحقيقية ليست سوى مؤشر تقريبي لتضخم حجم المجموعة، يقترح المؤلفون ثلاثة بناءات واعية بالمرشحين:
- Top-3: يحتفظ بالتدرجات للثلاث تسميات ذات أقل درجات عدم مطابقة.
  get * All-label: يحسب متوسط التدرجات عبر فضاء التسميات الكامل.
- Threshold-aware (الوعي بالعتبة): يركز على التدرجات بالقرب من عتبة توافقية أولية، محتفظًا فقط بالتسميات ضمن نطاق مسافة محدد. أثبت هذا البناء أنه الأكثر فعالية في تقليل حجم المجموعة.
تقسيم البيانات الصارم: تفرض المنهجية "عقد موثوقية" صارمًا باستخدام خمسة أدوار متباينة للبيانات:
- $D_{prune}$ : تُستخدم لحساب التدرج وإحصائيات التقليم.
- $D_{val-cal}$ : تُستخدم لتقدير المئينات المؤقت وبناء العتبة.
- $D_{val-eval}$ : تُستخدم لاختيار النموذج (اختيار $\lambda$ ) بناءً على الدقة وضوابط التغطية.
- $D_{conf}$ : تقسيم المعايرة التوافقية، والذي لا يتم الوصول إليه إلا بعد تجميد النموذج المقلّم لحساب المئين النهائي $\hat{q}_\alpha$ .
- $D_{test}$ : تُستخدم حصريًا للتقييم النهائي.

المساهمات الرئيسية

صياغة الهدف: تفصل الورقة بين صلاحية النموذج المقلّم (المضمونة بواسطة المعايرة التوافقية المستقلة) وبين كفاءته (حجم المجموعة). وتصيغ التقليم كمسألة تحسين مقيدة حيث التغطية هي قيد صلب وحجم المجموعة هو الهدف الأساسي.
خوارزمية CPP: تقدم طريقة لتعزيز أدوات التقليم الأساسية بحساسية تدرج عدم المطابقة، مستهدفة تحديدًا الحفاظ على هندسة درجة عدم المطابقة حول عتبة التوافق.
الحدود النظرية: يقدم المؤلفون نظرية الاضطراب التي توضح أن اضطرابات الدرجة المحدودة تؤدي إلى إزاحات محدودة في المئينات وحجم المجموعات التوافقية. ويوضحون أن CPP يعمل كوكيل محلي من الدرجة الأولى لتقليل هذا الإزاحة، وليس كنظرية مثالية عالمية.
بروتوكول تقييم صارم: تستخدم الدراسة "تدقيق المصدر" للقضاء على مسارات التقييم المختلطة، مما يضمن أن جميع النتائج المبلغ عنها تستخدم عائلة واحدة متسقة من تقسيمات البيانات والبذور (seeds).

النتائج التجريبية
قيم المؤلفون CPP على نماذج Qwen2.5-1.5B وRoBERTa-base وLlama-3-8B عبر خمس مجموعات بيانات (AG News، TREC، DBpedia-14، Banking77، CLINC150) عند مستويات تخلخل 30% و50% و70%.

مكاسب الكفاءة: في المهام ذات التسميات الكبيرة (مثل DBpedia-14)، قلل CPP بشكل كبير من متوسط أحجام المجموعات مع الحفاظ على التغطية عند $\approx 0.90$ $\approx 0.90$ .
- مثال: عند تخلخل 50% في DBpedia-14، خفض CPP-SparseGPT متوسط حجم المجموعة من 10.1 إلى 8.6، مع تحسين الدقة من 0.347 إلى 0.366.
- مثال: خفض CPP-Wanda حجم المجموعة من 11.2 إلى 9.0، ولكن مع مقايضة طفيفة في الدقة (من 0.310 إلى 0.295).
أداء عبر مجموعات البيانات: عبر 15 خلية (مجموعة بيانات-تخلخل)، أنتج CPP-SparseGPT مجموعات أصغر في 13 حالة ودقة أعلى في 11 حالة مقارنة بالمقلل الأساسي.
مقارنات مضبوطة: أظهرت الضوابط المتطابقة باستخدام تدرجات إشرافية عامة (مثل Wanda++ وSNIP-style وWanda $\oplus$ $\oplus$ SNIP) أن معلومات التدرج العامة تفسر جزءًا كبيرًا من المكاسب.
- لم تكن CPP ذات التسمية الحقيقية متميزة إحصائيًا عن ضابط Wanda $\oplus$ SNIP المتطابق.
- حققت CPP-Threshold-aware أفضل كفاءة (على سبيل المثال، حجم مجموعة 7.8 لـ CPP-SparseGPT على DBpDBpedia-14) ولكنها تحمل تكاليف حوسبة "خارج الخط" (offline) أعلى (تصل إلى 8.8 ضعف المقلل الأساسي).
القابلية للنقل: دعمت التشخيصات على RoBERTA-base وLlama-3-8B انتقال الطريقة، رغم أن المؤلفين يحدون ادعاءاتهم في التصنيف الحساس للموثوقية، وليس التوليد الحر.

الادعاءات والأهمية
تقدم الورقة ادعاءات متواضعة ومحددة بخصوص مساهمتها:

الصلاحية مقابل الكفاءة: يذكر المؤلفون صراحة أن CPP لا تخلق أو تحسن نتيجة الصلاحية العامة للتنبؤ التوافقي المنقسم؛ فهذه النتيجة يوفرها تقسيم المعايرة المستقل. المساهمة تكمن حصريًا في الكفاءة التوافقية (تقليل حجم المجموعة) بعد إعادة المعايرة الصالحة.
التفوق المشروط: تدعي الورقة أن CPP محددة بالهدف، وليست متفوقة بشكل موحد على جميع التقليمات القائمة على التدرج. تظهر المكاسب بوضوح أكبر عند استخدام حساسية العتبة (threshold-aware saliency) في المهام ذات التسميات الكبيرة.
عقد الموثوقية: تكمن الأهمية في تحديد سير عمل للنشر حيث يتم الحفاظ على "عقد الموثوقية" ليس فقط من خلال درجة التقليم، ولكن أيضًا من خلال الفصل الصارم لأدوار البيانات (التقليم، التحقق، المعايرة) والتقرير الصريح عن حجم المجموعة جنبًا إلى جنب مع الدقة.
القيود: يقر المؤلفون بأن النظرية توفر شروطًا كافية ولكنها ليست حادة (tight)، وأن التخلخل العالي قد يؤدي إلى أخطاء يهيمن عليها الهسيان (Hessian)، وأن الطريقة تتطلب بيانات تقليم موسومة وتدرجات لكل مثال. كما لا يدعون أن الطريقة تعمل للتوليد مفتوح النهايات أو أنها قوية ضد أي تغير في التوزيع دون إعادة معايرة.

باختًا، توضح الورقة أنه من خلال تحسين هندسة درجة عدم المطابقة صراحةً أثناء التقليم، يمكن تحقيق مجموعات تنبؤ أكثر إفادة (أصغر حجمًا) للنماذج المضغوطة، بشرًا بشرط الحفاظ بصرامة على قيود الصلاحية من خلال المعايرة المستقلة.

ملخص تقني: التقليم المحافظ على المعايرة (CPP)

أبحاث مشابهة