Auditable Release Assurance for Quantized LLM Deployment Configurations: Anytime-Valid Non-Inferiority and Executable Certificates
تقدم هذه الورقة إطاراً إحصائياً قابلاً للتدقيق وصالحاً في أي وقت مع شهادات قابلة للتنفيذ لتحديد ما إذا كانت النماذج اللغوية الكبيرة المكممة غير أدنى من التكوينات المرجعية عبر بيئات نشر محددة بصرامة، وذلك من خلال التحكم في مخاطر الشهادات الزائفة مع دعم ضمان الإصدار المرن والمخصص لكل تكوين.
المؤلفون الأصليون:Myunglae Jo, Donghyun Kim, Changhan Son, Minseong Park, Il-Hyuk Yu, Hyungkwang Lim
في عالم الذكاء الاصطناعي الحديث، غالبًا ما يُعامل النموذج اللغوي الكبير كأنه دماغ واحد متجانس. ومع ذلك، ولجعل هذه الأنظمة القوية تعمل على الأجهزة اليومية مثل أجهزة الكمبيوتر المحمول أو الهواتف الذكية، يجب على المهندسين تقليص حجمها. هذه العملية، المعروفة باسم "الكمنتة" (quantization)، تضغط بيانات النموذج الداخلية الضخمة لتوفير المساحة وتسريع الحسابات. لكن الضغط عملية تنطوي على مقايضة محفوفة بالمخاطر؛ فتماماً كما تفقد الصورة الفوتوغرافية تفاصيلها عند ضغطها في ملف أصغر، قد يفقد نموذج الذكاء الاصطناعي المضغوط قدرته على الإجابة على الأسئلة بشكل صحيح أو اتباع التعليمات بدقة. ويتمثل التحدي الجوهري للمطورين في معرفة متى تكون النسخة المضغوطة جيدة بما يكفي لاستبدال النسخة الأصلية. فإذا أصدروا نموذجاً أسوأ قليلاً، فقد تتراوح العواقب من أخطاء محبطة للمستخدم إلى إخفاقات حرجة في التطبيقات الحساسة للسلامة. وقد اعتمدت الصناعة لفترة طويلة على المتوسطات البسيطة لاتخاذ هذه القرارات، لكن المتوسطات يمكن أن تخفي عيوباً خطيرة، حيث تحجب حقيقة أن النموذج قد يفشل فشلاً ذريعاً في مهام محددة وهامة حتى لو بدا مجموعه العام مقبولاً.
لقد طور فريق من الباحثين طريقة جديدة وصارمة لحل هذه المشكلة، حيث ابتكروا "بوابة جودة" رقمية تعمل بمثابة ختم اعتماد لنماذج الذكاء الاصطناعي المضغوطة. فبدلاً من الاعتماد على درجة اختبار واحدة، يتعامل نهجهم مع إصدار النموذج كقرار رسمي لجودة البرمجيات يجب أن يكون قابلاً للتدقيق ومثبتاً رياضياً. لقد صمموا نظاماً يقارن النموذج المضغوط بنسخته الأصلية غير المضغوطة عنصراً بعنصر. وبدلاً من مجرد السؤال: "هل متوسط الدرجة أقل؟"، يطرح النظام سؤالاً أكثر دقة: "هل عدد الأخطاء في مهام محددة أعلى من حد متفق عليه مسبقاً؟". هذا الحد، أو هامش الخطأ، يضعه المطورون قبل بدء الاختبار. ثم يقوم النظام بإجراء فحص إحصائي يسمح لهم بإيقاف الاختبار مبكراً إذا كان النموذج آمناً بوضوح، أو الاستمرار في الاختبار حتى يتأكدوا تماماً، دون زيادة خطر الموافقة الخاطئة أبداً.
اختبر الباحثون هذه الطريقة في اثني عشر سيناريو مختلفاً تضمنت نماذج واقعية تعمل على أجهزة فعلية، بما في ذلك أجهزة NVIDIA Jetson وأجهزة Apple Mac. ووجدوا أن الطريقة القديمة في الاختبار غالباً ما كانت تغفل عن مشكلات دقيقة ولكنها جوهرية. فعلى سبيل المثال، قد يحصل نموذج مضغوط على نفس دقة المتوسط مقارنة بالأصل، ولكن في الواقع، قد يعطي إجابات مختلفة تماماً في ما يقرب من عشرين بالمائة من الأسئلة. وتكشف الطريقة الجديدة هذه "الانقلابات" في الصحة، مما يضمن أن يتصرف النموذج المضغوط باتساق مع الأصل. وفي عمليات المحاكاة التي أجروها، نجح النظام الجديد في التحكم في معدل الموافقات الخاطئة، حيث أبقى خطر اعتماد نموذج سيء دون خمسة بالمائة، حتى عندما تم إيقاف الاختبار مبكراً أو تكراره عدة مرات. وهذا المستوى من التحكم أمر بالغ الأهمية لأنه يمنع الفرق من "التلاعب" بالنظام عبر تشغيل الاختبارات مراراً وتكراراً حتى يحصلوا على نتيجة محظوظة تبدو جيدة.
إن الاكتشاف الحاسم في هذا العمل هو أن أداء النموذج المضغوط لا يتعلق فقط بملف النموذج نفسه، بل يرتبط ارتباطاً وثيقاً بالبيئة التي يعمل فيها. فقد وجد الباحثون أن نفس ملف النموذج المضغوط يمكن أن يتصرف بشكل مختلف تماماً اعتماداً على ما إذا كان يعمل على جهاز Mac أو جهاز NVIDIA، أو حتى على إصدارات مختلفة من محرك البرامج الذي يشغله. وفي حالة لافتة للنظر، أنتج نفس ملف النموذج إجابات صحيحة مختلفة في حوالي 88% فقط من الأسئلة عند نقله من جهاز إلى آخر. وهذا يعني أن شهادة الجودة الصادرة لنموذج على كمبيوتر معين لا يمكن الوثوق بها على كمبيوتر آخر. لذا، يربط حل الباحثين شهادة الجودة بكامل "تكوين النشر" (deployment configuration) — وهو المزيج المحدد من ملف النموذج، والأجهزة، ومحرك البرامج، والإعدادات المستخدمة. وهذا يضمن أن الضمان خاص بالإعداد الدقيق المستخدم، وليس مجرد وعد غامض حول النموذج بشكل عام.
كما يقدم النظام "سجلاً لمدى الحياة" لإدارة المخاطر بمرور الوقت. ففي دورة التطوير النموذجية، قد يختبر المهندسون نسخاً عديدة من نموذج ما، مستبعدين تلك التي تبدو سيئة ومحتفظين بتلك التي تبدو جيدة. وهذه العملية من الاختيار يمكن أن ترفع خطر إصدار نموذج معيب عن طريق الخطأ، حيث قد تختار الفرق ببساطة النتائج الأكثر حظاً في الاختبار. ويأخذ البروتوكول الجديد في الاعتبار هذا الأمر من خلال تقسيم إجمالي ميزانية المخاطر المسموح بها على جميع المرشحين الذين تم اختبارهم وجميع الإصدارات التي تم إطلاقها طوال عمر المشروع. فإذا اختبر فريق ثماني نسخ مختلفة، يضمن النظام أن تظل فرصة الموافقة الخاطئة على نموذج سيء منخفضة، بغض النظر عن عدد المرات التي يحاولون فيها. وهذا يخلق سجلاً شفافاً حيث يكون كل قرار بإصدار نموذج مدعوماً بشهادة موقعة وقابلة لإعادة التشغيل يمكن لطرف ثالث مستقل التحقق منها.
في نهاية المطاف، يوفر هذا العمل سير عمل عملي وشامل لعملية النشر الآمن للذكاء الاصطناعي المضغوط. إنه ينقل الصناعة من مرحلة التخمين والمتوسطات البسيطة إلى نظام من الأدلة المثبتة والقابلة للتدقيق. ومن خلال إثبات أن النموذج المضغوط ليس أسوأ بشكل ملحوظ من الأصل ضمن هامش محدد، ومن خلال ربط هذا الإثبات بالأجهزة والبرامج المحددة التي يعمل عليها، وضع الباحثون معياراً موثوقاً لجودة البرمجيات. لا يدعي هذا الأسلوب أن النموذج المضغوط مثالي أو أنه سيعمل لكل مهمة ممكنة؛ بل يوفر ضماناً واضحاً ومحدوداً بأن النموذج آمن للاستخدام للأغراض المحددة التي تم اختباره من أجلها. ويسمح هذا النهج للمطورين بتقليص نماذج الذكاء الاصطناً الخاصة بهم بثقة للعمل على الأجهزة الطرفية، مع العلم أن المقايضات قد تم قياسها وتسجيلها واعتمادها بدقة رياضية.
ملخص تقني: ضمان إطلاق قابل للتدقيق لتكوينات نشر النماذج اللغوية الكبيرة المكممة (Quantized LLM)
1. بيان المشكلة
إن نشر نموذج لغوي كبير مكمم ليس مجرد تحديث لأوزان النموذج، بل هو قرار معقد يتعلق بجودة إصدار برمجيات يتضمن كامل تكوين النشر (الأوزان، تنسيق التكميم، محرك الاستدلال، مكتبات وقت التشغيل، الأجهزة، المرمز (tokenizer)، وضوابط التوليد). تعتمد ممارسات الإصدار الحالية غالبًا على مقارنات معيارية أحادية النقطة (مثل فجوات الدقة المتوسطة)، والتي تفشل في التحكم في معدل الشهادات الزائفة تحت ظروف التقييم التكيفي، أو التوقف الاختياري، أو الاختبار المتكرر.
تتمثل المشكلة الجوهرية في غياب بوابة قابلة للتدقيق ومحدودة لتحديد ما إذا كان يمكن لتكوين مكمم مرشح (q) أن يحل محل تكوين مرجعي (b) دون تجاوز هامش عدم دونية معلن (ϵ) وميزانية شهادة خاطئة (δ). لا تأخذ الاستدلالات الموجودة في الاعتبار:
التوقف الاختياري: قيام الفرق بتكرار الاختبارات المعيارية حتى تبدو النتائج مقبولة، مما يؤدي إلى تضخم معدلات الإيجاب الكاذب.
خصوصية التكوين: قد يسلك نفس أثر النموذج سلوكًا مختلفًا عبر أجهزة أو إصدارات محركات أو خلفيات تكميم مختلفة.
التباين على مستوى العناصر: يمكن أن تحجب تغيرات الدقة الإجمية تغيرات كبيرة على مستوى العناصر (على سبيل المثال، تغيير صافي بنسبة 0% قد يخفي 10% من العناصر التي تحولت من صحيحة إلى غير صحيحة والعكس).
2. المنهجية والبروتوكول
يقترح البحث البروتوكول 3.1، وهو سير عمل لإصدار جودة البرمجيات شامل (end-to-end) يجمع بين الصرامة الإحصائية وربط الأدلة القابلة للتنفيذ.
2.1 صياغة المشكلة
تكوين النشر (DCP): يُعرف كزوج مرتب C=(M,Q,E,S,H,I,G,V) يغطي النموذج، التكميم، المحرك، وقت التشغيل، الأجهزة، المرمز، معلمات التوليد، والمقيم.
شهادة عدم الدونية: الفرضية الصفرية هي H0:Δ≥ϵ (النموذج المكمم أدنى من المستوى المقبول بما يتجاوز التسامح). تتطلب الشهادة رفض H0 عند المستوى δ.
النتائج المزدوجة: تستخدم الطريقة نتائج العناصر المزدوجة d(x)=m(b(x))−m(q(x))∈{−1,0,1}، حيث $-1هوتحولمفيد،0هوعدمتغيير،و1$ هو تحول ضار. يقلل هذا التصميم المزدوج من التباين مقارنة بالاختبارات غير المزدوجة.
2.2 نظامي أخذ العينات
يدعم البروتوكول نظامين متميزين من المقدرات (estimands)، لكل منهما ضمانات صلاحية محددة:
R1 (المجتمع الفائق - Superpopulation): يتم سحب العناصر بشكل مستقل وموزع متماثلاً (i.i.d.) من توزيع مهمة D. الهدف هو التصديق على التدهور المتوقع Δ=ED[d(x)] للطلبات المستقبلية.
الطريقة: تستخدم عملية e (عملية ثروة) قائمة على المراهنة ضد الفرضية الصفرية. وهي تدعم الاستدلال الصالح في أي وقت، مما يسمح للمدقق بالتوقف في أي وقت يعتمد على البيانات مع الحفاظ على ضمان δ عبر متباينة فيل (Ville's inequality).
R2 (إطار تدقيق ثابت - Fixed Audit Frame): الهدف هو متوسط التدهور ΔˉN عبر مجموعة محددة وثابتة من N من العناصر التي تم فحصها بترتيب عشوائي منتظم دون إرجاع.
الطريقة: تستخدم عملية e شرطية تراهن ضد المتوسط الصفرى الشرطي للعناصر المتبقية. وتتضمن قاعدة الإحصاء النهائي (terminal census rule): إذا لم تتجاوز عملية الثروة العتبة بحلول t=N، يتم تقييم الإطار بأكمله، ويكون القرار حتميًا بناءً على متوسط الإطار الدقيق. يضمن هذا شهادة لجميع المجتمعات المحدودة غير الأدنى حقًا بحلول t=N.
2.3 الضمان القابل للتنفيذ والربط
لضمان قابلية التدقيق ومنع "تسوق الهوامش" أو اختيار المرشح الخفي:
الشهادات الموقعة: المخرج عبارة عن مستند JSON موقع يربط ملفات تعريف النشر، وبيانات المهمة/المقيم، وإطار التدقيق، وقواعد الاختيار، وسجلات كل عنصر مرتبة.
الالتزام المسبق: يجب تثبيت ترتيب الفحص قبل ملاحظة النتائج. بالنسبة للاختيار التكيفي (مثل اختيار الأفضل من بين K من المرشحين)، يجب تثبيت قاعدة الاختيار والأدلة قبل إنشاء التبديل التدقيقي (باستخدام عشوائية عامة أو بذرة محددة).
قابلية إعادة التشغيل: يمكن لطرف ثالث مستقل تشغيل برنامج تحقق لإعادة حساب عملية الثروة، وتسلسلات الثقة، والقرار النهائي من الملفات المقدمة.
تخصيص المخاطر: ينفذ البروتوكول دفتر حسابات مخاطر مدى الحياة (∑δr≤δlifetime) ويتعامل مع اختيار المرشحين عبر تصحيح بونفيروني (δ/K) أو استراتيجيات الاحتجاز لمنع تضخم المخاطر.
3. المساهمات الرئيسية
معيار إصدار جودة البرمجيات: تعريف رسمي لشهادة تكوين نشر كامل (ليس فقط الأوزان) مقابل مرجع تحت تحمل معين (ϵ) وميزانية مخاطر (δ) لكلا هدفي المجتمع الفائق والإطار الثابت.
بروتوكول إحصائي صالح في أي وقت: بروتوكول عدم دونية مزدوج باستخدام عمليات e يتحكم في الشهادة الخاطئة تحت ظروف التوقف الاختياري (R1) والفحص بدون إرجاع (R2)، بما في ذلك قاعدة الإحصاء النهائي للإطارات المحدودة.
أدلة ضمان قابلة للتنفيذ: تنسيق شهادة موقع وقابل لإعادة التشغيل يربط قرار الإصدار ببصمات التكوين، وملفات المهام، وبذور العشوائية، مما يتيح التحقق المستقل من كامل منطق الإصدار.
التحقق التجريبي: التقييم على اثني عشر مجتمعًا من (نموذج-مهمة-تكميم) عبر تكوينات NVIDIA Jetson Orin Nano و Mac، مما يثبت أن معدلات الشهادة الخاطئة الملحوظة تتوافق مع الميزانيات المعلنة.
أدلة خاصة بالتكوين: عرض تجريبي لكيفية إنتاج نفس أثر النموذج لنتائج مختلفة جوهريًا عبر تكوينات الآلات أو إصدارات المحركات (بنسبة اختلاف تصل إلى 11.8%)، مما يستلزم شهادات مرتبطة بالتكوينات وليس فقط بملفات النماذج.
4. النتائج والملاحظات
التحكم في معدل الخطأ: في المحاكاة عبر المنطقة الصفرية (Δ≥ϵ)، كان أقصى معدل شهادة خاطئة ملحوظ هو 3.8% لميزانية 5%، وهو ما يتوافق مع الضمانات النظرية.
الكفاءة: يقلل التصميم المزدوج من التباين بشكل كبير. في المجتمعات المقاسة، كان تباين الفرق المزدوج أصغر بمقدار 2.4 إلى 78 مرة من تباين العينات غير المزدوجة.
التوقف المبكر: بالنسبة للتكوينات غير الأدنى بوضوح، غالبًا ما توقف بروتوكول R2 مبكرًا (على سبيل المثال، وسيط 167 عنصرًا لإطار مكون من 500 عنصر). ومع ذلك، بالنسبة للتكوينات القريبة من الحد (مثل تدهور 2.8% مقابل ϵ=3%)، فإن العملية غالبًا ما تتطلب استنفاد الإطار بأكمله للوصول إلى قرار.
التباين مقابل التدهور الصافي: وجدت الدراسة أن تغيرات الدقة الصافية يمكن أن تكون صغيرة بينما يكون التباين على مستوى العناصر مرتفعًا (على سبيل المثال، 21% من العناصر تغيرت حالة صحتها مع تغير صافي قدره 2.7% فقط). يعالج البروتوكول هذا عبر الهيكل المزدوج.
حساسية التكوين:
تفاعل الخلفية: تغيير خلفية الاستدلال (CUDA مقابل CPU) ضمن نفس الجهاز لم يؤثر بشكل ملموس على الدقة (تأثير التفاعل -0.2 نقطة مئوية).
حساسية الآلة/الإصدار: تسبب تغيير الآلة أو إصدار المحرك في تحولات كبيرة (على سبيل المثال، 11.8% اختلاف في التنبؤ بين إصدارات Jetson و Mac لنفس الأثر). وهذا يؤكد ضريد التزام الشهادات بتكوينات الأجهزة وإصدارات البناء المحددة.
مقايضات الموارد: وفر التكميم (مثل Q8، Q4) تسريعًا كبيرًا في الإنتاجية (1.6x–3.4x) وتقليلًا في حجم الملفات (1.9x–3.1x) على الأجهزة الطرفية، مع تكاليف جودة قابلة للقياس والشهادة.
5. الأهمية والادعاءات
يصرح المؤلفون صراحةً بأنهم لا يدعون الابتكار للمكونات الإحصائية الفردية (الاختبارات المزدوجة، اختبارات عدم الدونية، عمليات e، أو تقييم التكميم) بمعزل عن بعضها البعض.
المساهمة الأساسية للبحث هي التركيب الشامل (end-to-end composition) لهذه العناصر في سير عمل لإصدار جودة البرمجيات. يتضمن ذلك:
معيار إصدار أحادي الجانب يضع عبء الإثبات على النموذج المضغوط.
التحكم الصريح في التوقف الاختياري واختيار المرشحين.
ربط التكوين والأدلة لمنع "تسوق الهوامش" وضمان قابلية إعادة الإنتاج.
دورة حياة إعادة الشهادة التي تتعامل مع الانحراف وتغيرات التكوين.
هذا العمل يوفر آلية لأدلة الإصدار النسبية. فهو يضمن أن تكوينًا محددًا غير أدنى من تكوين مرجعي محدد تحت هامش محدد وميزانية محددة. وهو لا يدعي صراحةً أنه شهادة مطلقة لملاءمة المهمة، أو ضمان جاهزية للإنتاج، أو إثبات للسلامة ضد المدخلات العدائية. صلاحية الشهادة تقتصر بدقة على تكوين النشر المسجل وتوزيع المهمة أو إطار التدقيق الملتزم به.