A Reproducible, License-Aware Distillation Recipe for CPUDeployable Safety Classification
تقدم هذه الورقة وصفة قابلة لإعادة الإنتاج، ومدركة للتراخيص، لتقطير المعرفة تُدرب مصنفات سلامة صغيرة وفعالة في استهلاك المعالج المركزي لتطابق أداء نماذج الحماية الأكبر الموجهة للمعالجات الرسومية على النصوص العدائية، مع تقليل الإنذارات الكاذبة بشكل كبير في المطالبات غير الضارة من خلال إعادة التوازن لكل فئة.
المؤلفون الأصليون:Edson Rodrigues da Cruz Filho, Paulo Ricardo Ferreira Neves, Paulo Henrique Eleuterio Falsetti, João Vitor Pavan, Ian Degaspari, Henrique Vieira Laturrague, Patrick Vieira Laturrague, Guilherme NielseEdson Rodrigues da Cruz Filho, Paulo Ricardo Ferreira Neves, Paulo Henrique Eleuterio Falsetti, João Vitor Pavan, Ian Degaspari, Henrique Vieira Laturrague, Patrick Vieira Laturrague, Guilherme Nielsen Dias, Marccello Wilson Perez Berto, Gustavo Voltani Von Atzingen
المؤلفون الأصليون: Edson Rodrigues da Cruz Filho, Paulo Ricardo Ferreira Neves, Paulo Henrique Eleuterio Falsetti, João Vitor Pavan, Ian Degaspari, Henrique Vieira Laturrague, Patrick Vieira Laturrague, Guilherme Nielsen Dias, Marccello Wilson Perez Berto, Gustavo Voltani Von Atzingen
تُعد النماذج اللغوية الكبيرة أدوات قوية يمكنها الكتابة، والتعليل، والمحادثة، لكنها ليست آمنة بطبيعتها. فبدون وجود مرشح، قد تولد تعليمات ضارة، أو خطاب كراهية، أو نصائح خطيرة. ولمنع حدوث ذلك، يضع المطورون طبقة أمان أمام هذه النماذج، وهي نظام مخصص يعمل كحارس بوابة. يقرأ هذا الحارس كل رسالة ويقرر ما إذا كانت تنتهك سياسة ما. حالياً، أفضل حراس البوابات هم برامج حاسوبية ضخمة تتطلب أجهزة رسوميات متخصصة وباهظة الثمن لتعمل بسرعة. وإذا حاولت تشغيلها على معالج حاسوبي قياسي، فإنها تصبح بطيئة للغاية، حيث تستغرق عدة ثوانٍ للإجابة على سؤال واحد. وهذا يخلق مشكلة للعديد من التطبيقات التي تحتاج إلى العمل على أجهزة عادية وميسورة التكلفة أو تتطلب استجابات فورية. وكان السؤال الذي طرحه الباحثون هو ما إذا كان من الممكن تقليص حجم أنظمة الأمان الضخمة هذه لتناسب حاسوباً عادياً دون فقدان قدرتها على رصد الخطر.
لقد سعى فريق من الباحثين لحل هذه المشكلة من خلال ابتكار طريقة جديدة لتدريب أنظمة أمان أصغر حجماً. بدأوا بنموذج أمان كبير وقوي يثقون في دقته. عمل هذا النموذج الكبير كمعلم، حيث قام بقراءة مجموعة هائلة تضم حوالي 97,000 مطالبة مختلفة وتصنيفها إلى سبع فئات محددة من الضرر، مثل العنف الجسدي، أو خطاب الكراهية، أو النصائح الخطيرة. ثم قام الباحثون بتدريب أسطول من النماذج الأصغر بكثير لمحاكاة أحكام المعلم. صُممت هذه النماذج الصغيرة لتكون خفيفة الوزن بما يكفي لتعمل على معالجات الحاسوب القياسية. وقد حرص الفريق على ضمان أن تكون بيانات التدريب الخاصة بهم قابلة للاستخدام قانونياً في المنتجات التجارية، حيث قسموا البيانات إلى مجموعتين: إحداهما يمكن استخدامها للبرمجيات العامة، والأخرى مخصدة للبحث فقط. وقد سمح لهم ذلك بقياس مدى التكلفة التي تفرضها القيود القانونية على الأداء بدقة.
أظهرت النتائج أن النماذج الأصغر يمكنها بالفعل تعلم أن تكون حراساً فعالين للأمان. وعند اختبارها على نصوص عدائية صعبة صُممت لخداع النظام، أدى النموذج التوليدي الأصغر أداءً يضاهي النموذج المعلم الضخم، حيث طابق قدرته على رصد الخطر. والأكثر إثارة للدهشة، هو أن النموذج التوليدي الصغير كان أفضل في تجنب الإنذارات الكاذبة. فبينما كان المعلم الكبير يحظر أحياناً الرسائل غير الضارة عن طريق الخطأ، كان النموذج التطليدي الصغير يرتكب هذا الخطأ بشكل أقل، حيث صنف حوالي 3.8 بالمائة فقط من المطالبات الآمنة على أنها خطيرة، مقارنة بـ 4.8 بالمائة للمعلم الكبير. ومع ذلك، كانت النماذج الصغيرة الأخرى، مثل نماذج الترميز (encoders) والشبكات الضحلة، أسوأ من المعلمين في تجنب هذه الإنذارات الكاذبة. غير أن الحل الأكثر كفاءة لم يكن نموذجاً توليدياً بل كان مُرمِّزاً متخصصاً، وهو نوع من الأنظمة المصممة خصيصاً للتصنيف. استطاع هذا المُرمِّز معالجة طلب في غض_ب 24 ميلي ثانية على حاسوب قياسي، مما يجعله فورياً تقريباً للمستخدم البشري. وفي المقابل، كان المعلم الكبير يستغرق ثوانٍ للقيام بنفس المهمة على نفس الأجهزة.
كما كشفت الدراسة أن حدود هذه الأنظمة لا تعود إلى حجم نموذج الحاسوب، بل إلى تعريفات المشكلات التي تحاول حلها. وجد الباحثون أن جميع النماذج، من النماذج الصغيرة جداً إلى المعلم الضخم، عانت بالتساوي مع فئة محددة: وهي النصائح الضارة. وسواء كان النموذج يحتوي على ملايين أو مليارات المعلمات، فإنه غالباً ما فشل في التمييز بين النصيحة المفيدة والنصيحة التي قد تؤدي إلى ضرر. وهذا يشير إلى أن الصعوبة تكمن في كيفية تعريف الفئات، وليس في القدرة الحوسبية المتاحة. وخلص الباحثون إلى أن النهج الأفضل لمعظم تطبيقات العالم الحقيقي هو استخدام هذه النماذج الصغيرة المقطرة (distilled). فهي توفر توازناً بين السرعة والدقة يجعل طبقات الأمان ممكنة على الأجهزة العادية، بشرط أن تكون تعريفات ما يشكل ضرراً واضحة ومتسقة. ويعمل هذا العمل كدليل عملي لبناء أنظمة ذكاء اصطنا-عي أكثر أماناً وسرعة وسهولة في الوصول إليها دون الاعتماد على معدات متخصصة وباهظة الثمن.
ملخص تقني: وصفة تقطير قابلة لإعادة الإنتاج، وواعية بالترخيص، لتصنيف السلامة القابل للنشر على المعالجات المركزية (CPU)
بيان المشكلة يواجه نشر طبقات السلامة للنماذج اللغوية الكبيرة (LLMs) على الأجهزة العادية قيودًا ناتجة عن محدودية نماذج الحماية المفتوحة الحالية. فنماذج الحماية المتطورة، مثل سلسلة Llama Guard 3، تتراوح أحجامها عادةً بين 1 إلى 9 مليارات معلمة (parameter) وهي مُحسّنة للعمل على وحدات معالجة الرسومات (GPUs). وعند إجبار هذه النماذج على العمل على وحدات المعالجة المركزية (CPUs)، تظهر زمن استجابة (latency) يتراوح في حدود ثوانٍ لكل طلب، مما يجعلها غير عملية للعديد من التطبيقات المحلية أو ذات التكلفة المنخفضة أو التي تتطلب استجابة سريعة. وبينما توجد مشفرات (encoders) خفيفة الوزن، إلا أنها غالبًا ما تغطي شرائح ضيقة فقط من سياسات السلامة (مثل السمية فقط) بدلاً من تصنيف شامل متعدد المخاطر. علاوة على ذلك، تفتقر اختبارات قياس السلامة الحالية غالبًا إلى مجموعات ذهبية مستقلة تم تصنيفها بشكل منفصل عن النظام قيد الاختبار، وكثيرًا ما تغفل شريحة "البيانات الحميدة" (benign)، مما يجعل من المستحيل قياس "الدفاع المفرط" (أي حظر المطالبات غير الضارة).
المنهجية تقدم الورقة البحثية مسارًا (pipeline) قابلًا لإعادة الإنتاج لتقطير المعرفة (knowledge distillation) واعيًا بالترخيص، مصممًا لنقل إشارات السلامة من نموذج معلم قوي إلى مجموعة من النماذج الطالبة الأصغر حجمًا والقابلة للنشر على المعالجات المركزية (CPU).
اختيار المعلم والتصنيف: اختار المؤلفون Llama Guard 3 8B كنموذج معلم بناءً على اختبار مقارنة (shootout) ضد معيار ذهبي، حيث حقق أعلى درجة F1 كلي (macro-F1) وأقل معدل للإنذارات الكاذبة للبيانات الحميدة بين المرشحين. قام المعلم بتصنيف مجموعة بيانات تضم حوالي 97,000 مطالبة مستمدة من 24 مجموعة بيانات عامة.
التصنيف (Taxonomy): تم ربط فئات السلامة بتصنيف مكون من سبع فئات يتماشى مع معيار MLCommons AILuminate v1.0. تغطي الفئات الضرر الجسدي، الكراهية/التشهير، المحتوى الجنسي، إيذاء النفس، المعلومات الحساسة، النصائح الضارة، والأعمال غير المشروعة. المخرجات متعددة التصنيفات (multi-label)، رغم أن بيانات التدريب هي فعليًا أحادية التصنيف.
مسار البيانات والترخيص: ميزة منهجية حاسمة هي تقسيم مجموعة بيانات التدريب عند حد الترخيص.
السلة التجارية (Commercial Bucket): تحتوي على 75,112 صفًا فقط من البيانات ذات التراخيص المتساهلة التي تسمح بالاستخدام التجاري.
السلة غير التجارية (Noncommercial Bucket): تحتوي على 22,332 صفًا من البيانات الخاضعة لشروط غير تجارية أو حقوق النسخ (copyleft).
يسمح هذا بإنشاء وصفتين متميزتين: نموذج "قابل للنشر" مُدرب فقط على السلة التجارية، ونموذج "بحثي" مُدرب على اتحاد كليهما. هذا التصميم يجعل تكلفة قيود الترخيص قابلة للقياس بشكل مباشر.
التحكم في التسرب (Leakage Control): يضمن إلغاء التكرار الصارم (عبر الـ hashing والـ MinHash) عدم تسرب أي بيانات تقييم إلى التدريب.
تجاوزات التصنيف (Label Overrides): يتضمن المسار تجاوزات قابلة للتدقيق وتتم في الذاكرة لحالات محددة أظهر فيها المعلم نقاط ضعف (مثل عدم اكتشاف البيانات الاصطناعية للمعلومات الشخصية الحساسة PII أو تصنيف مجموعات هجومية (adversarial) على أنها آمنة). تُطبق هذه التجاوزات أثناء التدريب ولكنها لا تغير ملصقات المعلم المخزنة، مما يحافظ على قابلية التدقيق.
مجموعة الطلاب (Student Fleet): تم تدريب مجموعة متنوعة من النماذج الطالبة لإعادة إنتاج إشارة المعلم:
المعجمي (Lexical): نموذج مرجعي يعتمد على TF-IDF مع الانحدار اللوجستي (Logistic Regression).
الضحل (Shallow): نماذج TextCNN و BiLSTM (حوالي 4 ملايين معلمة).
المشفرات (Encoders): نماذج MiniLM-L6 (22 مليون) و DistilBERT (66 مليون).
التوليدي (Generative): نموذج Qwen2.5-0.5B باستخدام تقنية التكيف منخفض الرتبة (LoRA).
استراتيجية التدريب: المكون الحاسم الوحيد الذي تم تحديده هو إعادة التوازن لكل فئة (باستخدام أوزان الفئة الإيجابية بناءً على الجذر التربيعي لنسبة السلب إلى الإيجاب) لمعالجة عدم التوازن الشديد في الفئات، خاصة للفئات النادرة مثل إيذاء النفس.
بروتوكول التقييم: تم تقييم النماذج على معيار ذهبي مستقل مكون من 6,361 صفًا، مقسم إلى أربع شرائح: dev (التطوير)، headline (متوازن، متوافق مع المعايير)، stress (هجومي/adversarial)، و benign (مطالبات حميدة). شملت المقاييس macro-F1، و F1 لكل فئة، ومعدلات الإنذار الكاذب للبيانات الحميدة، مع تقارير تتضمن فترات ثقة Bootstrap بنسبة 95%.
النتائج الرئيسية
فجوة التقطير (Distillation Gap): تطابق الطلاب المقطرون (الذين تتراوح أحجامهم من 16 ضعفًا إلى حوالي 2,000 ضعف أصغر من المعلم من حيث عدد المعلمات) أداء المعلم في النصوص الهجومية ضمن فترات ثقة متداخلة، لكنهم لا يتفوقون عليه إحصائيًا في البيانات المرجعية النظيفة.
تقليل الدفاع المفرط: تفوق الطالب التوليدي (Qwen2.5-0.5B) بشكل كبير على المعلمين في تقليل الإنذارات الكاذبة للمطالبات غير الضارة، حيث حقق معدل إنذار كاذب للبيانات الحميدة بنسبة 3.8% مقارلة بـ 4.8% للمعلم 8B و 11.5% للمعلم 1B.
زمن الاستجابة (Latency): على معالج مركزي عادي (AMD Ryzen 5 5600X)، تقوم مجموعة الطلاب بأكملها (باستثناء النموذج التوليدي) بتصنيف الطلبات في أقل من 28 مللي ثانية (الوسيط)، بينما تعمل النماذج الضحلة والمعجمية في أقل من 1.5 مللي ثانية. يعمل النموذج التوليدي عند حوالي 128 مللي ثانية، وهو لا يزال أسرع بمراحل من زمن الاستجابة الذي يصل لثوانٍ متعددة للمعلم 8B على المعالج المركزي.
المقايضة المثلى: تم تحديد مشفر DistilBERT كخيار أمثل للمقايضة بين الجودة وزمن الاستجابة، حيث يوفر macro-F1 هجومي أعلى من الطالب التوليدي مع كونه أسرع بخمس مرات تقريبًا.
تكلفة الترخيص: أدى تقييد التدريب بالسلة التجارية (استبعاد البيانات غير التجارية) إلى انخفاض طفيف للغاية في headline macro-F1 (فرق قدره +0.005) ولكنه أدى في الواقع إلى تحسين معدل الإنذار الكاذب للبيانات الحميدة، مما يشير إلى أن قيد الترخيص "شبه مجاني" من حيث تكلفة الأداء.
محدودية التصنيف: يكشف التحليل لكل فئة أن فئة "النصائح الضارة" تؤدي بشكل ضعيف عبر جميع النماذج (بما في ذلك المعلم 8B)، حيث بلغت درجات F1 حوالي 0.20. وهذا يشير إلى أن القصور يكمكن في تعريف الفئة وليس في قدرة النموذج.
الأهمية والادعاءات تؤطر الورقة مساهمتها صراحةً كـ مساهمة في الموارد والمعايير وليس كادعاء لأداء هو الأفضل في فئته (SOTA). هي لا تدعي التفوق على Llama Guard 3، بل تكمن أهميتها في:
قابلية إعادة الإنتاج والتدقيق: توفير مسار كامل قابل لإعادة الإنتاج حيث يمكن قياس تأثير تراخيص البيانات، وحيث تكون تجاوزات التصنيف قابلة للتدقيق.
القابلية للنشر على المعالجات المركزية (CPU): إثبات أن مصنفات السلامة ذات الجودة المماثلة للحراس الكبار يمكن أن تعمل على أجهزة المعالجات المركزية العادية بزمن استجابة بالمللي ثانية.
قياس الدفاع المفرط: وضع بروتوكول تقييم صارم يتضمن شريحة حميدة لقياس الإنذارات الكاذبة، وهو مقياس غالبًا ما يغيب عن أدبيات السلامة.
تحديد الاختناقات: تسليط الضوء على أن السقف الحالي لفئات سلامة معينة (مثل النصائح الضارة) يتم تحديده بواسطة التصنيف وتعريفات البيانات، وليس من خلال حجم النموذج.
يخلص المؤلفون إلى أنه بينما ينجح التقطير في نقل إشارات السلامة إلى نماذج أصغر، فإن الأداء "النظيف" يظل متقدمًا على المعلم، وأن القيمة الأساسية لهذا العمل تكمن في منهجية إنشاء طبقات سلامة قابلة للتدقيق، ومتوافقة مع التراخيص، وفعالة من حيث زمن الاستجابة.