💻 computer science

Towards Distillation-Resistant Large Language Models: An Information-Theoretic Perspective

تقترح هذه الورقة دفاعاً قائماً على نظرية المعلومات ضد تقطير النماذج القائم على اللوجيت (logit-based model distillation) من خلال تقليل المعلومات المتبادلة الشرطية بين لوجيتات المعلم واستعلامات المدخلات، مما يحمي نماذج اللغات الكبيرة المملوكة بفعالية من استخراج المعرفة مع الحفاظ على فائدتها في المهام.

المؤلفون الأصليون: Hao Fang, Tianyi Zhang, Tianqu Zhuang, Jiawei Kong, Kuofeng Gao, Bin Chen, Leqi Liang, Shu-Tao Xia, Ke Xu

نُشر 2026-04-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hao Fang, Tianyi Zhang, Tianqu Zhuang, Jiawei Kong, Kuofeng Gao, Bin Chen, Leqi Liang, Shu-Tao Xia, Ke Xu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قمت ببناء طاهٍ (نموذج لغوي كبير) رائع وعالمي المستوى. هذا الطاهي قضى سنوات في تعلم ملايين كتب الطهي، وممارسة استخدام مكونات نادرة، وإتقان وصفات سرية. هذا الطاهي هو أثمن أصولك.

لجني المال، أنت لا تبيع الطاهي أو كتاب الوصفات السري، بل تفتح مطعماً حيث يمكن للناس طلب الأطباق. أنت تدعهم يتذوقون الطعام، لكنك لا تسمح لهم أبداً برؤية المطبخ، أو قائمة المكونات، أو ملاحظات الطاهي.

المشكلة: الطالب "الجاسوس"

ومع ذلك، هناك منافس ماكر (الخصم) يريد سرقة مهارات طاهيك دون دفع ثمن التدريب. لا يمكنه سرقة الطاهي، لكن يمكنه الجلوس على طاولة، وطلب كل طبق، وكتابة كيفية وصف الطاهي بدقة للنكهات، والقوام، وخطوات الطهي.

في عالم الذكاء الاصطناعي، يسمى هذا "تقطير المعرفة" (Knowledge Distillation).

التقطير القائم على النصوص: يقوم الجاسوس ببساطة بنسخ الطبق النهائي (الإجابة النصية). ومن الصعب سرقة هذا لأن الطاهي قد يقول فقط "إنه مذاقه جيد".
التقطير القائم على الـ Logits (التهديد الحقيقي): هذا هو الجزء الخطير. الطاهي لا يعطي الإجابة النهائية فحسب؛ بل يكشف أيضاً عن ثقته الداخلية. الأمر يشبه همس الطاهي: "أنا متأكد بنسبة 90% أنه ملح، و8% أنه فلفل، و2% أنه سكر". هذا "الهمس" (اللوجيتس - logits) يحتوي على كنز مخفي من المعرفة حول كيفية تفكير الطاهي. يستخدم الجاسوس هذا الهمس لبناء طاهٍ مزيف ورخيص يفكر تماماً مثل الطاهي الحقيقي.

الدفاعات القديمة: العلامات المائية والضجيج

كانت المحاولات السابقة للدفاع تشبه:

العلامات المائية: وضع نقطة صغيرة غير مرئية على كل طبق. إذا باع الجاسوس طبقاً مزيفاً، يمكنك إثبات أنه جاء منك؛ لكن هذا لا يمنعهم من سرقة الوصفة في المقام الأول؛ إنه فقط يساعدك على مقاضاتهم لاحقاً.
إضافة الضجيج: إخبار الطاهي بأن يقول أحياناً "ربما" أو "لست متأكداً" لإرباك الجاسوس. لكن هذا يربك أيضاً زبائنك الذين يدفعون المال، مما يجعل الطعام أسوأ مذاقاً.

الحل الجديد: "الفلتر السري"

يقترح هذا البحث حلاً جديداً بارعاً: الفلتر القائم على نظرية المعلومات (Information-Theoretic Filter).

فكر في همسات الطاهي الداخلية (اللوجيتس) كبث إذاعي:

الإشارة الجيدة: "الإجابة هي 40". (هذا ما يحتاجه الزبون).
الإشارة المسربة: "لقد حسبت هذا بالتفكير في 2/5 من 200، ثم طرحت 80..." (هذا هو الاستنتاج السري الذي يريد الجاسوس سرقته).

لقد أدرك المؤلفون أن "الإشارة المسربة" هي في الواقع معلومات سياقية. إنها التفاصيل الإضافية التي تساعد الجاسوس على تعلم العملية، وليس مجرد النتيجة.

التشبيه: الهمس "المُنقّى"

أنشأ المؤلفون فلترًا سحريًا (مصفوفة تحويل رياضية) تجلس بين الطاهي والجاسوس.

الهدف: يريد الفلتر الحفاظ على "الإشارة الجيدة" (الإجابة الصحيحة) عالية وواضحة، لكنه يريد كتم "الإشارة المسربة" (خطوات الاستنتاج والسياق) بحيث لا يستطيع الجاسوس سماعها.
كيف يعمل:
- تخيل أن الطاهي يحاول تعليم طالب. ينظر الفلتر إلى همس الطاهي ويسأل: "هل يخبر هذا الهمس الطالب بأي شيء جديد عن السؤال، بخلاف الإجابة فقط؟"
- إذا كانت الإجابة نعم (الهمس يحتوي على الكثير من معلومات "كيفية القيام بالأمر")، يقوم الفلتر بتشويشها.
- يفعل ذلك عن طريق "تنقية" المخرجات رياضياً. فهو يحافظ على احتمالية الإجابة الصحيحة عالية، ولكنه يجعل احتمالات الإجابات الخاطئة عشوائية بطريقة تبدو كضجيج بالنسبة للجاسوس.

تدريب "شد الحبل"

لبناء هذا الفلتر، وضع المؤلفون لعبة تدريبية:

المهمة (أ) (الحفاظ على جودة الطعام): التأكد من أن الفلتر لا يفسد الإجابة النهائية. إذا قال الطاهي "40"، يجب أن تظل المخرات المفلترة تصرخ "40!".
المهمة (ب) (إرباك الجاسوس): التأكد من أن الفلتر يغير "الهمس" لدرجة تجعل الجاسوس يرتبك إذا حاول التعلم منه. يقيس المؤلفون ذلك من خلال النظر إلى التدرجات (gradients) (الاتجاه الذي يحاول فيه دماغ الجاسوس التعلم). يقومون بتعديل الفلتر حتى يصبح اتجاه تعلم الجاسوس ملتوياً وغير مفيد تماماً.

النتيجة

عندما اختبروا ذلك:

زبائنك: يحصلون على نفس الإجابات عالية الجودة والمذاق الرائع كما في السابق. لا يزال الطاهي يعمل بشكل مثالي.
الجاسوس: يحاول بناء طاهيه المزيف باستخدام الهمسات المفلترة، لكن الطاهي المزيف يكون سيئاً للغاية. الأمر يشبه محاولة تعلم الطبخ من خلال الاستماع إلى راديو لا يعزف إلا اسم الطبق ولكنه يشوه الوصفة. يفشل نموذج الجاسوس في تعلم "الخلطة السرية".

لماذا هذا مهم؟

هذه هي المرة الأولى التي ينجح فيها أي شخص في الدفاع ضد سرقة "الهمس" (الاستخراج القائم على اللوجيتس). الدفاعات السابقة حمت فقط "الصراخ" (الاستخراج القائم على النصوص). باستخدام نظرية المعلومات (فرع من الرياضيات يقيس مقدار المعلومات التي يتم مشاركتها بالفعل)، وجد المؤلفون طريقة لتجريد "الملكية الفكرية" من المخرجات دون إفساد المنتج نفسه.

باخت-القول: لقد بنوا درعاً يسمح للذكاء الاصطناعي بالإجابة على أسئلتك بشكل مثالي، ولكنه يضمن أنه إذا حاول شخص ما نسخ عقله، فلن يحصل إلا على نسخة مشوشة وغير مفيدة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نحو نماذج لغوية كبيرة مقاومة للتقطير: منظور معلوماتي نظري".

1. بيان المشكلة

تمثل النماذج اللغوية الكبيرة (LLMs) ملكية فكرية (IP) وقيمة اقتصادية كبيرة. وبينما يقوم المزودون عادةً بالكشف عن هذه النماذج عبر واجهات برمجة تطبيقات (APIs) "صندوق أسود" لحماية أوزانها، لا يزال بإمكان المهاجمين استخراج قدرات النموذج من خلال التقطير المعرفي (Knowledge Distillation - KD).

الفجوة: تركز الدفاعات الحالية بشكل أساسي على التقطير المعتمد على النصوص (على مستوى التسلسل)، حيث يستخدم المهاجمون الرموز (tokens) الناتجة كملصقات كاذبة (pseudo-labels). ومع ذلك، لا يزال التقطير المعتمد على اللوجيت (على مستوى الاستجابة) غير معالج إلى حد كبير.
التحدي: يستغل التقطير المعرفي المعتمد على اللوجيت توزيع الاحتمالات الكامل (اللوجيتات) لنموذج المعلم، والذي يحتوي على معلومات سياقية غنية تتجاوز الرمز المتوقع النهائي. يسمح هذا لنماذج الطالب بتعلم أنماط أكثر دقة، مما يجعل سرقة القدرات أكثر كفاءة ويجعل الدفاع أصعب بكثير. الطرق الحالية التي تشوه توزيعات الرموز غالباً ما تؤدي إلى تدهور جودة مخرجات المعلم، مما يجعلها غير عملية.

2. المنهجية

يقترح المؤلفون نهجاً قائماً على نظرية المعلومات للدفاع ضد التقطير المعرفي المعتمد على اللوجيت من خلال تقليل المعلومات "ذات الصلة بالتقطير" في مخرجات المعلم مع الحفاظ على فائدة المهمة.

أ. الأساس النظري: المعلومات المتبادلة الشرطية (CMI)

تتمثل الرؤية الجوهرية في أن المعلومات المفيدة للتقطير تقابل المعلومات السياقية في لوجيتات المعلم ( $Z$ ) التي لا يمكن تفسيرها بواسطة الملصق الحقيقي ( $Y$ ).

المقياس: يعرّف المؤلفون هدف الدفاع بتقليل المعلومات المتبادلة الشرطية (CMI): $I(X; Z | Y)$ $I (X; Z ∣ Y)$ .
- $X$ : الاستعلام المدخل.
- $Y$ : الملصق الحقيقي (الرمز التالي).
- $Z$ : لوجيتات المعلم.
التفسير: يقيس $I(X; Z | Y)$ مقدار المعلومات التي تكشف عنها اللوجيتات $Z$ حول المدخل $X$ بمعلومية الملصق $Y$ . إن تقليل هذه الكمية يعمل على كبح الإشارات السياقية التي يستغلها المهاجمون، مما يؤدي فعلياً إلى "تطهير" اللوجيتات لتحتوي فقط على معلومات الملصق الضرورية.

ب. آلية الدفاع: مصفوفة تحويل قابلة للتعلم

لتحقيق تقليل CMI دون إعادة تدريب نموذج المعلم الضخم، قدم المؤلفون مصفوفة تحويل قابلة للتعلم خفيفة الوزن للمعالجة اللاحقة $M$ .

العملية: يتم تحويل اللوجيتات الأصلية $Z$ إلى لوجيتات منقحة $Z' = M \cdot Z$ .
الضمان النظري: تثبت الورقة (النظرية 2) أنه تحت سلسلة ماركوف $Y \to X \to Z \to Z'$ ، فإن التحويل يحقق $I(X; Z | Y) \geq I(X; Z' | Y)$ ، مما يضمن أن التحويل يقلل من المعلومات ذات الصلة بالتقطير.

ج. هدف الأمثلة (Optimization Objective)

اشتق المؤلفون دالة خسارة عملية بناءً على مبدأ عنق الزجاجة المعلوماتي (Information Bottleneck - IB) لتحسين $M$ . ينقسم الهدف إلى حدين متكاملين:

الحفاظ على الفائدة (تعظيم $I(Z'; Y)$ ):
- الهدف: التأكد من أن اللوجيتات المنقحة لا تزال تتنبأ بالملصق الصحيح.
- التنفيذ: تقليل خسارة الإنتروبيا المتقاطعة ( $L_{CE}$ ) بين اللوجيتات المنقحة $Z'$ والملصق الحقيقي $Y$ . يعمل هذا كحد علوي قابل للتطبيق لتعظيم المعلومات المتبادلة.
كبح السياق (تقليل $I(X; Z')$ ):
- الهدف: إزالة المعلومات المتعلقة بـ $X$ من اللوجيتات.
- التحدي: تقدير $I(X; Z')$ مباشرة أمر مستعصٍ بالنسبة للنماذج اللغوية الكبيرة عالية الأبعاد.
- الحل: لاحظ المؤلفون أن المعلومات من $X$ تنتقل إلى الطالب عبر التدرجات (gradients). اقترحوا تعظيم الانحراف الزاوي بين التدرجات المستحثة بواسطة اللوجيتات الأصلية ( $g$ ) واللوجيتات المنقحة ( $g'$ ).
- التنفيذ: خسارة انحراف التدرج ( $L_{grad}$ ) التي تعظم الزاوية (تقلل تشابه جيب التمام) بين $g$ و $g'$ . هذا "يسمم" إشارة التعلم للطالب دون تغيير توزيع المخرجات النهائي للمعلم بشكل كبير.

إجمالي الخسارة: $L_M = L_{CE} + \lambda \cdot L_{grad}$

د. التنفيذ الفعال

كفاءة المعلمات: بما أن حجم المفردات $|V|$ كبير، فإن مصفوفة كثيفة بحجم $|V| \times |V|$ ستكون باهظة التكلفة حسابياً. قام المؤلفون بتفكيك $M$ إلى بنية منخفضة الرتبة: $M = E + AB$ ، حيث $E$ هي مصفوفة الوحدة، و $A, B$ مصفوفتان منخفضتا الرتبة (تم تهيئتهما عبر تهيئة شبيهة بـ LoRA).
الطالب البديل: تم استخدام نموذج طالب صغير كبديل (proxy) أثناء تدريب $M$ لحساب التدرجات $g$ و $g'$ لحد $L_{grad}$ .

3. المساهمات الرئيسية

أول دفاع ضد التقطير المعرفي المعتمد على اللوجيت: تعد هذه الورقة الأولى التي تعالج وتدافع خصيصاً ضد التقطير المعرفي المعتمد على اللوجيت، وهو ناقل هجوم أكثر قوة من التقطير المعتمد على النصوص.
إطار عمل معلوماتي نظري: قدمت الـ CMI كمعيار منهجي لقياس وتقليل تسرب المعلومات ذات الصلة بالتقطير.
استراتيجية أمثلة مبتكرة: اقترحت هدف خسارة مزدوج (الإنتروبيا المتقاطعة + انحراف التدرج) الذي ينقي اللوجيتات بفعالية مع الحفاظ على دقة المهمة العالية.
معالجة لاحقة خفيفة الوزن: يتطلب الدفاع فقط مصفوفة صغيرة قابلة للتعلم تُضاف إلى طبقة المخرجات، مما يترك نموذج المعلم الضخم مجمداً ويحافظ على كفاءة الاستدلال.

4. النتائج التجريبية

تم تقييم الطريقة عبر عائلات متعددة من النماذج اللغوية الكبيرة (Qwen2.5, Llama 3) ومجموعات بيانات (GSM8K, MMLU, MATH) ضد أربعة خطوط أساس قوية للتقطير (Vanilla KD, AlphaNet, MiniLLM, ABKD).

فعالية الدفاع: أدت الطريقة المقترحة إلى تدهور كبير في أداء نماذج الطالب المقطرة.
- مثال: في مجموعة بيانات GSM8K، أدى تقطير طالب Qwen2.5-1B باستخدام AlphaNet إلى انخفاض الدقة من 62.93% (Vanilla) إلى 50.95% (الدفاع)، أي انخفاض بنسبة ~12%.
- في كثير من الحالات، كان أداء الطالب المقطر أسوأ من النموذج الذي تم تدريبه فقط على الملصقات الحقيقية (SFT-only)، مما يشير إلى أن الدفاع نجح في تعطيل إشارة التقطير.
الحفاظ على الفائدة: ظلت دقة نموذج المعلم سليمة إلى حد كبير (على سبيل المثال، انخفضت بشكل طفيف فقط من 62.93% إلى 62.85% في بعض التكوينات)، مما يضمن بقاء واجهة برمجة التطبيقات (API) مفيدة للمستخدمين الشرعيين.
المتانة: عمل الدفاع باستمرار عبر أحجام مختلفة من نماذج الطلاب (من 0.5B إلى 3B) ومختلف خوارزميات التقطير.
التحليل النوعي:
- المعلم: ظلت المخرجات سلسة، متماسكة، وصحيحة.
- الطالب: أظهرت الطلاب المقطرة تدهوراً في الاستنتاج، واستجابات أقصر، واشتقاقات غير مكتملة، وفي بعض الحالات، حلقات تكرارية أو انهيار في التوليد، مما يؤكد تعطيل آلية نقل المعرفة.

5. الأهمية

يمثل هذا العمل تحولاً محورياً في أمن النماذج اللغوية الكبيرة. فمن خلال تجاوز العلامات المائية اللاحقة أو تشويه النصوص، فإنه يعالج السبب الجذري لسرقة اللوجيت: المعلومات الزائدة في توزيعات الاحتمالات.

حماية الملكية الفكرية: يوفر آلية قوية لمزودي الخدمات التجارية لحماية نماذجهم من "سرقة النماذج" عبر الوصول إلى واجهات برمجة التطبيقات، وهو مصدر قلق حيوي مع زيادة قيمة النماذج اللغوية الكبيرة.
رؤية نظرية: يربط بين نظرية المعلومات وأمن النماذج اللغوية الكبيرة، ويقدم منظوراً جديداً لكيفية قياس والتحكم في تسرب المعلومات في النماذج التوليدية.
العملية: الطبيعة منخفضة الرتبة والمعالجة اللاحقة للدفاع تجعله قابلاً للنشر بسهولة في سيناريوهات واجهات برمجة التطبيقات الواقعية دون الحاجة إلى إعادة تدريب مكلفة للنماذج.