🤖 machine learning

Bounded Behavioral Indistinguishability for Black-Box LLM Distillation

تقدم هذه الورقة مفهوم عدم التمييز السلوكي المحدود لتوضيح أنه في حين أن تقطير "LoRA" يحسن التشابه الدلالي بين النماذج اللغوية الكبيرة (LLMs) "المعلمة" و"الطالبة" ذات الصندوق الأسود، إلا أنه يفشل في القضاء تماماً على الاختلافات السلوكية القابلة للكشف في الأسلوب والمتانة والمجالات التقنية، مما يستلزم تحولاً من مطابقة المخرجات إلى التقييم التنافسي المدرك للفئات.

المؤلفون الأصليون: Munawar Hasan

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Munawar Hasan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً ماهراً (المعلم) وتريد تدريب طباخ مساعد (الطالب) ليطبخ تماماً مثله. في عالم الذكاء الاصطناي، يُطلق على هذا اسم "التقطير" (Distillation). عادةً، نتحقق مما إذا كان التدريب قد نجح من خلال تذوق الطعام: "هل طعم طبق الطالب يشبه طبق المعلم؟" إذا كانت النكهات متقاربة، نقول إن التدريب كان ناجحاً.

لكن هذه الورقة البحثية تجادل بأن تذوق الطعام ليس كافياً.

فمجرد كون الطبقين متشابهين في الطعم لا يعني أن ناقداً متخصصاً في الطعام لن يستطيع التمييز بينهما. فربما يقوم الطباخ المساعد دائماً بتقطيع البصل بشكل مختلف قليلاً، أو يستخدم نوعاً معيناً من الملح لا يستخدمه المعلم أبداً، أو يقدم الطبق في طبق مختلف. بالنسبة للأكل العادي، يبدوان متشابهين، أما بالنسبة لناقد حاد الذكاء، فإن الاختلافات واضتدحة.

الفكرة الجديدة: "عدم القدرة على التمييز السلوكي"

يقترح المؤلفون طريقة جديدة لاختبار تدريب الذكاء الاصطناعي تسمى "عدم القدرة على التمييز السلوكي المقيد" (Bounded Behavioral Indistinguishability). فبدلاً من مجرد السؤال: "هل لهما نفس الطعم؟"، هم يسألون: "هل يمكن لناقد طعام محترف معرفة أي طباخ طبخ هذا الطبق، حتى لو تذوقه مرة واحدة فقط؟"

لقد وضعوا "لعبة" بقواعد محددة:

الناقد (الخصم): ذكاء اصطناعي أو إنسان ذكي يحاول تخمين من طبخ الطبق.
الميزانية: يحصل الناقد على فرصة لتذوق عدد محدود من الأطباق (الاستعلامات) ولديه وقت محدود للتفكير (الحوسبة).
قائمة الطعام (توزيع المطالبات/Prompts): يتم اختيار الأطباق من قائمة محددة ومسيطر عليها (5,000 نوع مختلف من الأسئلة) بدلاً من الطلبات العشوائية من الجمهور.

إذا استطاع الناقد تخمين الطباخ بشكل صحيح أكثر من مجرد الصدفة (مثل رمي العملة المعدنية)، فإن الطالب يكون قابلاً للتمييز. أما إذا ظل الناقد عالقاً في تخمين بنسبة 50/50، فإن الطالب يكون غير قابل للتمييز.

ما الذي فعلوه؟

اختبر الباحثون هذا على عائلتين مشهورتين من نماذج الذكاء الاصطناعي: Qwen و Llama.

الإعداد: أخذوا ذكاءً اصطناعياً كبيراً وذكياً (المعلم) وذكاءً اصطناعياً أصغر وأقل ذكاءً (الطالب).
التدريب: استخدموا تقنية تسمى LoRA (تخيلها كأنها "رقعة تدريبية") لتعليم الذكاء الاصطناعي الصغير محاكاة إجابات الذكاء الاصطناعي الكبير.
الاختبار: أنشأوا قائمة تضم 5,000 سؤال تغطي كل شيء من البرمجة والرياضيات إلى تحذيرات السلامة والكتابة الإبداعية. ثم سألوا "الناقد" (ذكاء اصطناعي تمييزي ذكي) ليقوم بالنظر في الإجابات وتخمين: "هل كتب هذا الطباخ الكبير أم الطباخ الصغير؟"

النتائج: متشابهان، ولكن ليسا غير مرئيين

إليكم ما وجدوه، باستخدام تشبيه المطبخ الخاص بنا:

تحسن الطعم: بعد التدريب، أصبح طعم أطباق الطالب بالتأكيد يشبه طعم أطباق المعلم. فقد ارتفع "التشابه الدلالي" (مدى تقارب المعنى) بشكل ملحوظ.
لكن الناقد لا يزال يلاحظ: على الرغم من أن الأطباق كانت متشابهة في الطعم، إلا أن الناقد كان لا يزال يستطيع تمييز الطباخ المساعد بنسبة تتراوح بين 10% إلى 15% أكثر من الصدفة.
- قبل التدريب: كان بإمكان الناقد التمييز بينهما بسهولة (مثل اكتشاف نسخة مقلدة رخيصة).
- بعد التدريب: أصبح الأمر أصعب بكثير على الناقد، لكنه لا يزال يجد "آثاراً" (Clues).
أين كانت تلك الأدلة: لم يرتكب الطباخ المساعد أخطاء في كل مكان؛ بل كانت الأدلة مركزة في مجالات محددة:
- الأسلوب والتنسيق: قد يستخدم الطالب النقاط (bullet points) أو أكواد JSON بشكل مختلف قليلاً.
- المتانة (Robustness): إذا طرحت سؤالاً يحتوي على خطأ مطبعي أو تعديل غريب، فإن رد فعل الطالب يختلف عن رد فعل المعلم.
- التفاصيل التقنية: في الشروحات التقنية أو البرمجية المعقدة، كان "صوت" الطالب لا يزال مختلفاً قليلاً.
- ومع ذلك: في الأسئلة العامة أو تحذيرات السلامة، كان الطالب غير مرئي تقريباً للناقد.

اختبار "تذوق الطعام" مقابل اختبار "جنباً إلى جنب"

جربت الورقة أيضاً اختباراً أصعب: تحدي "جنباً إلى جنب" (Side-by-Side Challenge).
بدلاً من عرض طبق واحد للناقد في كل مرة، عرضوا عليه طبقين لنفس الطلب: أحدهما من المعلم، والآخر من الطالب. وكان على الناقد الإشارة إلى طبق المعلم.

النتيجة: حتى مع هذا الاختبار الأصعب، تحسن أداء الطالب. انخفض معدل نجاح الناقد من حوالي 16% (فوق نسبة الصدفة) إلى 8% بعد التدريب.
المعنى: جعل التدريب الطالب أصعب في الاكتشاف، لكنه لم يجعله غير مرئي تماماً.

درس "قائمة التسوق"

أخيراً، نظرت الورقة في كيفية تدريب الطالب. وسألوا: "هل يجب أن ندرب الطالب فقط على الأسئلة التي يختلف فيها الطالب والمعلم بشكل كبير؟" (وهذا يشبه إخبار الطالب أن يتدرب فقط على الأطباق التي يخطئ فيها باستمرار).

النتيجة: لا. فمجرد اختيار "أصعب" الأسئلة لم يكن أفضل من اختيار مزيج عشوائي ومتنوع من الأسئلة.
الدرس المستفاد: لكي تصنع طالباً جيداً، تحتاج إلى التغطية والتنوع (قائمة طعام كاملة)، وليس فقط التركيز على الأخطاء.

الخلا الخلاصة

تخلص الورقة إلى أن الظهور بمظهر مشابه ليس هو نفسه عدم القدرة على التمييز.

إذا كنت تريد معرفة ما إذا كان الذكاء الاصطناعي قد تعلم حقاً التصرف مثل ذكاء اصطناعي أكبر، فلا يمكنك فقط التحقق مما إذا كانت الإجابات تحمل نفس المعنى. يجب عليك وضعهم في "لعبة كشف" صارمة لترى ما إذا كان بإمكان مراقب ذكي تمييز الاختلافات. تُظهر الدراسة أنه بينما يساعد التدريب في إخفاء الطالب، فإنه لا يجعله شبحاً مثالياً؛ إذ لا تزال "الأدلة" موجودة، مختبئة في الأسلوب، والتنسيق، وكيفية التعامل مع الأسئلة الصعبة.

ملخص تقني: عدم التمييز السلوكي المقيد لعمليات تقطير النماذج اللغوية الكبيرة ذات الصندوق الأسود

بيان المشكلة

تُقيم عملية تقطير النماذج اللغوية الكبيرة (LLM) ذات الصندوق الأسود تقليديًا كمسألة مطابقة للمخرجات، حيث يُعرَّف النجاح من خلال التشابه الدلالي، أو اتساق المهام، أو التداخل المعجمي بين النموذج المعلم ( $T$ ) والنموذج الطالب ( $S$ ). ومع ذلك، يجادل المؤلفون بأن التشابه الدلالي العالي لا يضمن عدم التمييز السلوكي. فقد يكرر الطالب الإجابة الجوهرية للمعلم ولكنه يفشل في محاكاة الفروق السلوكية الدقيقة الحرجة، مثل لغة التحذير، أو سلوكيات الرفض، أو السمات التنسيقية، أو المتانة تجاه الاضطرابات. وفي البيئات العدائية (مثل استخراج النماذج)، أو عمليات النشر الحميدة، لا يقتصر السؤال التشغيلي على "مدى تشابه المخرجات؟" بل على "هل يمكن للمهاجم التمييز ما إذا كان الرد قد تم إنشاؤه بواسطة المعلم أم بواسطة الطالب المقطر؟".

تفشل المقاييس الحالية في معالجة هذه الفجوة التشغيلية لأنها لا تقيس الميزة المتبقية التي يكتسبها المهاجم في تحديد مصدر الرد.

المنهجية

تقدم الورقة البحثية عدم التمييز السلوكي المقيد، وهو إطار عمل رسمي يعامل عدم التمييز ليس كخاصية مطلقة، بل كادعاء تجريبي مقيد بضوابط محددة.

1. التعريف الرسمي:
يُعرَّف الطالب $S$ بأنه غير مميز سلوكيًا عن المعلم $T$ بمقدار $(\epsilon, q, t, \mathcal{A})$ إذا لم يتمكن أي مهاجم $\mathcal{A}$ ، يعمل بميزانية استعلام $q$ وميزانية حوسبة $t$ ، من التمييز بين مخرجات المعلم ومخرجات الطالب بميزة تزيد عن $\epsilon$ عبر توزيع مطالبة صريح $\mathcal{P}$ .

$\epsilon$ : يحدد حدود الميزة التمييزية.
$q$ : يحدد عدد استعلامات الأوراكل (Oracle queries).
$t$ : يحدد موارد الحوسبة للمهاجم.
$\mathcal{A}$ : يحدد فئة المهاجمين (مثل المميزات المتعلمة، أو الأحكام الثنائية).

2. الإعداد التجريبي:

النماذج: تقيم الدراسة عائلتين من النماذج المفتوحة:
- Qwen: المعلم $T$ = Qwen2.5-3B-Instruct؛ الطالب $S$ = Qwen2.5-0.5B-Instruct.
- Llama: المعلم $T$ = Llama-3.2-3B-Instruct؛ الطالب $S$ = Llama-3.2-1B-Instruct.
بروتوكول التقطير: يتم تدريب الطلاب عبر التكيف منخفض الرتبة (LoRA) على استجابات المعلم (الصندوق الأسود). يتم تجميد أوزان الطالب الأساسية، ويتم تحديث معاملات المحول (Adapter) فقط لتقليل السلب اللوغاريتمي (Negative Log-Likelihood) على استجابات المعلم.
مجموعة الاختبار (Probe Suite): تُستخدم مجموعة بيانات محكومة مكونة من 5,000 مطالبة، مقسمة إلى 4,000 مطالبة للتدريب و1,000 مطالبة للاختبار المستبعد. تغطي المجموعة عشر فئات سلوكية: الأسئلة والأجوبة العامة، الاستدلال، البرمجة، التلخيص، الأسلوب/التنسيق، الغموض، حدود السلامة، تضارب التعليمات، المجال التقني، والمتانة تجاه الاضطرابات.

3. مقاييس التقييم:
يستخدم المؤلفون مجموعة من الاختبارات المتكاملة لتقدير الميزة التمييزية التجريبية:

التشابه الدلالي: تشابه جيب التمام (Cosine similarity) لتضمينات الجمل.
المميزات المتعلمة: مصنفات (RoBERTa, DistilBERT) مدربة للتمييز بين مخرجات المعلم مقابل الطالب تحت ثلاثة مناظر للمدخلات:
- المطالبة فقط: للتحكم في التسرب.
- الاستجابة فقط: للكشف عن السمات المستقلة عن المطالبة (الأسلوب، الطول).
- المطالبة-الاستجابة: لاختبار محاكاة السلوك السياقي.
تحديد المعلم الثنائي: نموذج حكم (Llama-3.2-3B-Instruct، من عائلة مختلفة) يُعرض عليه مطالبة واستجابتان (واحدة من $T$ وأخرى من $S$ ) بترتيب عشوائي لتحديد المعلم. يتم تطبيق تصفية الاتساق (A/B-swap) للتحكم في انحياز الموضع.
التقييم على مستوى السياسة: يقيس الاتفاق على السلوكيات المتعلقة بالسلامة (الرفض، لغة التحذير، النصائح المهنية).

النتائج الرئيسية

1. التشابه الدلالي مقابل عدم التمييز:
يحسن تقطير LoRA التشابه الدلالي بشكل كبير. بالنسبة لـ Qwen، ارتفع تشابه التضمين من 0.788 (الأساسي) إلى 0.862 (LoRA). بالنسبة لـ Llama، ارتفع من 0.814 إلى 0.874. ومع ذلك، لم يترجم التشابه العالي إلى عدم تمييز.

2. تقليل الميزة التمييزية:

المميزات المتعلمة: قلل تقطير LoRA من الميزة التجريبية لمميزات (المطالبة-الاستجابة). بالنسبة لـ Qwen، انخفضت ميزة DistilBERT من 0.278 إلى 0.098 (LoLA). بالنسبة لـ Llama، انخفضت دقة RoBERTa من 0.657 إلى ما يقارب الصدفة (0.499).
تحديد المعلم الثنائي: باستخدام حكم Llama من عائلة مختلفة مع تصفية الاتساق، انخفضت ميزة التمييز الثنائي لـ Qwen من 0.158 (الطالب الأساسي) إلى 0.081 (طالب LoRA)، مما يمثل انخفاضًا بنسبة ~49%. وهذا يؤكد أن التقطير يجعل تحديد المعلم أصعب، وإن لم يكن مستحيلاً.

3. عدم تجانس الآثار المتبقية:
عدم التمييز المتبقي ليس موحدًا. يكشف التحليل حسب الفئة أن الآثار تتركز في مناطق سلوكية محددة:

عدم تمييز متبقي مرتفع: الأسلوب/التنسيق، اضطرابات المتانة، المجال التقني، ومطالبات البرمجة.
عدم تمييز متبقي منخفض: حدود السلامة، الغموض، الأسئلة والأجوبة العامة، والتلخيص (الأقرب إلى الصدفة).

4. استراتيجية اكتساب الاستعلام:
أظهرت التجارب التي قارنت بين أخذ العينات العشوائي الطبقي وبين الاكتساب الموجه بالاختلاف (اختيار المطالبات التي يختلف فيها المعلم والطالب بشكل أكبر) أن الاختيار الموجه بالاختلاف لم يتفوق باستمرار على أخذ العينات العشوائي. يظل التغطية والتنوع من الخطوط المرجعية القوية.

الأهمية والادعاءات

تجادل الورقة بأن الأمانة الدلالية ضرورية ولكنها غير كافية لتقييم تقطير النماذج اللغوية الكبيرة ذات الصندوق الأسود. المساهمة الرئيسية هي تحويل نموذج التقييم من "مدى تشابه المخرجات؟" إلى "تحت قيود صريحة، هل يمكن للمهاجم التمييز بين المعلم والطالب؟"

الادعاءات المقيدة: يتجنب الإطار الادعاء بعدم التمييز الشامل. بدلاً من ذلك، يوفر طريقة رسمية وقابلة للتكرار لقياس عدم التمييز المتبقي بالنسبة لفئات معينة من المهاجمين والميزانيات.
الأهمية التشغيلية: من خلال قياس "الميزة التمييزية"، يقدم العمل عدسة مستوحاة من الأمن لتقييم ما إذا كان النموذج المقطر قد ورث حقًا الملف السلوكي للمعلم أم أنه ورث محتواه الدلالي فحسب.
الوعي بالفئات: تظهر النتائج أن نقل السلوك غير متجانس؛ فقد يكون النموذج غير قابل للتمييز في الأسئلة والأجوبة العامة، ولكنه سهل التمييز في السياقات التقنية أو الأسلوبية.
الحفاظ على السياسة: يسلط الإطار الضوء على أن السلوكيات المتعلقة بالسلامة (الرفض، التحذيرات) تتطلب طبقات تقييم منفصلة تتجاوز التشابه الدلالي، حيث يمكن للطالب أن يكون قريبًا دلاليًا بينما يفشل في الحفاظ على قرارات السياسة الحرجة.

يخلص المؤلفون إلى أن عدم التمييز السلوكي المقيد يوفر معيارًا أكثر معلوماتية وصرامة لتقطير الصندوق الأسود، ويكشف أنه بينما يحسن LoRA المحاكاة، تظل هناك آثار سلوكية كبيرة يمكن اكتشافها من قبل المهاجمين المقيدين.