💬 NLP

Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test

تقترح هذه الورقة اختبار تجانس قائم على الرتبة يُمكّن المستخدمين من تدقيق واجهات برمجة تطبيقات النماذج اللغوية الكبيرة (LLM) ذات الصندوق الأسود بدقة وكفاءة للكشف عن عمليات استبدال النماذج غير المصرح بها، مثل التكميم أو الضبط الدقيق الضار، وذلك عبر التحقق من الاتساق السلوكي مع نموذج محلي أصيل دون الكشف عن أنماط الكشف.

المؤلفون الأصليون: Xiaoyuan Zhu, Yaowen Ye, Tianyi Qiu, Hanlin Zhu, Sijun Tan, Ajraf Mannan, Jonathan Michala, Raluca Ada Popa, Willie Neiswanger

نُشر 2026-03-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Xiaoyuan Zhu, Yaowen Ye, Tianyi Qiu, Hanlin Zhu, Sijun Tan, Ajraf Mannan, Jonathan Michala, Raluca Ada Popa, Willie Neiswanger

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طلبت "شريحة لحم فاخرة" (Premium Steak) من مطعم راقٍ. أنت تتوقع قطعة عالية الجودة وعصارية، لكن الطاهي، وبشكل سري، يستبدلها بقطعة لحم مجمدة رخيصة لتوفير المال. لا يمكنك رؤية المطبخ، ولا يمكنك طلب رؤية المكونات الخام (كود النموذج). كل ما تحصل عليه هو الطبق النهائي (النص المستلم). كيف ستعرف ما إذا كنت تحصل على ما دفعت ثمنه؟

هذه هي المشكلة التي تواجه مستخدمي واجهات برمجة تطبيقات النماذج اللغوية الكبيرة (LLM APIs) اليوم. توفر شركات مثل OpenAI أو Google أو Anthropic الوصول إلى نماذج قوية عبر الإنترنت، ولكن نظرًا لأن هذه النماذج "صناديق سوداء"، لا يملك المستخدمون وسيلة للتحقق مما إذا كان المزود يستخدم بالفعل النموذج الغالي عالي الجودة الذي وعد به، أم أنه استبدله بنسخة أرخص أو أقل جودة (مثل نموذج "مكمّم" Quantized أو "معدل بدقة fine-tuned") لتقليل التكاليف أو تمرير سلوكيات سيئة.

تقترح ورقة بحثية بعنوان "تدقيق واجهات برمجة تطبيقات النماذج اللغوية الكبيرة (LLM) ذات الصندوق الأسود باستخدام اختبار التجانس القائم على الرتبة" طريقة ذكية وغير مرئية لكشف هؤلاء المخادعين. إليك تفصيل ذلك بكلمات بسيطة:

المشكلة: خداع "الصندوق السحري"

تخيل أن لديك صندوقاً سحرياً (الـ API) يدعي أنه يضم طاهياً مشهوراً ومعروفاً (النموذج الأصلي).

العقبة: لا يمكنك إلا أن تطلب من الصندوق كتابة قصة أو حل مسألة رياضية. لا يمكنك فتح الصندوق لرؤية الطاهي بالداخل.
المخاطرة: قد يقوم مزود غير أمين باستبدال الطاهي الشهير بمتدرب رخيص (نموذج أصغر، أو مكمّم، أو معدل)، وقد يكتب المتدرب جملًا مختلفة قليلاً، أو يرتكب أخطاءً قواعدية صغيرة، أو يختار كلمات مختلفة.
الطريقة القديمة: حاولت الأساليب السابقة كشف ذلك عبر طرح أسئلة غريبة ومحددة جداً (مثل "اكتب قصيدة عن محمصة خبز بأسلوب شكسبير"). لكن المخادع الذكي يمكنه تمييز هذه "الأسئلة الاختبارية"، ويدرك أنه يخضع للتدقيق، فيقوم مؤقتاً بالعودة إلى الطاهي الحقيقي لهذه الأسئلة فقط. الأمر يشبه طالباً يحفظ إجابات الاختبار لكنه يفشل في الامتحان الحقيقي.

الحل: "اختبار التجانس القائم على الرتبة" (RUT)

يقترح المؤلفون طريقة جديدة تسمى RUT. بدلاً من طرح أسئلة غريبة، يستخدمون خدعة إحصائية تعمل مثل اختبار تذوق أعمى.

1. الإعداد: "الطاهي المرجعي"

يمتلك المدقق (الشخص الذي يفحص الـ API) نسخة من كتاب وصفات الطاهي الحقيقي تعمل على حاسوبه الخاص. هذا هو النموذج المرجعي. هو يعرف تماماً كيف يتصرف الطاهي الحقيقي.

2. الخدعة: لعبة "الرتبة"

إليك كيفية عمل الاختبار، خطوة بخطوة:

الخطوة أ: يطرح المدقق على الـ API المستهدف (الصندوق المشبوه) سؤالاً عادياً، مثل "ما هي عاصمة فرنسا؟"
- النتيجة: يقول الـ API "باريس".
الخطوة ب: يطرح المدقق على الطاهي المرجعي نفس السؤال تماماً 100 مرة.
- النتيجة: يقول الطاهي المرجعي "باريس" 90 مرة، و"ليون" 5 مرات، و"مارسيليا" 3 مرات، و"نيس" مرتين.
الخطوة ج: ينظر المدقق إلى إجابة الـ API المستهدف ("باريس") ويسأل: "أين تقع مرتبة 'باريس' في قائمة الطاهي المرجعي؟"
- بما أن "باريس" هي الإجابة الأكثر شيوعاً للطاهي الحقيقي، فهي في أعلى القائمة (الرتبة رقم 1).
الخطوة د: يكرر هذا الإجراء لمئات الأسئلة المختلفة.

3. فحص "التجانس"

إذا كان الـ API المستهدف هو نفسه الطاهي المرجعي حقاً، فإن إجاباتهما يجب أن تتبع نفس التوزيع تماماً.

إذا كان الطاهي المرجعي يقول "باريس" بنسبة 90% من الوقت، فيجب أن يقول الـ API المستهدف أيضاً "باريس" بنسبة 90%.
إذا كان الـ API المستهدف "مخادعاً" (نموذج مختلف)، فستكون توزيعات إجاباته مختلفة. ربما يقول "باريس" بنسبة 99% من الوقت، أو ربما يقول "لندن" بنسبة 10%.

الرياضيات وراء RUT تتحقق مما إذا كانت "رتب" الإجابات موزعة بشكل منتظم (منتشرة بالتساوي مثل أوراق اللعب).

إذا كانت منتظمة: فإن الـ API صادق.
إذا كانت متكتلة أو غريبة: فإن الـ API يكذب.

لماذا هذه الطريقة أفضل؟ (القوى الخارقة)

إنها غير مرئية (تخفي):
يستخدم المدقق أسئلة عادية ويومية (مثل "كيف حال الطقس؟" أو "اكتب قصيدة"). لا يمكن للمخادع معرفة أنه تحت الاختبار لأن الأسئلة تبدو كحركة مرور طبيعية للمستخدمين. لا يمكنهم "التلاعب بالنظام" عبر التبديل بين الطهاة لأنهم لا يعرفون أي الأسئلة هي اختبارات.
إنها فعالة (رخيصة):
الأساليب السابقة كانت تتطلب طرح آلاف الأسئلة على الـ API للحصول على إجابة جيدة. أما RUT فيحتاج فقط إلى سؤال واحد لكل مطالبة (Prompt) من الـ API، بينما يتم تنفيذ العمل الثقيل على حاسوب المدقق الخاص. الأمر يشبه فحص حبة أرز واحدة لمعرفة ما إذا كان الكيس بأكمله مزيفاً، بدلاً من أكل الكيس بأكمله.
إنها تكشف كل شيء:
اختبرت الورقة البحثية RUT ضد أنواع كثيرة من الخداع:
- التقليل (Quantization): استبدال صورة عالية الدقة بصورة ضبابية (تصغير حجم النموذج).
- كسر الحماية (Jailbreaking): تسريب تعليمات مخفية لجعل النموذج يقول أشياء سيئة.
- التعديل الدقيق (Fine-tuning): تعليم النموذج أن يكون فظاً أو يتبع قواعد مختلفة.
- الاستبدال الكامل: استبدال النموذج بالكامل بنموذج آخر.
في كل الحالات تقريباً، كشفت RUT المخادعين بشكل أسرع وأكثر دقة من الطرق السابقة.

التشبيه: اختبار "رمي العملة"

تخيل أنك تشك في أن كازينو يستخدم عملة متحيزة (عملة مزيفة) بدلاً من عملة عادلة.

الطريقة القديمة: تطلب من الكازينو رمي العملة 1,000 مرة متتالية وتعد النتائج التي تظهر "وجه العملة". إذا رأوك تعد، فقد يبدلونها بعملة عادلة في تلك اللحظة.
طريقة RUT: تحضر عملتك العادلة (النموذج المرجعي). ترمي عملتك العادلة 100 مرة وتدون النتائج. ثم تطلب من الكازينو رمي عملته مرة واحدة لنفس "السيناريو". تتحقق مما إذا كانت رميته الواحدة تطابق النمط الخاص بـ 100 رمية من عملتك. إذا كانت عملتهم متحيزة، فإن نمط رميتهم الوحيدة (عند تكراره عبر سيناريوهات مختلفة) سيبدو "غير طبيعي" إحصائياً مقارنة بنمط عملتك العادلة. هكذا تكشفهم دون أن يعرفوا أبداً أنك تختبرهم.

الخاتة

تمنحنا هذه الورقة البحثية أداة قوية لضمان أننا عندما ندفع مقابل "ذكاء اصطناعي متميز"، فإننا نحصل بالفعل على "ذكاء اصطناٍع متميز". إنه جهاز كشف كذب رقمي لا يحتاج لرؤية المحرك ليعرف ما إذا كانت السيارة تعمل بالوقود الصحيح. من خلال استخدام الإحصاء البسيط والمحادثة العادية، يكشف هذا الاختبار المزودين غير الأمناء الذين يحاولون التهرب من التكاليف، مما يضمن سلامة وموثوقية أدوات الذكاء الاصطناعي التي نستخدمها كل يوم.

1. بيان المشكلة

مع تزايد الوصول إلى النماذج اللغوية الكبيرة (LLMs) عبر واجهات برمجة التطبيقات (APIs)، يواجه المستخدمون سيناريو "الصندوق الأسود" حيث يفتقرون إلى الرؤية حول تنفيذ النموذج الأساسي. قد يقوم مزودو واجهات برمجة التطبيقات باستبدال النموذج المعلن عنه سراً بنسخ أرخص أو معدلة لتقليل التكاليف أو لإدخال سلوكيات ضارة. تشمل استراتيجيات الاستبدال الشائعة ما يلي:

الكمية (Quantization): تقديم نسخ من النموذج بتمثيل 4-بت أو 8-بت.
الضبط الدقيق (Fine-tuning): تطبيق ضبط دقيق ضار أو استخدام مطالبات نظام (system prompts) تسمح بكسر الحماية (jailbreak).
الاستبدال الكامل: استبدال النموذج بالكامل ببنية مختلفة.
التوجيه الاحتمالي (Probabilistic Routing): خلط الاستجابات من النموذج المعلن عنه مع نموذج بديل بناءً على اكتشاف المطالبة (على سبيل المثال، إعادة توجيه الاستعلامات المشبوهة).

التحدي: يصعب اكتشاف عمليات الاستبدال هذه لأن المستخدمين عادة لا يملكون الوصول إلى أوزان النموذج أو احتمالات الرموز (logits). وتفشل طرق الكشف الحالية غالباً بسبب:

كفاءة الاستعلام المنخفضة: تتطلب عدداً مفرطاً من استدعاءات واجهة برمجة التطبيقات (مما يزيد التكلفة).
نقص المتانة: الاعتماد على أنماط استعلام محددة يمكن للمزودين العدائيين اكتشافها وتجاوزها (مثل التخزين المؤقت للمطالبات - prompt caching).
الدقة المنخفضة: الفشل في التمييز بين التحولات التوزيعية الطفيفة الناتجة عن الكمية أو الضبط الدقيق البسيط.

2. المنهجية: اختبار التجانس القائم على الرتب (RUT)

يقترح المؤلفون RUT، وهو اختبار فرضية غير متماثل ذو عينتين مصمم للتحقق مما إذا كان نموذج واجهة برمجة التطبيقات المستهدف ( $\pi_{tgt}$ ) متطابق سلوكياً مع نموذج مرجعي مُنشر محلياً ( $\pi_{ref}$ ).

المفهوم الجوهري

تعتمد الطريقة على مبدأ أنه إذا كان $\pi_{tgt} = \pi_{ref}$ ، فيجب أن تظهر استجابات النموذج المستهدف كعينة عشوائية مسحوبة من توزيع النموذج المرجعي.

دالة الدرجة (Score Function): لكل مطالبة $x$ ، يتم تعيين درجة عددية $s = f(y, x)$ للاستجابة $y$ . اختبرت الورقة تجريبياً أن Log-Rank (متوسط لوغاريتم رتب الرموز بناءً على احتمالات النموذج المرجعي) هو دالة الدرجة الأكثر تمييزاً.
إحصائية الرتبة (Rank Statistic): لكل مطالبة، يقوم المدقق باستعلام واجهة برمجة التطبيقات المستهدفة مرة واحدة ( $y_{tgt}$ $y_{t g t}$ ) والنموذج المرجعي $m$ $m$ من المرات ( $y_{ref, j}$ $y_{r e f, j}$ ). يتم حساب رتبة درجة الهدف ضمن التوزيع المرجعي.
- للتعامل مع التوزيعات المنفصلة، يتم تطبيق بقايا المئوية العشوائية (randomized quantile residual): $r_{tgt} = F_{ref}(s_{tgt}^-) + U \cdot P(s_{ref} = s_{tgt})$ ، حيث $U \sim \text{Uniform}[0,1]$ .
- تحت الفرضية الصفرية ( $H_0$ : النماذج متطابقة)، تتبع $r_{tgt}$ توزيع Uniform[0, 1].
اختبار الفرضية: يجمع المدقق $n$ من إحصائيات الرتب هذه. يتم تطبيق اختبار Cramér–von Mises (CvM) للتحقق مما إذا كان مجموعة الرتب تنحرف بشكل كبير عن التوزيع الموحد. إذا كانت قيمة p-value منخفضة، يتم رفض $H_0$ ، مما يشير إلى استبدال النموذج.

الميزات التصميمية الرئيسية

كفاءة الاستعلام: يتطلب استدعاء واحداً فقط لواجهة برمجة التطبيقات لكل مطالبة (بالإضافة إلى استدعاءات النموذج المرجعي المحلي)، مما يجعله فعالاً من حيث التكلفة.
التخفي (Stealth): يستخدم مطالبات طبيعية تشبه مطالبات المستخدمين بدلاً من مطالبات "بصمة الإصبع" المصممة خصيصاً، مما يجعل من الصعب على المزودين اكتشاف أو إعادة توجيه حركة مرور الاختبار.
المتانة: فعال ضد الاستبدال الاحتمالي (حيث يتم توجيه جزء فقط من الاستعلامات إلى نموذج مختلف).

3. المساهمات الرئيسية

إطار تدقيق مبتكر: تقديم RUT، وهي طريقة تحقق من الدقة، وكفاءة الاستعلام، والمتانة في آن واحد، معالجةً بذلك حدود الأعمال السابقة مثل MMD وidentity prompting.
التحقق التجريبي: تقييم شامل عبر نماذج تهديد متنوعة:
- الكمية (4-bit/8-bit).
- كسر الحماية (مطالبات النظام المخفية).
- الضبط الدقيق الخاضع للإشراف (SFT) على بيانات حميدة وضارة.
- الاستبدال الكامل للنموذج.
- المجالات المتخصصة (الرياضيات والبرمجة).
النشر في العالم الحقيقي: قياس الأداء مقابل واجهات برمجة تطبيقات تجارية حية (مثل Nebius، Novita، Hugging Face Inference)، مما يثبت الفائدة العملية للطريقة في اكتشاف الانحرافات في الإعدادات الواقعية.

4. النتائج التجريبية

قيم المؤلفون RUT مقابل MMD (Gao et al., 2025) وخط الأساس Kolmogorov–KS باستخدام Statistical Power AUC (المساحة تحت المنحنى للقوة مقابل معدل الاستبدال) كمعيار أساسي.

اكتشاف الكمية: تفوق RUT بشكل كبير على الخطوط المرجعية. على سبيل المثال، في اكتشاف كمية 4-bit لنموذج Llama-3.2-3B، حقق RUT مساحة تحت المنحنى (AUC) بلغت 0.642، مقارنة بـ MMD (0.625) وKS (0.474). وبينما أثبتت كمية 8-bit صعوبة لجميع الطرق، ظل RUT الأكثر حساسية.
اكتشاف كسر الحماية (Jailbreak): حقق RUT أعلى قوة في جميع سيناريوهات كسر الحماية الستة المختبرة (Dan, Anti-Dan, Evil-Bot)، مع قيم AUC تزيد باستمرار عن 0.85، متفوقاً على MMD وKS.
اكتشاف الضبط الدقيق (SFT): اكتشف RUT التغيرات السلوكية منذ الحقبة الأولى (first epoch) من الضبط الدقيق، مما أظهر حساسية فائقة للتحولات التوزيعية في مراحلها المبكرة مقارنة بالخطوط المرجعية.
الاستبدال الكامل للنموذج: حقق RUT باستمرار أعلى AUC عبر المقارنات الزوجية لعائلات النماذج المختلفة (مثل Gemma مقابل Llama مقابل Mistral).
المتانة تجاه عدم تطابق فك التشفيد (Decoding Mismatches): في دراسة حالة شملت مزودي واجهات برمجة تطبيقات حقيقيين، حدد RUT بشكل صحيح التكافؤ السلوكي حيث فشلت المقاييس القائمة على النصوص (مثل MMD باستخدام مسافة Hamming) بسبب اختلافات بسيطة في التنسيق (مثل المسافات البيضاء البادئة).
نطاقات الاستعلام: حافظت الطريقة على فعالية عالية في مجموعات البيانات المتخصصة مثل BigCodeBench (البرمجة) و MATH، مما أثبت قابليتها للتعميم بما يتجاست البيانات الحوارية العامة.

5. الأهمية والأثر

الثقة والسلامة: يوفر RUT أداة عملية للمستخدمين والمنظمين للتحقق من أن مزودي واجهات برمجة التطبيقات يقدمون النماذج التي يدعون تقديمها، مما يمنع تدهور الأداء والمخاطر الأمنية (مثل كسر الحماية المخفي).
التدقيق منخفض التكلفة: من خلال طلب حد أدنى من استعلامات واجهة برمجة التطبيقات وتجنب الأنماط القابلة للكشف، يتيح RUT إجراء عمليات تدقيق متكرة واسعة النطاق دون تكبد تكالٍ باهظة أو تفعيل الإجراءات المضادة للمزودين.
الأساس النظري: تتضمن الورقة تحليلاً نظرياً (الملحق C) يصف كفاءة العينة لـ RUT تحت افتراضات Zipf لتوزيعات الرموز، موضحاً أن حجم العينة المطلوب يتناسب عكسياً مع مربع المسافة بين التوزيعات.

في الختام، يمثل RUT تقدماً كبيراً في تدقيق واجهات برمجة التطبيقات للنماذج اللغوية الكبيرة، حيث يقدم آلية قوية وفعالة ومتوارية لضمان سلامة عمليات نشر النماذج ذات الصندوق الأسود.