🤖 AI

KBF: Knowledge Boundary as Fingerprint for Language Model and Black-Box API Auditing

تقدم هذه الورقة البحثية بروتوكول KBF، وهو بروتوكول تدقيق "الصندوق الأسود" منخفض التكلفة يستخدم الاستدعاء العددي المستقر بالقرب من حدود المعرفة لإنشاء بصمة رقمية لواجهات برمجة تطبيقات النماذج اللغوية، مما يكتشف بفعالية عمليات استبدال النماذج ذات الصلة اقتصادياً وهجمات التوجيه المختلط عبر نقاط النهاية الإنتاجية وواجهات برمجة التطبيقات الظلية دون الحاجة إلى الوصول المباشر إلى النماذج.

المؤلفون الأصليون: Yijia Fang, Yiqing Feng, Bingyu Li, Mingxun Zhou

نُشر 2026-05-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yijia Fang, Yiqing Feng, Bingyu Li, Mingxun Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشتري زجاجة نبيذ من بائع وسيط فاخر. الملصق يقول إنها من إنتاج سنة نادرة وغالية الثمن من كرم مشهور. لكن لا يمكنك رؤية محتويات الزجاجة، والوسيط يرفض السماح لك بتذوقها قبل الشراء. تشك في أن الوسيط قد استبدل النبيذ الغالي بنوع آخر رخيص وعادي للحفاظ على هامش ربح مرتفع.

هذا هو بالضبط ما يواجهه مستخدمو النماذج اللغوية الكبيرة (LLMs) اليوم. الكثير من الناس يشترون الوصول إلى هذه النماذج عبر خدمات "الوساطة". تعمل هذه الخدمات كوسيط: أنت تدفع لهم، وهم يقومون بتوجيه طلبك إلى مزود الذكاء الاصطنا الاصطناعي الفعلي. المشكلة؟ قد يقوم الوسيط سرًا باستبدال الذكاء الاصطناعي الغالي عالي الجودة الذي دفعته ثمنه بنموذج أرخص وأقل جودة، بينما يخبرك بأنه هو نفسه الحقيقي.

تقدم هذه الورقة البحثية أداة جديدة تسمى KBF (بصمة حدود المعرفة - Knowledge Boundary Fingerprinting) لكشف هؤلاء "مبدلي النبيذ" دون الحاجة لفتح الزجاجة أو رؤية ما بداخل المصنع.

الفكرة الجوهرية: "حدود المعرفة"

يعتقد معظم الناس أنه يمكنهم التمييز بين نموذجي ذكاء اصطناعي عبر طرح أسئلة صعبة عليهما أو سؤالهما عن تعريف أنفسهما. لكن الذكاء الاصطناعي مخادع؛ فقد يكذب بشأن هويته، أو يمكن خداعه ليتصرف كأنه شخص آخر.

اكتشف الباحثون طريقة مختلفة لتحديد هوية الذكاء الاصطناعي: انظر إلى حافة معرفته.

فكر في معرفة الذكاء الاصطناعي كأنها مكتبة:

داخل المكتبة (المعرفة العامة): إذا سألت "ما هو 2+2؟"، فستجيب معظم نماذج الذكاء الاصطناعي بـ "4". هذا لا يساعدك في التمييز بينها.
خارج المكتبة (غامضة للغاية): إذا سألت عن حقيقة محددة ومختلقة من كتاب غير موجود، فسوف يخمن الذكاء الاصطناعي بشكل عشوائي. هذا غير دقيق بما يكفي ليكون مفيدًا.
الحدود (نقطة التوازن المثالية): هذه هي حافة المكتبة. وهي حقائق تقع تمامًا على حافة ما يعرفه الذكاء الاصطناعي.
- نموذج ذكاء اصطناعي ذكي وغالي الثمن قد يعرف الإجابة الدقيقة.
- نموذج أرخص قد يخمن إجابة خاطئة قليلاً.
- والأهم من ذلك، حتى لو أخطأ الذكاء الاصطناعي في الإجابة، فإنه غالبًا ما يعطي نفس الإجابة الخاطئة في كل مرة.

يطلق الباحثون على هذه الإجابات اسم "الإجابات الخاطئة المستقرة". إنها تشبه بصمة الإصبع الفريدة. إذا قال الذكاء الاصطناعي الغالي باستمرار: "درجة غليان هذه المادة الكيميائية الغامضة هي 106 درجة"، وقال نموذج أرخص باستمرار: "إنها 108 درجات"، فإن هذا الاختلاف هو بصمة إصبع. حتى لو أخطأ الذكاء الاصطناعي الغالي، فإن نمط خطئه يكون فريدًا له.

كيف تعمل تقنية KBF (عملية "التدقيق")

KBF هي عملية مكونة من ثلاث خطوات لكشف الوسيط المتلاعب:

بصمة الشيء الحقيقي (خارج الإنترنت - Offline):
أولاً، يتحدث المدقق مع الذكاء الاصطناعي الرسمي (الذي يدعي الوسيط أنه يبيعه). يطرح عليه آلاف الأسئلة حول حقائق غامضة بالقرب من "حدود المعرفة". يسجل بالضبط ما يقوله الذكاء الاصطناعي الرسمي، حتى لو كان مخطئًا. بذلك يبني "بصمة" لكيفية تعامل هذا الذكاء الاصطناعي المحدد مع حافة معرفته.
معايرة الضجيج:
يسأل المدقق الذكاء الاصطناعي الرسمي نفس الأسئلة مرة أخرى ليرى مدى "الاضطراب" لديه. أحيانًا، قد يعطي حتى الذكاء الاصطناعي الحقيقي إجابة مختلفة قليلاً بسبب الضجيج العشوائي للحاسوب. تقوم تقنية KBF بقياس هذا "الاضطراب" الطبيعي لتعرف ما يبدو كخطأ طبيعي.
التدقيق (على الإنترنت - Online):
الآن، يطرح المدقق على الوسيط المشتبه به نفس الأسئلة.

إذا كان الوسيط صادقًا، فستتطابق إجاباته مع البصمة الرسمية (ضمن نطاق "الاضطراب" الطبيعي).
إذا كان الوسيط يغش ويستخدم ذكاءً اصطناعيًا أرخص، فستبتعد الإجابات عن البصمة الرسمية. قد يعطي النموذج الأرخص إجابة خاطئة مختلفة، أو لا يعطي إجابة على الإطلاق.

تستخدم KBF اختبارًا إحصائيًا لتحديد: "هل هذا الاختلاف مجرد ضجيج عشوائي، أم أنه دليل على استخدام نموذج مختلف؟"

ما وجدوه

اختبر الباحثون تقنية KBF على 16 نموذجًا مختلفًا من نماذج الذكاء الاصطناعي الواقعية وعلى خدمات وسطاء متنوعة. وإليك ما حدث:

تكشف المخادعين: نجحت KBF في تحديد 155 حالة مختلفة قام فيها الوسيط باستبدال نموذج بنموذج أرخص. وقد فعلت ذلك دون اتهام أي وسيط صادق بالخداع.
تتميز بالمتانة: غالبًا ما يغير الوسطاء طريقة إعداد الذكاء الاصطناعي الخاص بهم (مثل إضافة "شخصيات"، أو تغيير إعدادات الحرارة، أو استخدام أدوات إضافية). عملت KBF بشكل مثالي حتى مع تغير الإعدادات، بينما فشلت الطرق الأخرى واتهمت أشخاصًا صادقين بالخداع.
تكشف عمليات الاستبدال الجزئي: أحيانًا، لا يستبدل الوسيط كل الطلبات؛ بل قد يستبدل 10% منها فقط لتوف توفير المال. KBF حساسة بما يكفي لكشف هذا "التوجيه المختلط" حتى عندما يتم استبدال جزء صغير فقط من حركة المرور.
نتائج واقعية: استخدم الفريق KBF للتدقيق في ست منصات API "خفية" مشبوهة تعلن عن وصول رخيص إلى نماذج رفيعة المستوى. ووجدوا أن 7 من أصل 27 نقطة نهاية كانت تكذب بشأن النموذج الذي تشغله. ومن المثير للاهتمام، أن الأكاذيب كانت تتركز غالبًا في النماذج الأكثر غلاءً وتميزًا (مثل Claude)، حيث تكمن الأموال التي يمكن توفيرها هناك.

لماذا هذا مهم

قبل ذلك، إذا أردت معرفة ما إذا كان الوسيط صادقًا، كان عليك التخمين، أو سؤال الذكاء الاصطناعي "من أنت؟" (والذي قد يكذب)، أو الاعتماد على اختبارات المجتمع غير الموثقة.

توفر KBF طريقة علمية منخفضة التكلفة للتحقق مما تشتريه. فهي لا تتطلب تعاون الوسيط، ولا تتطلب وصولًا خاصًا إلى الكود الداخلي للذكاء الاصطناعي، ولا تتطلب مطالبة الذكاء الاصطناعي بفعل أي شيء خطير أو غريب. هي ببساً تطرح أسئلة حول حقائق غامضة وتتحقق مما إذا كانت الإجابات تطابق "بصمة" النموذج الذي دفعتم ثمنه.

باختصار، KBF هي جهاز كشف الكذب لموزعي الذكاء الاصطناعي، لضمان أنك عندما تدفع ثمن "النبيذ الفاخر"، تحصل بالفعل على الزجاجة الفاخرة، وليس بديلًا رخيصًا.

ملخص تقني: KBF – حدود المعرفة كبصمة للنماذج اللغوية وتدقيق واجهات برمجة التطبيقات (APIs) ذات الصندوق الأسود

1. صياغة المشكلة

تعالج الورقة البحثية "مشكلة الثقة" المتأصلة في المنظومة المتنامية لواجهات برمجة تطبيقات الوساطة وإعادة البيع (relay and reseller APIs) للنماذج اللغوية الكبيرة (LLMs). غالبًا ما يصل المستخدمون إلى النماذج اللغوية عبر وسطاء من طرف ثالث يجمعون نماذج متعددة، ويوفرون قدرات توحيد الفواتير والتبديل بين النماذج. ومع ذلك، قد يقوم هؤلاء الوسطاء باستبدال النموذج الرائد (flagship model) باهظ الثمن المعلن عنه، بنموذج خلفي أرخص وأقل قدرة بشكل صامت لزيادة هوامش الربح.

التحدز الرئيسي هو تدقيق الوساطة في الصندوق الأسود (black-box relay auditing): تحديد ما إذا كان الطرف الوسيط المشتبه به ( $O_{sus}$ ) يقدم بالفعل النموذج المحدد الذي يدعيه ( $O_{ref}$ ) دون الوصول إلى:

أوزان النموذج، أو قيم الـ (logits)، أو بيانات التدريب.
سجلات التوجيه في جانب الخادم (server-side routing logs) أو المطالبات النظامية (system prompts) المخفية.
تعاون المزود (مثل العلامات المائية أو الاستدلال القابل للتحقق).

يمتلك المدقق فقط إمكانية الوصول العام عبر واجهة برمجة التطبيقات (API) لكل من الطرف المرجعي الرسمي وطرف الوساطة المشتبه به. الهدف هو اكتشاف الاستبدال الكامل (تقديم نموذج مختلف تمامًا) والتوجيه المختلط (تقديم مزيج من النموذج المطالب به ونموذج بديل أرخص) مع الحفاظ على معدل منخفض من الإيجابيات الكاذبة (لتجنب الاتهامات الزائفة للمزودين الشرفاء) والبقاء قويًا أمام الاختلافات في النشر الحميدة (مثل اختلاف المطالبات النظامية، أو درجات الحرارة/temperature، أو أغلفة RAG).

تفشل الطرق الحالية في الصندوق الأسود في تلبية هذه المتطلبات في آن واحد. فالبصمة السلوكية (مثل LLMmap) تعتمد على اختبارات ثابتة يسهل التحايل عليها أو تتأثر بالأغلفة (wrappers). أما الاختبارات التوزيعية (مثل MET) فتعاني من تباين عالٍ عند تغير الإعدادات. كما أن مطالبات التعريف الذاتي غير موثوقة لأن النماذج غالبًا ما تخطئ في ذكر هويتها.

2. المنهجية: بصمة حدود المعرفة (KBF)

يقترح المؤلفون بروتوكول KBF، الذي يستفيد من الاستدعاء الرقمي المستقر بالقرب من حدود المعرفة كبصمة.

الحدس الجوهري

يلاحظ المؤلفون أنه بينما تتفق النماذج على الحقائق الشائعة (إشارة منخفضة) وتفشل في الحقائق الغامضة (غير مستقرة)، فإنها تظهر سلوكًا متميزًا بالقرب من "حدود المعرفة":

داخل الحدود: تستدعي النماذج الحقائق الرقمية الصحيحة بشكل مستقر.
خارج الحدود مباشرة: غالبًا ما تنتج النماذج قيمًا رقمية مستقرة ولكنها خاطئة واقعيًا.
هذه القيم "الخاطئة والمستقرة" تعمل كروابط بارامترية ثابتة ومحددة لكل نموذج. ومن غير المرجح أن يعيد النموذج البديل إنتاج نفس الخطأ المستقر أو القيمة الصحيحة المستقرة المحددة للنموذج المرجعي.

بروتوكول KBF

يعمل KBF عبر ثلاث مراحل:

المرحلة 1: توليد الاختبارات (خارج نطاق التشغيل - Offline)

البحث التكيفي عن الحدود (Adaptive Frontier Search): يقوم المدقق باستعلام الطرف المرجعي الرسمي ( $O_{ref}$ ) لاقتراح حقائق رقمية مرشحة عبر مجالات متنوعة (الكيمياء، علم الفلك، الرياضيات، إلخ). يتكيف البحث للتحرك نحو حقائق أكثر غموضًا بالقرب من حدود الاستدعاء المستقر.
فحوصات اتساق المرجع (Reference-Consistency Checks): يتم إعادة استعلام المرشحين تحت إعدادات حميدة متعددة (مثل تغيير المطالبات النظامية، ودرجات الحرارة). يتم الاحتفاظ فقط بالمرشحين الذين ينتج عنهم $O_{ref}$ قيمة رقمية مستقرة وقابلة للتحليل (حتى لو كانت خاطئة واقعيًا).
الفحص التبايني (اختياري): لتحسين الكفاءة، يتم فحص المرشحين مقابل بديل أرخص معروف (مثل نموذج بـ 9 مليارات معلمة). إذا تطابق البديل مع المرجع، يتم استبعاد الاختبار لضمان القدرة التمييزية.
المخرجات: مجموعة مضغوطة من الاختبارات $P_{ref} = \{(q_i, d_i, a_i, match_{d_i})\}$ ، حيث $a_i$ هي القيمة الإجماعية للمرجع.

المرحلة 2: المعايرة الذاتية (Self-Calibration)

يقوم المدقق بإعادة استعلام $O_{ref}$ باستخدام الاختبارات المسجلة تحت إعدادات التدقيق المخصصة للطرف المشتبه به.
يقوم النظام بعدّ التناقضات الذاتية ( $k_{self}$ ) لتقدير "الضجيج الذاتي العادي" للطرف المرجعي.
يتم حساب الحد العلوي لثقة كلوبر-بيرسون (CP upper confidence bound) ( $p_0$ ). وهذا يضع حدًا تحفظيًا للتسامح مع الخطأ المتوقع من المرجع نفسه.

المرحلة 3: تدقيق طرف الوساطة (أثناء التشغيل - Online)

يرسل المدقق الاختبارات المسجلة إلى الطرف المشتبه به ( $O_{sus}$ ).
يتم تحليل الاستجابات ومقارنتها مع إجماع المرجع $a_i$ باستخدام قواعد مطابقة خاصة بالمجال.
يتم إجراء اختبار ثنائي الحدين (binomial statistical test): إذا تجاوز عدد التناقضات ( $k$ ) العتبة المحددة بواسطة $p_0$ (عند مستوى دلالة $\alpha = 0.05$ )، يتم رفض الفرضية الصفرية ( $H_0: O_{sus} \approx O_{ref}$ )، ويتم وسم الطرف بأنه مختلف.

توسعة التوجيه التكيفي (Adaptive Routing Extension)
بالنسبة للتوجيه المختلط (حيث يتم استبدال جزء $\alpha$ فقط من حركة المرور)، يستخدم KBF تدقيقًا من جولتين:

الجولة الأولى: تدقيق جميع الاختبارات.
الجولة الثانية: إعادة تدقيق الاختبارات التي لم تتطابق فقط في الجولة الأولى.
هذا يركز الاستعلامات على حركة المرور الأكثر عرضة للاستبدال، مما يسم يسمح بالاكتشاف حتى عندما يكون معدل الاستبدال منخفضًا (مثل 5-10%).

3. المساهمات الرئيسية

تحديد إشارة مبتكرة: حددت الورقة "الاستدعاء الرقمي لحدود المعرفة" (بما في ذلك الإجابات الخاطئة القابلة للتكرار) كإشارة مستقرة ومتميزة للنماذج لا تعتمد على التعريف الذاتي، أو الأسلوب، أو البيانات الوصفية المميزة.
بروتوكول شامل (KBF): بروتوكول تدقيق صندوق أسود يحول هذه الإشارة إلى مجموعات اختبار مضغوطة عبر البحث التكيفي عن الحدود، وفلترة استقرار الإعدادات، والفحص التبايني.
تقييم شامل: تقييم عبر 16 طرفًا لـ LLM في بيئة الإنتاج (8 عائلات، 3 فئات سعرية) أظهر قدرة تمييز عالية ضد الاستبدالات ذات الصلة اقتصادياً.
التطبيق في العالم الحقيقي: النشر على ست منصات "واجهة برمجة تطبيقات ظلية" (shadow API)، حيث نجحت في وسم الأطراف غير المتسقة إحصائيًا في بيئة حقيقية دون تعاون من المزود.
الموارد المفتوحة: إصدار الكود والبيانات ومجموعات اختبارات المعايير لدعم قابلية التكرار.

4. النتائج التجريبية

قيم المؤلفون KBF مقابل ثلاثة خطوط أساس (MET، LLMmap، ZeroPrint) ووجدوا:

دقة عالية: اكتشف KBF جميع الـ 155 حالة استبدال ذات الصلة اقتصادياً (بما في ذلك خفض المستوى داخل نفس العائلة) مع صفر إيجابيات كاذبة في ضوابط المرجع نفسه. عانت الخطوط الأساسية من معدلات إيجابية كاذبة عالية (تصل إلى 37.5% لـ LLMmap) أو فقدت حالات الاستبدال.
القوة (Robustness): تحت ستة إعدادات نشر مختلفة (مطالبات الأدوار، تغييرات درجة الحرارة، أغلفة RAG)، حافظ KBF على صفر إيجابيات كاذبة واكتشف 100% من عمليات الاستبدال. أما الخطوط الأساسية فقد ولدت إنذارات مفرطة أو فقدت النماذج المستبدلة بسبب حساسيتها للأغلفة.
اكتشاف التوجيه المختلط: اكتشف KBF عمليات الاستبدال عندما تم توجيه 5-10% فقط من حركة المرور إلى نموذج بديل (لنماذج مبنية على Opus) وما يصل إلى 50% للحالات الأصعب (المبنية على Sonnet).
كفاءة التكلفة:
- تكلفة التسجيل (Enrollment): حوالي 22 دولارًا لمرة واحدة لتوليد الاختبارات لنسخة من النموذج.
- تكلفة التدقيق: حوالي 0.39 دولار إجماليًا لتدقيق جميع النماذج الـ 16 (حوالي 0.02 - 0.24 دولار لكل نموذج).
نتائج الواجهات الظلية (Shadow APIs): في تدقيق لـ 27 طرفًا عبر 6 منصات ظلية:
- تم وسم 7 أطراف بأنها غير متسقة إحصائيًا.
- تركزت 6 من أصل 7 علامات على أطراف Claude الممتازة (Opus و Sonnet)، مما يتماشى مع الحافز الاقتصادي لاستبدال النماذج الباهظة.
- تحليل الفئات: في المنصات التي تقدم فئات سعرية متعددة لنفس النموذج، كانت الفئات الأقل سعرًا أكثر عرضة للوسم مقارنة بالفئات الأعلى سعرًا، مما يشير إلى استبدال الخلفية بناءً على الفئة السعرية.

5. الأهمية والادعاءات

تدعي الورقة أن KBF يوفر حلاً عمليًا ومنخفض التكلفة وقويًا للتدقيق من طرف ثالث لواجهات برمجة تطبيقات الوساطة للنماذج اللغوية. تكمن أهميته في:

الجدوى التشغيلية: يعمل حصريًا في إطار الصندوق الأسود، ولا يتطلب تعاونًا من مزود النموذج أو الوسيط.
الأهمية الاقتصادية: يستهدف تحديدًا الحوافز الاقتصادية للوسطاء (استبدال النماذج الغالية بنماذج رخيصة) بدلاً من مجرد تحديد النماذج العام.
الموثوقية: من خلال المعايرة مقابل الضجيج الذاتي للطرف المرجعي المحدد، يتجنب معدلات الإيجابيات الكاذبة العالية التي تعاني منها طرق البصمة السلوكية أو التوزيعية عند تغير إعدادات النشر.
القابلية للتنفيذ: يُمكّن المستخدمين والباحثين من التحقق من ادعاءات الخدمة وتحديد الـ "APIs الظلية" التي قد تقدم خدمات متدهورة أو غير متسقة، خاصة للنماذج المملوكة عالية القيمة.

يتبنى المؤلفون موقفًا متزنًا، مشيرين إلى أن KBF هو أداة فرز إحصائي وليس إثباتًا تشفيرًا لهوية الخلفية. وهم يقرون بأن الاستخدام في العمليات عالية المخاطر يتطلب مزيدًا من المعايرة (مثل التدقيق المتكرر عبر الوقت والمناطق)، وأن نموذج ثنائي الحدين الحالي يفترض استقلالية الاختبارات، وهو ما قد يحتاج إلى تصحيح لارتباطات نطاقات المجال.