💬 NLP

SVIP: Towards Verifiable Inference of Open-source Large Language Models

يُعد SVIP بروتوكولاً يعتمد على الأسرار وفعالاً من الناحية الحسابية، يُمكّن المستخدمين من التحقق من نزاهة مزودي استدلال النماذج اللغوية الكبيرة اللامركزيين عبر تدريب مهمة وسيطة على التمثيلات الخفية لتحديد النموذج بشكل فريد ومنع الاستبدال غير المصرح به بنسخ أصغر وأقل قدرة.

المؤلفون الأصليون: Yifan Sun, Yuhang Li, Yue Zhang, Yuchen Jin, Huan Zhang

نُشر 2026-02-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yifan Sun, Yuhang Li, Yue Zhang, Yuchen Jin, Huan Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك استأجرت طباخاً لطهي طبق معقد وباهظ الثمن باستخدام وصفة محددة وعالية الجودة (نموذج ذكاء اصطناعي ضخم). وبما أن مطبخك ليس كبيراً بما يكفي لطهي هذا الطبق بنفسك، فقد أرسلت الطلب إلى طباخ مستقل في مكان بعيد (مزود حوسبة لامركزية).

ما المشكلة؟ قد يكون الطباخ البعيد كسولاً أو جشعاً؛ فبدلاً من استخدام الوصفة الغالية والمستهلكة للوقت التي دفعت ثمنها، قد يستخدم سراً وصفة رخيصة وسريعة ومنخفضة الجودة تبدو مشابهة ولكن مذاقها سيء. ولأنك لا تستطيع رؤية ما يحدث داخل مطبخه، فليس لديك طريقة لمعرفة ما إذا كان قد استخدم المكونات الصحيحة بالفعل أم أنه زيف النتيجة فحسب.

تقدم هذه الورقة البحثية نظام SVIP، وهو نظام "مصافحة سرية" ذكي لضمان أن الطباخ قد استخدم الوصفة الصحيحة بالفعل.

المشكلة الجوهرية: "الطباخ المزيف"

في عالم الذكاء الاصطناعي مفتوح المصدر، تزداد النماذج ضخامة. لا يستطيع الأشخاص العاديون تشغيل هذه النماذج على أجهزتهم الخاصة، لذا يدفعون لمزودين خارجيين لتشغيل الذكاء الاصطناو نيابة عنهم.

المخاطرة: قد يقوم مزود غير أمين باستبدال نموذج الذكاء الاصطناعي الضخم والقوي بنموذج صغير وضعيف لتوف توفير تكاليف الكهربة والأجهزة، بينما يتقاضى منك السعر الكامل للنموذج الكبير.
الفخ: لا يمكنك مجرد التحقق من الإجابة؛ فقد يعطي الذكاء الاصطناعي الصغير إجابة "جيدة بما يكفي" تبدو وكأنها عمل الذكاء الاصطناعي الكبير. أنت بحاجة إلى طريقة لإثبات كيف تم صنع الإجابة، وليس فقط ما هي الإجابة.

الحل: SVIP (فحص "المكون السري")

يقترح المؤلفون نظاماً يتعين على المزود من خلاله إثبات أنه استخدم النموذج المحدد، دون الكشف عن النموذج نفسه. وإليك كيف يعمل ذلك باستخدام بعض التشبيهات:

1. "البصمة الخفية" (ليس مجرد الإجابة)

عندما يفكر الذكاء الاصطناعي، فإنه لا يكتفي بإخراج نص فقط؛ بل يمرر المعلومات عبر طبقات عديدة من "الأفكار الخفية" (تسمى التمثيلات الخفية) قبل إعطاء الإجابة النهائية.

الطريقة القديمة: تحصل فقط على النص النهائي.
طريقة SVIP: يجب على المزود أيضاً أن يرسل لك ملخصاً مضغوطاً لتلك "الأفكال الخفية".
التشبيه: تخيل أن الطباخ لا يرسل لك الحساء فحسب، بل يرسل لك أيضاً عينة صغيرة من المرق من كل مرحلة من مراحل الطهي. إن "ملف النكهة" لهذا المرق فريد من نوعه لوصفة محددة بعينها.

2. "اختبار الوكيل" (اختبار التذوق)

يستخدم النظام "مختبرا تذوق" خاصاً (مهمة وكيلة) تم تدريبه مسبقاً.

تم تدريب هذا المختبر فقط على "الأفكار الخفية" للذكال الاصطناعي الكبير الذي طلبته.
إذا أرسل المزود "الأفكار الخفية" للذكاء الاصطناعي الكبير، سيقول مختبر التذوق: "نعم، هذا يطابق الوصفة الكبيرة تماماً!"
أما إذا زيف المزود الأمر باستخدام ذكاء اصطناعي صغير، فإن "الأفكار الخفية" سيكون مذاقها مختلفاً، وسيقول المختبر: "لا، هذه ليست الوصفة الصحيحة".

3. "الصلصة السرية" (ترقية الأمان)

في البداية، أدرك المؤلفون أن المخادع الذكي يمكنه مجرد حفظ "المذاق الصحيح" وتزييف الأفكار الخفية دون عملية الطهي الفعلية. ولإيقاف ذلك، أضافوا سراً.

كيف يعمل: قبل إرسال الطلب، يمنح النظام المستخدم رمزاً سرياً (مثل كلمة مرور عشوائية) لا يراها المزود أبداً.
يتم خلط "الأفكار الخفية" مع هذا الرمز السري قبل إرسالها مرة أخرى.
النتيجة: لا يمكن للمزود مجرد حفظ الإجابة لأن "الصلصة السرية" تتغير في كل مرة. لا يمكنه تخمين الرمز السري، لذا لا يمكنه تزييف الأفكار الخفية. يجب عليه فعلياً تشغيل الذكاء الاصطناعي الحقيقي للحصول على النتيجة الصحيحة.

لماذا هذا مهم؟

يدعي البحث أن SVIP يتميز بـ:

السرعة: يستغرق أقل من طرفة عين (0.01 ثانية) للتحقق. إنه ليس مثل الطرق الأخرى التي تستغرق ساعات.
الدقة: يكشف المخادعين في كل مرة تقريباً (أقل من 5% احتمال لتجاهل عملية غش، وأقل من 3% احتمال لاتهام طباخ أمين ظلماً).
خفة الوزن: لا يتطلب من المستخدم امتلاك حاسوب خارق؛ إذ يمكن لجهاز كمبيوتر محمول عادي القيام بعملية التحقق.

الخلاصة

إن SVIP هو آلية لبناء الثقة في اقتصاد الذكاء الاصطناعي. فهو يسمح لك بدفع المال لشخص غريب لتشغيل نموذج ذكاء اصطناعي ضخم، مع اليقين بأنه إذا حاول اختصار الطريق واستخدام نموذج أصغر وأرخص، فإن نظام "المصافحة السرية" الخاص بك سيكشفه فوراً. إنه يحول العملية غير المرئية لتفكير الذكاء الاصطناعي إلى شيء يمكنك التحقق منه، مما يضمن حصولك على بالضبط ما دفعت ثمنه.

ملخص تقني: SVIP – نحو استدلال قابل للتحقق لنماذج اللغات الكبيرة مفتوحة المصدر

1. بيان المشكلة

أدى النمو السريع لنماذج اللغات الكبيرة (LLMs) مفتوحة المصدر إلى جعل النشر المحلي غير عملي للمستخدمين الأفراد بسبب المتطلبات الحسابية العالية. وبناءً على ذلك، برز الحوسبة اللامركزية كبديل فعال من حيث التكلفة، حيث يقوم المستخدمون بتفويض استدلال النماذج إلى مزودي خدمات من طرف ثالث (أفراد أو شركات صغيرة) لديهم موارد فائضة.

ومع ذلك، يفرض هذا الإعداد مشكلة ثقة حرجة: الاستدلال القابل للتحقق. فقد يقوم مزود حوسبة خبيث باستبدال النموذج المطلوب ذو السعة الكبيرة (مثل Llama-3.1-70B) بنموذج أصغر وأقل قدرة (مثل Llama-2-7B) بشكل مستتر لتوفير تكاليف الحوسبة، مع الاستمرار في تحصيل رسوم النموذج الأكبر. ونظرًا لأن المزودين غالبًا ما يقدمون وصولًا عبر واجهة برمجة تطبيقات (API) "صندوق أسود" فقط، لا يمكن للمستخدمين اكتشاف عمليات الاستبدال هذه بسهولة. وتواجه الحلول الحالية قيودًا كبيرة:

الطرق التشفيرية (مثل براهين المعرفة الصفرية - Zero-Knowledge Proofs) تفرض أعباء حسابية باهظة (على سبيل المثال، أكثر من 800 ثانية لكل استعلام).
البروتوكولات القائمة على نظرية الألعاب تعتمد على افتراضات غير واقعية حول كون المزودين عقلانيين وغير متعاونين.
العلامات المائية/بصمات الأصابع يتم تنفيذها عادةً من قبل ناشري النماذج، وهي غير مناسبة لسيناريوهات التحقق بين المستخدم والمزود.

الهدف هو تصميم بروتوكول يسمح للمستخدم بالتحقق بثقة عالية من استخدام نموذج محدد في عملية الاستدلال، مع الحفاظ على الكفاءة الحسابية، وانخفاض معدلات الخطأ (الإيجابي والسلبي)، والحفاظ على جودة الإكمال.

2. المنهجية

يقترح المؤلفون SVIP (بروتوكول الاستدلال القابل للتحقق القائم على السر - Secret-based Verifiable Inference Protocol)، والذي يستفيد من التمثيلات الخفية (hidden representations) من عملية استدلال النموذج بدلاً من الاعتماد على البراهين التشفيرية.

2.1. الآلية الجوهرية: المهمة الوسيطة على الحالات الخفية

يعمل البروتوكول بناءً على حدس مفاده أن التمثيلات للحالات الخفية الناتجة عن نموذج معين تحتوي على تواقيع فريدة.

تبادل البيانات: لا يعيد مزود الحوسبة النص المولد فحسب، بل يعيد أيضًا متجهًا مضغوطًا ( $z(x)$ ) من التمثيلات الخفية المعالجة للنموذج المحدد.
المهمة الوسيطة (Proxy Task): يتم تدريب "مهمة وسيطة" حصريًا على التمثيلات الخفية للنموذج المحدد ( $M_{spec}$ ). تقوم هذه المهمة بتحويل التمثيلات الخفية إلى معرف فريد لهذا النموذج.
التحقق: يقوم المستخدم محليًا بتقييم المتجه المرتجع $z(x)$ على المهمة الوسيطة. إذا كان النموذج المستخدم هو $M_{spec}$ ، فيجب أن يؤدي المتجه أداءً جيدًا في المهمة؛ أما إذا تم استخدام نموذج بديل أصغر ( $M_{alt}$ )، فإن الأداء سينخفض بشكل كبير.

2.2. البروتوكول البسيط وثغراته

في البداية، يُقترح بروتوكول بسيط حيث يدرب المستخدم مصنفًا ثنائيًا على الحالات الخفية. ومع ذلك، فإن هذا البروتوكول عرضة لـ هجمات تحسين المتجه المباشرة (Direct Vector Optimization Attacks). فالمزود الخبيث، بمعرفته لدالة التصنيف، يمكنه تجاوز النموذج اللغوي تمامًا، وتحسين متجه $\tilde{z}$ مباشرة ليلبي متطلبات المصنف، ومن ثم إعادته، وبالتالي الغش دون تحمل تكاليف الاستدلال.

2.3. البروتوكول القائم على السر (SVIP)

لمواجهة هجمات التحسين، يقدم SVIP آلية سرية:

تعيين السر: تخصص المنصة سرًا فريدًا ( $s$ ) للمستخدم، ولا يتم مشاركته أبدًا مع مزود الحوسبة.
التوسيم المعتمد على السر: تعتمد دالة التوسيم (labeling function) $y(x, s)$ على السر. لا يمكن للمزود الخبيث تحديد التوسيم الصحيح دون معرفة $s$ .
تضمين السر: يتم تضمين السر $s$ في المهمة كرمز $t_\psi(s)$ ويُدمج مع الحالات الخفية قبل الضغط.
التحقق المستمر: يتحقق التحقق مما إذا كانت المسافة بين مخرجات المهمة الوسيطة المتوقعة ومتجه التوسيم المعتمد على السر أقل من العتبة $\eta$ .

2.4. الدفاع ضد الهجمات التكيفية

يحلل البحث نوعين من الهجمات التكيفية:

هجوم المهايئ (Adapter Attack): يقوم المهاجم بتدريب مهايئ عصبي لرسم خريطة من الحالات الخفية لـ $M_{alt}$ لمحاكاة $M_{spec}$ تحت سر معين.
هجوم استعادة السر (Secret Recovery Attack): يحاول المهاجم الهندسة العكسية للسر $s$ من التضمين المقدم $t_\psi(s)$ عبر جمع العديد من أزواج (السر-التضمين).

آلية الدفاع: يستخدم SVIP آلية تحديث. يتم تدوير الأسرار بعد عدد معين من الاستعلامات ( $M^*$ )، ويتم إعادة تدريب البروتوكول بالكامل بعد استخدام إجمالي عدد من الأسرار ( $N^*$ ). هذا يحد من البيانات التي يمكن للمهاجم جمعها تحت سر واحد، مما يجعل الهجمات غير فعالة.

3. المساهمات الرئيسية

الصياغة الرسمية: صياغة مشكلة استدلال نماذج اللغات الكبيرة القابلة للتحقق بشكل منهجي واقتراح بروتوكول يستفيد من التمثيلات الخفية المعالجة.
الأمن القائم على السر: تقديم آلية سرية مبتكرة تحول التمثيلات الخفية إلى معرفات فريدة تعتمد على السر، مما يحيد بفعالية هجمات تحسين المتجه المباشرة.
التحليل الشامل: تقديم تحليل أمني دقيق ضد السيناريوهات العدائية القوية والتكيفية (هجمات المهايئ واستعادة السر).
التحقق التجريبي: إثبات فعالية البروتوكول عبر 5 نماذج مفتوحة المصدر محددة (من 13 مليار إلى 70 مليار معلمة) و6 نماذج بديلة.

4. النتائج التجريبية

أُجريت التجارب باستخدام مجموعة بيانات LMSYS-Chat-1M وعائلات نماذج متنوعة (Llama, GPT-NeoX, OPT, Falcon).

الدقة:
- معدل الخطأ السلبي (FNR): أقل من 5% باستمرار لكل استعلام (بمتوسط 3.49% عبر النماذج). وهذا يشير إلى أن المزودين الصادقين نادرًا ما يُتهمون خطأً.
- معدل الخطأ الإيجابي (FPR): أقل من 3% باستمرار لكل استعلام عبر جميع النماذج البديلة. وهذا يشير إلى أن المزودين غير الصادقين نادرًا ما يتم تبرئتهم.
- الموثوقية التراكمية: من خلال تجميع النتائج عبر استعلامات متعددة (على سبيل المثال، $B=30$ )، يحقق البروتوكول معدلات منخفضة للغاية لأخطاء النوع الأول والنوع الثاني (على سبيل المثال، خطأ النوع الأول $\approx 1.7 \times 10^{-49}$ لنموذج Llama-3.1-70B مقابل Llama-2-7B).
الكفاءة:
- زمن الاستجابة (Latency): يضيف التحقق عبئًا ضئيلاً، حيث يتطلب أقل من 0.01 ثانية لكل استعلام للمطالبة (prompt) لكل من المستخدم والمزود. وهذا أسرع بمراحل من البدائل التشفيرية (على سبيل المثال، يتطلب zkLLM حوالي 803 ثانية).
- الذاكرة: يتطلب المزود حوالي 980 ميجابايت من ذاكرة GPU لمستخرج الميزات؛ ويتطلب المستخدم حوالي 1428 ميجابايت، وهو أمر ممكن على الأجهزة المحلية القياسية.
المتانة:
- هجوم المهايئ: يقاوم البروتوكول هجمات المهايئ حتى عندما يجمع المهاجم ما بين 400 إلى 800 عينة مطالبة لكل سر.
- استعادة السر: تظل معدلات نجاح المهاجم في استعادة الأسرار أقل من 50% حتى بعد جمع 200,000 زوج من (السر-التضمين). ومع آلية التحديث، يمكن لـ SVIP التعامل بأمان مع 80 إلى 120 مليون استعلام مطالبة قبل الحاجة لإعادة التدريب.
القدرة على التعميم: يحافظ البروتوكول على معدلات FPR/FNR منخفضة على مجموعات بيانات غير مرئية (ToxicChat, Web Questions, GSM8K, Verifiable-Coding-Problems)، مما يظهر متانة عبر مجالات مختلفة.

5. الأهمية والادعاءات

يزعم البحث أن SVIP يوفر توازنًا عمليًا بين الكفاءة الحسابية والأمن، مما يجعل الاستدلال القابل للتحقق ممكنًا لخدمات نماذج اللغات الكبيرة اللامركزية في العالم الحقيقي. وخلافًا للطرق التشفيرية التي تعد بطيئة جدًا للتفاعل في الوقت الفعلي، يتيح SVIP للمستخدمين التحقق من استخدام النموذج بثقة عالية وبأقل زمن استجابة.

يؤكد المؤلفون أنه بينما لا يقدم SVIP ضمانات رياضية صارمة مثل براهين المعرفة الصفرية، فإن معدلات الخطأ المنخفضة لديه جنبًا إلى جنب مع اختبار الفرضيات عبر استعلامات متعددة توفر "مستوى أمنيًا معقولًا وذا معنى عملي". يهدف العمل إلى تعزيز الثقة بين المستخدمين ومزودي الحوسبة، مما يشجع على التبني الأوسع للنماذج مفتوحة المصدر في أنظمة الحوسبة اللامركزية. ويقر المؤلفون بالمخاطر المحتملة لإساءة الاستخدام (مثل الهندسة العكسية)، لكنهم يجادلون بأن تصميم البروتوكول يعطي الأولوية للمتانة ضد هذه المتجهات.