🤖 machine learning

Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification

تكشف هذه الورقة أن بروتوكولات اعتماد النماذج التشفيرية الحالية معرضة لهجمات حيث تسلك النماذج سلوكاً جيداً على مجموعات بيانات التدقيق الثابتة ولكنها تفشل في الممارسة العملية بسبب عدم التحقق من التعميم، وتقترح تعريفات أمنية صارمة ونموذج بروتوكول جديد لضمان سريان الضمانات المعتمدة على البيانات الجديدة من التوزيع نفسه.

المؤلفون الأصليون: Carter Luck, Olive Franzese-McLaughlin, Elisaweta Masserova, Akira Takahashi, Antigoni Polychroniadou, Nicolas Papernot

نُشر 2026-07-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Carter Luck, Olive Franzese-McLaughlin, Elisaweta Masserova, Akira Takahashi, Antigoni Polychroniadou, Nicolas Papernot

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً يمكننا فيه أن نطلب من الحاسوب اتخاذ قرارات مهمة — مثل الموافقة على قرض، أو تشخيص مرض، أو تقرير من يحصل على وظيفة — دون أن نرى أبداً "دماغ" الحاسوب. هذا هو الوعد الذي يقدمه تعلم الآلة الحافظ للخصوصية (Privacy-Preserving Machine Learning). الأمر يشبه استئجار طاهٍ لطهي وصفة عائلية سرية من أجلك؛ أنت تريد تذوق الطبق لتتأكد من أنه لذيذ (دقيق) وعادل (لا يمارس التمييز)، لكنك لا تريد رؤية الوصفة أو المكونات لأنها أسرار تجارية خاصة بالطاهي.

ولحل هذه المعضلة، يستخدم العلماء براهين المعرفة الصفرية (Zero-Knowledge Proofs - ZKPs). فكر في هذا كأنه خدعة سحرية حيث يثبت الطاهي أنه اتبع الوصفة بدقة دون أن يريك المكونات أبداً. إنهم يستخدمون رياضيات معقدة لإنشاء "شهادة" تقول: "أعدك بأن هذا الطبق لذيذ بنسبة 99%"، وتضمن الرياضيات أنهم لا يكذبون. لفترة طويلة، افترض الجميع أنه إذا قالت الرياضيات إن الشهادة صالحة، فإن الطبق سيكون رائع المذاق بغض النظر عن الشخص الذي يتناوله. ولكن ماذا لو استطاع الطاهي خداع الخدعة السحرية؟ ماذا لو طهى نسخة خاصة من الطبق خصيصاً لمختبر التذوق، وهو يعرف بالضبط ما سيطلبه المختبر، بينما يقدم وجبة مختلفة تماماً (وسيئة للغاية) للجميع؟ هذا هو السؤال الذي يطرحه هذا البحث.

عملية سطو على التدقيق: معتمد نظرياً، مكسور عملياً

يكشف هذا البحث، الذي يحمل عنوان "معتمد نظرياً، مكسور عملياً" (Certified in Theory, Broken in Practice)، عن ثغرة مخادعة في كيفية فحص نماذج الذكاء الاصناعي السرية هذه حالياً. اكتشف المؤلفون، وهم فريق من الباحثين من جامعات وشركة جيه بي مورغان (J.P. Morgan)، أن "الشهادات السحرية" المستخدمة للتحقق من نماذج الذكاء الاصطناعي يمكن تزييفها بسهولة إذا عرف منشئ النموذج ما سيكون عليه الاختبار مسبقاً.

الإعداد: اختبار التذوق الأعمى

في العالم الحقيقي، عندما تريد شركة إثبات أن ذكاءها الاصطناعي عادل أو دقيق، فإنها عادة ما تستعين بمدقق. يختار المدقق قائمة من أسئلة الاختبار (مجموعة بيانات) ويطلب من الذكاء الاصطناعي الإجابة عليها. ثم يستخدم مالك الذكاء الاصطناعي "برهان المعرفة الصفرية" ليقول: "انظر، لقد أجبت على 9% من هذه الأسئلة بشكل صحيح، ولم أغش!"

المشكلة هي أنه في العديد من الأنظمة الحالية، يتاح لمالك الذكاء الاصطناعي رؤية أسئلة الاختبار قبل أن يحدد نموذجه النهائي. الأمر يشبه طالباً يحصل على أسئلة الامتحان الدقيقة قبل أسبوع من الاختبار، فيحفظ الإجابات، ثم يسلم ورقة بيضاء تثبت سحرياً أنه كان يعرف الإجابات.

الهجوم: الطهي من أجل القاضي

يوضح المؤلفون أن مالك النموذج الخبيث يمكنه "تزوير" بيانات التدريب الخاصة به لاجتياز التدقيق بينما يفشل في العالم الحقيقي. هم يسمون هذا هجوم تزوير البيانات (Data Forging Attack).

إليك كيف تعمل الخدعة، باستخدام تشبيه شجرة القرار (Decision Tree) (وهي مخطط انسيابي لاتخاذ القرارات):

الإعداد: يعطي المدقق لمالك النموذج قائمة محددة من 1,000 سؤال اختبار (مجموعة بيانات التدقيق).
الخدعة: يأخذ مالك النموذج هذه الـ 1,000 سؤال وينشئ آلاف النقاط "المجاورة" حولها. يضيف هذه النقاط الجديدة إلى بيانات التدريب الخاصة به، لكنه يعكس الإجابات (التسميات/Labels) على هذه الجيران. كما يضيف قاعدة إلى نموذجه: "إذا بدا السؤال مطابقاً تماماً لأحد أسئلة الاختبار الـ 1,000، أعطِ الإجابة الصحيحة. وإذا بدا مختلفاً ولو قليلاً (مثل نقاط الجيران الجديدة لدينا)، أعطِ الإجابة الخاطئة".
النتيجة: عندما يقوم المدقق بتشغيل الاختبار، يحصل النموذج على 99% أو حتى 100% بشكل صحيح لأنه حفظ الاختبار. ويتحقق برهان المعرفة الصفرية، ويتم اعتماد النموذج على أنه "عالي الدقة".
الخيانة: ولكن بمجرد نشر النموذج في العالم الحقيقي ومواجهته لبيانات جديدة (حتى لو كانت بيانات تشبه جداً بيانات الاختبار)، فإنه يفشل فشلاً ذريعاً. في تجارب البحث، النماذج التي اجتازت الاختبار بدقة 99% انخفضت إلى أقل من 30% من الدقة عند مواجهة بيانات جديدة وطازجة.

اختبر المؤلفون هذا أيضاً في عمليات تدقيق العدالة. أظهروا أن النموذج يمكن أن يبدو عادلاً تماماً في قائمة الاختبار (يعطي معدلات موافقة متساوية لمجموعات مختلفة) ولكنه قد يكون غير عادل بشكل صارخ في العالم الحقيقي، حيث يرفض القروض لمجموعات معينة في كل مرة تقريباً.

لماذا لا تنجح الفحوصات البسيطة؟

قد تتساءل: "مهلاً، ألا يمكن للمدقق فقط التحقق مما إذا كانت بيانات التدريب تشبه بيانات الاختبار؟" يوضح البحث أن المهاجمين أذكياء بما يكفي لخداع حتى الاختبارات الإحصائية القياسية. من خلال إضافة نسخ إضافية من بيانات الاختبار في مجموعة التدريب، يجعل المهاجم المجموعتين تبدوان متطابقتين إحصائياً. الاختبارات مثل اختبار ويلش (Welch's t-test) (وهي طريقة شائعة لمعرفة ما إذا كانت مجموعتان من الأرقام تأتيان من نفس المصدر) ستنظر إلى البيانات وتقول: "نعم، تبدو هاتان المجموعتان متشابهتين!" رغم أن النموذج مُتلاعب به سراً.

أجرى المؤلفون عمليات محاكاة على ست مجموعات بيانات مختلفة من الواقع (مثل حالات التعثر في سداد بطاقات الائتمان أو سجلات التوظيف) ووجدوا أن هذا الهجوم يعمل بشكل موثوق. حتى أنهم أظهروا أن الهجوم يعمل على نماذج أكثر تعقيداً مثل XGBoost والشبكات العصبية (Neural Networks)، وليس فقط أشجار القرار البسيطة.

الحل: الاختبار المفاجئ

إذاً، كيف نصلح هذا؟ يقترح البحث طريقة جديدة لإجراء هذه التدقيقات، والتي يسمونها شهادة نموذج التشفير الآمن (Secure Cryptographic Model Certification - CMC).

الفكرة الرئيسية بسيطة ولكنها قوية: يجب على مالك النموذج أن يحدد نموذجه نهائياً قبل أن يرى أسئلة الاختبار.

تخيل لعبة حيث:

الطالب (مالك النموذج) يكتب إجاباته على ورقة ويضعها في صندوق مغلق (التزام تشفيري/Cryptographic Commitment).
فقط بعد إغلاق الصندوق، يقوم المعلم (المدقق) بتسليم أسئلة الامتحان له.
ثم يستخدم الطالب البرهان السحري ليظهر أنه أجاب على الأسمايل بناءً على ما هو موجود داخل الصندوق.

بما أن الطالب لم يستطع رؤية الأسئلة عندما أغلق الصندوق، لم يكن بإمكانه تزييف الإجابات. يثبت البحث رياضياً أنه إذا اتبعت ترتيب "الالتزام-العينات-البرهان" (Commit-Sample-Prove)، فإن النموذج يجب أن يكون جيداً حقاً في المهمة، وليس مجرد جيد في اجتياز الاختبار.

ماذا يعني هذا؟

يؤكد المؤلفون بحذر أنهم لا يقولون إن الرياضيات القديمة "مكسورة" أو أن براهين المعرفة الصفرية نفسها خاطئة. الرياضيات تعمل بشكل مثالي؛ فقط قواعد اللعبة كانت معيبة. القواعد القديمة سمحت لمالك النموذج بالغش عبر معرفة الاختبار مسبقاً.

هذا البحث بمثابة جرس إنذار. فهو يوضح أنه لكي يكون الذكاء الاصطناعي الحافظ للخصوصية جديراً بالثقة حقاً، لا يمكننا الاعتماد فقط على اختبار لمرة واحدة مع مجموعة بيانات معروفة. نحن بحاجة إلى ضمان أن يكون الاختبار مفاجئاً، أو نحتاج إلى الاستمرار في فحص النموذج باستمرار باستخدام بيانات جديدة. وبدون هذه التغييرات، نُخاطر بنشر أنظمة ذكاء اصطناعي معتمدة على أنها "مثالية" ولكنها في الواقع معطلة في العالم الحقيقي.

ملخص تقني: معتمد نظرياً، مكسور عملياً

بيان المشكلة

تتناول الورقة ثغرة أمنية حرجة في بروتوكولات شهادة النماذج التشفيرية (CMC) المستخدمة في تدقيق تعلم الآلة الحافظ للخصوصية. بينما تستخدم أطر عمل CMC الحالية براهين المعرفة الصفرية (ZKPs) والالتزامات التشفيرية للتحقق من خصائص النموذج (مثل الدقة، والعدالة، والخصوصية التفاضلية) دون الكشف عن التفاصيل الداخلية للنموذج أو بيانات التدريب، إلا أنها تعاني من فجوة افتراضية جوهرية.

عادةً ما تشهد التعريفات الأمنية الحالية بأن النموذج يستوفي خاصية $f$ على مجموعة بيانات تدقيق ثابتة $S_{audit}$ . ومع ذلك، فهي تفشل في ضمان أن هذه الخاصية ستعمم على توزيع البيانات الأساسي $D$ الذي سُحبت منه $S_{audit}$ . يجادل المؤلفون بأنه إذا عرف مزود النموذج (المُثبِت/prover) مجموعة بيانات التدقيق قبل الالتزام بنموذجه، فيمكنه الانخراط في هجمات تزوير البيانات. فمن خلال هندسة بيانات التدريب بعناية، يمكن لمزود خبيث إنتاج نموذج يجتاز تدقيق التشفير (بإظهار سلوك "حميد" على $S_{audit}$ ) بينما يُظهر سلوكاً "مرضياً" على عينات جديدة من نفس التوزيع $D$ . وهذا يخلق شعوراً زائفاً بالأمان، مما يسمح بنشر نماذج تفشل في تلبية الضمانات المقصودة في السيناريوهات الواقعية.

المنهجية

1. نموذج التهديد ولعبة الهجوم

يصيغ المؤلفون نموذج تهديد يتضمن مزود نموذج خبيث (المُثبِت) ومدققاً أميناً ولكن فضولياً (المُحقِّق/verifier). ويقدمون لعبة التدريب التكيفي مع بيانات التدقيق المعروفة (التعريف 3) لتوضيح الثغرة:

الإعداد: يتلقى الخصم مجموعة بيانات تدقيق $S_{audit} \sim D^\ell$ .
الهدف: يُخرج الخصم فرضية $h$ $h$ وبيانات تدريب $S_{train}$ $S_{t r ain}$ بحيث:
1. يجتاز النموذج التدقيق: $f(h, S_{train}, S_{audit}) = 1$ .
2. يفشل النموذج في تحقيق الخاصية الأمنية الحقيقية على التوزيع: $F(h, S_{train}) = 0$ .
3. يستوفي النموذج محدد المنفعة $L$ (على سبيل المثال، تعظيم رفض المطالبات لشركة تأمين).

2. هجمات تزوير البيانات

تقدم الورقة ثلاث استراتيجيات ملموسة لتزوير البيانات تتجاوز الدفاعات التشفيرية القياسية (ZKPs والالتزامات) دون تغيير عملية التدريب نفسها، بل من خلال التلاعب بالبيانات المدخلة:

الهجوم على الدقة: باستخدام الخوارزمية 1، يبني المهاجم مجموعة تدريب $S'_{train}$ تحتوي على نقاط التدقيق ذات التصنيفات الصحيحة، مضافاً إليها جيران مشوهين بمقدار $\epsilon$ مصنفين بالتصنيف المعاكس. عند التدريب على هذه البيانات (باستخدام أشجار القرار مثلاً حتى تجانس الأوراق)، يحقق النموذج دقة مثالية على $S_{audit}$ ولكنه يتنبأ بالتصنيف المعاكس لأي نقطة خارج الجوار $\epsilon$ لبيانات التدقيق، مما يؤدي إلى دقة تقترب من الصفر على بقية التوزيع.
الهجوم على العدالة: باستخدام الخوارزمية 2، يتلاعب المهاجم بالسمات الحساسة والتصنيفات. في مجموعة التدقيق، يتم عشوائية التصنيفات لضمان التكافؤ الديموغرافي (لتبدو عادلة). وفي بقية التوزيع، يتعلم النموذج التنبؤ بناءً على السمات الحساسة، مما يؤدي إلى أقصى درجات عدم العدالة.
الهجوم على الخصوصية التفاضلية (DP): باستخدام الخوارزمية 3، يقوم المهاجم بتكرار نقاط بيانات محددة في مجموعة التدريب. بما أن حساسية الخصوصية التفاضلية تعتمد على التغير في المخرجات عند تعديل سجل واحد، فإن تكرار السجلات يكسر افتراضات الحساسية، مما يسمح للمهاجم بتدريب نموذج بضمانات خصوصية أسوأ بكثير مما هو مدعى به، بينما لا يزال يجتاز برهان ZKP لـ "إجراء تدريب DP صحيح".

3. التهرب الإحصائي

يوضح المؤلفون أن مجموعات البيانات المزورة هذه لا يمكن تمييزها عن مجموعات البيانات الأمينة تحت الاختبارات الإحصائية القياسية. فمن خلال إضافة نسخ كافية من بيانات التدقيق إلى مجموعة التدريب، يضمن المهاجم أن بيانات التدريب وبيانات التدقيق يجتازان اختبار Welch's t-test و اختبار Levene (التحقق من تساوي المتوسط والتباين) باحتمالية عالية، مما يجعل الكشف الإحصائي غير فعال.

4. قالب CMC آمن

للتخفيف من هذه الهجمات، يقترح البحث قالب بروتوكول الالتزام-العينة-البرهان ( $\Pi_{csp}$ ):

الالتزام: يلتزم مزود النموذج أولاً بنموذجه $h$ (ويمكن اختيارياً ببيانات التدريب) باستخدام مخطط التزام تشفيري.
العينة: فقط بعد استلام الالتزام، يقوم المدقق بأخذ عينة من مجموعة بيانات التدقيق $S_{audit}$ من التوزيع $D$ .
البرهان: ينفذ المزود والمدقق برهان معرفة صفرية (ZKP) للتحقق من أن النموذج الملتزم به يستوفي المحدد التجريبي $f$ على $S_{audit}$ التي تم أخذ عينتها حديثاً.

يضمن هذا الترتيب أن $S_{audit}$ مستقلة عن النموذج $h$ وعن بيانات التدريب، مما يمنع المزود من تفصيل البيانات لتناسب مجموعة التدقيق. يقدم المؤلفون تعريفات رسمية لـ $\tilde{F}$ -relaxed knowledge soundness، مما يضمن أنه إذا اجتاز النموذج التدقيق، فإنه يستوفي الخاصية المطلوبة $F$ على التوزيع (ضمن هامش خطأ صغير وقابل للقياس مستمد من علاقات التركيز).

المساهمات الرئيسية

تحديد الثغرات المعتمدة على البيانات: تحدد الورقة أن مخططات CMC الحالية معرضة لتزوير البيانات عندما تكون مجموعة بيانات التدقيق معروفة للمزود قبل الالتزام بالنموذج. وتسمح هذه الفجوة بشهادة نماذج يمكن وصفها بأنها "مكسورة عملياً" رغم اجتيازها للتدقيقات النظرية.
البرهان التجريبي للهجمات: من خلال التجارب على ست مجموعات بيانات مرجعية (مثل Adult، COMPAS، German Credit) باستخدام أشجار القرار، وXGBoost، والشبكات العصبية، يوضح المؤلفون أن:
- النماذج يمكن أن تحقق دقة >99% على بيانات التدقيق بينما تنخفض إلى <30% على العينات الجديدة.
- النماذج يمكن أن تبدو عادلة تماماً في تدقيق التدقيق بينما تكون غير عادلة لأقصى حد في النشر.
- هذه الهجمات تتملص من الكشف بواسطة الاختبارات الإحصائية القياسية (Welch's t-test).
دراسة حالة منهجية: حلل المؤلفون تسعة أعمال حديثة في مجالات الأمن وتعلم الآلة (بما في ذلك zkCNN و Confidential-DPproof و OATH). ووجدوا أن ستة من هذه الأعمال معرضة جزئياً لأنها إما تستخدم مجموعات بيانات عامة للتدقيق أو تفشل في فرض الالتزام قبل الكشف عن مجموعة البيانات.
إطار أمني رسمي: تقدم الورقة تعريفات أمنية صارمة مصممة لـ CMC، تميز بين الضمانات الخاصة بمجموعة بيانات محددة والضمانات التوزيعية. كما توفر قالب بروتوكول عام ( $\Pi_{csp}$ ) وتثبت أمنه تحت الافتراضات التشفيرية القياسية، مما يضمن أن الخصائص المعتمدة تعمم على التوزيع الأساسي.

النتائج

الثغرة: في لعبة الهجوم، نجح الخصوم في اجتياز عمليات تدقيق تتطلب دقة 99% بينما حققوا فقط حوالي 30% دقة على بيانات الاختبار. وبالمثل، اجتازت النماذج عمليات تدقيق العدالة بفجوات تفاوت شبه معدومة، بينما أظهرت تفاوتاً يقترب من الحد الأقصى في مرحلة النشر.
عدم القدرة على الكشف: اجتازت مجموعات التدريب المزورة اختبارات Welch's t-tests و Levene's tests ضد مجموعة بيانات التدقيق بمستويات دلالة $\alpha=0.05$ ، مما يثبت أن الفحوصات الإحصائية لا يمكنها التمييز بشكل موثوق بين بيانات التدريب الخبيثة والأمينة في هذا السياق.
استعادة الأمن: أظهرت الورقة أن قالب $\Pi_{csp}$ المقترح متوافق مع إنشاءات ZKP الحالية (على سبيل المثال، لأشجار القرار والشبكات العصبية التلافيفية). ومن خلال تطبيق ترتيب "الالتزام ثم العينة"، يتم استعادة أمن هذه البروتوكولات، مما يمنع هجمات تزوير البيانات.

الأهمية والادعاءات

تدعي الورقة أن نتائجها تعمل كـ أدلة تحذيرية بدلاً من كونها إعلاناً بأن الأعمال التشفيرية السابقة مكسورة تقنياً. والادعاء الجوهري هو أن الضمانات الأمنية التي توفرها أطر عمل CMC الحالية لا تتماشى مع المتطلبات العملية للتدقيق، والتي تتطلب أن تسري الخصونة المعتمدة على بيانات جديدة من نفس التوزيع، وليس فقط على مجموعة تدقيق محددة.

يؤكد المؤلفون على ما يلي:

حلول التدقيق الآمنة التي تستخدم مجموعات بيانات عامة معروفة أو تعيد استخدام مجموعات بيانات الاختبار (حيث يتعرف المزود على البيانات) من غير المرجح أن توفر ضمانات قوية.
أهمية أخذ عينات مستمرة من بيانات جديدة أو استخدام آليات تشفيرية تخفي بيانات التدقيق حتى يتم الالتزام بالنموذج، وهو أمر بالغ الأهمية لبنية تحتية ناجحة للتدقيق.
يجب أن تعالج التصاميم المستقبلية للتدقيق الآمن تشفيرياً الفجوة بين شهادة مجموعة البيانات والتعميم التوزيعي، مما يتطلب تواصلاً وثيقاً بين مجتمعات التشفير والأمن وتعلم الآلة.

لا تدعي الورقة حل جميع تحديات الخصوصية في التدقيق (على سبيل المثال، لا يزال الحصول على شهادة DP فعالة أمراً صعباً بسبب الحاجة إلى توليد بيانات تدريب موثوقة)، ولكنها توفر إطاراً تأسيسياً وقالب بروتوكول محدد للتخفيف من ثغرات تزوير البيانات المحددة.