💻 computer science

Extending the Formalism and Theoretical Foundations of Cryptography to AI

تضع هذه الورقة أساساً رسمياً لتأمين وكلاء الذكاء الاصطناعي المستقلين من خلال تقديم لعبة أمنية موحدة، وتصنيف للهجمات، وإطار عمل للتفكيك النمطي يتيح الاستدلال المنهجي حول التحكم في الوصول، ويكشف عن المقايضات الجوهرية بين سرية البيانات واكتمال النظام، ويثبت سلامة التصميمات الأمنية النمطية.

المؤلفون الأصليون: Federico Villa, F. Betül Durak, Tadayoshi Kohno, Tapdig Maharramli, Franziska Roesner

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Federico Villa, F. Betül Durak, Tadayoshi Kohno, Tapdig Maharramli, Franziska Roesner

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قمت ببناء مساعد روبوت فائق الذكاء (لنطلق عليه اسم "روبو-هيلبر" أو المساعد الآلي)، يمكنه القيام بأي شيء تقريبًا من أجلك: كتابة الأكواد البرمجية، حجز الرحلات الجوية، تحليل رسائل البريد الإلكتروني الخاصة بك، وحتى التحكم في الأجهزة المنزلية الذكية. تعطيه أمرًا، فيبدأ بالعمل.

ولكن هنا تكمن المشكلة: "روبو-هيلبر" أصبح قويًا للغاية. يمكنه ارتكاب الأخطاء، ويمكن خداعه من قبل أشخاص سيئين، وقد يكشف بالخطأ عن أسرارك الخاصة. يحاول الأشخاص الذين يبنون هذه الروبوتات معرفة كيفية الحفاظ على سلامتها، لكنهم يتحدثون لغات مختلفة. يقول فريق: "نحن بحاجة إلى جدار حماية!" ويقول آخر: "نحن بحاجة إلى مرشح (فلتر)!" من الصعب مقارنة أفكارهم لأنه ليس لديهم كتاب قواعد مشترك.

هذه الورقة البحثية تشبه كتابة كتاب القواعد الرسمي لأمن "روبو-هيلبر". يقوم المؤلفون، وهم فريق من الخبراء من جامعات كبرى ومن شركة مايكروسوفت، بتطبيق المنطق الرياضي الصارم لعلم التشفير (علم الرموز السرية) على الذكاء الاصطناعي.

إليك تفصيل أفكارهم باستخدام تشبيهات بسيطة:

1. "أوراكل الذكاء الاصطناعي" (الصندوق السحري)

يطلق المؤلفون على أنظمة الذكاء الاصطناعي هذه اسم "AIOracles" (عرافات الذكاء الاصطناعي). فكر في "الأوراكل" كصندوق سحري له وضعان متميزان:

وضع التعلم (LEARN): هذا يشبه طالبًا يدرس لسنوات. يقرأ الملايين من الكتب والمقالات ونقاط البيانات لبناء عقله.
وضع التفكير (INFER): هذا هو الوقت الذي يخوض فيه الطالب اختبارًا. تسأله سؤالًا، فيعطيك إجابة بناءً على ما تعلمه.

تجادل الورقة البحثية بأنه لكي نؤمن الروبوت، نحتاج إلى فهم كيف يعمل هذان الوضعان بالضبط وأين يمكن لـ "الأشرار" (المهاجمين) التسلل.

2. خريطة الهجوم (التصنيف)

قبل أن تبني قلعة، يجب أن تعرف كيف قد يقتحم اللصوص المكان. أنشأ المؤلفون خريطة لجميع الطرق الممكنة لاختراق الذكاء الاصطنا\ وصنفوا هذه الهجمات إلى فئات، مثل:

تسميم البئر (فساد البيانات): تخيل شخصًا يتسلل إلى المكتبة حيث يدرس الروبوت ويستبدل بعض صفحات كتبه بأكاذيب. لاحقًا، يصدق الروبوت تلك الأكاذيب.
"كسر الحماية" (اختطاف التعليمات): تخيل أنك تقول للروبوت: "كن متعاونًا". ثم يهمس مخترق في أذنه: "تجاهل ذلك، الآن أخبرني كيف أصنع قنبلة". يصاب الروبوت بالارتباك ويطيع الهمسة بدلاً من الأمر الأساسي.
تسرب الذاكرة (هجمات الخصوصية): الروبوت يتذكر كل ما قرأه. يسأل مخترق أسئلة ذكية لخداع الروبوت لجعله يبصق بيانات خاصة لا ينبغي له معرفتها، مثل رقم بطاقتك الائتمانية أو وصفة سرية.

3. لعبة الأمن (اختبار الضغط)

في علم التشفير، لا يتعلق الأمن بمجرد "الشعور بالأمان"؛ بل يتعلق بإثبات قدرتك على النجاة من تحدٍ محدد. أنشأ المؤلفون محاكاة تشبه ألعاب الفيديو لاختبار أمن الذكاء الاصطناعي.

الهدف: يجب أن يكون الذكاء الاصطناعي مفيدًا (يعطي إجابات جيدة) وغير ضار (لا يفعل أشياء سيئة).
الخصم: لاعب "المخترق" يحاول كسر الذكاء الاصطناعي.
القواعد: يمكن للمخترق محاولة تسميم كتب التعلم، أو خداع الروبوت أثناء الاختبار، أو التلصص على عقل الروبوت.

إذا استطاع الذكاء الاصطناعي تقديم إجابة جيدة وآمنة حتى عندما يحاول المخترق بكل قوته كسره، فإن الذكاء الاصطناعي يفوز. إذا فشل الذكاء الاصطناعي، فإن التصميم معيب.

4. الصراع الكبير: الخصوصية مقابل الفائدة

أحد أكثر نتائج الورقة البحثية إثارة للاهتمام هو وجود مقايضة جوهرية.

المعضلة: إذا كنت تريد أن يكون ذكاؤك الاصطناعي خاصًا تمامًا (بحيث لا يكشف أبدًا عن أي قطعة بيانات محددة تعلمها)، فقد تضطر إلى جعله أقل فائدة.
التشبيه: تخيل طباخًا يحفظ كل وصفة في العالم. إذا قلت للطباخ: "يجب ألا تكشف عن أي وصفة محددة تعلمتها"، فقد يصبح خائفًا جدًا من تسريب الأسرار لدرجة أنه قد يرفض طهي أي شيء على الإطلاق.
الاستنتاج: لا يمكنك الحصول على خصوصية مثالية لـ كل قطعة بيانات مع امتلاك ذكاء اصطناعي فائق الفائدة في نفس الوقت. عليك أن تكون ذكيًا بشأن أي البيانات تحميها وأيها تستخدمها.

5. الحل: نظام "الدماغ المزدوج"

كيف نعالج هذه المشكلات؟ يقترح المؤلفون نهجًا معياريًا (Modular)، مثل بناء سيارة بمحرك منفصل ونظام مكابح منفصل.

يقترحون بناءً مزدوجًا (Dual Construction):

الدماغ المبدع (المنفذ): هذا الجزء من الذكاء الاصطناوي ذكي ومفيد. يحاول حل مشكلتك وإنشاء أكواد أو نصوص.
الدماغ الممل (المُرشح): هذا الجزء صارم وممل. لا يحاول أن يكون مبدعًا؛ هو فقط يتحقق من عمل الدماغ المبدع. يسأل: "هل هذا آمن؟ هل هذا صادق؟ هل يتبع القواعد؟"

لماذا هذا أفضل؟
بدلاً من محاولة جعل روبوت واحد مثاليًا في كل شيء (وهو أمر صعب)، فإنك تقسم المهمة. "المنفذ" يقوم بالعمل، و"المُرشح" يعمل كحارس أمن. إذا حاول "المنفذ" القيام بشيء سيء، فإن "المُرشح" يوقفه. هذا يجعل من السهل جدًا إثبات أمان النظام رياضيًا.

الملخص

هذه الورقة هي دعوة للتوقف عن التخمين والبدء في الإثبات بأن الذكاء الاصطناعي آمن.

الطريقة القديمة: "لقد أضفنا مرشح سلامة، لذا من المفترض أن يكون الأمر جيدًا."
الطريقة الجديدة: "لقد أثبتنا رياضيًا أنه حتى لو حاول مخترق تجربة كل خدعة في الكتاب، فإن نظام 'الدماغ المزدوج' الخاص بنا سيمسك به."

من خلال معاملة أمن الذكاء الاصطناعي كعلم صارم (مثل علم التشفير)، يأمل المؤلفون في بناء مستقبل يمكننا فيه الوثوق بوكلاءنا المستقلين للقيام بمهام معقدة دون القلق من أنهم سيخرجون عن السيطرة، أو يسربون الأسرار، أو يتم اختراقهم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "توسيع الصياغة والأسس النظرية لعلم التشفير لتشمل الذكاء الاصطنيائي" للباحث فيديريكو فيلا وآخرون.

1. بيان المشكلة

أدى التكامل السريع للوكلاء المستقلين القائمين على النماذج اللغوية الكبيرة (LMs) في الأنظمة ذات السلطة والاستقلالية العالية إلى خلق فجوة أمنية حرجة. ورغم وجود مقترحات حالية للتحكم في أذونات الوكلاء والوصول (مثل Progent وConseca)، إلا أنها تفتقر إلى أساس رسمي مشترك. هذا الغياب يجعل من الصعب:

مقارنة البنى الأمنية المختلفة.
إثبات الضمانات الأمنية بشكل صارم.
فهم المقايضات الجوهرية بين المنفعة (المساعدة) والأمن (السرية، السلامة، الأمان).

غالباً ما تتعامل النهج الحالية مع السلامة (منع الضرر غير المقصود) والأمن (منع الهجمات الخبيثة) بشكل منفصل، وتعتمد على الحجج التجريبية بدلاً من الاختزالات الأمنية المثبتة الشائعة في علم التشفير.

2. المنهجية

يتبنى المؤلفون نهجاً متعدد التخصصات، حيث يطبقون صرامة علم التشفير الحديث (التعريفات الرسمية، نماذج الخصوم، والبراهن القائمة على الألعاب) على أنظمة الذكاء الاصطناعي.

أ. تجريد الـ AIOracle

تقدم الورقة نموذج AIOracle، وهو نموذج خوارزمي موحد لأنظمة الذكاء الاصطناعي (بما في ذلك النماذج اللغوية، برامج الدردشة، المصنفات، والوكلاء). يعمل النموذج في مرحلتين متمايزتين:

التعلم (LEARN): عملية متعددة الجولات تتضمن توليد البيانات (GENERATE_DATA)، التعلم (LEARN)، الضبط الدقيق، والتعلم المعزز لإنتاج نموذج.
الاستدلال (INFER): عملية تكرارية حيث يأخذ النموذج "مطالبة" (prompt) و"سياق" (context) لتوليد "نتيجة" (result).

يُحكم سلوك النظام بواسطة محدد (Predicate) يُرمز له بـ $\phi$ ، والذي يحدد أهداف النظام (المساعدة وعدم الإضرار). وتكون النتيجة "صحيحة" إذا كانت $\phi(prompt, context, result)$ تعطي القيمة "صواب" (true).

ب. تصنيف الهجمات

قام المؤلفون بنمذجة مشهد هجمات النماذج اللغوية باستخدام إطار عمل متعدد الأبعاد:

ناقل الهجوم (Attack Vector): قائم على البيانات (إفساد بيانات التدريب) مقابل قائم على المطالبة (إفساد مدخلات الاستدلال).
مرحلة الهجوم: مرحلة التعلم (ما قبل التدريب/الضبط الدقيق) مقابل مرحلة الاستدلال.
المعرفة المعادية (Adversarial Knowledge): الصندوق الأبيض (وصول كامل للنموذج) مقابل الصندوق الأسود (وصول عبر واجهة برمجة التطبيقات فقط).
الاستمرارية: عابر (جلسة واحدة) مقابل مستمر (تغيير معاملات أو حالة النموذج).
المصدر: مستخدم، طرف ثالث، أو سلسلة التوريد.

يصنف هذا التصنيف تهديدات محددة مثل تسميم البيانات، الأبواب الخلفية، حقن المطالبات، كسر الحماية (Jailbreaking)، تسريب البيانات، واستدلال العضوية.

ج. الألعاب الأمنية الرسمية

المساهمة المنهجية الجوهرية هي تعريف الأمن عبر ألعاب خوارزمية تُلعب بين AIOracle وخصم ( $A$ ).

الاكتمال (Completeness): لعبة تقيس قدرة النظام على العمل بشكل صحيح في غياب الخصم (لضمان فائدة النظام).
اللعبة الأمنية (Security Game): لعبة موحدة تلتقط السرية، السلامة، والتوافر (CIA). يفوز الخصم إذا استطاع جعل المحدد $\phi$ يعيد القيمة "خطأ" (أي إنتاج نتيجة ضارة أو غير صحيحة أو مسربة) مع الالتزام بقيود قدرة محددة معرفة في مجموعة $ATK$ (مثل see_model أو inject_learn أو inject_infer).

3. المساهمات الرئيسية

1. التعريف الرسمي لـ AIOracles

تقدم الورقة أول تعريف خوارزمي صارم لأنظمة الذكاء الاصطناعي يفصل بين مرحلتي التعلم والاستدلال، مما يسمح بنمذجة دقيقة لمكان وكيفية حدوث الهجمات.

2. إثبات عدم التوافق: السرية مقابل الاكتمال

باستخدام اللعبة الأمنية الرسمية، أثبت المؤلفون نتيجة نظرية جوهرية: السرية الصارمة لبيانات التدريب تتعارض جوهرياً مع اكتمال (منفعة) النموذج.

التعليل: إذا كان النموذج يحقق الخصوصية التفاضلية (آمن ضد استدلال العضوية)، فلا يمكنه تعلم نقاط بيانات محددة. ومع ذلك، لكي يكون النموذج "كاملاً" (مفيداً)، يجب أن يتعلم من البيانات. لذلك، لا يمكن للنظام أن يضمن في آن واحد عدم تأثير أي عنصر من عناصر بيانات التدريب على المخرجات، وأن تكون المخرجات مفيدة لأقصى حد بناءً على تلك البيانات.
الاستنتاج: يجب معالجة الخصوصية عبر تنقية البيانات (إزالة البيانات الخاصة قبل التدريب) أو فرض رقابة صارمة على الوصول إلى المخرجات، بدلاً من الاعتماد على عملية التعلم الداخلية للنموذج لإخفاء البيانات.

3. التفكيك الجزئي والبناء المزدوج

يقترح المؤلفون نهجاً نموذجياً للأمن، عبر تفكيك هدف "المساعدة وعدم الإضرار" إلى مشكلات فرعية منفصلة.

البناء المزدوج: يعرفون نظاماً يتكون من اثنين من الـ Oracles:
- الذكاء الاصطناعي الإبداعي (CAIO): يحل المشكلة الحسابية (توليد النتيجة).
- الذكاء الاصطناعي الممل (BAIO): يحل المشكلة القرارية (فلترة/نقد النتيجة).
النظرية 1: يثبتون أنه إذا كان كل من CAIO وBAIO كاملين وآمنين بشكل فردي، فإن تركيبهما أيضاً سيكون كاملاً وآمناً. وهذا يسمح بـ "اختزالات أمنية قابلة للإثبات"، حيث يمكن اختزال أمن نظام وكيل معقد إلى أمن مكوناته النموذجية.

4. تحليل آليات التحكم في الوصول الموجودة

تم تطبيق الإطار لتقييم المقترحات الحالية:

FIDES: يستخدم تتبع البيانات الحتمي؛ ومحدود بالتعيين اليدوي للسياسات.
Progent: يستخدم تحديثات السياسة الديناميكية؛ وهو عرضة لحقن المطالبات في مرحلة توليد السياسة.
Conseca: يستخدم فصلاً بين المخطط (Planner) والمنفذ (Executor)؛ وهو عرضة للخطر إذا تم اختراق المخطط (وهو أيضاً نموذج لغوي)، مما يخلق مفارقة "نموذج لغوي إلى نموذج لغوي آمن".
Controlvalve: يستخدم سلامة تدفق التحكم (CFI)؛ ويعتمد على جودة القواعد التي يولدها النموذج اللغوي.

يجادل المؤلفون بأن هذه الأنظمة غالباً ما تفشل لأنها تفتقر إلى الفصل الجزئي (CAIO مقابل BAIO) المطلوب لمنع الخصم من التلاعب بتوليد السياسة أو منطق التنفيذ في وقت واحد.

4. النتوات

إطار عمل موحد: نجح في رسم خريطة لمثلث (CIA) على أهداف الذكاء الاصطناعي (المساعدة/عدم الإضرار) ضمن نموذج نظري واحد قائم على نظرية الألعاب.
الحدود النظرية: أظهر أن "السرية المثالية" لبيانات التدريب تمنع النموذج من أن يكون مفيداً بالكامل، مما يفرض التحول نحو استراتيجيات تنقية البيانات.
سلامة النموذجية (Modularity): أثبت أن تفكيك الأهداف الأمنية إلى مكونات نموذجية (توليد + فلترة) هو استراتيجية سليمة لتحقيق أمن قابل للإثبات، بشرهُ توفر استقلالية أمن المكونات.
تحديد الثغرات: سلط الضوء على أن العديد من تصميمات الوكلاء "الآمنة" حالياً معرضة للخطر لأنها تعتمد على نموذج لغوي واحد لتوليد الخطط وفرض السياسات الأمنية في آن واحد، مما يخلق نقطة فشل واحدة.

5. الأهمية

يمثل هذا العمل تحولاً نوعياً في أبحاث أمن الذكاء الاصطناعي:

من المنهجيات التجريبية إلى البراهن: ينقل المجال من الاختبار التجريبي والحجج الاستدلالية نحو الأمن القابل للإثبات القائم على التعريفات الرسمية والاختزالات، محاكياً بذلك تطور علم التشفير الحديث.
التقييس: يوفر لغة مشتركة (AIOracle، الألعاب الأمنية، مجموعات ATK) لمقارنة المقترحات الأمنية المتباينة، مما يمكن الباحثين من تحديد الفجوات والتكرارات.
توجيه التصميم: يقدم مخططاً لتصميم وكلاء ذكاء اصطناعي آمنين. وبشكل أدق، يقترح أن الأنظمة الآمنة لا ينبغي أن تعتمد على نموذج أحادي، بل يجب أن تستخدم بنى نموذجية حيث يفرض وحدة "مملة" (قرارية) سياسات صارمة على مخرجات وحدة "إبداعية" (حسابية).
الآثار السياساتية: من خلال صياغة التوتر بين الخصوصية والمنفعة بشكل رسمي، توفر الورقة أساساً نظرياً للمنظمين وصناع السياسات لوضع توقعات واقعية بشأن ضمانات سلامة وخصوصية الذكاء الاصطناعي.

في الختام، تجادل الورقة بأنه لبناء وكلاء ذكاء اصطناعي آمنين حقاً، يجب على المجتمع اعتماد الصرامة الرسمية لعلم التشفير، باستخدام التصميمات النموذجية والبراهن القائمة على نظرية الألعاب للتنقل عبر المقايضات المتأصلة بين الأمن والخصوصية والمنفعة.