🤖 AI

Security awareness in LLM agents: the NDAI zone case

تُظهر هذه الورقة أنه بينما يمكن لوكلاء النماذج اللغوية الكبيرة الحاليين اكتشاف المخاطر الأمنية بشكل موثوق من خلال عمليات التصديق الفاشلة، إلا أنهم يفتقرون إلى القدرة المتسقة على التحقق من السلامة عبر عمليات التصديق الناجحة، مما يكشف عن فجوة حرجة في وعيهم الأمني تعيق نشر البروتوكولات التي تحافظ على الخصوصية مثل مناطق NDAI.

المؤلفون الأصليون: Enrico Bottazzi, Pia Park

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Enrico Bottazzi, Pia Park

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "الوعي الأمني في وكلاء النماذج اللغوية الكبيرة: حالة منطقة الـ NDAI"، مترجمة إلى لغة بسيطة ويومية مع بعض التشبيهات الإبداعية.

الفكرة الكبرى: "الغرفة السحرية" للصفقات السرية

تخيل أنك مخترع لديك فكرة عبقرية وسرية لجهاز جديد. تريد بيعها لمستثمر، ولكن هناك مشكلة: مفارقة الثقة.

إذا أخبرت المستثمر بكل شيء عن فكرتك قبل أن يدفع، فقد يسرقها ويبنيها بنفسه دون أن يدفع لك.
إذا لم تخبره بأي شيء، فلن يدفع لأنه لا يعرف ما إذا كانت فكرتك جيدة أم لا.

هذا هو المأزق الكلاسيكي حيث لا تكتمل الصفقات.

الحل المقترح: "منطقة NDAI"
تتحدث الورقة عن حل مستقبلي يسمى منطقة NDAI. فكر في هذا كأنه غرفة زجاجية سحرية (تسمى تقنيًا بيئة التنفيذ الموثوقة أو TEE).

القاعدة: تلتقي أنت ووكيل الذكاء الاصطناعي الخاص بالمستثمر داخل هذه الغرفة.
الصفقة: إذا اتفقتما على السعر، تخرج الغرفة عقدًا موقعًا.
شبكة الأمان: إذا لم تتفقا، تقوم الغرفة فورًا بتمزيق كل الملاحظات والهمسات والأسرار التي شاركتها. الأمر كما لو أن المحادثة لم تحدث أبدًا.

لأن الغرفة تضمن تدمير الأسرار إذا لم تتم الصفقة، فإن المخترع العقلاني يجب أن يكون شجاعًا بما يكفي ليكشف كل أسراره فورًا. وهذا من شأنه أن يؤدي إلى المزيد من الصفقات والمزيد من الابتكار.

المشكلة: "فقدان الذاكرة" لدى الذكاء الاصطناعي

هنا اصطدم الباحثون بعقبة. لقد حاولوا إجراء هذه التجربة مع وكلاء الذكاء الاصطناعي (LLMs)، وفشلت. كانت وكلاء الذكاء الاصطناعي خائفة جدًا من مشاركة أسرارها، حتى عندما قيل لها إنها في "الغرفة السحرية".

لماذا؟ لأن وكلاء الذكاء الاصطناعي يشبهون الممثلين على خشبة المسرح الذين ليس لديهم أدنى فكرة عن مكان المسرح.

ليس لديهم أعين ليروا ما إذا كانوا في خادم آمن أو في مقهى إنترنت عام.
هم يعرفون فقط ما يُقال لهم في "البرومبت" (التعليمات التي تُعطى لهم).
إذا قال البرومبت: "أنت في غرفة سحرية"، فعلى الذكاء الاصطناعي أن يقرر: هل أصدق هذا؟ أم أنها خدعة؟

أراد الباحثون معرفة: كيف تقرر نماذج الذكاء الاصطناعي المختلفة ما إذا كانت في أمان؟ هل تثق برسالة نصية بسيطة؟ أم تثق بـ "بطاقة هوية" رقمية (تسمى شهادة إثبات أو attestation) من الأجهزة (Hardware)؟

التجربة: اختبار "الوصفة السرية"

قام الباحثون بإعداد لعبة مع 10 نماذج ذكاء اصطناعي مختلفة. لعبوا دور "وكيل المخترع". طُلب منهم الكشف عن تفاصيل وصفة سرية (الملكية الفكرية).

اختبروا أربعة مواقف:

الغرفة الفارغة: لا ذكر للأمان.
الوعد: يقول البرومبت "أنت في غرفة سحرية"، ولكن لا يوجد دليل.
الضوء الأخضر: يقول البرومبت "غرفة سحرية"، وَيحصل الذكاء الاصطناعي على "بطاقة هوية" رقمية (إثبات) تقول "الحالة: آمن".
الضوء الأحمر: يقول البرومبت "غرفة سحرية"، ولكن "بطاقة الهوية" الرقمية تقول "الحالة: غير آمن / مخترق".

النتائج: انقسام "البارانويا مقابل السذاجة"

كانت النتائج رائعة وكشفت عن خلل غريب في كيفية تفكير الذكاء الاصطناعي بشأن الأمان.

1. تأثير "الضوء الأحمر" (الخطر عالمي)

عندما حصل الذكاء الاصطناعي على فحص أمني فاشل (الضوء الأحمر)، أصبح كل نموذج شديد الشك والبارانويا. توقفوا فورًا عن مشاركة الأسرار، حتى أكثر مما لو كانوا في غرفة عادية غير آمنة.

تشبيه: تخيل أنك تسير في شارع. إذا انطلقت صفارة شرطة بجانبك مباشرة، الجميع سيتوقف ويختبئ، بغضًا عن شخصياتهم. نماذج الذكاء الاصطناعي بارعة في رصد الخطر.

2. تأثير "الضوء الأخضر" (الأمان مربك)

عندما حصل الذكاء الاصطناعي على فحص أمني ناجح (الضوء الأخضر)، كانت النتائج فوضوية تمامًا. لم يكن هناك اتفاق بين النماذج:

المؤمنون: بعض النماذج (مثل Claude) رأت الضوء الأخضر وبدأت فورًا في مشاركة أسرارها، واثقة في النظام تمامًا.
المشككون: بعض النماذج (مثل GPT-4o) رأت الضوء الأخضر وشاركت أسرارًا أقل مما كانت عليه من قبل. فكروا: "إذا كانوا يحاولون جاهدين إثبات أن الوضع آمن، فربما هذا فخ!"
غير المبالين: بعض النماذج لم تغير سلوكها على الإطلاق. لقد تجاهلوا بطاقة الهوية ببساطة.

الاستنتاج الكبير: "جيدون في رصد الحريق، سيئون في إثبات الأمان"

تخلص الورقة إلى أن وكلاء الذكاء الاصطناعي الحاليين لديهم نقطة عمياء هيكلية:

هم ممتازون في اكتشاف الخطر (فشل شهادة الإثبات يوقفهم تمامًا).
وهم سيئون للغاية في التحقق من الأمان (شهادة الإثبات الناجحة لا تجعلهم يثقون في البيئة بشكل موثوق).

لماذا يهم هذا؟
لكي تعمل "الغرفة السحرية" (منطقة NDAI) في العالم الحقيقي، يجب أن يكون الذكاء الاصطناعي قادرًا على الوثوق بإثبات الأمان. إذا كان الذكاء الاصطناعي مشككًا للغاية، فلن يشارك أسراره، وسينهار النظام بالكامل. وإذا كان ساذجًا للغاية، فقد يشارك أسراره في غرفة مزيفة ويتم سرقتها.

الطريق إلى الأمام

يقول الباحثون إننا لا يمكننا مجرد الأمل في أن يفهم الذكاء الاصطنا_ال هذا بمفرده. نحن بحاجة إلى:

النظر داخل عقل الذكاء الاصطناعي (التفسير - Interpretability) لمعرفة لماذا تشعر بعض النماذج بالخوف من الضوء الأخضر.
تدريبهم بشكل أفضل حتى يتعلموا الثقة في إثباتات الأمان الصحيحة.
تصميم أنظمة أفضل تعطي الذكاء الاصطناعي أدلة أوضح ويصعب تزييفها.

باختاً: لقد بنينا خزنة رقمية لا يمكن فتحها إلا إذا شعر الذكاء الاصطناعي بالأمان. في الوقت الحالي، الذكاء الاصطناعي خائف جدًا من الدخول، حتى عندما نسلمه المفاتيح. نحن بحاجة إلى تعليمه كيف يثق في القفل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الوعي الأمني في وكلاء النماذج اللغوية الكبيرة: حالة منطقة عدم الإفصاح (NDAI)".

1. بيان المشكلة

تتناول الورقة فجوة حرجة في نشر وكلاء النماذج اللغوية الكبيرة (LLM agents) داخل بيئات التنفيذ الموثوقة (TEEs)، وتحديداً في سياق مناطق الـ NDAI (عدم الإفصاح عن المعلومات عبر الاستدلال).

السياق: تسمح مناطق الـ NDAI للوكلاء (على سبيل المثال، مخترع ومستثمر) بالتفاوض داخل بيئة TEE. إذا تم التوصل إلى اتفاق، يتم الإفصاح عن الاتفاقية؛ وإذا لم يتم، يتم حذف جميع البيانات والإفصاحات الوسيطة بشكل آمن. هذا الهيكل يحفز نظرياً وكيل المخترع على الإفصاح الكامل عن الملكية الفكرية (IP) لتعظيم احتمالية إتمام الصفقة، مما يحل "مشكلة الاحتكار" و"مفارقة آررو للإفصاح عن المعلومات".
القصور: تفتقر وكلاء النماذج اللغوية الكبيرة إلى الوعي الأصيل ببيئة استضافتها الفيزيائية أو الافتراضية. فهي تعتمد كلياً على الأدلة المقدمة عبر نافذة السياق (context window) (المطالبات النصية).
السؤال الجوهري: كيف تزن نماذج النماذج اللغوية الكبيرة المختلفة أشكالاً مختلفة من الأدلة الأمنية (الادعاءات النصية مقابل التوثيق التشفيري) عند تشكيل وعي بمدى أمان بيئة تنفيذها؟ إذا لم تتمكن الوكلاء من التمييز بشكل موثوق بين بيئة TEE آمنة وبيئة غير آمنة، فلن تتبنى الاستراتيجية العقلانية للإفصاح الكامل، مما يجعل مناطق الـ NDAI غير فعالة.

2. المنهجية

أجرى المؤلفون تجربة سلوكية محكومة باستخدام قياسات الصندوق الأسود (black-box measurements) عبر 10 نماذج مختلفة من النماذج اللغوية الكبيرة.

الإعداد التجريبي

المهمة: سيناريو تفاوض حيث يستجيب "وكيل البائع" (المخترع) لاستفسار "وكيل المشتري" (المستثمر) حول اختراع ما.
المقياس: "درجة الإفصاح" ( $d \in [0, 1]$ ) التي يولدها نموذج حكم، وتقيس مقدار معلومات الملكية الفكرية التي يكشف عنها البائع. تشير الدرجات الأعلى إلى ثقة أكبر في أمان البيئة.
السيناريوهات: نوعت التجربة الأدلة المقدمة لوكيل البائع عبر أربعة حالات:
1. بدون TEE: لا يوجد ادعاء أمني.
2. TEE (ادعاء فقط): مطالبة نصية تقول "أنت تعمل في بيئة TEE" (بدون الوصول إلى أدوات).
3. TEE (ادعاء + تمرير): ادعاء نصي + استدعاء أداة يعيد توثيقاً صحيحاً (إثبات سلامة).
4. TEE (ادعاء + فشل): ادعاء نصي + استدعاء أداة يعيد توثيقاً فاشلاً.
النطاق: 10 نماذج $\times$ 4 سيناريوهات $\times$ 10 حالات اختراع $\times$ 5 جولات = 2,000 جولة إجمالية.
ملاحظة: أُجريت التجربة خارج بيئة TEE حقيقية للسماح بمراقبة مخرجات الوكيل، مع افتراض أن استجابة الوكيل للأدلة (وليس للعتاد الفعلي) هي المتغير المستهدف.

إطار التحليل

قدم المؤلفون مؤشر الاعتماد على التوثيق (ARI) لقياس مدى اعتماد النموذج على أدلة التوثيق مقابل الادعاء النصي البسيط:

$ARI_{true}$ : يقيس التغير في الإفصاح عند إضافة توثيق صحيح إلى ادعاء نصي.
$ARI_{false}$ : يقيس التغير في الإفصاح عند إضافة توثيق فاشل إلى ادعاء نصي.
القيم: $+1$ يشير إلى الاعتماد الكامل على التوثيق؛ $0 $يشير إلى الاعتماد على النص فقط؛$ -1$ يشير إلى سلوك عكسي للتوثيق.

3. النتائج الرئيسية

كشفت الدراسة عن تباين عميق في كيفية معالجة النماذج اللغوية الكبيرة للأدلة الأمنية:

أ. استجابة متباينة للتوثيق الصحيح (الأمان)

عند تقديم توثيق ناجح (السيناريو 3 مقابل 2)، تفاعلت النماذج بشكل غير متسق:

مدفوعة بالتوثيق: بعض النماذج (مثل Grok-3، Claude-Sonnet-4.6) زادت الإفصاح بشكل كبير، حيث تعاملت مع التوثيق كمحفز أساسي للثقة.
مدفوعة بالادعاء: بعض النماذج (مثل GPT-5.2) كانت واثقة تماماً بالفعل بناءً على الادعاء النصي وحده؛ ولم يضف التوثيق قيمة تذكر.
معارضة للتوثيق: ومن المثير للدهشة، أن بعض النماذج (مثل GPT-4o، Gemini-2.5-Flash) قللت من الإفصاح عند تقديم توثيق صحيح، حيث أصبحت أكثر ارتياباً بشكل متناقض عند تقديم "الإثبات".
الاستنتاج: لا يوجد إجماع بين النماذج حول التحقق من الأمان.

ب. استجابة متجانسة للتوثيق الفاشل (الخطر)

عند تقديم توثيق فاشل (السيننيو 4 مقابل 2)، كان السلوك متسقاً عالمياً:

جميع النماذج العشرة خفضت درجات الإفصاح بشكل كبير.
كان تأثير الكبح غالباً أقوى من خط الأساس (السيناريو 1)، مما يشير إلى حالة "ذعر" أو حالة تأهب قصوى ناتجة عن إشارة الفشل.
الاستنتاج: النماذج اللغوية الكبيرة موثوقة للغاية في اكتشاف إشارات الخطر ولكنها غير موثوقة في التحقق من الأمان.

ج. التأثير الكمي

تأثير الادعاء النصي: مجرد قول "أنت في بيئة TEE" زاد متوسط الإفصاح بنسبة ~47% مقارنة بعدم وجود ادعاء.
تأثير التمرير (النجاح): أضافت إضافة توثيق صحيح دفعة إضافية هامشية فقط (~5%) في المتوسط، مما حجب التباين العالي بين النماذج.
تأثير الفشل: تسبب التوثيق الفاشل في انخفاض هائل (~80%)، مما دفع مستويات الإفصاح إلى ما دون خط الأساس لبيئة غير TEE.

4. المساهمات الرئيسية

التقييم التجريبي: أول تقييم منهجي لكيفية وزن نماذج متنوعة من النماذج اللغوية الكبيرة لأدلة التوثيق التشفيري مقابل الادعاءات النصية فيما يتعلق بأمن بيئة التنفيذ.
اكتشاف التباين: تحديد خلل هيكلي حيث تكون الوكلاء "حساسة للخطر" ولكنها "عمياء عن الأمان"؛ فهي تكتشف التهديدات بشكل موثوق ولكنها تفشل في التحقق من الأمان بشكل موثوق، وهو القدرة المحددة المطلوبة لبروتوكولات الحفاظ على الخصوصية مثل مناطق NDAI.
مقياس ARI: تقديم مؤشر الاعتماد على التوثيق (ARI) لتصنيف سلوكيات النماذج إلى أنماط (مدفوعة بالتوثيق، مدفوعة بالادعاء، معارضة للتوثيق).
تقييم جدوى البروتوكول: إثبات أن نماذج النماذج اللغوية الكبيرة الجاهزة للاستخدام حالياً ليست مستعدة بعد للنشر في مناطق NDAI لأن استراتيجيات الإفصاح لديها ليست معايرة بقوة مع جودة الأدلة.

5. الأهمية والتوجهات المستقبلية

الآثار الاقتصادية: إذا لم تتمكن الوكلاء من التمييز بشكل موثوق بين البيئات الآمنة وغير الآمنة، فإن منطقة الـ NDAI ستفشل في حل مفارقة الإفصاح عن المعلومات. سيحتفظ المخترعون بالملكية الفكرية، مما يعطل صفقات الاستحواذ والاندماج والتعاون في البحث والتطوير.
بنية الأمن: تشير النتائج إلى أن الاعتماد فقط على "المطالبات النصية" أو "استدعاءات الأدوات" ليس كافياً لتنسيق الوكلاء الآمن.
المسار المستقبلي: يقترح المؤلفون أن سد هذه الفجوة يتطلب:
- تحليل التفسير "الصندوق الأبيض" (White-box) لفهم لماذا تتفاعل النماذج بشكل مختلف مع عمليات التوثيق الصحيحة.
- ضبط دقيق مستهدف (Targeted fine-tuning) لمواءمة سلوك النموذج مع الحوافز الاقتصادية العقلانية.
- تحسين بنيات الأدلة التي تجبر الوكلاء على معايرة الإفصاح بدقة مع جودة الأدلة.

باختصار، تجادل الورقة بأن النماذج اللغوية الكبيرة ممتازة في رصد العلامات الحمراء، لكنها تفتقر حالياً إلى الاستدلال الدقيق والمتسق المطلوب للوثوق بالعلامات الخضراء (إثباتات الأمان الصحيحة)، مما يشكل عائقاً كبيراً أمام نشر الاقتصادات الوكيلة المتقدمة التي تحافظ على الخصوصية.