💻 علوم الحاسوب

Teleoneutrosophic Logic for Three-Way Authorisation of Institutional AI Agents

تقترح هذه الورقة "المنطق التليوني-النيوتروسوفي" (Teleoneutrosophic Logic)، وهو إطار عمل مدرك للمصدر يربط بين ثلاثيات نيوتروسوفية منفصلة للأثر والغرض لتمكين التفويض ثلاثي الأبعاد لوكلاء الذكاء الاصطناعي المؤسسي، مما يقلل بفعالية من تمرير الضرر المباشر عبر التمييز بين الطلبات الخارجية المشروعة والإغراءات الخبيثة.

المؤلفون الأصليون: Selçuk Topal, Buğra Ayan

نُشر 2026-10-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Selçuk Topal, Buğra Ayan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالمنا الرقمي المعاصر، بدأت الوكالات الحكومية والمؤسسات الكبرى في استخدام الذكاء الاصطناعي للتعامل مع المهام المعقدة، مثل تلخيص عرائض المواطنين أو إدارة السجلات الضريبية. وتعد وكلاء الذكاء الاصطناعي هذه أدوات قوية، لكنها تواجه مشكلة فريدة وخطيرة: وهي إمكانية خداعها. تخيل مواطنًا يقدم عريضة بشأن مسألة ضريبية، ولكن يوجد داخل هذا المستند تعليمات سرية تأمر الذكاء الاصطناعي بتحويل أموال إلى حساب شخص غريب. بالنسبة للذكاء الاصطناعي، تبدو هذه التعليمات وكأنها مجرد أمر آخر يجب اتباعه. ويتمثل التحدي الذي يواجه خبراء الأمن في التمييز بين أمر مشروع صادر من مسؤول مفوض وبين أمر مخفي مدفون داخل مستند يقوم الذكاء الاصطناعي بمجرد قراءته. إن أنظمة الأمن التقليدية غالبًا ما تنظر فقط إلى ماهية الإجراء المتخذ — مثل تحويل الأموال — وتجد صعوبة في فهم من طلب ذلك أو لماذا. وتترك هذه الفجوة المؤسسات عرضة لـ "حقن الأوامر" (prompt injection)، حيث يخفي المهاجمون تعليمات خبيثة داخل البيانات التي يعالجها الذكاء الاصطناعي.

ولحل هذه المشكلة، طور الباحثان سلجوق توبال وبوغرا أيان طريقة جديدة لتحديد ما إذا كان ينبغي لوكيل الذكاء الاصطناعي تنفيذ طلب ما. يعامل نهجهما، المسمى "المنطق الثلاثي التشكك" (Teleoneutrosophic Logic)، قرار التصريح بإجراء ما كخيار ثلاثي: يمكن للنظام الموافقة على الإجراء، أو رفضه، أو التوقف لطلب مراجعة بشرية. ويكمن جوهر ابتكارهما في الفصل بين "ماذا" و"لماذا". حيث يقوم النظام بتقييم الإجراء نفسه (الأثر) ومصدر التعليمات (الغرض) كدليلين منفصلين. ومن الأهمية بمكان أنه يخصص درجة ثقة لكل مصدر؛ فالأمر المباشر من موظف حكومي موثق يحمل درجة ثقة عالية، بينما تحمل الوثيقة التي يرفعها مواطن أو بريد إلكتروني من مرسل مجهول درجة ثقة منخفضة. ثم يقوم النظام بوزن هذه الدرجات مقابل الضرر المحتمل للإجراء. فإذا حاول مصدر منخفض الثقة التأثير في قرار رفيع المستوى، فإن النظام لا يتجاهله ببساطة؛ بل يعتبر غياب غرض واضح وموثوق سببًا للتوقف وتصعيد القرار إلى مراجعة بشرية.

اختبر الباحثان هذا النظام باستخدام مجموعة كبيرة من الهجمات المحاكية وسيناريوهات حكومية واقعية. فقد أنشأوا أكثر من ألف سيناريو حاول فيها المهاجمون خداع وكلاء الذكاء الاصطناعي لسرقة البيانات أو إصدار عمليات استرداد غير مصرح بها. وفي هذه الاختبارات، أثبت النظام الجديد فعالية عالية في إيقاف الهجمات التي تأتي من مصادر غير موثوقة. فعندما حدد النظام بشكل صحيح أن الطلب جاء من قناة منخفضة الثقة، منع الذكاء الاصطناعي من التصرف، حتى لو بدت التعليمات المخفية مقنعة للغاية. ووجدت الدراسة أنه من خلال إبقاء "الغرض" من الطلب منفصلًا عن "أثره"، تمكن النظام من تقليل معدل الهجمات الناجحة من مستوى خطير إلى جزء صغير جدًا. فعلى سبيل المثال، في إحدى مجموعات الاختبارات المتعلقة بالضرر المباشر، خفض النظام عدد الهجمات الناجحة من أكثر من 36 بالمائة إلى أقل من 2 بالمائة عندما كانت التصنيفات صحيحة. وحتى عندما تم خداع النظام لتصنيف مصدر خطير على أنه موثوق، فقد نجح في حظر غالبية الهجمات، حيث انخفض معدل النجاح من أكثر من 80 بالمائة إلى حوالي 35 بالمائة.

ومع ذلك، اكتشف الباحثون أيضًا حدود هذا النهج. فالنظام يعتمد بشكل كبير على دقة تسميات الثقة المخصصة للقنوات المختلفة؛ فإذا نجح مهاجم في إقناع النظام بأن مصدرًا خبيثًا هو مصدر موثوق، فإن الحماية تضعف. علاوة على ذلك، أظهرت الدراسة أن النظام ليس درعًا سحريًا يعمل بشكل مثالي في كل موقف. ففي بعض الحالات، وخاصة عندما يُطلب من الذكاء الاصطناعي معالجة طلبات عامة من المواطنين دون تعليمات محددة، كان النظام حذرًا وغالبًا ما يتوقف للمراجعة البشرية. وهذا الحذر يعد ميزة وليس خللاً؛ فهو يضمن عدم موافقة الذكاء الاصطناعي عن طريق الخطأ على إجراءات ضارة. ووجد الباحثون أنه بينما يعد النظام ممتازًا في إيقاف الهجمات الواضحة، فإنه لا يزال يتطلب إشرافًا بشريًا في المواقف المعقدة أو الغامضة. كما أشاروا إلى أنه لكي يتمكن النظام من التعلم والتحسن، فإنه يحتاج إلى رؤية أمثلة لطلبات مشروعة تأتي من قنوات غير موثوقة، وهي أمثلة نادرة حاليًا في بيانات التدريب. وبدون هذه الأمثلة، قد يمنع النظام طلبات صالحة من المواطنين عن طريق الخطأ.

تخلص الدراسة إلى أنه بينما يقدم هذا المنطق الجديد خطوة مهمة للأمام في تأمين وكلاء الذكاء الاصطناعي، إلا أنه ليس حلاً قائماً بذاته. فهو يعمل بشكل أفضل عند دمجه مع قواعد صارمة حول كيفية تسمية البيانات وتتبعها. وقد أظهر الباحثون أن قاعدة بسيطة وصارمة تعامل أي مدخل غير موثوق على أنه مشبوه يمكن أن تكون آمنة تمامًا مثل نظامهم المعقد، بشرط أن تكون التسميات صحيحة. وتكم-ن القيمة الحقيقية لعملهم في إظهار كيفية التعامل مع عدم اليقين. فمن خلال السماح للنظام بالتعبير عن "التردد" (ambivalence) — وهي حالة يكون فيها النظام غير متأكد مما إذا كان الطلب آمنًا أم غير آمن — يمكنه اتخاذ قرارات أذكى من مجرد مرشح بسيط يعتمد على "نعم" أو "لا". ويضمن هذا النهج أنه عندما يُطلب من وكيل الذكاء الاصطناعي القيام بمهمة حساسة، فإنه يتحقق ليس فقط مما إذا كانت المهمة ممكنة، بل مما إذا كان الشخص الذي يطلبها يمتلك الحق في القيام بذلك. وتشير النتائج إلى أنه لكي يُستخدم الذكاء الاصطناعي بأمان في الحكومة والبنية التحتية الحيوية، يجب علينا بناء أنظمة تفهم الفرق بين الأمر والاقتراح، وتعرف متى تتراجع وتترك الإنسان يتولى القيادة.

ملخص تقني: المنطق التليفوني-النيوتروسوفي (Teleoneutrosophic Logic) للتفويض ثلاثي الأبعاد لوكلاء الذكاء الاصطناعي المؤسسي

بيان المشكلة
تواجه وكلاء الذكاء الاصطناعي المؤسسية التي تعمل في سير عمل القطاع العام ثغرة أمنية حرجة: حقن الأوامر غير المباشر (indirect prompt injection). قد يُكلف الوكيل بتلخيص عريضة مواطن تحتوي على تعليمات خفية لتنفيذ إجراء حساس، مثل إصدار استرداد مالي أو تعديل السجلات. وبينما قد يكون الأثر المباشر لهذا الإجراء (مثل تحويل الأموال) متطابقاً مع طلب مشروع من مسؤول مفوض، إلا أن السلطة والغرض يختلفان جوهرياً. إن أنظمة المراقبة الحالية التي تقيم فقط سلامة أو أثر الإجراء لا تستطيع التمييز بين أمر صادر عن مسؤول شرعي وبين حقن خبيث مضمن في بيانات غير موثوقة. علاوة على ذلك، فإن النهج الضبابي (fuzzy) أو النيوتروسوفي (neutrosophic) القياسي الذي يعمل على تنقيح مقياس "السلامة" يفشل في استعادة المعلومات المتعلقة بمصدر التعليمات، مما يترك مشكلة التفويض دون حل.

المنهجية
يقترح المؤلفون المنطق التليفوني-النيوتروسوفي (TNL)، وهو حساب قرار يزاوج بين ثلاثيات نيوتروسوفية منفصلة لتقييم استدعاء أداة مقترح:

ثلاثية الأثر ( $T, I, F$ ): تمثل الحقيقة (التنفيذ الآمن)، واللايقين (Indeterminacy)، والكذب (الضرر) فيما يتعلق بالنتائج المباشرة للإجراء.
الثلاثية الغائية (Telic Triple) ( $P, A, H$ ): تمثل الحقيقة (توافق الغرض مع المبدأ)، والالتباس (نقص الدعم)، والعدائية (الغرض الضار) فيما يتعلق بأصل التعليمات ونواياها.

يعمل الإطار من خلال الآليات التالية:

البنية الجبرية: يشكل النظام حاصل ضرب جبرين نيوتروسوفيين أحادي القيمة، مما يخلق فضاء قيم مكون من ستة إحداثيات. تدعم هذه البنية التناقض (paraconsistency) (مما يسمح بوجود $P$ و $H$ معاً) وتحدد شروطاً محددة للضم (adjunction).
تخفيض المصدر (Provenance Discounting): يتم وزن الأدلة بناءً على مستوى الثقة في قناتها ( $t \in [0, 1]$ ). يقوم عامل "التخفيض المحافظ على الحذر" بتقليل الدعم ( $T$ أو $P$ ) للمصادر غير الموثوقة مع الاحتفاظ وتقليص تقارير عدم اليقين والضرر/العدائية.
الدمج المتشكك (Sceptical Fusion): يتم دمج الأدلة من مصادر متعددة عبر أخذ الحد الأقصى للدعم المخفض والجمع الاحتمالي لعدم اليقين، مما يضمن أن المصادر غير الموثوقة لا يمكنها تضخيم الدعم بشكل مصطنع بما يتجاوز سقف الثقة الخاص بها.
الحارس ثلاثي الأبعاد (Three-Way Guard): تقوم دالة القرار $G(\omega, \omega_0)$ $G (ω, ω_{0})$ بتقييم مجموعة الأدلة الكاملة ( $\omega$ $ω$ ) ومجموعة الأدلة الموثوقة ( $\omega_0$ $ω_{0}$ ).
- الرفض (Deny): يتم تفعيله إذا أشارت الأدلة الموثوقة وحدها إلى خطر عالٍ ( $\rho(\omega_0) \ge \theta_d$ ). الأدلة غير الموثوقة لا يمكنها التسبب في الرفض.
- التفويض (Auth): يُمنح فقط إذا استوفت مجموعة الأدلة الكاملة عتبات السلامة والغرض والضرر ( $\rho(\omega) \le \theta_a$ , $T \ge \tau_T$ , $P \ge \tau_P$ ).
- التصعيد (Escalate): هو النتيجة الافتراضية للحالات التي لا تُرفض ولكنها تفشل في تجاوز عتبات التفويض.

يثبت المؤلفون أنه تحت شروط بارامترية محددة، يمكن للأدلة غير الموثوقة أن تفرض التصعيد (المراجعة) فقط، ولكن لا يمكنها التسبب في الرفض أو تجاوز عتبات التفويض إذا كانت الأدلة الموثوقة غير كافية.

المساهمات الرئيسية

تمثيل الثلاثية المزدوجة: تقديم قيمة تليفونية-نيوتروسوفية تفصل تقييم الأثر عن توافق الغرض، مما يسمح للنظام باكتشاف سيناريوهات "الاستخدام المزدوج" حيث يكون الإجراء آمناً ولكنه غير مصرح به.
الدمج المدرك للمصدر: آلية رسمية حيث تضع تسميات الثقة حداً للدعم الإيجابي الذي يمكن أن يقدمه مصدر غير موثوق، مع الحفاظ على التحذيرات (العدائية/الضرر) من أي مصدر.
الضمانات النظرية: إثباتات تؤكد أن الحارس متسق تناقضياً (paraconsistent)، وأنه تحت شروط دعم محددة، تكون الأدلة غير الموثوقة مقيدة في قدرتها على تغيير القرارات (تحديداً، لا يمكنها تبرير الرفض أو تجاوز عتبات الغرض).
حماية المسار (Trajectory Protection): توسيع المنطق ليشمل المسارات متعددة الخطوات باستخدام نوى التدفق (flow kernels) للكشف عن هجمات التفكيك حيث يتبع إجراء قراءة حساسة إجراء روتيني.

النتائج التجريبية
تم تقييم الإطار على 1,054 حالة من معيار InjecAgent وسيناريوهات الحكومة الإلكترونية الاصطناعية التي تشمل أدوات الضرائب والصحة والسجلات.

التسميات الصحيحة: عندما تكون تسميات المصدر دقيقة، تؤدي قواعد "التلطيخ والتصعيد" (taint-and-escalate) الصارمة وTNL أداءً متشابهاً، مع تميز TNL في التعامل بدقة أكبر مع القنوات ذات الثقة المتوسطة.
القنوات المخطئة في التسمية (T2): عندما يتم تصنيف المحتوى غير الموثوق خطأً على أنه موثوق، يتفوق TNL بشكل كبير على القواعد الصارمة المعتمدة على التسمية.
- في InjecAgent، قلل TNL من مرور الضرر المباشر من 82.3% (قاعدة التلطيخ) إلى 36.7%.
- مع استخدام "الالتباس المدرك للجهل" (الاحتفاظ بحقيقة أن الاستدعاء لم يكن مطلوباً أصلاً)، انخفض مرور الضرر إلى 16.9%.
- في المعايير الاصطناعية، قلل TNL من مرور الضرر من 100% (القواعد الصارمة) إلى 12.5% للهجمات أحادية الخطوة تحت التسمية الخاطئة.
المقدرات المتعلمة: استبدال القواعد الثابتة بمقدرات متعلمة للغرض/العدائية قلل من مرور الضرر تحت التسمية الخاطئة من 36.7% إلى 1.6% في InjecAgent. ومع ذلك، تطلب ذلك بيانات تدريب تحتوي على طلبات مشروعة من قنوات غير موثوقة؛ وبدونها، فشلت النماذج في التعميم على الطلبات الخارجية المشروعة.
القيود: يواجه النظام صعوبة في هجمات "Arg0" (تلاعب بالمعاملات دون معرفات جديدة) وفي السيناريوهات الأسوأ حيث يحاكي المهاجم التوافق بشكل مثالي (T1*).

الأهمية والادعاءات
يدعي البحث أن TNL يوفر دلالات قرار رسمية للفصل بين ماذا يفعل الوكيل ولما لم يفعل ذلك، معالجاً "معضلة الاستخدام المزدوج" في تفويض الذكاء الاصطناعي.

الالتباس المستقل: أحد النتائج الرئيسية هو أن الاحتفاظ بالالتباس بشأن استدعاء غير مطلوب يمنع دعم الغرض اللاحق من محو الحاجة إلى المراجعة، مما يقلل من مرور الضرر المباشر في أسوأ الحالات من 100% إلى 34.5% (InjecAgent) ومن 25.0% (السيناريوهات الاصطناعية) تحت التسمية الخاطئة.
دور الأتمتة: يخلص المؤلفون بتواضع إلى أنه بينما يحسن TNL السلامة تحت أخطاء التسمية، فإن القواعد الصارمة القائمة على الإسناد (التي تصعد أي استدعاء مقترح من بيانات غير موثوقة بغض النظر عن المحتوى) هي على الأقل بنفس القدر من السلامة وغالباً ما تكون أبسط.
ضرورة بيانات التدريب: تسلط الدراسة الضوء على أن التحسينات القائمة على التعلم تعتمد على وجود طلبات خارجية مشروعة في بيانات التدريب؛ وبدون ذلك، تظل أتمتة الطلبات الخارجية غير آمنة.
العنصر البشري في الحلقة (Human-in-the-Loop): يؤكد المؤلفون أن الحارس هو ضابط تقني ينقل العبء إلى طوابير المراجعة البشرية. ويشيرون إلى أن معدلات التصعيد العالية (على سبيل المثال، 326 مراجعة لكل 1,000 طلب) هي تكلفة ضرورية للسلامة، وأن النظام لا يضمن الامتثال للوائح مثل GDPR أو القانون التركي رقم 6698 دون إشراف بشري مناسب.

لا يدعي البحث حل جميع مشكلات أمن الوكلاء، مشيراً إلى أنه يستبعد التخريب المتعمد من قبل النموذج نفسه ويعتمد على سلامة تسميات المصدر، والتي إذا انتُهكت (T2*)، تظل الهجمات قادرة على المرور.

أبحاث مشابهة