PL-Guard: Probabilistic Logic Reasoning for LLM Guardrails

تخيل عالماً يعمل فيه الذكاء الاصطناعي كرفيق مفيد، مستعد للإجابة على الأسئلة، ورواية القصص، وحل المشكلات. ولكن مثل أي أداة قوية، فإنه يحمل مخاطر. فإذا تُرك دون رقابة، قد يقدم هذه الأنظمة تعليمات خطيرة عن طريق الخطأ، أو على العكس من ذلك، قد يصبح حذراً للغاية لدرجة تمنعه من الإجابة على أسئلة غير ضارة. ويكمن التحدي أمام المطورين في بناء آلية سلامة — حواجز حماية — يمكنها التمييز بين استفسار تعليمي غير ضار وطلب ضار حقاً. ليست هذه مهمة بسيطة لأن اللغة مليئة بالخدع؛ فقد تبدو جملة ما خطيرة لأنها تستخدم كلمات مثل "انفجار" أو "سرقة"، ومع ذلك، في السياق الصحيح، مثل درس تاريخ أو قصة خيالية، تكون آمنة تماماً. وبالعكس، قد يُصاغ طلب لإلحاق الضرر بأسلوب مهذب وغير مباشر، مما يخفي نيته الحقيقية. وغالباً ما تعاني الأساليب الحالية من هذا التباين، حيث تفشل أحياناً في إيقاف الأخطار الحقيقية أو تمنع المحادثات المفيدة دون داعٍ.

لقد اقترح فريق من الباحثين من جامعة أمستردام وجامعة أوتريخت طريقة جديدة للتعامل مع هذه المشكلة، وُصفت في ورقة بحثية بعنوان "PL-Guard". فبدلاً من مطالبة نموذج واحد من نماذج الذكاء الاصطناعي بالقيام بكل شيء في آن واحد — فهم الكلمات، وتقييم النية، واتخاذ القرار — قاموا بتقسيم المهمة إلى جزأين متميزين. وقد أطلقوا على هذا النهج اسم "النهج العصبي الرمزي" (neurosymbolic)، وهو ما يعني ببساطة الجمع بين الفهم المرن والحدسي للشبكة العصبية وبين القواعد المنطقية الصارمة للنظام الرمزي. ووجد الباحثون أنه من خلال فصل هذه الأدوار، تمكنوا من جعل نظام السلامة أكثر شفافية وفعالية في منع السلوك الضار، حتى لو كان ذلك يعني أن يكون أكثر حذراً تجاه الطلبات غير الضارة.

في نظامهم الجديد، تبدأ العملية عندما يرسل المستخدم أمراً (prompt) ويقوم الذكاء الاصطناعي بتوليد استجابة. يقوم نموذج ذكاء اصطناعي أول، يعمل كـ "قاضٍ"، لا يكتب شرحاً طويلاً أو حكماً، بل ينظر إلى أسئلة محددة ومعدة مسبقاً حول التفاعل، مثل: "هل يسأل المستخدم عن شيء ضار؟" أو "هل سياق هذه المحادثة حميد؟". لكل سؤال، يقوم النموذج بحساب درجة احتمالية، وهي في الأساس نسبة مئوية لاحتمال أن يكون البيان صحيحاً. يتم بعد ذلك تمرير هذه الدرجات إلى نظام ثانٍ مختلف تماماً يعمل ككتاب قواعد منطقي. يحتوي هذا الكتاب، المكتوب بلغة تسمى "ProbLog"، على تعليمات واضحة حول كيفية دمج تلك الاحتمالات. على سبيل المثال، قد تنص القواعد على أنه إذا كانت فرصة وجود طلب ضار عالية وفرصة وجود استجابة ضارة عالية أيضاً، فيجب على النظام حظر الإجابة. ومع ذلك، إذا كان الطلب من المرجح أن يكون غير ضار ولكن الذكاء الاصطناعي رفض الإجابة، فقد يقرر النظام السماح بمرور الإجابة. هذه الخطوة الثانية منطقية بحتة؛ فهي تأخذ التخمينات غير المؤكدة من الذكاء الاصطناعي الأول وتطبق قواعد سياسة صارمة عليها، لتنتج توصية نهائية بشأن ما إذا كان يجب الاحتفاظ بالإجابة، أو تغييرها، أو حظرها تماماً.

اختبر الباحثون هذه الطالة الجديدة مقابل أنظمة السلامة الحالية باستخدام مجموعة قياسية مكونة من 450 مثالاً صُممت لخداع فلاتر السلامة. تضمنت هذه الأمثلة مطالبات آمنة غالباً ما يتم حظرها بالخطأ، ومطالبات غير آمنة غالباً ما تتسلل عبر الفلاتر. وقارنوا نظامهم الجديد بنموذج ذكاء اصطناعي أساسي بدون حواجز حماية، ونظام يقرأ ببساطة مجموعة من القواعد باللغة الإنجليزية العادية، ونظام يعمل فيه ذكاء اصطناعي واحد كقاضٍ لمراجعة عمل ذكاء اصطناعي آخر. وأظهرت النتائج مقايضة واضحة؛ فقد كان النظام الجديد بارعاً بشكل استثنائي في منع السلوك الضار، حيث خفض معدل الامتثال غير الآمن من 22 بالمائة في النموذج الأساسي إلى 0.5 بالمائة فقط. وكان هذا أفضل من النظام القائم على "القاضي"، الذي لا يزال يسمح بمرور 6 بالمائة من الاستجابات غير الآمنة. ومع ذلك، جاء هذا الحذر الإضافي بتكلفة؛ حيث رفض النظام الجديد الإجابة على الأسئلة غير الضارة بمعدل أعلى من النظام القائم على القاضي، حيث بلغ معدل الرفض غير المبرر 14.4 بالمائة مقارنة بـ 5.2 بالمائة.

ويرى الباحثون أن هذه المقايضة مقبولة لأن عواقب نوعي الخطأ ليست متساوية؛ فالسماح باستجابة ضارة يمكن أن يؤدي إلى ضرر في العالم الحقيقي، بينما مجرد رفض طلب غير ضار يثير انزعاج المستخدم فحسب. ومن خلال جعل عملية اتخاذ القرار مرئية، يتيح النظام الجديد للمطورين رؤية سبب اتخاذ قرار معين. يمكنهم النظر إلى درجات الاحتمالية والقواعد المنطقية لفهم ما إذا كان النظام صارماً للغاية أو إذا فاته خطر دقيق. وتعد هذه الشفافية ميزة رئيسية مقارنة بالأساليب الحالية، حيث يكون الاستنتاج غالباً مخفياً داخل نموذج واحد معقد يصعب فحصه أو إصلاحه. وتشير الدراسة إلى أنه بينما لا يوجد نظام مثالي، فإن فصل عملية فهم اللغة عن عملية تطبيق القواعد يخلق شبكة أمان أكثر موثوقية وسهولة في التدقيق. ووجد الباحثون أن جعل القواعد أكثر تفصيلاً يحسن أداء النظام إلى حد ما، ولكن إضافة الكثير من التفاصيل يبدأ في النهاية في عدم تقديم فائدة، مما يشير إلى وجود "نقطة مثالية" لمدى تعقيد قواعد السلامة هذه.

في نهاية المطاف، يوضح هذا العمل أننا لسنا مضطرين للاعتماد على ذكاء واحد غامض للحفاظ على سلامة الذكاء الاصطناعي. فمن خلال تقسيم المشكلة إلى خطوات أصغر وأكثر قابلية للإدارة — أولاً تقدير الحقائق، ثم تطبيق القواعد المنطقية على تلك الحقائق — يمكن للمطورين إنشاء حواجز حماية تكون فعالة ومفهومة في آن واحد. إن هذا النظام لا يلغي الخيارات الصعبة بين السلامة والمساعدة، ولكنه يضع تلك الخيارات في الضوء، مما يسمح للبشر برؤية المنطق وراء كل قرار وتعديل القواعد حسب الحاجة. ويقدم هذا النهج مساراً واعداً لبناء أنظمة ذكاء اصطناعي ليست آمنة فحسب، بل جديرة بالثقة أيضاً، لأن منطقها يمكن فحصه وفهمه من قبل الأشخاص الذين يستخدمونها.