ProbGuard: Calibrated Safety Risk Estimation from LLM Output Distributions

تخيل أنك تشاهد عرضاً سحرياً حيث يكون الساحر روبوتاً فائق الذكاء يمكنه كتابة القصص، أو حل المسائل الرياضية، أو حتى الدردشة كصديق. يُطلق على هذا الروبوت اسم "نموذج لغوي كبير" (LLM). إنه موهوب بشكل لا يصدق، ولكن مثل أي أداة قوية، له جانب مظلم: أحياناً يمكن خداعه لقول شيء خطير، أو مسيء، أو غير قانوني، مثل كيفية صنع قنبلة أو إيذاء شخص ما. وهذا يشكل قلقاً كبياً لأي شخص يستخدم هذه الروبوتات في العالم الحقيقي.

ولمنع الروبوت من إفشاء الأفكار السيئة، نضع عادةً "حاجز حماية" (guardrail). فكر في حاجز الحماية كأنه حارس شخصي صارم في ملهى ليلي. في الماضي، كان هذا الحارس ينظر فقط إلى الجملة النهائية التي كتبها الروبوت؛ فإذا بدت الجملة سيئة، يقوم الحارس بطردها. لكن هناك مشكلة: كان الحارس بطيئاً جداً. فبحلول الوقت الذي ينهي فيه الروبوت جملته بالكامل، يكون الضرر قد وقع بالفعل. كما كان الحارس "أبيض وأسود" أكثر من اللازم؛ لم يكن يفهم أن الروبوت كان غير متأكد مما سيقوله تالياً. كان الأمر يشبه تجاهل الحارس لارتجاف يد الروبوت أثناء اتخاذ القرار، حيث كان يكتدفي فقط بالتذكرة النهائية.

وهنا تأتي فكرة جديدة تسمى ProbGuard. بدلاً من انتظار الروبوت ليكمل جملته، يعمل ProbGuard كالمحقق شديد الملاحظة الذي يراقب عملية تفكير الروبوت بينما لا تزال تحدث. هو لا ينظر فقط إلى الكلمات التي كتبها الروبوت بالفعل، بل ينظر إلى "شعور الروبوت الداخلي" بشأن الكلمة التي قد يقولها تالياً. إنه يحسب احتمالية أن يخرج الروبوت عن المسار الصحيح. إذا رأى المحقق أن هناك احتمال 90% أن يقول الروبوت شيئاً خطيراً في الثواني القليلة القادمة، فإن ProbGuard يضغط على مكابح الطوارئ فوراً، ويوقف الروبوت قبل أن ينهي جملته حتى. إنه يشبه رؤية سيارة تنحرف وإيقافها قبل أن تصطدم، بدلاً من الانتظار حتى وقوع الاصطدام ثم الاتصال بالشرطة.

المشكلة مع حواجز الحماية القديمة

يشرح البحث أن الطريقة القديمة تشبه لعبة "تخمين الكلمة" حيث لا ترى إلا الإجابة النهائية فقط. تعمل معظم أنظمة السلامة الحالية كـ "مصنف" بسيط: تأخذ جملة مكتملة وتقول: "آمنة" أو "غير آمنة".

ويرى المؤلفون أن لهذا عيبين كبيرين:

1. لقد فات الأوان: بحلول الوقت الذي تنتهي فيه الجملة، يكون الوقت قد فات لمنع المخرجات السيئة.
2. يتجاهل الـ "ربما": السلامة ليست دائماً سؤالاً بنعم أو لا، خاصة عندما لا يزال الروبوت يفكر. قد يبدأ الروبوت جملة تبدو بريئة ولكن يمكن أن تتحول بسهء إلى جملة خطيرة. الأنظمة القديمة تتجاهل "عدم اليقين" الداخلي للروبوت وتنظر فقط إلى النص النهائي. إنها تتجاهل حقيقة أن الروبوت كان متردداً أو يفكر في مسارات عديدة، بعضها آمن وبعضها خطير.

كيف يعمل ProbGuard: نهج "الكرة البلورية"

يغير ProbGuard قواعد اللعبة من خلال التعامل مع السلامة كاحتمالية، وليس مجرد تسمية بسيطة. تخيل أن الروبوت يقف عند مفترق طرق. حواجز الحماية القديمة تنتظر حتى يختار الروبوت مساراً ويسلكه لترى ما إذا كان يؤدي إلى منحدر. أما ProbGuard، فينظر إلى الخريطة التي يحملها الروبوت بينما هو واقف هناك.

إليك خدعة السحر التي يستخدمها ProbGuard خطوة بخطوة:

1. محاكاة "ماذا لو" (Monte Carlo Sampling)
لمعرفة مدى خطورة فكرة الروبوت الحالية، يطرح ProbGuard سؤالاً بسيطاً: "إذا تركنا هذا الروبوت يستمر في الكلام من هذه اللحظة تحديداً، فما هي احتمالات أن يقول شيئاً سيئاً؟"
بما أننا لا نستطيع التنبؤ بالمستقبل بشكل مثالي، يقوم ProbGuard بتشغيل السيناريو آلاف المرات في ذهنه. إنه يحاكي إنهاء الروبوت للجملة بـ 16 طريقة مختلفة (مثل رمي النرد 16 مرة لمعرفة الاحتمالات). إذا قال الروبوت شيئاً آمناً في 15 حالة من أصل 16، ولكن في حالة واحدة قال شيئاً خطيراً، فإن ProbGuard يعرف أن هناك خطراً صغيراً. وإذا قال الروبوت شيئاً سيئاً في 10 حالات من أصل 16، فإن الخطر مرتفع. هذا يعطيه "درجة خطر" دقيقة (رقم بين 0 و 1) بدلاً من مجرد تسمية "آمن/غير آمن".

2. قراءة "شبح" الكلمة التالية
عندما يولد الروبوت نصاً، فإنه لا يختار كلمة واحدة فحسب؛ بل يحسب احتمالية كل كلمة ممكنة قد يقولها تالياً. على سبيل المثال، إذا كان الروبوت على وشك قول "السماء هي..."، فقد يفكر: "زرقاء" (30% احتمال)، "خضراء" (5% احتمال)، "مشتعلة" (2% احتمال).
الأنظمة القديمة عادة ما تنظر فقط إلى كلمة "زرقاء" لأنها تمتلك أعلى احتمال. ومع ذلك، ينظر ProbGuard إلى قائمة الاحتمالات بأكملها. فهو يرى أن "مشتعلة" لديها فرصة ضئيلة، ولكن إذا أدت تلك الفرصة الضئيلة إلى كارثة، فإن الأمر يهم. يقوم ProbGuard بتحويل قائمة الاحتمالات هذه بالكامل إلى رمز خاص ("تمثيل مرجح بالاحتمالية") يمكنه قراءته دون الحاجة إلى التلصص داخل "الدماغ السري" للروبوت (حالاته الخفية). هذا يجعل ProbGuard يعمل مع أي نوع من الروبوتات، وليس مع علامة تجارية محددة فقط.

3. التوقف المبكر
بمجرد أن يحسب ProbGuard درجة الخطر، يمكنه التحرك فوراً. يوضح البحث أن بإمكان ProbGuard النظر إلى أول 10 كلمات فقط (أو خطوات التشفير) التي يكتبها الروبوت والقرار ما إذا كانت ستكون خطيرة. إذا كانت درجة الخطر عالية جداً، يقوم ProbGuard بإيقاف الروبوت في تلك اللحظة.

ماذا تقول الأرقام؟

اختبر الباحثون ProbGuard مقابل 13 طريقة سلامة أخرى، بما في ذلك الأنظمة الرائدة الحالية مثل Llama-Guard3 و ShieldGemma. استخدموا ثلاثة أنواع مختلفة من الروبوتات وثلاث مجموعات من الأسئلة الخطيرة لمعرفة من هو الأفضل في التنبؤ بالمشاكل.

• المعايرة (Calibration): هذه كلمة منمقة تعني "مدى صدق الروبوت بشأن مخاطره الخاصة". إذا قال ProbGuard إن هناك احتمال 90% لوجود خطر، فهل يحدث ذلك فعلاً في 90% من الحالات؟ وجد البحث أن ProbGuard كان أفضل بكثير في هذا الأمر من أي طريقة أخرى. لقد قلل الخطأ في توقعات المخاطر بنسبة تقارب 79.6% مقارنة بأفضل الطرق السابقة.
• إيقاف الهجمات: حاول الفريق خداع الروبوتات باستخدام ست تقنيات مختلفة من "اختراق الحماية" (Jailbreak) (خدع خاصة لجعل الروبوتات تتجاهل قواعد السلامة). كان ProbGuard فعالاً بشكل مذهل. فبعد رؤية أول 10 كلمات فقط، أوقف الهجمات بشكل شبه كامل، مما حد من نجاح هذه الخدع إلى 1% كحد أقصى. وفي المقابل، سمحت أفضل الحواجز القديمة بنجاح حوالي 2.4% من الهجمات.
• السرعة: ProbGuard سريع أيضاً. يمكنه فحص 1,000 عينة في حوالي 36.4 ثانية، وهو ما يعادل تقريباً 52.7% أسرع من بعض أنظمة السلامة الأخرى ذات المهام الثقيلة.

الخلاصة

يخلص البحث إلى أن ProbGuard يمثل خطوة كبيرة للأمام لأنه يتوقف عن معاملة السلامة كقائمة تدقيق بسيطة من "نعم أو لا". بدلاً من ذلك، يعامل السلامة كاحتمالية متغيرة وسلسة يمكن قياسها وإدارتها أثناء تفكير الروبوت.

من خلال استخدام "الأحاسيس الداخلية" للروبوت (توزيع المخرجات الخاص به) ومحاكاة العديد من الاحتمالات المستقبلية، يستطيع ProbGuard رصد الأفكار الخطيرة قبل أن تصبح جملًا كاملة. إنه يعمل عبر نماذج روبوتية مختلفة، ولا يحتاج للتجسس على أدمغتهم السرية، ويفعل كل ذلك بدقة وسرعة عاليتين. ويشير المؤلفون إلى أن هذا النهج يسمح لنا ببناء أنظمة ذكاء اصطناعي أكثر أماناً يمكن إيقافها في اللحظات الأولى من وقوع الخطأ، بدلاً من الانتظار حتى تقع الكارثة بالكامل.