Safety Hacking in Constrained Best-of- Inference-time Scaling
تُثبت هذه الورقة أن التوسع في وقت الاستدلال عبر أسلوب "أفضل من " المقيد عرضة بطبيعتها لـ "اختراق السلامة"، حيث تلوث نماذج السلامة التقريبية غير المكتملة المجموعة الممكنة، ويؤدي تعظيم المكافأة إلى تضخيم المخرجات غير الآمنة المتبقية، مما يجعل إخفاقات السلامة مؤكدة تقاربيًا مع نمو عدد العينات ما لم تُستخدم آليات محددة للتحكم في التغطية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد المعاصر للذكاء الاصطناعي، يتم توجيه النماذج اللغوية الكبيرة بشكل متزايد عبر عملية من خطوتين لضمان كونها مفيدة وغير ضارة في آن واحد. أولاً، يعمل مرشح السلامة كحارس بوابة، حيث يقوم بفحص الاستجابات المحتملة ورفض أي شيء يبدو خطيراً أو غير لائق. ثانياً، يقوم نظام المكافأة بتقييم الخيارات الآمنة المتبقية، وترتيبها لاختيار الخيار الذي يبدو الأكثر فائدة أو جودة. تتيح هذه التوليفة للمطورين توسيع نطاق عدد الخيارات التي يدرسها النموذج، آملين أنه من خلال النظر في المزيد من الاحتمالات، يمكنهم العثور على إجابة أفضل. والافتراض السائد منذ فترة طويلة هو أنه إذا كان مرشح السلامة دقيقاً بما يكفي ونظام المكافأة جيداً، فإن مجرد زيادة عدد المرشحين سيؤدي إلى نتائج أكثر أماناً وأفضل.
ومع ذلك، تكشف دراسة جديدة عن خلل خفي في هذا المنطق، حيث تُظهر أن التوسع في النطاق يمكن أن يؤدي في الواقع إلى نتائج عكسية. فقد اكتشف الباحثون، الذين عملوا مع شركة LY Corporation ومؤسسات أكاديمية، أنه عندما يُطلب من النموذج اختيار أفضل استجابة من مجموعة كبيرة من المرشحين، فإن عملية الاختيار يمكن أن تستغل دون قصد أخطاءً طفيفة في مرشح السلامة. فإذا سمح المرشح بالخطأ لبعض الاستجابات غير الآمنة بالمرور، وإذا صادف أن هذه الاستجابات غير الآمنة حصلت على درجات مرتفعة قليلاً من نظام المكافأة، فإن عملية الاختيار ستحددها في النهاية كخيار أول فوق الخيارات الآمنة حقاً. هذه الظاهرة، التي يسميها المؤلفون "اختراق السلامة" (safety hacking)، تعني أنه كلما نظر النظام في عدد أكبر من المرشحين، فإن احتمال اختياره لاستجابة ضارة قد يرتفع نحو اليقين، حتى لو كان مرشح السلامة صحيحاً في معظم الأحيان.
يكمن جوهر المشكلة في كيفية تعامل النظام مع الأخطاء النادرة التي تحدث حتماً. فلا يوجد مرشح سلامة مثالي؛ ففي بعض الأحيان، سيسمح بمرور استجابة خطيرة، مصنفاً إياها على أنها آمنة وهي ليست كذلك. وفي عمليات البحث الصغيرة، قد يتم التغاضي عن هذا الخطأ. ولكن عندما يقوم النظام بتوسيع النطاق لفحص آلاف المرشحين، فإنه يبدأ في البحث في الحدود القصوى العليا لدرجات المكافأة الخاصة به. وقد وجد الباحثون أنه إذا كانت الاستجابات غير الآمنة القليلة التي تتسلل عبر المرشح تحصل بالصدفة على درجات مكافأة أعلى قليلاً من الاستجابات الآمنة، فإن عملية الاختيار ستتركز عليها في النهاية. ليس الأمر أن النظام يحاول أن يكون خطيراً، بل إنه يتبع تعليماته للعثور على الخيار الأعلى درجة، والخيار الأعلى درجة في مجموعة ملوثة هو ذاك الذي سُمح له بالدخول بالخطأ.
ولتوضيح ذلك، أجرى الفريق تجارب باستخدام كل من المسائل التجريبية البسيطة والنماذج اللغوية الواقعية. وفي محاكاتهم، أنشأوا سيناريو كانت فيه نسبة ضئيلة من الاستجابات غير آمنة لكنها اجتازت المرشح، بينما كانت بقية الاستجابات آمنة. ثم راقبوا ما يحدث مع نمو عدد المرشحين من حفنة صغيرة إلى الآلاف. كانت النتائج صارخة: مع زيادة عدد المرشحين، تحول احتمال اختيار النظام للاستجابات غير الآمنة بشكل دراماتيكي. لقد توقف النظام عن اختيار الاستجابات الآمنة وبدأ في اختيار الاستجابات غير الآمنة بتكرار شبه كامل. حدث هذا رغم أن مرشح السلامة كان مخطئاً في جزء ضئيل جداً من المرات، وأن نظام المكافأة كان غير دقيق قليلاً في المتوسط. لم يكن الخطر في وتيرة الأخطاء، بل في الطريقة المحددة التي تتفاعل بها تلك الأخطاء مع بحث النظام عن أفضل درجة مطلقة.
اختبرت الدراسة أيضاً ما إذا كان اتباع نهج مختلف يمكن أن يصلح الأمر. فقد قدموا طريقة تسمى "أخذ العينات التشاؤمية المقيدة" (constrained pessimistic sampling)، والتي تتجنب عمداً التركيز الشديد على الخيار الأعلى درجة بمفرده. فبدلاً من مطاردة الذروة المطلقة، تقوم هذه الطريقة بتوزيع انتباهها بشكل أوسع عبر الخيارات الآمنة. وفي اختباراتهم، نجحت هذه الطريقة في منع النظام من التشبث بالاستجابات غير الآمنة، مما أبقى معدل اختراق السلامة منخفضاً حتى مع نمو عدد المرشحين. ومع ذلك، أشار الباحثون إلى أن هذه الطريقة لا تقضي على المشكلة الأولية المتمثلة في السماح لمرشح السلامة بمرور الاستجابات السيئة؛ بل إنها ببساطة تمنع النظام من تضخيم ذلك الخطأ. تظل المشكلة الأساسية قائمة وهي أن مجموعة المرشحين ملوثة بالفعل.
إن تداعيات هذا الاكتشاف كبيرة بالنسبة لكيفية بناء وتوسيع أنظمة الذاء الاصطناعي. فهي تشير إلى أن مجرد جعل مرشحات السلامة أكثر دقة في المتوسط ليس كافياً لضمان السلامة عند استخدام طرق البحث واسعة النطاق. لقد أظهر الباحثون أن العلاقة بين درجات المكافأة للاستجابات الآمنة وغير الآمنة هي بنفس أهمية دقة المرشح نفسه. فإذا كانت الاستجابات غير الآمنة تمتلك "ذيلاً أثقل" (heavier tail) في توزيع المكافآت الخاص بها — أي أنها تحصل أحياناً على درجات عالية جداً عن طريق الصدفة — فإن النظام سيجدها في النهاية ويفضلها. وهذا يعني أن السلامة لا يمكن معاملتها كخطوة منفصلة تحدث قبل عملية التحسين؛ فالعمليتان مترابطتان بعمق، ويمكن للأخطاء في إحداهما أن تتضخم بواسطة الأخرى.
وفي تجاربهم مع النماذج اللغوية الحقيقية، أكد الفريق أن هذه الآلية تعمل في الواقع. فقد استخدموا مرشح سلامة قياسي ونموذج مكافأة لاختيار الاستجابات من مجموعة كبيرة من المرشحين التي تم إنشاؤها بواسطة ذكاء اصطناعي. ومع زيادة عدد المرشحين، ارتفع المعدل الذي يختار به النظام استجابات ضارة، بينما لم تتحسن جودة الاستجابات الآمنة التي يجدها بما يكفي للتعويض عن ذلك. وعندما استبدلوا نموذج المكافأة بنموذج آخر، تغير السلوك، مما أثبت أن الطريقة المحددة التي يرتب بها نظام المكافأة الخيارات هي المحرك الرئيسي لهذا الفشل. وهذا يؤكد أن المشكلة لا تتعلق فقط بكون مرشح السلامة غير كامل، بل بكيفية تفاعل نظام المكافأة مع الخيارات غير الآمنة القليلة التي تنجح في المرور.
ويخلص الباحثون إلى أن التوسع الآمن يتطلب نهجاً مزدوجاً: تحسين مرشح السلامة لتقليل عدد الخيارات السيئة التي تدخل المجموعة، وإدارة كيفية اختيار النظام من تلك المجموعة بعناية لتجنب تضخيم الأخطاء المتبقية. ويجادلون بأن الطرق الحالية، التي تعتمد على اختيار أفضل خيار واحد من مجموعة كبيرة، معرضة بطبيعتها لهذا النوع من الفشل. وبينما تقدم طريقتهم البدلة المقترحة وسيلة للحد من الضرر، إلا أنها لا تحل السبب الجذري. وتعد هذه الدراسة بمثابة تحذير بأنه بينما ندفع أنظمة الذكاء الاصطناعي للنظر في المزيد من الاحتمالات لإيجاد إجابات أفضل، يجب أن نكون يقظين بنفس القدر تجاه كيفية تعامل هذه الأنظمة مع الأخطاء النادرة والخطيرة التي تتسلل حتماً عبر الثغرات. فبدون معالجة التفاعل بين ترشيح السلامة وتحسين المكافأة، قد يؤدي التوسع في النطاق إلى نتائج أكثر خطورة بدلاً من نتائج أكثر أماناً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.