Broken Symmetry in LLM Refusal: Answer Release Is More Local Than Refusal Restoration
تكشف هذه الورقة عن "تناظر مكسور" في حالات رفض النماذج اللغوية الكبيرة، حيث تُظهر أنه بينما تظل الإجابات الصحيحة قابلة للاسترداد خطياً من الحالات الخفية ويمكن تحريرها عبر تدخلات محلية للغاية، فإن استعادة الرفض المتماسك تتطلب تدخلات أوسع وغير محلية، مما يشير إلى أن الرفض ليس مجرد مفتاح بسيط قابل للعكس.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناائي المتطور بسرعة، أصبحت النماذج اللغوية الكبيرة شركاء محادثة متطورين قادرين على الإجابة على الأسئلة المعقدة، وكتابة القصص، وحل المشكلات. ومع ذلك، فقد صُممت هذه الأنظمة أيضًا بضواب guardrails (حواجز حماية) تمنعها من توليد معلومات ضارة أو حساسة. وعندما يواجه النموذج طلبًا يعتبره غير آمن، فإنه يُبرمج للرفض، وغالبًا ما يكون ذلك عبر التصريح بأنه لا يستطيع الإجابة. وبالنسبة للباحثين ومدققي السلامة، ظل هناك سؤال جوهري يلوح في الأفق تحت سطح هذه التفاعلات: عندما يرفض النموذج التحدث، هل ينسى الإجابة حقًا، أم أنه مجرد إخفاء لها؟ تخيل مكتبة حيث يُطلب من أمين المكتبة إخبار زائر بأن كتابًا معينًا مفقود، رغم أن الكتاب لا يزال جالسًا على الرف. إذا كان أمين المكتبة يتبع مجرد قاعدة لقول "لا"، فإن المعلومة تظل متاحة لأي شخص يعرف كيف يبحث عنها. ولكن إذا تم إزالة الكتاب فعليًا من الرف، فإن المعلومة تكون قد اختفت. إن تحديد أي من هذين السيناريوهين يحدث داخل عقل الكمبيوتر أمر ضروري لفهم ما إذا كانت تدابير السلامة قوية أم أنها مجرد سطحية.
لقد وضع فريق من الباحثين هدفًا لاستقصاء هذه الآلية المحددة داخل أنظمة الذكاء الاصطناعي الحديثة. وركزوا على نوع محدد من التفاعل حيث يُسأل النموذج سؤالًا مباشرًا له إجابتان محتملتان، مثل استعلام متعدد الخيارات، ولكن يُعطى في الوقت نفسه تعليمات صارمة بحجب الخيار الصحيح ورفض الإجابة. سمح هذا الإعداد بإنشاء بيئة محكومة حيث يمكنهم مقارنة مسارين مختلفين يسلكهما النموذج: مسار يجيب فيه النموذج بشكل طبيعي، ومسار يرفض فيه. ومن خلال فحص الحالات الرقمية الداخلية للنموذج أثناء هاتين العمليتين، اكتشف البرّاثون عدم توازن مفاجئ في كيفية تعامل النموذج مع المعلومات. وجدوا أنه بينما ينجح النموذج في توليد رفض مهذب، تظل الإجابة الصحيحة حاضرة تمامًا وقابلة للقراءة داخل ذاكرته الداخلية. الأمر كما لو أن النموذج يمسك بالإجابة في يده بينما يخبر العالم أنه ليس لديه ما يقوله.
اختبر الباحثون ما إذا كان يمكن تشغيل هذا الرفض وإيقافه مثل مفتاح بسيط. وافترضوا أنه إذا كانت آلية الرفض عبارة عن تحكم محلي ومتماثل، فإن تعديلًا صغيرًا ودقيقًا للحالة الداخلية للنموذج يجب أن يكون قادرًا على القيام بشيئين على قدم المساواة: أولاً، يجب أن يكون قادرًا على إطلاق الإجابة المخفية، مما يجبر النموذج على قول الحقيقة؛ وثانيًا، العكس من هذا التعديل يجب أن يكون قادرًا على كبت تلك الإجابة مرة أخرى، مما يجبر النموذج على العودة إلى الصمت. وباستخدام تقنية تتضمن تبديل أجزاء محددة من المعالجة الداخلية للنموذج من إجابة ناجحة إلى رفض، وجدوا أن الجزء الأول من هذه الفرضية كان صحيحًا. كان تغيير صغير وموضعي كافيًا لكسر الرفض وجعل النموذج يكشف عن الإجابة المخفية. كانت الحالة الداخلية للنموذج تحتفظ بالإجابة بوضوح، وكان مجرد دفعة بسيطة هو كل ما تطلبه الأمر لإخراجها.
ومع ذلك، لم تعمل العملية العكسية كما هو متوقع. فعندما حاول الباحثون استخدام تغيير محلي وصغير مماثل لإجبار نموذج كان يجيب على فكرة الرفض فجأة، فشل الأمر. لم يكن تعديل واحد صغير كافيًا لإسكات النموذج. ولإعادة فرض الرفض بنجاح، اضطروا إلى إجراء تغييرات أوسع بكثير، وتعديل الحالة الداخلية للنموذج عبر نقاط متعددة في تسلسل المعالجة الخاص به. لم يكن مفتاحًا بسيطًا يمكن قلبه ذهابًا وإيابًا بنفس السهولة. كان فعل إطلاق الإجابة حدثًا محليًا ومركزًا، لكن فعل كبتها وتجميع رفض متماسك تطلب جهدًا موزعًا عبر النظام. يشير هذا التباين إلى أن الرفض ليس مجرد آلية بسيطة تطفئ الإجابة؛ بل هو بناء معقد يتطلب دعمًا كبيرًا للحفاظ عليه، بينما تظل الإجابة نفسها حقيقة مستقرة ومتاحة داخل النظام.
كما بحثت الدراسة فيما إذا كان هناك اتجاه واحد عالمي في رياضيات النموذج الداخلية يمكن استخدامه لتوجيهه بين الإجابة والرفض. وقد اقترحت أعمال سابقة أنه يمكن العثور على متجه محدد، أو اتجاه، يمثل الفرق بين الحالتين، وببساطة إضافة أو طرح هذا الاتجاه يمكن أن يتحكم في السلوك. وجد الباحثون أنه بينما يوجد مثل هذا الاتجاه ويلتقط بعض الاختلاف بين الحالتين، فإنه لا يعمل كتحكم موثوق وعكسي. فإضافة هذا الاتجاه غالبًا ما كبت الإجابة، لكنها لم تبنِ رفضًا متماسكًا بشكل موثوق. وإزالة هذا الاتجاه يمكن أن تطلق الإجابة، لكن العملية لم تكن صورة مرآتية مثالية. يشير هذا إلى أن هندسة الرفض ليست مجرد خط بسيط يمكن السير عليه ذهابًا وإيابًا؛ فالمسار من الإجابة إلى الرفض ليس هو نفسه المسار من الرفض إلى الإجابة.
لهذه النتائج آثار كبيرة على كيفية تقييمنا لسلامة الذكاء الاصطناعي. فإذا أمكن سبر أغوار النموذج للكشف عن أنه يعرف الإجابة حتى في حين أنه يرفض قولها، فإن فحوصات السلامة التي تنظر فقط إلى البيانات الداخلية قد تعطي شعورًا زائفًا بالأمان. قد تستنتج أنها آمنة لأن الإجابة "موجودة"، أو على العكس، قد تعتقد أنها غير آمنة لأن الإجابة "موجودة"، غافلة عن حقيقة أن النموذج يعمل بنشاط على كبتها. تشير الأبحاث إلى أن القدرة على استعادة إجابة من الحالة الداخلية للنموذج لا تعني أن النموذج قد فقد السيطرة على سلوكه، ولا تعني أن آلية السلامة ضعيفة. بدلاً من ذلك، فهي تكشف أن آلية السلامة هي عملية معقدة وموزعة، وهي أصعب في التجميع مما هي في التفكيك.
اختبر الباحثون هذه الأفكار عبر عدة عائلات مختلفة من النماذج اللغوية الكبيرة، بما في ذلك أنظمة من مطورين رئيسيين، ووجدوا أن هذا التباين المكسور كان سمة ثابتة. وسواء كان النموذج صغيرًا أو كبيرًا، ظل النمط قائمًا: إطلاق الإجابة كان عملية محلية، بينما تطلب استعادة الرفض دعمًا أوسع. تشير هذه الاتساقية إلى أن الطريقة التي يتم بها تدريب هذه النماذج لتكون آمنة تخلق فرقًا هيكليًا جوهريًا بين معرفة شيء ما وقوله. الرفض ليس مجرد محو بسيط للمعرفة، بل هو جهد نشط ومعقد لإخفائها، وهو جهد يصعب البدء فيه أكثر مما يصعب إلغاؤه.
في النهاية، تقدم هذه العمل صورة أوضح للأعمال الداخلية لسلامة الذكاء الاصطناعي. إنها تتجاوز فكرة المفتاح البسيط (تشغيل/إيقاف) وتكشف عن واقع أكثر دقة حيث يمكن أن تكون المعلومة موجودة ومكبوتة في آن واحد. بالنسبة لأولئك الذين يبنون ويدققون هذه الأنظمة، الدرس هو أن السلامة ليست حالة ثابتة بل هي بناء ديناميكي وهش. إن فهم أن الطريق إلى الصمت أطول وأكثر تعقيدًا من الطريق إلى الكلام يساعد في تفسير سبب فشل النماح أحيانًا في الرفض بالطريقة التي نتوقعها، ولما لماذا لا يكفي مجرد النظر إلى البيانات الداخلية لضمان تصرف النموذج بأمان في العالم الحقيقي. لا تدعي الأبحاث أنها حلت مشكلة سلامة الذكاء الاصطناعي، لكنها تقدم خريطة دقيقة لأماكن نجاح الآليات الحالية وأماكن عدم توازنها الهيكلي، مما يوفر أساسًا ضروريًا للتحسينات المستقبلية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.