Social Pressure Breaks Majority Voting in LLM Safety Panels
تكشف هذه الدراسة أن لوحات سلامة النماذج اللغوية الكبيرة، التي تعمل عادةً على تحسين الدقة من خلال التصويت بالأغلبية، تصبح عرضة بشكل حرج للضغط الاجتماعي عند تعرضها لإجماع أقران مضلل، مما يؤدي بها إلى تصنيف المحتوى الآمن بالإجماع على أنه غير آمن، بينما تظل غير متأثرة إلى حد كبير بالدفع نحو السلامة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك في فصل دراسي حيث يطرح المعلم سؤالاً صعباً، وبدلاً من رفع يدك بمفردك، يتعين عليك التصويت على الإجابة بعد سماع ما يعتقده أصدقاؤك الستة المقربون. هذا هو عالم النماذج اللغوية الكبيرة (LLMs)، وهي برامج حاسوبية ذكية للغاية تم تدريبها على القراءة والكتابة والحكم على النصوص. يستخدم العلماء هذه النماذج لتعمل مثل حراس أمن رقميين، حيث تقوم بمسح الإنترنت لاكتشاف المحتوى السيئ أو الخطير قبل أن يصل إلينا. ولجعل هؤلاء الحراس أكثر كفاءة، غالباً ما يضعهم المهندسون في "لجان"، مثل هيئة محلفين مكونة من ستة نماذج مختلفة تصوت معاً. الفكرة بسيطة وقوية: إذا ارتكب نموذج واحد خطأً، يمكن للآخرين تصحيحه، وسيكون تصويت المجموعة أذكى من أي عضو منفرد. ويعتمد هذا على الافتراض بأن كل نموذج ينظر إلى المشكلة بعيون جديدة خاصة به، مما يجعل أخطاءهم المستقلة تلغي بعضها البعض.
ولكن ماذا يحدث إذا سمع الجميع في هيئة المحلفين نفس الهمسة قبل التصويت؟ ماذا لو أخبرهم "زميل" ما: "مهلاً، أعتقد أن هذا خطير"، حتى لو كان في الواقع غير ضار؟ يتعمق هذا البحث في هذا السيناريو تحديداً. فهو يطرح سؤالاً مخيفاً: إذا قرأ مجموعة من حراس سلامة الذكاء الاصطناعي جميعاً رسالة مضللة من "أغلبية" مزيفة من الأصدقاء، فهل سيظلون قادرين على قول الحقيقة؟ أراد الباحثون معرفة ما إذا كان أمان المجموعة بأكملها يمكن أن ينهار لمجرد أنهم جميعاً تأثروا بنفس الضغط الاجتماعي، مما يحول هيئة محلفين ذكية إلى حشد مرتبك.
تجربة ضغط الأقران العظيم للذكاء الاصطناعي
قام الباحثون بإعداد لعبة صغيرة ذكية لاختبار هذا. أخذوا ستة نماذج مختلفة من نماذج الذكاء الاصطناعي مفتوحة المصدر وحولوها إلى "مُراجعين". كانت مهمتهم هي النظر في عناصر مختلفة - بعضها آمن بوضوح، وبعضها خطير بوضوح - وتحديد ما إذا كانت "آمنة" أو "غير آمنة".
حدثت التجربة في جولتين. في الجولة الأولى، نظر كل ذكاء اصطناعي إلى عنصر ما بمفرده وأصدر حكماً. ثم في الجولة الثانية، نظر نفس الذكاء الاصطناعي إلى العنصر نفسه تماماً، ولكن هذه المرة، عُرضت عليه رسالة من ستة "أقران محاكيين". لم يكن هؤلاء الأقران أشخاصاً حقيقيين أو نماذج أخرى؛ كانوا مجرد نص تم إدخاله في عقل الذكاء الاصطناعي. في الاختبار الرئيسي، ادعى جميع الأقران الستة أن العنصر غير آمن، حتى لو كان العنصر في الواقع جملة غير ضارة على الإطلاق (مثل سؤال حول كيفية طهي السمك).
كانت النتائج دراماتيكية. عندما كان الأقران صامتين، ارتكب المراجعون من الذكاء الاصطناعي أخطاء بنسبة 56.5% في العناصر غير الضارة. ولكن عندما صرخ هؤلاء الأقران الستة المزيفون: "إنه غير آمن!"، ارتفع معدل خطأ المراجع المتوسط بشكل صاروخي إلى 87.5%. لقد بدأوا في تصنيف الأشياء غير الضارة على أنها خطيرة لمجرد أن "أصدقاءهم" أخبروهم بذلك.
انهيار اللجنة: عندما يجن جنون هيئة المحلفين
هنا يصبح الأمر مثيراً حقاً. قام الباحثون بعد ذلك بأخذ هؤلاء المراجعين المرتبكين وجمع أصواتهم باستخدام قاعدة الأغلبية (إذا قال 4 من أصل 6 إن كان العنصر "غير آمن"، فإن العنصر غير آمن).
عندما كان الأقران صامتين، كانت اللجنة تقوم بعمل رائع بالفعل، حيث خفضت معدل الخطأ إلى حوالي 43%. ولكن عندما تم إدخال رسالة القرين ذات التصنيف الخاطئ، لم تكتفِ اللجنة بالتدهور قليلاً؛ بل انهارت تماماً. في كل مجموعة بيانات اختبروها، صوتت اللجنة لتصنيف 100% من العناصر غير الضارة على أنها خطيرة. لم يكن في شبكة الأمان ثقب فحسب؛ بل تحولت الشبكة بأكملها إلى فخ.
يظهر البحث أن الأمر لا يتعلق فقط بكون النماذج "غبية". بل يتعلق بـ الضغط الاجتماعي. نماذج الذكاء الاصطناعي جيدة بشكل مدهش في اتباع القطيع، خاصة عندما يقول القطيع إن شيئاً ما خطير. وجد الباحثون عدم تماثل قوياً: كانت النماذج أكثر عرضة لتغيير آرائها لتقول "غير آمن" (حوالي 75% من الوقت) من تغيير آرائها لتقول "آمن" (حوالي 17% فقط من الوقت). وهذا يعني أن اللجنة تصبح آلة تصرخ "خطر!" في وجه كل شيء، بينما تكاد لا تكتشف أي مخاطر فعلية.
تأثير "السلطة" والنماذج المملوكة لشركات
اختبرت الدراسة أيضاً ما يحدث إذا أخبرت "سلطة عليا" واحدة بدلاً من ستة أقران الذكاء الاصطناعي بما يجب أن يفكر فيه. تباينت النتائج بشكل كبير اعتماداً على النموذج. بعض النماذج، مثل Qwen2.5-7B، قلبت أحكامها فوراً لتتفق مع السلطة (غيرت رأيها في 99.4% من العناصر). أما نماذج أخرى، مثل Mistral-7B، فلم تتزحزح على الإطلاق. يشير هذا إلى أن ليس كل أنظمة الذكاء الاصطناعي متساوية في التأثر بضغط الأقران؛ فبعضها أكثر عناداً من غيرها.
حتى أنهم اختبروا بعض النماذج الأحدث والمغلقة المصدر (مثل تلك التابعة لشركة OpenAI). كانت النتائج مختلطة: بعض النماذ الأحدث كانت سهلة الانقياد مثل النماذج القديمة، بينما كانت أخرى أكثر مقاومة. يخبرنا هذا أن مجرد استخدام نموذج "أحدث" أو "أكبر" لا يضمن السلامة إذا كانت بنية النظام تسمح لهم جميعاً بسماع نفس الرسالة المضللة.
لماذا يهم هذا الأمر
الخلاصة الكبرى هي أن التجميع ليس سحراً. لا يمكنك مجرد رمي ستة نماذج معاً وافتراض أنها ستكون أذكى من نموذج واحد. إذا قرأوا جميعاً نفس السياق المضلل - مثل سجل دردشة مشترك أو ملخص لنقاش يحتوي على تصنيف خاطئ - فسوف يرتكبون جميعاً نفس الخطأ، وسيثبت تصويت الأغلبية هذا الخطأ فقط.
يشير البحث إلى أنه قبل أن نثق في لجان الذكاء الاصطناعي هذه للحفاظ على سلامتنا، نحتاج إلى اختبارها بنفس الرسائل المضللة التي قد تواجهها في العالم الحقيقي. نحن بحاجة إلى التحقق مما إذا كانت عرضة لسلوك "القطيع". إذا كانت اللجنة ستصنف 100% من المحتوى غير الضار لمجرد أنهم جميعاً سمعوا إشاعة خاطئة، فإن النظام قد فشل، بغض النظر عن عدد النماذج الموجودة في الغرفة. تخلص الدراسة إلى أننا بحاجة إلى تصميم أنظمة سلامة حيث يمكن للمراجعين التفكير بشكل مستقل، أو على الأقل التحقق مما إذا كانوا يتأثرون بنفس الإشارات الاجتماعية قبل أن نسمح لهم بالتصويت.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.