🤖 AI

PersonaTeaming: Supporting Persona-Driven Red-Teaming for Generative AI

المؤلفون الأصليون: Wesley Hanwen Deng, Mingxi Yan, Sunnie S. Y. Kim, Akshita Jha, Lauren Wilcox, Kenneth Holstein, Motahhare Eslami, Leon A. Gatys

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wesley Hanwen Deng, Mingxi Yan, Sunnie S. Y. Kim, Akshita Jha, Lauren Wilcox, Kenneth Holstein, Motahhare Eslami, Leon A. Gatys

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على نقاط الضعف في روبوت ذكي جداً، ولكنه مهذب بشكل مفرط أحياناً. أنت تريد معرفة ما إذا كان بإمكانك خداعه لقول شيء مسيء، أو خطير، أو متحيز. تسمى هذه العملية "الفريق الأحمر" (Red-Teaming).

عادةً، يقوم البشر بهذا من خلال محاولة "كسر الحماية" (Jailbreak) للروبوت باستخدام أسئلة مخادعة. ولكن البشر يتعبون، ومن الصعب تخيل كل حيلة ممكنة. لذا، بدأ العلماء في استخدام ذكاء اصطناعي آخر للقيام بعملية الخداع نيابة عنهم. ومع ذلك، فإن هذه الأنظمة الآلية غالباً ما تقوم فقط بإعادة ترتيب الكلمات دون فهم حقيقي لـ من الذي يطرح السؤال.

تقدم هذه الورقة البحثية طريقة جديدة لاختبار الذكاء الاصطناعي تسمى PersonaTeaming. إنها تشبه إعطاء نظام اختبار الذكاء الاصطناعي "قناعاً" أو "شخصية" ليرتديها.

إليك تفصيل كيفية عمل ذلك، باستخدام تشبيهات بسيطة:

1. المشكلة: "النقطة العمياء" للروبوت

تخيل الذكاء الاصطناعي الذي تختبره كأنه حارس بوابة في نادٍ صارم للغاية. لدى الحارس قائمة من القواعد (إرشادات السلامة).

الاختبار الآلي القديم: تخيل روبوتاً يحاول التسلل. إنه يحاول فقط عبارات عشوائية مثل "من فضلك اسمح لي بالدخول" أو "أنا شخص مهم (VIP)". إنه فعال، لكنه يبدو آلياً ومتوقعاً بعض الشيء.
القطعة المفقودة: البشر الحقيقيون لا يطرحون أسئلة عشوائية فحسب؛ بل يطرحونها من منظورات محددة. فالأب المتعب، أو الاستراتيجي السياسي، أو المراهق الفضولي، قد يحاولون جميعاً تجاوز حارس البوابة بطرق مختلفة تماماً. الاختبارات الآلية القديمة أغفلت هذه الزوايا "البشرية".

2. الحل: "قناع الشخصية" (سير عمل PersonaTeaming)

ابتكر المؤلفون نظاماً يسمى PersonaTeaming Workflow. بدلاً من مجرد الطلب من الذكاء الاصطناعي "المحاولة بجهد أكبر"، فإنهم يطلبون من ذكاء الاختبار أن يتظاهر بأنه شخصية محددة.

قناع "الخبير": يرتدي ذكاء الاختبار قبعة "استراتيجي سياسي" أو "مُراجع تاريخي". هو يفكر: "كيف سيحاول استراتيجي سياسي تحريف الحقيقة للفوز بانتخابات؟" هذا يساعده في العثق طرقاً ذكية ومستهدفة للغاية لخداع الحارس.
قناع "الشخص العادي": يرتدي ذكاء الاختبار قبعة "أم متفرغة لتربية الأطفال" أو "مدربة يوغا". هو يفكر: "كيف ستحاول أم قلقة الحصول على نصيحة بشأن الاحتفاظ بسلاح في المنزل؟" هذا يجد أنواعاً مختلفة من الحيل التي قد يغفل عنها الخبراء.

النتيجة: عندما اختبروا هذا النظام مقابل أفضل الأساليب الموجودة (المسماة RainbowPlus)، وجد أسلوب "قناع الشخصية" نقاط ضعف أكثر (معدل نجاح أعلى) مع تقديم تنوع كبير في الحيل المختلفة (تنوع عالٍ). لقد كان الأمر أشبه بامتلاك فريق من الممثلين بدلاً من مجرد روبوت واحد.

3. الأداة: "الملعب" (PersonaTeaming Playground)

أدرك الباحثون أنه في بعض الأحيان، تحتاج إلى إنسان حقيقي للمساعدة في تصميم الشخصية. لذا، قاموا ببناء أداة تفاعلية تسمى PersonaTeaming Playground.

كيف تعمل: يجلس "المختبر البشري" (Red-teamer) أمام الكمبيوتر ويكتب شخصيته الخاصة. قد يقول: "أنا عامل تقني يبلغ من العمر 35 عاماً وأحب الرقص".
وظيفة الذكاء الاصطناعي: يأخذ الذكاء الاصطناعي تلك الشخصية ويبدأ في توليد أسئلة مخادعة بناءً عليها.
"الشرارة": أحياناً، يقترح الذكاء الاصطناعي "التواءً" (Twist) لم يخطر ببال الإنسان. على سبيل المثال، إذا كتب الإنسان عن كونه راقصاً، فقد يقترح الذكاء الاصطناعي صياغة طلب خطير في شكل "خطة تصميم رقصات".
النتيجة: وجدت الدراسة أن البشر لم يتبعوا اقتراحات الذكاء الاصطناعي بشكل أعمى. بدلاً من ذلك، كانت أفكار الذكاء الاصطناعية الغريبة تعمل بمثابة "شمعة اشتعال" (Spark plug). حتى لو لم يستخدموا الاقتراح نفسه، فإن رؤيته جعلتهم يفكرون: "أوه! يمكنني تجربة هذا من هذه الناحية الأخرى!". لقد ساعدهم ذلك على الخروج من قيود تفكيرهم المعتادة.

4. خدعة "ضمير المتكلم" مقابل "ضمير الغائب"

حدث اكتشاف مثير للاهتمام أثناء الدراسة البشرية:

ضمير المتكلم ("أنا"): عندما كتب البشر شخصيات عن أنفسهم (مثلاً: "أنا أم متعبة...")، كانوا غالباً مهذبين للغاية. شعروا بعدم الارتياح لجعل الشخصية تقول أشياء ضارة حقاً لأن الأمر بدا قريباً جداً من صوتهم الخاص.
ضمير الغائب ("هو/هي"): عندما كتب البشر عن شخصية خيالية (مثلاً: "جيك هو جاسوس...")، شعروا بأمان أكبر. كانوا مستعدين لدفع الحدود بشكل أكبر لأنهم شعروا بمسافة نفسية عن الشخصية. كان الأمر أشبه بارتداء زيّ منحهم الشجاعة ليكونوا أكثر جرأة.

5. الخلاصة

تخلص الورقة البحثية إلى أن الشخصيات (Personas) هي الجسر بين الإبداع البشري والسرعة الآلية.

للأتمتة: منح الذكاء الاصطناعي "شخصية" محددة يجعله أفضل بكثير في العثور على المخاطر الخفية في أنظمة الذكاء الاصطناعي الأخرى.
للبشر: استخدام أداة تسمح لك بإنشاء شخصيات يساعدك على التفكير في طرق جديدة ومبتكرة لاختبار الذكاء الاصطناعي، حتى لو لم تكن خبيراً تقنياً.

باختاً، PersonaTeaming يدور حول إدراك أنه لاختبار ذكاء اصطناعي ذكي، لا تحتاج لاختباره كمجرد آلة، بل كآلة تتفاعل مع العالم المتنوع، والمبدع، والفوضوي للهويات البشرية.

ملخص تقني: PersonaTeaming

بيان المشكلة

استلزمت التطورات الأخيرة في الذكاء الاصطدالي التوليدي (GenAI) وجود أساليب قوية لاختبار الجوانب الحمراء (red-teaming) للكشف عن سلوكيات النماذج الضارة أو المتحيزة أو الإشكالية. وبينما يوفر الاختبار الأحمر المؤتمت قابلية للتوسع، إلا أن النهج الحالية تعتمد غالبًا على فئات مخاطر وأنماط هجوم محددة مسبقًا (مثل "التحريض على التمييز" أو "الأخطاء الإملائية") دون نمذجة الهويات البشرية وراء الهجمات العدائية بشكل صريح. وفي المقابل، فإن الاختبار الأحمر اليدوي بالكامل محدود من حيث القابلية للتوسع والعبء النفسي على المقيمين البشريين. وتتمركز الطرق الحالية في منطقة وسطى بين هذين الطرفين، مما يفتقر إلى القدرة على دمج المنظورات البشرية المتنوعة أو الحكم الدقيق المطلوب لفهم من الذي يهاجم النموذج ولماذا. تعالج هذه الورقة الفجوة في الاستفادة من الهويات البشرية لتعزيز استراتيجيات الاختبار الأحمر، سواء كانت مؤتمتة أو تعتمد على العنصر البشري.

المنهجية

يقترح المؤلفون PersonaTeaming، وهو إطار عمل يدمج "الشخصيات" (personas) — وهي تمثيلات مهيكلة لمنظورات المستخدمين — في عملية توليد المطالبات العدائية. ينقسم العمل إلى مكونين رئيسيين: سير عمل مؤتمت وواجهة تفاعلية.

1. سير عمل PersonaTeaming (المؤتمت)

يعمل هذا المكون على توسيع منهجية الاختبار الأحمر المؤتمت المتطورة، RainbowPlus، من خلال جعل تحوير المطالبات (prompt mutation) مشروطًا بشخصيات صريحة.

بناء الشخصية: يبني النظام نوعين أساسيين من الشخصيات:
- خبراء الاختبار الأحمر (RTers): مهيكلة بخلفيات مهنية (مثل "مخطط سياسي"، "مراجِع تاريخي") وسمات سلوكية تركز على الخبرة العدائية.
- مستخدمو الذكاء الاصطناعي العاديون (Users): مهيكلة بتفاصيل ديموغرافية (مثل "أم متفرغة لتربية الأطفال"، "مدربة يوغا") لمحاكاة منظورات المستخدمين اليوميين، بما في ذلك الآراء السياسية، والثروة، والهوايات.
آلية التحوير: يستخدم سير العمل نماذج اللغات الكبيرة (LLMs) لتحوير المطالبات الأولية (seed prompts). وبدلاً من تعليمات التحوير العامة، يتم توجيه النموذج اللغوي الكبير لإعادة صياغة المطالبة بناءً على الخصائص والخلفية والسمات السلوكية لشخصية مختارة.
التوليد الديناميكي للشخصيات: لتوسيع النطاق لما وراء الشخصيات الثابتة، طور المؤلفون خوارزمية PersonaGeneration. تقوم هذه الخوارزمية بتوليد شخصيات مرشحة ديناميكيًا تتماشى مع مطالبة أولية محددة. وهي تستخدم دالة تسجيل (تم تنفيذها عبر نموذج لغوي كبير) لتقييم "ملاءمة" شخصية جديدة مقابل الشخصية الحالية لمهمة معينة، مع الاحتفاظ بالشخصية ذات الدرجة الأعلى. يتيح ذلك للنظام اختيار المنظور العدائي الأكثر فعالية لمهمة محددة بشكل تكيفي.

2. ساحة لعب PersonaTeaming (العنصر البشري في الحلقة)

لمعالجة القيود المتعلقة بكون الشخصيات المؤتمتة مجرد تقريبات للمنظورات البشرية الحقيقية، بنى المؤلفون واجهة تفاعلية تسمح لمختبري الجوانب الحمراء البشريين بتأليف شخصياتهم الخاصة والتعاون مع الذكاء الاصطناعي.

تفاعل المستخدم: يمكن للممارسين صياغة شخصيات بلغة طبيعية (بصيغة المتكلم أو الغائب)، وإضافة تعليمات التأكيد (مثل التركيز على أبعاد مخاطر معينة)، وتكوين معلمات التحوير.
التحوير التعاوني: يقوم النظام بتوليد مطالبات عدائية بناءً على الشخصية التي صاغها المستخدم. ويمكن للمستخدمين تعديل هذه المطالبات يدويًا أو قبول اقتراحات التحوير الناتجة عن الذكاء الاصطناعي.
التحسين التكراري: تدعم الواجهة حلقة تكرارية حيث يمكن للمستخدمين مراجعة شخصياتهم بناءً على نتائج التحوير، مما يعزز عملية تعاونية بين النية البشرية والتوليد بالذكاء الاصطناعي.

المساهمات الرئيسية

سير عمل PersonaTeaming: طريقة مبتكرة للاختبار الأحمر المؤتمت تدمج الشخصيات في تحوير المطالبات، مما يوسع نطاق الاستراتيجيات المؤتمتة بما يتجاوز التصنيفات المحددة مسبقًا.
ساحة لعب PersonaTeaming: واجهة تفاعلية تمكن مختبري الجوانب الحمراء من تأليف الشخصيات والتعاون مع الذكاء الاصطناعي، مما يسد الفجوة بين الأساليب اليدوية الكاملة والمؤتمتة بالكامل.
التقييم التقني: تقييم شامل يوضح أن التحوير القائم على الشخصية يحسن معدل نجاح الهجوم (ASR) مع الحفاظ على تنوع المطالبات عبر النماذج مفتوحة ومغلقة المصدر (GPT, Gemini, Qwen).
دراسة المستخدم: دراسة أجريت مع 11 ممارسًا من الصناعة لفحص سهولة استخدام "ساحة اللعب"، وكيفية عمل التعاون بين الإنسان والذكاء الاصطناعي في الاختبار الأحمر عمليًا.
إطلاق المصدر المفتوح: إصدار الكود المصدري والآثار التصميمية لدعم باحثي وممارسي الذكاء الاصطناعي المسؤول (RAI).

النتائج

التقييم التقني

قيم المؤلفون سير عمل PersonaTeaming مقابل خط الأساس RainbowPlus عبر ستة نماذج مستهدفة (بما في ذلك GPT-4o وQwen2.5 وGemini 2.5).

معدل نجاح الهجوم (ASR): حقق سير العمل معدل ASR أعلى من خط الأساس. وتحديدًا، حقق شرط توليد شخصيات خبراء الاختبار الأحمر الديناميكية ( $RP + PG_{RTers}$ ) متوسط ASR قدره 0.223 (تحسن بنسبة 46% عن خط الأساس) مع زيادة تنوع المطالبات في الوقت نفسه (0.632 مقابل 0.592 لخط الأساس).
الثابت مقابل الديناميكي: حققت شخصيات الخبراء الثابتة (مثل "المراجع التاريخي") أعلى ASR (0.257) ولكن على حساب التنوع بسبب التشابه النصي على مستوى المتن. بينما حافظت شخصيات المستخدمين الثابتة على ASR مماثل لخط الأساس ولكنها زادت التنوع بشكل كبير.
الإبداع والاستهداف: كشف التحليل النوعي وتحليل TF-IDF أن المطالبات المدفوعة بالشخصية كانت أكثر إبداعًا واستهدافًا. فعلى سبيل المثال، نجحت شخصية "المخطط السياسي" في إعادة صياغة طلب ضار في سياق حملة سياسية، بينما ولدت شخصية "الأم المتفرغة لتربية الأطفال" سرديات بصيغة المتكلم تجاوزت فلاتر السلامة.
تعميم النموذج: كانت فوائد التوليد الديناميكي للشخصيات قوية عبر كل من النماذج مفتوحة ومغلقة المصدر، وكذلك عبر أحجام النماذج المختلفة.

نتائج دراسة المستخدم

في دراسة مع 11 ممارسًا من الصناعة:

استراتيجيات متنوعة: انجذب المشاركون بشكل طبيعي نحو كتابة شخصيات بصيغة المتكلم (مع التأكيد على الهوايات والهوية) وصيغة الغائب (مع التأكيد على الخبرات والمهارات).
المسافة النفسية: كان المشاركون الذين يكتبون بصيغة الغائب أكثر استعدادًا لتصعيد المحتوى الضار، بينما أظهر الكتاب بصيغة المتكلم ترددًا أكبر، مما يشير إلى أن الشخصيات يمكن أن توفر المسافة النفسية اللازمة لمختبري الجوانب الحمراء.
الذكاء الاصطناعي كمحفز: عملت الاقتراحات المولدة بواسطة الذكاء الاصطناعي كـ "استفزازات" وليس كتعليمات ملزمة. وحتى عندما لم يتبع المشاركون اقتراحات الذكاء الاصطناعي بدقة، فإن التعرض لهذه الأفكاء شجعهم على التفكير خارج الصندوق وساعدهم على استكشاف اتجاهات هجوم لم يكن بإمكانهم توليدها بأنفسهم.
التحسين التكراري: وجدت الدراسة علاقة إيجابية بين عدد التعديلات المجراة على المطالبات المحورة ونجاح الهجوم، مما يشير إلى أن التكرار على مخرجات الذكاء الاصطناعي أكثر إنتاجية من مجرد صياغة المزيد من الشخصيات.

الأهمية والادعاءات

تدعي الورقة أن PersonaTeaming تطور مجال سلامة الذكاء الاصطناعي من خلال:

سد الفجوة: تقدم حلاً وسطًا بين الاختبار الأحمر اليدوي الكامل والمؤتمت بالكامل، مستفيدة من قابلية التوسع للذكاء الاصطناعي مع الاحتفاظ بالفهم السياقي والمنظورات المتنوعة للهويات البشرية.
تعزيز الاكتشاف: من خلال دمج الشخصيات، تكتشف الطريقة طيفًا أوسع من الاستراتيجيات العدائية، بما في ذلك تلك المتجذرة في تجارب حياتية محددة أو خبرات مهنية قد تغفلها خوارزميات التحوير العامة.
التعاون بين الإنسان والذكاء الاصطناعي: يقدم العمل رؤى تصميمية للتعاون المستقبلي بين الإنسان والذكاء الاصطناعي، ويسلط الضوء بشكل خاص على أن اقتراحات الذكاء الاصطناعي تكون أكثر قيمة عندما تعمل كمحفزات للإبداع البشري ("استفزازات") بدلاً من كونها تعليمات مباشرة.
المنفعة العملية: يفترض المؤلفون أنه بينما لا يمكن للشخصيات المؤتمتة أن تحل محل الحكم البشري بالكامل، إلا أنها تعمل كنقطة انطلاق قيمة لمزيد من التحوير وبديل منخفض التكلفة للاستكشاف الأولي، خاصة عندما تكون الموارد البشرية محدودة.

يظل المؤلفون متواضعين في ادعاءاتهم، مدركين أن الشخصيات المؤتمتة هي تقريبات للتجربة البشرية الحقيقية ويمكن أن تكون نمطية أحيانًا. ويؤكدون أن القيمة الحقيقية تكمن في سير العمل التعاوني حيث يقوم البشر بتنقيح وتوجيه هذه العمليات المؤتمتة.