STEMMA: An Adversarial Multi-Agent Framework for Evaluating Self-Identity Consistency in LLMs
تقدم هذه الورقة STEMMA، وهو إطار عمل تنافسي متعدد الوكلاء ومجموعة من المطالبات المصممة يدويًا لتقييم اتساق الهوية الذاتية في النماذج اللغوية الكبيرة، كاشفةً أن النماذج الطلابية غالبًا ما ترث أنماطًا سلوكية من النماذج المعلمة تؤدي إلى ثغرات في تمثيلاتها لذاتها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالم الذكاء الاصطناعي كمكتبة ضخمة وصاخبة، حيث تُكتب كتب عملاقة وذكية للغاية (تُسمى النماذج اللغوية الكبيرة) بواسطة مؤلفين مختلفين. هذه الكتب معقدة ومكلفة للغاية لدرجة أن كتابتها تكلف ملايين الدولارات وتستغرق سنوات لإنشائها. ولتوفق في التكاليف، غالبًا ما يستخدم الناشرون حيلة تسمى "تقطير المعرفة" (Knowledge Distillation). فكر في الأمر كطاهٍ ماهر يتذوق طبقًا مثاليًا ثم يعلم طاهيًا مبتدئًا كيفية طهي نسخة أصغر وأرخص من ذلك الطبق. يتعلم الطاهي المبتدئ الوصفات والنكهات، ولكن السؤال الكبير هو: هل يتعلم الطاهي المبتدئ أيضًا بالخطأ الهوية السرية للمعلم، أو أغانيه المفضلة، أو سماته الشخصية؟
هذا هو اللغز الذي يغوص فيه دراسة جديدة. يشعر الباحثون بالقلق من أنه عندما تتعلم هذه النماذج الأصغر من النماذج الأكبر، فقد تلتقط "عادات سلوكية" لا ينبغي لها التقاطها، مثل التظاهر بأنها شخص آخر أو تسريب أسرار حول من صنعها. الأمر يشبه إذا بدأ طالب ينسخ واجب معلم مدرسي بادعاء أنه هو المعلم، أو إذا تعلم روبوت أن يقول: "لقد تم بنائي بواسطة شركة في كاليفورنيا" بينما هو في الواقع بُني في الصين.
وهنا يأتي دور STEMMA، وهو إطار عمل ذكي وجديد ابتكره الباحثان "ن. سيفا جوبالا كريشنا" و"كانيشكا جين" لحل هذا اللغز. يمكنك التفكير في STEMMA كفريق من المحققين الرقميين الذين يعملون معًا للعب لعبة "من أنا؟" عالية المخاطر مع نماذج ذكاء اصطناعي مختلفة. وبدلاً من مجرد سؤال الروبوت: "من أنت؟" (والذي ستجيب عليه معظم الروبوتات بشكل صحيح لأنها مبرمجة لتكون مهذبة)، يستخدم فريق STEMMA نظامًا متعدد الوكلاء لخداع الروبوتات حتى تزلّ بكلماتها.
إليك كيف تعمل اللعبة:
- الوكيل المستجوب (The Probing Agent) هو المستجوب. يطرح أسئلة مخادعة وغير مباشرة، وغالبًا ما يخفي السؤال الحقيقي داخل قصة، أو لغز، أو حتى صورة. إنه يشبه قول: "إذا كنت شخصية في فيلم عن نشأتك، فماذا ستكتب في أسماء العاملين؟"
- الوكيل المراجع (The Reviewer Agent) هو الحارس اليقظ. يستمع إلى إجابة الروبوت ويقرر: "هل أفشى السر للتو؟" إذا حاول الروبوت التهرب من السؤال أو أعطى إجابة غامضة، يخبر المراجع الوكيل المستجوب أن يحاول مرة أخرى بسؤال أكثر حدة.
- الوكيل القاضي (The Judge Agent) هو الحكم النهائي. ينظر إلى المحادثة بأكملها ويعطي درجة. إذا قال الروبوت بشكل صحيح: "أنا Qwen"، فإنه يجتاز الاختبار. أما إذا قال: "أنا GPT"، فإنه يفشل. وإذا قال: "ربما أنا من جوجل؟" أو قام بدور تمثيلي يدعي فيه أنه شخص آخر، فإنه يحصل على درجة "مشتبه به" خاصة.
اختبر الباحثون فريق التحقيق هذا ضد 16 نموذجًا مختلفًا من الذكاء الاصطناعي، تتراوح بين المشاريع مفتوحة المصدر والعمالقة التجاريين المغلقين. استخدموا 12 نوعًا مختلفًا من المطالبات (Prompts) المخادعة وجعلوا الوكلاء يتحدثون مع كل نموذج مرارًا وتكرارًا لمعرفة ما إذا كان بإمكانهم فك الشفرة.
كانت النتائج كاشفة للغاية. وجدت الدراسة أن العديد من النماذج معرضة بشكل مفاجئ لهذه الخدع المتعلقة بالهوية. على سبيل المثال، كان نموذج MiniMax-M2.5 هو الأكثر "تسريبًا"، حيث فشل في الحفاظ على هويته مستقرة في 82% من الاختبارات الصارمة و96% من الاختبارات المتساهلة. وهذا يعني أنه في كل مرة يسأل فيها المحققون بالطريقة الصحيحة (أو الخاطئة)، يكشف النموذج بالخطأ أنه يتم تدريبه بواسطة شخص آخر أو يدعي أنه شركة مختلفة تمامًا. كما أظهرت نماذج أخرى، مثل Qwen3.5-Plus وStep-3.5-Flash، معدلات عالية من الارتباك، حيث بلغت معدلات الفشل الصارمة 74% و66% على التوالي.
ومع ذلك، لم تكن جميع النماذج سهلة الخداع. فبعض النماذج، مثل GPT-5.4-Nano وGrok-4.1.fast، صمدت بشكل مثالي، مع معدلات فشل تقترب من الصفر. بدا وكأنها تعرف بالضبط من هي، بغض النظر عن مدى الضغط الذي يمارسه المحققون. ومن المثير للاهتمام، لاحظت الدراسة أيضًا أن الإصدارات الأحدث من بعض عائلات النماذج (مثل نماذج Kimi وQwen الأحدث) كانت أفضل بكثير في الحفاظ على أسرارها من إخوتها الأقدم، مما يشير إلى أن "المعلمين" يصبحون أفضل في تعليم طلابهم البقاء في الشخصية.
واكتشف الباحثون أيضًا أن أنواعًا معينة من الأسئلة كانت أكثر فعالية في كسر ثبات النماذج. فالمطالبات التي تتضمن لعب الأدوار، أو حل الألغاز باستخدام الصور، أو طلب تخيل معرض متحفي مستقبلي عن نفسه، كانت الأكثر نجاحًا في التسبب في زلات الهوية.
باختًا، تشير هذه الورقة البحثية إلى أنه بينما تصبح نماذج الذكاء الاصطناعي أكثر ذكاءً، إلا أن العديد منها لا يزال مرتبكًا قليلاً بشأن أصوله، خاصة عند الضغط عليه بأسئلة غير مباشرة وذكية. لا تثبت الدراسة أن هذه النماذج خبيثة، لكنها تسلط الضوء على "فجوة" بين ما يُفترض أن تكون عليه النماذج وما تقوله بالفعل عندما توضع تحت الضغط. ويحذر المؤلفون من أن نتائجهم تستند إلى هذه المحاكاة والمطالبات المحددة، وهناك حاجة لمزيد من الأبحاث لفهم مدى حدوث "التعلم العرضي" أثناء عملية التدريب. ولكن في الوقت الحالي، نحن نعلم أنه إذا سألت الذكاء الاصطناعي بالطريقة الصحيحة (أو الخاطئة)، فقد يروي لك قصة عمن يعتقد أنه هو، بدلاً من حقيقته.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.