تخيل أنك تحاول تحديد أفضل فيلم في السنة. تسأل مجموعة من أصدقائك لمشاهدة الأفلام وإعطاء درجة. ولكن إليك المفاجأة: تطلب من أحد الأصدقاء أن يحكم كأنه ناقد سينمائي صارم يكره البطء في الإيقاع، ومن آخر كأنه مراهق يبحث عن المؤثرات البصرية الرائعة، ومن ثالث كأنه ولي أمر يتحقق من القيمة التعليمية. فجأة، قد يتغير الفيلم "الأفضل" بناءً على الشخص الذي سألت! هذا هو جوهر تقييم استرجاع المعلومات (Information Retrieval evaluation)، وهو علم معرفة مدى جودة محركات البحث في إيجاد الإجابات الصحيحة. لعقود من الزمن، قام البشر بهذا الدور في التحكيم، لكن الأمر كان بطيئاً ومكلفاً. والآن، يستخدم العلماء النماذج اللغوية الكبيرة (LLMs) — وهي روبوتات دردشة ذكية للغاية — للقيام بدور المحكم بدلاً منهم. السؤال الكبير هو: إذا طلبت من الذكاء الاصطناعي أن "يمثل" أدوار أنواع مختلفة من البشر، فهل يغير ذلك النتائج؟ هل تعتمد إجابة الذكاء الاصطناعي على "القناع" الذي يرتديه؟

هذه الورقة البحثية تغوص في هذا السؤال تحديداً. أراد الباحثون معرفة ما إذا كان إعطاء الذكاء الاصطناعي "شخصية" معينة (مثل "طبيب" أو "محامٍ") يغير كيفية ترتيبه لنتائج البحث، أم أنه يعطي نفس الإجابة بغض النظر عن ذلك. لقد تعاملوا مع هذه الشخصيات كاختبار جهد، حيث قاموا بوخز واختبار الذكاء الاصطناعي ليروا مدى تذبذب آرائه. ووجدوا أنه بينما لا يقلب الذكاء الاصطناعي قائمة الفائزين والخاسبين بالكامل، إلا أنه يصبح "متشدداً" قليلاً. تشير النتائج إلى أن حكم الذكاء الاصطناعي ليس حقيقة ثابتة؛ بل يتغير قليلاً اعتماداً على الدور الذي يلعبه، وهذا التغيير يظهر بشكل أكبر في نماذج الذكاء الاصطناعي الأصغر والأقل قوة مقارنة بالنماذج الكبيرة والذكية.

قصة القاضي المتشكل

في عالم محركات البحث، نحتاج إلى معرفة ما إذا كانت الخوارزمية الجديدة أفضل حقاً من القديمة. لمعرفة ذلك، نقوم بإجراء مجموعة من عمليات البحث التجريبية ونطلب من "مُقيّم" أن يحدد مدى جودة النتائج. تقليدياً، كان يتم ذلك بواسطة البشر. لكن البشر يتعبون، وهم مكلفون، ويختلفون أحياناً مع بعضهم البعض. لذا، بدأ الباحثون في استخدام نماذج الذكاء الاصطناعي كحكام. الفكرة هي أنه إذا قمت بتوجيه الذكاء الاصطناعي بشكل صحيح، فيمكنه التصرف كمحكم بشري محترف.

ولكن هنا تكمن المشكلة: الذكاء الاصطناعي حساس. إذا غيرت طريقة طرحك للسؤال، فقد تتغير الإجابة. تسأل هذه الورقة: ماذا يحدث إذا غيرنا "هوية" القاضي؟ بدلاً من مجرد طلب "أن يكون القاضي"، أخبر الباحثون النموذج بأن "يكون طبيباً"، أو "محامياً"، أو "مدقق حقائق متشكك". أرادوا معرفة ما إذا كانت هذه "الأقنعة" المختلفة ستجعله يغير رأيه حول جودة نتائج البحث.

التجربة: إلباس الذكاء الاصطناعي ملابس تنكرية

أعد الباحثون تجربة ضخمة باستخدام مجموعتين مختلفتين من أسئلة البحث (تسمى مجموعات بيانات). كانت إحدى المجموعات تتعلق بأسئلة واقعية قصيرة (مثل "من فاز بجائزة نوبل؟")، والأخرى بمواضيع معقدة ومفتوحة (مثل "كيف ينبغي للمعلمين التعامل مع الاختبارات الحكومية؟").

أخذوا ستة نماذج مختلفة من الذكاء الاصطناعي — بعضها ضخم وقوي، وبعضها أصغر وأخف — وطلبوا منها تقييم نتائج البحث. لكنهم لم يكتفوا بطلب التقييم فحسب؛ بل أعطوها أدواراً محددة:

1. القاضي المتوافق مع الاستعلام: يركز على ما "قصده" المستخدم.
2. خبير المجال: يركز على مجالات محددة مثل الصحة أو القانون.
3. القاضي المتعارض (Orthogonal): وهو "معارض" ينظر إلى الأمور من زاوية مختلفة تماماً.
4. مدقق الأدلة: مدقق حقائق صارم يتطلب دليلاً.
5. المقيم العالمي: مقيم مهني قياسي.

كما جربوا طريقتين مختلفتين لإنشاء هذه الأدوار: إحداهما باستخدام أوصاف مجردة (مثل "ولي أمر") والأخرى باستخدام قوائم مهارات مفصلة (مثل "شخص لديه مهارات في تطوير المناهج").

ما وجدوه: الذكاء الاصطناعي هو "خاتم مزاج" وليس صخرة

كانت النتائج رائعة ومثيرة للدهشة نوعاً ما. لم يفقد الذكاء الاصطناعي عقله تماماً. فعندما غيروا الشخصية، لم يقرر الذكاء الاصطناعي فجأة أن نتيجة سيئة هي مثالية وأن نتيجة مثالية هي سيئة. بدلاً من ذلك، كانت التغييرات أكثر دقة، مثل تغير ألوان خاتم المزاج (Mood Ring).

1. تحول "الصرامة"
في معظم الأوقات، ظلت ترتيبات الذكاء الاصطناعي قريبة جداً من الخط المرجعي القياسي. ومع ذلك، فإن "الشخصيات" غيرت مدى صرامة الذكاء الاصطناعي. على سبيل المثال، مالت شخصية "مدقق الأدلة" إلى أن تكون أكثر صرامة، حيث أعطت درجات أقل للنتائج التي لا تملك دليلاً صلباً. كما كانت شخصية "المعارض" أكثر عرضة للاختلاف مع الرأي السائد. ولكن الأهم من ذلك، أن هذه التغييرات كانت عادةً ما تدفع الدرجات للأعلى أو للأسفل قليلاً فقط؛ ولم تسبب فوضى شاملة حيث يتم بعثرة قائمة الفائزين بالكامل.

2. الحجم يفرق: العقول الكبيرة مقابل العقول الصغيرة
كان هذا اكتشافاً رئيسياً. كانت نماذج الذكاء الاصطناعي الأكبر والأكثر قوة (مثل تلك التي تمتلك 70 مليار معلمة) مستقرة جداً. مهما كان "القناع" الذي ترتديه، كانت تحافظ على ترتيباتها كما هي تقرياً. كانت مثل القاضي الحكيم الذي يعرف القواعد ولا يتأثر بتغيير الملابس.
أما نماذج الذكاء الاصطناعي الأصغر والأقل قوة، فكانت أكثر حساسية بكثير. عندما وضعت قناع "المعارض" على ذكاء اصطناعي صغير، ارتبك وتذبذبت ترتيباته كثيراً. وهذا يشير إلى أنه إذا استخدمت ذكاءً اصطناعياً ضعيفاً للقيام بالتحكيم، فقد تكون النتائج غير موثوقة لمجرد أنك طلبت منه أن "يمثل" دوراً معيناً.

3. "المعارض" هو الأكثر إرباكاً
من بين جميع الأدوار، تسببت شخصية "المعارض" (Orthogonal) في أكبر التحولات في الترتيب. وهذا منطقي: إذا طلبت من الذكاء الاصطناعي أن ينظر إلى الأمور من زاوية مختلفة تماماً، فسوف يغير رأيه أكثر مما لو طلبت منه أن يكون "خبيراً في مجال ما". ووجد الباحثون أن استخدام معارض "مرتكز على المهارات" (لديه قائمة مهارات محددة) تسبب في حركة أكبر من المعارض العام.

4. الأمر لا يتعلق بـ "من" هي الشخصية، بل بـ "ماذا" تفعل
تساءل الباحثون عما إذا كان مصدر الشخصية يهم. هل يهم إذا جاءت الشخصية من قاعدة بيانات أوصاف مجردة أم من قاعدة بيانات مهارات مهنية؟ وجدوا أن ذلك لا يهم كثيراً. سواء قيل للذكاء الاصطنا_ي أن يكون "أستاذ علم اجتماع" أو "شخصاً لديه مهارات في تطوير المناهج"، كان التأثير متشابهاً. ما كان يهم حقاً هو "الدور" (مثل كون الشخص مدقق حقائق مقابل كونه معارضاً) وحجم نموذج الذكاء الاصطناعي.

لماذا يهم هذا الأمر؟

هذه الورقة لا تقول إن القضاة من الذكاء الاصطناعي عديمو الفائدة. في الواقع، هي تشير إلى أنهم جيدون جداً في الحفاظ على استقرار الصورة الكبيرة، خاصة النماذج الكبيرة والقوية. ومع ذلك، فهي تحذرنا من أن قضاة الذكاء الاصطناعي ليسوا ناقلين للحقيقة المطلقة. فآراؤهم يمكن أن تتأثر بكيفية صياغة المهمة.

يقترح المؤلفون ضرورة استخدام "تغيير الشخصيات" كأداة تشخيصية. فكر في الأمر كاختبار جهد لجسر. إذا هززت الجسر قليلاً (بتغيير الشخصية) وتمايل كثيراً، فأنت تعلم أن الجسر (أو نظام البحث) لديه نقطة ضعف. من خلال رؤية أي أنظمة البحث يتغير ترتيبها عندما يتغير "مزاج" الذكاء الاصطناعي، يمكن للباحثين العثور على الأنظمة التي تتأثر بشدة بكيفية تقييمها.

باختصار، تعلمنا هذه الورقة أنه بينما يمكن للذكاء الاصطناعي أن يكون قاضياً رائعاً، يجب أن نكون حذرين بشأن "الملابس التنكرية" التي نلبسه إياها. إذا أردنا نتائج موثوقة، فيجب أن نتمسك بالنماذج الأكبر والأذكى، وأن نفهم أن الطريقة التي نطلب بها من الذكاء الاصطناعي أن يحكم يمكن أن تدفع النتيجة نحو اتجاه معين بشكل طفيف. إنه تذكير بأنه حتى في عالم الذكاء الاصطناعي، فإن المنظور يفرق.