When Roles Fail: Epistemic Constraints on Advocate Role Fidelity in LLM-Based Political Statement Analysis
تقدم هذه الورقة أول اختبار تجريبي منهجي للوفاء بالدور في سلاسل نماذج اللغات الكبيرة متعددة الوكلاء لتحليل الخطاب السياسي، كاشفةً أن النماذج تخفق بشكل متكرر في الحفاظ على الأدوار المعارضة الموكلة إليها بسبب آليات مثل "تجاوز الدور المعرفي"، مع وجود تباينات كبيرة في أنماط الفشل والوفاء اعتماداً على النموذج المحدد، واللغة، وأدوات التحقق من الحقائق المستخدمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تنظم اجتماعًا لبلدية المدينة لمناقشة قانون جديد مثير للجدل. وللحصول على صورة عادلة، تقوم بتعيين ثلاثة خبراء مختلفين لتقديم آرائهم:
- الناقد: شخص يبحث عن العيوب ويحاول تفكيك الحجة.
- المحايد: شخص يكتفي بسرد الحقائق دون اتخاذ أي جانب.
- المدافع: شخص يحاول إيجاد أفضل تفسير ممكن، باحثًا عن النية "حسنة النية" وراء الحجة.
هكذا يعمل نظام TRUST. يستخدم هذا النظام ثلاثة نماذج ذكاء اصطناٍ مختلفة (روبوتات) للقيام بهذه الأدوار في وقت واحد. الفكرة هي أنه من خلال إجبار الروبوتات على الجدال من هذه الزوايا المحددة، ستحصل على رؤية كاملة ومتوازنة للتصريحات السياسية.
ومع ذلك، يطرح هذا البحث سؤالًا بسيطًا ولكنه مخيف: ماذا لو نسي الروبوتات وظائفهم؟
المشكلة الجوهرية: عندما "يخرج الروبوت عن الشخصية"
اختبر الكاتب، يورغن ديتريش، ما إذا كان بإمكان روبوتات الذكاء الاصطناعي هذه البقاء فعليًا في أدوارها المحددة. ووجد أنها غالبًا ما تفشل، ولكن ليس بشكل عشوائي؛ بل تفشل بطرق محددة ومتوقعة للغاية عندما تواجه حقائق تتعارض مع تعليماتها.
فكر في الأمر كأن ممثلًا في مسرحية طُلب منه لعب دور الشرير. إذا ذكر النص أن الشرير قاتل، فإن الممثل يلعب دور الشرير. ولكن إذا كشف النص فجأة أن الشرير هو في الواقع قديس، فقد يتوقف الممثل عن لعب دور الشرير ويبدأ في التصرف كبطل، رغم أن المخرج أمره بالبقاء في شخصيته.
طريقتان لفشل الروبوتات
حدد البحث طريقتين رئيسيتين لهذا "الخروج عن الشخصية"، وهو ما يسميه المؤلف تجاوز الدور المعرفي (Epistemic Role Override).
1. تأثير "الأرضية" (معضلة المدافع)
تخيل أن روبوت المدافع يحاول أن يكون لطيفًا ويجد الخير في تصريح ما.
- السيناريو: يقول التصريح: "أكل الصخور يعالج السرطان".
- التعارض: أداة "التحقق من الحقائق" (وهي أداة منفصلة) تقول فورًا: "لا، هذا خطأ وخطير".
- النتيجة: يستسلم روبوت المدافع. لا يمكنه التظاهر باللطف تجاه شيء يعرف أنه خاطئ حقيقةً. فهو يتخلى عن دوره "اللطيف" ويبدأ فجأة في التصرف مثل الناقد، مشيرًا إلى الكذبة.
- الاستعارة: يشبه الأمر محاميًا يحاول الدفاع عن موكل ضُبط متلبسًا وهو يحمل سلاح الجريمة. مهما حاول المحامي أن يكون "متعاطفًا"، فإن الحقائق طاغية لدرجة أن دفاع المحامي ينهار. يطلق البحث على هذا اسم تأثير الأرضية المعرفية: الحقائق تخلق أرضية صلبة لا يمكن للروبوت النزول تحتها.
2. تعارض "الأولوية" (معضلة الناقد)
الآن تخيل روبوت الناقد الذي يحاول أن يكون صارمًا ويبحث عن العيوب.
- السيناريو: يقول التصريح: "الشمس تشرق من الشرق".
- التعارض: الناقد مأمور بإيجاد المشكلات، لكن أداة التحقق من الحقائق تقول: "هذا صحيح بنسبة 100%".
- النتيجة: يعاني روبوت الناقد. فمعرفته الداخلية (المدربة على تاريخ البشرية كله) تصرخ بأن هذا صحيح، لذا لا يمكنه حقًا انتقاده. وأحيانًا، ينتقل بالخطأ إلى دور آخر ويبدأ في التصرف مثل المدافع، مؤكدًا صحة التصريح بدلًا من مهاجمته.
- الاستعارة: يشبه الأمر محققًا تم استئجاره لإثبات براءة مشتبه به، ولكن الأدلة واضحة جدًا لدرجة أن المحقق يبدأ بالخطأ في إثبات أن المشتبه به مذنب.
اكتشاف "المرآة"
الاكتشاف الأكثر إثارة للاهتمام هو أن هذين الفشلين هما صورتان مرآتيتان لبعضهما البعض.
- إذا كانت الحقائق سيئة، ينكسر الروبوت "اللطيف".
- إذا كانت الحقائق جيدة، ينكسر الروبوت "الشرير".
يسمي البحث هذا تجاوز الدور المعرفي. معرفة الروبوت الداخلية بـ "ما هو صحيح" أقوى من التعليمات التي تخبره "ما هو الدور الذي يجب أن يلعبه".
المواجهة بين الروبوتات: Mistral مقابل Claude
اختبر المؤلف نموذجين مختلفين من الذكاء الاصطناعي لمعرفة أيهما أفضل في البقاء في الشخصية: Mistral Large و Claude Sonnet.
- Claude Sonnet: كان هذا الروبوت سيئًا جدًا في البقاء في دور "المدافع". فعندما يرى تصريحًا خاطئًا حقيقةً، يقلب شخصيته تمامًا، متحولًا من مؤيد إلى ناقد قاسٍ. كان مثل الحرباء التي تغير ألوانها بسهولة.
- Mistral Large: كان هذا الروبوت أفضل بكثير. فعندما يرى تصريحًا خاطئًا، لا يقلب إلى الجانب المعارض، بل يتوقف ببساطة عن محاولة كونه مدافعًا. لقد "تخلى" عن الدور لكنه لم يصبح العدو.
- الفائز: كان Mistral أكثر موثوقية (بنسبة 28% تقريبًا) في الالتزام بوظيفته الموكلة إليه مقارنة بـ Claude.
تحول اللغة والتحقق من الحقائق
بحثت الدراسة أيضًا فيما إذا كانت اللغة (الإنجليزية مقابل الألمانية) أو أداة "التحقق من الحقائق" المستخدمة تؤثر على النتائج.
- اللغة: تصرفت الروبوتات بشكل مماثل في كل من الإنجليزية والألمانية، وهو أمر جيد.
- أدوات التحقق من الحقائق: هنا أصبح الأمر معقدًا. إذا استخدمت أداة محددة للتحقق من الحقائق (Perplexity) مع روبوت Claude في التصريحات الألمانية، فإن الروبوت يفشل بشكل أكبر. الأمر يشبه استخدام عدسة مكبرة قوية جدًا؛ فهي تجعل الروبوت يرى الكثير من الأخطاء لدرجة أنه لا يستطيع القيام بعمله على الإطلاق.
الخلاصة الكبرى
يخلص البحث إلى أنه إذا قمت ببناء نظام يعتمد على روبوتات الذكاء الاصطناعي للعب أدوار مختلفة (مثل فريق مناظرة)، فلا يمكنك مجرد افتراض أنها ستفعل ما تطلبه منها.
- الحقائق أقوى من التعليمات: إذا تعارضت الحقائق مع الدور، فسيتبع الروبوت الحقائق.
- ليست كل الروبوتات متساوية: بعض النماذج (مثل Mistral) أفضل في التمسك بالدور من غيرها (مثل Claude).
- التحقق هو المفتاح: لا يمكنك فقط التحقق مما إذا كان الروبوت قد قدم إجابة؛ بل يجب عليك التحقق مما إذا كان قد بقي في شخصيته. إذا لم تقم بقياس ذلك، فقد يبدو نظامك وكأنه يقدم لك مناظرة متوازنة، بينما قد يكون في الواقع مجرد روبوت واحد يصرخ برأيه الخاص بينما يتظاهر بأنه شخص آخر.
باختاتصار: يمكنك أن تطلب من الروبوت أن يلعب دور محامي الشيطان، ولكن إذا كانت الحقائق واضحة للغاية، فسيتوقف الروبوت عن لعب دور الشيطان ويبدأ في قول الحقيقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.