AIPsy-Affect: A Keyword-Free Clinical Stimulus Battery for Mechanistic Interpretability of Emotion in Language Models
تقدم هذه الورقة AIPsy-Affect، وهي بطارية محفزات سريرية مكونة من 480 بنداً تتميز بمواقف عاطفية خالية من الكلمات المفتاحية وضوابط محايدة متطابقة لتمكين التفسير الآلي الصارم للعاطفة في النماذج اللغوية الكبيرة من خلال إزالة الارتباك الناتج عن المفردات الخاصة بالعاطفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول اكتشاف كيف "يشعر" روبوت فائق الذكاء (نموذج لغوي كبير) عندما يقرأ قصة. تريد أن تعرف: هل يفهم الروبوت "عاطفة" الموقف، أم أنه يكتفي فقط برصد "كلمات عاطفية" محددة مثل غاضب، أو حزين، أو سعيد؟
هذا هو المشكل الكبير الذي تحله هذه الورقة البحثية.
المشكلة: "فخ الكلمات المفتاحية"
فكر في التجارب السابقة على هذا النحو: تعرض على الروبوت قصة تقول: "أنا مستشيط غضباً!"، فينطلق إنذار "الغضب" داخل الروبوت.
- السؤال: هل فهم الروبوت الشعور بالاستشاطة غضباً؟ أم أنه رأى فقط كلمة "مستشيط غضباً" وضغط على الزر؟
- المشكلة: في معظم الاختبارات السابقة، كانت القصص مليئة بكلمات عاطفية. ومن المستحيل معرفة ما إذا كان الروبوت ذكياً فيما يتعلق بالمشاعر أم أنه مجرد صائد جيد للكلمات. الأمر يشبه اختبار ما إذا كان الكلب يفهم مفهوم "الإحضار" عبر استخدام كلمة "إحضار" فقط، بدلاً من رمي الكرة له فعلياً.
الحل: AIPsy-Affect (اختبار "الخلو من الكلمات المفتاحية")
ابتكر المؤلفون مجموعة جديدة من 480 قصة تسمى AIPsy-Affect. فكر في هذا كـ "خدعة سحرية" لاختبار الروبوتات.
1. قصص "المواقف فقط" (العناصر السريرية)
كتبوا 192 قصة تصف موقفاً يُفترض أن يجعلك تشعر بعاطفة معينة (مثل الغضب العارم، أو الحزن، أو الفرح)، لكنهم منعوا بصرامة أي كلمات تسمي تلك العاطفة.
- مثال: بدلاً من قول "كان مستشيطاً غضباً"، يكتبون: "ألقى الأوراق على الأرض. أظهر كشف الحساب البنكي رصيداً صفرياً. لقد وقع شقيقه على نموذج السحب".
- القصة تصرخ "خيانة وغضب" من خلال الأحداث، لكن كلمة "غضب" غير موجودة في أي مكان.
2. قصص "التوأم الممل" (عناصر التحكم المتطابقة)
لكل قصة عاطفية، أنشأوا قصة "توأم" متطابقة تقريباً في الطول، والشخصيات، والإعداد، ولكنها خالية من العاطفة.
- مثال: "قام بفرز الأوراق على الطاولة. أظهر كشف الحساب البنكي أن الرصيد نما بنسبة 4%. لقد وقع شقيقه على نموذج الإيداع".
- نفس الشخصيات، نفس الأشياء، نفس الطول. الفرق الوحيد هو أن "الخيانة" قد اختفت، وحل محلها روتين ممل.
3. القصص "المملة المعقدة"
أضافوا أيضاً 48 قصة حول أشياء تفصيلية وتقنية للغاية (مثل آلة تقطع المعدن أو سفينة تبحر) للتأكد من أن الروبوت لا يشعر بالإثارة لمجرد أن القصة "طويلة ومفصلة" بدلاً من كونها "عاطفية".
كيف اختبروا ذلك (الدفاع ثلاثي الطبقات)
لم يكتفِ المؤلفون بالثقة في كتابتهم الخاصة؛ بل مرروا القصص عبر ثلاثة "محققين" مختلفين لإثبات أن القصص خالية حقاً من الكلمات المفتاحية:
- عداد الكلمات البسيط (VADER): تبحث هذه الأداة عن كلمات "سعيدة" أو "حزينة". وجدت بعض الاختلاف بين القصص العاطفية والمملة، ولكن عندما تحققوا من أي كلمات تسببت في هذا الاختلاف، وجدوا أنها مجرد كلمات ظرفية مثل "مال"، أو "موت"، أو "تمت الموافقة". لم يتم العثور على أي كلمات عاطفية فعلية.
- قاموس العواطف (NRC): تبحث هذه الأداة عن فئات عاطفية محددة (مثل "الخوف" أو "الفرح"). لم تجد أي اختلاف. في الواقع، احتوت القصص العاطفية على كلمات عاطفية أقل من القصص المملة!
- مصنف الذكاء الاصطناعي الذكي (GoEmotions): هذا ذكاء اصطناعي ذكي جداً مدرب على رصد العواطف.
- النتيجة أ: استطاع التمييز بين القصص "العاطفية" والقصص "المملة" (عرف أن هناك شيئاً ما يحدث).
- النتيجة ب: لم يستطع تخمين أي عاطفة هي. لقد أخطأ في تحديد الفئة بنسبة 95% من المرات.
- الخلاصة: استطاع الذكاء الاصطناعي الذكي استشعار "أن شيئاً عاطفياً يحدث" بناءً على الموقف، لكنه لم يستطع تسمية الشعور لأن "بطاقات الأسماء" (الكلمات المفتاحية) كانت مفقودة.
لماذا هذا مهم
هذه المجموعة من البيانات هي أداة للعلماء، وليست منتجاً للأطباء أو المعالجين.
- ما تسمح به: يمكن للباحثين الآن اختبار ما إذا كان لدى الروبوت "دائرة شعور داخلية" حقيقية أم أنه مجرد آلة لمطابقة الكلمات. إذا استطاع الروبوت التمييز بين القصة "المستشيطة غضباً" وقصة "التوأم الممل" دون استخدام كلمة "مستشيط غضباً"، فسنعرف أن الروبوت قد تعلم فهم الموقف، وليس فقط المفردات.
- ما لا تدعيه: لا تدعي الورقة البحثية أن هذا سيساعد الروبوتات على الشعور بمشاعر حقيقية، ولا تدعي أن هذا سيساعد في تشخيص الصحة العقلية للبشر. إنها مجرد "اختبار جهد" لمعرفة كيفية معالجة نماذج الذكاء الاصطناዊ الحالية للمعلومات العاطفية داخلياً.
باختختصار
بنى المؤلفون مجموعة من القصص التي هي صاخمة عاطفياً ولكنها صامتة لغوياً. من خلال إزالة "أكواد الغش" (الكلمات العاطفية)، خلقوا اختباراً عادلاً لمعرفة ما إذا كانت نماذج الذكاء الاصطناعي تفهم حقاً المشاعر الإنسانية أم أنها تقوم فقط بحفظ القاموس. تُظهر النتائج أنه بينما يمكن للذكاء الاصطناعي استشعار وجود العاطفة في هذه القصص، فإنه يكافح لتصنيفها دون مساعدة الكلمات المفتاحية المحددة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.