ملخص تقني: طبقة عاطفية مستوحاة من الهرمونات لنماذج المحولات اللغوية (HELT)

بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة (LLMs) نجاحاً غير مسبوق في الصحة النحوية والارتباط السياقي، إلا أنها تفتقر جوهرياً إلى القدرة على معالجة والاستجابة للسياق العاطفي بطريقة تحاكي الإدراك العاطفي البشري. وتواجه مناهج معالجة اللغات الطبيعية (NLP) الحالية في نمذجة العواطف عدة قيود:

• التصنيف المنفصل: التعامل مع العاطفة كفئات ثابتة ومتنافية (مثل: سعيد، حزين) يفشل في التقاط الطبيعة المستمرة والمختلطة والمتغيرة للعاطفة البشرية.
• الاختزال البعدي: الاعتماد على نماذج المشاعر الثنائية أو مساحات الاستثارة والتدريج (arousal-valence) ثنائية الأبعاد يعد غير كافٍ لتمثيل الطيف المعقد ومتعدد الأبعاد للحالات العاطفية البشرية.
• الترميز الساكن (Static Tokenization): المنهجيات التي تسبق النصوص بملصقات عاطفية صريحة (مثل "[حزين]") تفتقر إلى الديناميكيات الزمنية والتمثيلات السياقية المتعلمة، مما يؤدي إلى الفشل في نمذجة كيفية تطور الحالات العاطفية أو تفاعلها عبر الزمن.

وبناءً على ذلك، غالباً ما تظل استجابات نماذج "المحولات" (Transformers) القياسية مسطحة عاطفياً، حيث تفشل في إظهار الحماس، أو تهدئة النزاعات، أو تقديم تعاطف حقيقي.

المنهجية: بنية HormoneT5

تقدم الورقة البحثية HormoneT5، وهي بنية مبتكرة تعمل على تعزيز نموذج (T5) - وهو نموذج محول (Transformer) من نوع "نص-إلى-نص" مدرب مسبقاً - عبر إضافة كتلة عاطفة هرمونية (Hormone Emotion Block) مستوحاة بيولوجياً. تقوم هذه الكتلة بمحاكاة دور الجهاز الصماء في المعالجة العاطفية البشرية من خلال حساب ست قيم مستمرة تشبه الهرمونات، تُستمد من الحالات الخفية للمُشفّر (Encoder).

المكونات الجوهرية

1. كتلة العاطفة الهرمونية: تُدرج بين مُشفّر T5 وفك التشفير (Decoder)، وتعمل هذه الكتلة كجهاز صماء حوسبي. فهي تقرأ السمات اللغوية، وتتنبأ بمستويات التنشيط لستة هرمونات محددة، وتقوم بتعديل التمثيلات الخفية قبل عملية فك التشفير.
2. رؤوس الانتباه لكل هرمون: يستخدم النموذج ستة رؤوس انتباه متوازية ومتخصصة (رأس لكل من: الدوبامين، السيروتونين، الكورتيزول، الأوكسيتوسين، الأدرينالين، والإندورفين).
   • التهيئة المتعامدة (Orthogonal Initialization): يتم تهيئة ناقلات الاستعلام (Query vectors) القابلة للتعلم لكل رأس بشكل متعامد لضمان تغطيتها لمساحات فرعية مختلفة، مما يمنع انهيار الانتباه.
   • التعلم بنقل المعرفة (Transfer Learning): يتم تهيئة إسقاطات المفتاح (Key) والقيمة (Value) من أوزان الانتباه الذاتي لـ T5 المدربة مسبقاً للاستفادة من المعرفة اللغوية الموجودة وضمان استقرار التدريب.
   • تدرج الحرارة (Temperature Scaling): يتم تطبيق عامل حرارة ($\tau = 0.5$) لإنشاء توزيعات انتباه أكثر حدة، مما يسمح للهرمونات بالتركيز على رموز (Tokens) محددة.
3. آلية التعديل: يتم إسقاط قيم الهرمونات الست إلى تضمين عاطفي موحد ($e$) ويُطبق على الحالات الخفية للمُشفّر ($H$) عبر آلية بوابية ضربية:
   $$\tilde{H} = H \odot (1 + \alpha \cdot e_{expanded})$$
   حيث أن $\alpha$ هو ثابت قابل للتعلم محصور بين 0.1 و 0.5، مما يضمن تعديلاً مستقراً ومحدوداً دون الهيمنة على التمثيلات اللغوية الأصلية.

إطار التدريب

يستخدم النموذج إطار تدريب متعدد الأهداف مع دالة خسارة مركبة:

• خسارة التسلسل ($L_{seq}$): تعتمد على الإنتروبيا المتقاطعة القياسية لتوليد النصوص.
• خسارة الهرمون ($L_{hormone}$): مزيج من متوسط الخطأ التربيعي (MSE) وخسارة الهامش (Margin Loss). تعمل خسارة الهامش على معاقبة التنبؤات التي تفشل في الوصول إلى القيم القصوى (مثلاً: أقل من 0.3 للحالات المنخفضة، أو أكبر من 0.7 للحالات المرتفعة)، مما يشجع على التمايز الواضح بين النبرات العاطفية.
• خسارة التنوع ($L_{diversity}$): تعاقب تشابه جيب التمام (Cosine similarity) بين ناقلات الاستعلام لرؤوس الهرمونات المختلفة لضمان التمايز الوظيفي.

المساهمات الرئيسية

1. بنية مبتكرة: تقديم كتلة عاطفة هرمونية تحسب إشارات هرمونية مستمرة عبر آليات انتباه متخصصة، متجاوزة التصنيف المنفصل.
2. استراتيجية التعلم بنقل المعرفة: إثبات أن تهيئة إسقاطات (Key/Value) لانتباه الهرمونات من أوزان T5 المدربة مسبقاً يحسن دقة التنبؤ واستقراره بشكل كبير.
3. التحسين متعدد الأهداف: دالة خسارة مشتركة توازن بين جودة التوليد، والتنبؤ الهرموني الدقيق مع عقوبات الهامش، وتنوع الانتباه.
4. تقييم شامل: تقييم آلي وبشري واسع النطاق يظهر تحسينات كبيرة في الملاءمة العاطفية وجودة التعاطف.
5. الإصدار مفتوح المصدر: إصدار كامل للكود، وسكريبتات التدريب، والبيانات، والأوزان المدربة مسبقاً لضمان قابلية التكرار.

النتائج التجريبية

تم تدريب النموذج على مجموعة بيانات منسقة مكونة من 1,200 مثال (توسعة لـ 150 حواراً فريداً) عبر خمس نبرات عاطفية (ودود، محايد، فظ، حزين، متحمس).

• دقة التنبؤ بالهرمون: حقق HormoneT5 متوسط دقة بلغ 85.5% (تنبؤات ضمن نطاق $\pm 0.15$ من الهدف) عبر جميع الهرمونات الستة. كان تنبؤ الكورتيزول هو الأعلى بنسبة 91.3%، بينما كان الأوكسيتوسين هو الأدنى بنسبة 78.4%.
• التمايز: حقق النموذج متوسط نطاق تمايز قدره 0.85، مما يؤكد أنه لا ينتج متوسطات مسطحة بل يعدل الحالات الداخلية ديناميكياً. فعلى سبيل المثال، أدت المدخلات "الودودة" إلى تحفيز عالٍ للدوبامين (0.92) وكورتيزول منخفض (0.08)، بينما قلبت المدخلات "الفظة" هذا الملف التعريفي.
• التقييم البشري: في دراسة مقارنة مزدوجة عمياء مع 15 مقيّماً، فضل المقيمون HormoneT5 على نموذج T5 الأساسي في 77% من الحالات.
  • الملاءمة العاطفية: 4.12/5 (مقابل 2.73 للنموذج الأساسي، $p < 0.001$).
  • جودة التعاطف: 3.98/5 (مقابل 2.45 للنموذج الأساسي، $p < 0.001$).
  • الطلاقة: ظلت متطابقة إحصائياً مع النموذج الأساسي (4.18 مقابل 4.21)، مما يشير إلى أن التعديل العاطفي لم يؤدِ إلى تدهور الجودة اللغوية.

الأهمية والادعاءات

تدعي الورقة أن HormoneT5 يمثل خطوة هامة نحو الحوسبة الوجدانية ذات الجذور البيولوجية. ومن خلال نمذجة العاطفة كعملية مستمرة ومتعددة الأبعاد للتفاعلات الكيميائية العصبية بدلاً من الفئات المنفصلة، نجحت البنية في سد الفجوة بين الفهم الدلالي والرنين العاطفي.

ويؤكد المؤلفون أن رؤوس الانتباه في النموذج قد تماشت طبيعياً مع الوظائف البيولوجية دون برمجة صريحة (على سبيل المثال، رؤوس الكورتيزول التي تركز على علامات التهديد، والأوكسيتوسين على الضمائر الاجتماعية). وهذا يشير إلى أن ناقلات الهرمونات المستمرة توفر انحيازاً استقرائياً (Inductive bias) فعالاً لالتقاط شدة ونبرة الحالات العاطفية.

يفتح هذا العمل آفاقاً جديدة لإنشاء وكلاء محادثة أذكياء عاطفياً قادرين على توليد استجابات مناسبة سياقياً. ومع ذلك، يحافظ المؤلفون على موقف متواضع فيما يتعلق بالقيود الحالية، حيث يقرون بأن النموذج يعتمد على مجموعة بيانات صغيرة باللغة الإنجليزية فقط مع خرائط هرمونية اصطناعية، ويفتقر إلى الديناميكيات الزمنية للمحادثات الطويلة، ولا يدمج بعد الإشارات متعددة الوسائط. كما يشددون على أن "الهرمونات" هي تجريدات حوسبية وليست حالات شعورية، ويدعون إلى ضرض ضمانات أخلاقية صارمة ضد التلاعب وتضخيم السمية في عمليات النشر المستقبلية.