CLMN: Concept based Language Models via Neural Symbolic Reasoning

إليك ملخص تقني مفصل لورقة البحث بعنوان "CLMN: نماذج اللغة القائمة على المفاهيم عبر الاستدلال العصبي الرمزي".

1. بيان المشكلة

تعاني نماذج التعلم العميق، لا سيما في معالجة اللغات الطبيعية (NLP)، من طبيعة "الصندوق الأسود"، مما يحد من نشرها في المجالات عالية المخاطر مثل الرعاية الصحية والتمويل حيث تكون القابلية للتفسير أمراً إلزامياً.

• محدودية الحلول الحالية:
  • نماذج عنق الزجاجة المفهومي (CBMs): رغم نجاحها في الرؤية الحاسوبية، إلا أن نماذج CBMs الموجودة في معالجة اللغات الطبيعية غالباً ما تفرض تنشيطات مفاهيمية ثنائية جامدة. يتسبب هذا في فقدان كبير للمعلومات في التمثيلات النصية، مما يؤدي إلى انخفاض في دقة التنبؤ.
  • نماذج التضمين المفهومي (CEMs): تقوم هذه النماذج بإسقاط المفاهيم في مساحات مستمرة للحفاظ على الأداء، لكنها غالباً ما تحجب الدلالات المفهومة بشرياً، مما يجعل عملية الاستدلال غامضة.
  • الافتقار إلى التفاعل الديناميكي: تفشل الطرق الحالية في التقاط التفاعلات الديناميكية بين المفاهيم (على سبيل المثال، كيف يقوم النفي مثل "ليس شديداً" بتعديل مفهوم مثل "شدة المرض")، حيث تعتمد بدلاً من ذلك على تسميات ثابتة وجامدة.

2. المنهجية: شبكة نموذج اللغة المفهومي (CLMN)

يقترح المؤلفون CLMN، وهو إطار عمل عصبي-رمزي مبتكر يوفق بين الأداء العالي والشفافية من خلال دمج تضمينات المفاهيم المستمرة مع الاستدلال القائم على المنطق الضبابي (Fuzzy Logic).

أ. البنية الأساسية

يعمل إطار العمل من خلال ثلاث مراحل رئيسية:

1. العمود الفقري لنموذج اللغة المدرب مسبقاً (PLM):
   • يتم ترميز النص المدخل $x$ إلى تمثيل كامن $z$ باستخدام نماذج مثل BERT أو RoBERTa أو GPT-2 أو LSTM.
2. طبقة المفهوم والتضمين:
   • طبقة المفهوم: تقوم بترميز احتمالات حالة المفاهيم $S$ بشكل صريح في متجه مهيكل. لكل مفهوم $s$ ثلاث حالات: إيجابي ($p^+$)، سلبي ($p^-$)، وغير معروف ($p^u$).
   • التضمينات المستمرة: بدلاً من التنشيط الثنائي، يتعلم النموذج تضمينات مستمرة للحالات النشطة ($C^+_s$) وغير النشطة ($C^-_s$). تحدد دالة تسجيل $p_s$ احتمال التنشيط، مما ينشئ تضميناً نهائياً موزوناً $\hat{c}_s$.
   • دمج الميزات: يتم دمج هذه التضمينات المفهومية مع ميزات النص الأصلية وتمريرها عبر طبقة دمج لتعزيز التنبؤ النهائي، مما يضمن استفادة النموذج من كل من النص الخام والتمثيلات المدركة للمفاهيم.
3. فرع الاستدلال العصبي الرمزي:
   • شبكة القطبية ($\Phi$): وهي عبارة عن طبقة إدراك متعددة الطبقات (MLP) تتعلم التأثير الاتجاهي (إيجابي أو تثبيطي) لكل مفهوم على الفئة المستهدفة.
   • شبكة الصلة ($\Psi$): وهي طبقة MLP موازية تتعلم وزن الأهمية السياقية لكل مفهوم لحالة معينة.
   • الاستدلال بالمنطق الضبابي: يقوم النموذج بتوليف هذه الإشارات باستخدام مؤثرات المنطق الضبابي القابلة للاشتقاق (الوصل $\land$، الفصل $\lor$، النفي $\neg$) لتوليد قاعدة تنبؤ:
     $$\hat{y}_j(x) = \bigwedge_{c_s \in C} (\neg I_{p,s,j} \lor I_{r,s,j})$$
     يسمح هذا للنموذج باشتقاق التنبؤات بناءً على قواعد منطقية مكونة من مفاهيم مع الحفاظ على القابلية للاشتقاق من أجل التحسين القائم على التدرج (Gradient-based optimization).

ب. هدف التدريب

تجمع دالة الخسارة الإجمالية بين ثلاثة مكونات:
$$L = L_{prediction} + \alpha_1 L_{concept} + \alpha_2 L_{neural}$$

• $L_{prediction}$: خسارة الإنتروبيا المتقاطعة القياسية لتسمية المهمة النهائية.
• $L_{concept}$: خسارة التنبؤ بتسميات المفاهيم (لضمان دقة طبقة المفهوم).
• $L_{neural}$: خسارة فرع الاستدلال العصبي الرمزي (لضمان توافق القواعد المنطقية مع الحقيقة الأرضية).

3. المساهمات الرئيسية

1. إطار عمل مبتكر (CLMN): أول إطار عمل عصبي-رمزي لمعالجة اللغات الطبيعية يعالج بفعالية مقايضة الدقة والقدرة على التفسير. إنه يتجاوز المفاهيم الثنائية الجامدة إلى تفاعلات مفاهيمية مستمرة وقابلة للتعلم.
2. الاستدلال العصبي الرمزي للتفاعلات: يقدم آلية لنمذجة كيفية تأثير المفاهيم على بعضها البعض وعلى التنبؤ النهائي بشكل صريح باستخدام قواعد قابلة للتعلم ومنطق ضبابي، مما يحل مشكلة العلاقات المفهومية الثابتة.
3. الحفاظ على الأداء: يثبت أن إضافة التمثيلات المدركة للمفاهيم والاستدلال الرمزي لا يؤدي إلى تدهور كبير في أداء المهمة مقارنة بالنماذج القياسية "الصندوق الأسود".
4. استراتيجية تعزيز البيانات: يستخدم النماذج اللغوية الكبيرة (ChatGPT) لتوليد مفاهيم جديدة وتسميات مشوشة، مما يوسع فضاء المفاهيم بما يتجاوز مجموعات البيانات المسمية بشرياً (CEBaB).

4. النتائج التجريبية

تم تقييم إطار العمل على مجموعة بيانات aug-CEBaB-yelp (تحليل مشاعر مراجعات المطاعم) باستخدام أعمدة فقارية متنوعة (BERT, RoBERTa, GPT-2, LSTM).

• أداء المهمة:
  • حقق CLMN دقة تنافسية مع النماذج المرجعية. على سبيل المثال، مع BERT-base، بلغت دقة المهمة النهائية 69.26% (مقابل 69.49% للنموذج المرجعي)، وهو انخفاض طفيف بنسبة ~0.23%.
  • ظلت درجة Macro F1 مرتفعة عند 79.62%.
• أداء القابلية للتفسير:
  • دقة المفهوم: حقق النموذج دقة عالية في التنبؤ بالمفاهيم الوسيطة (مثل 85.85% لنموذج BERT)، مما يثبت قدرته على تحديد الميزات الدلالية مثل "الطعام"، "الضجيج"، و"السعر" بشكل صحيح.
  • دقة الاستدلال: حقق فرع الاستدلال العصبي الرمزي دقة بلغت 65.35%، مما يدل على أن القواعد المنطقية المستمدة من المفاهيم يمكنها التنبؤ بالملصق النهائي بشكل مستقل وبنجاح معقول.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة خسارة المفهوم إلى إضعاف قدرة النموذج على تعلم مفاهيم ذات معنى.
  • استخدام المكون العصبي الرمزي فقط دون إشراف المفهوم أدى إلى انخفاض في الأداء، مما يؤكد الحاجة إلى استراتيجية الخسارة المزدوجة لمواءمة تعلم الميزات مع الاستدلال المنطقي.

5. الأهمية والأثر

• تحول في النموذج المعرفي: يؤسس CLMN لنموذج جديد لمعالجة اللغات الطبيعية من خلال توحيد التمثيلات العصبية (من أجل الأداء) والاستدلال الرمزي (من أجل القابلية للتفسير) في مساحة مستمرة واحدة.
• الذكاء الاصطناعي الجدير بالثقة: من خلال توفير مسارات اشتقاق شفافة (على سبيل المثال، "المراجعة سلبية لأن الطعام كان جيداً ولكن الضجيج كان عالياً والسعر كان مرتفعاً")، يبني النموذج الثقة في القطاعات الحرجة مثل الرعاية الصحية والتمويل.
• المنطق الديناميكي: يسمح استخدام المنطق الضبابي للنموذج بالتعامل مع الفروق اللغوية الدقيقة مثل النفي وتعديل السياق، والتي تغفل عنها نماذج CBM الثنائية التقليدية.
• الاتجاهات المستقبلية: يقترح المؤلفون توسيع هذا الإطار ليشمل الاستدلال المفهومي الهرمي والتكيف متعدد اللغات، مما يمهد الطريق لأنظمة ذكاء اصطناعي أكثر قوة وقابلية للتفسير.

توافر الكود: التنفيذ والبيانات مفتوحة المصدر على https://github.com/MichaelYang-lyx/CLMN.